Работа руками с помощью ARCore для Jetpack XR

ARCore для Jetpack XR может предоставлять информацию об обнаруженных руках пользователя, а также о позе рук и связанных с ними суставах. Эти данные о руках можно использовать для присоединения объектов и моделей к рукам пользователя, например, для создания меню инструментов:

Получить сеанс

Доступ к информации о руке через Session Android XR. Чтобы получить Session , ознакомьтесь с разделом «Понимание жизненного цикла сеанса» .

Настройте сеанс

Отслеживание рук по умолчанию в сеансах XR отключено. Чтобы получать данные о руках, настройте сеанс и установите режим HandTrackingMode.BOTH : 

val newConfig = session.config.copy(
    handTracking = Config.HandTrackingMode.BOTH
)
when (val result = session.configure(newConfig)) {
    is SessionConfigureConfigurationNotSupported ->
        TODO(/* Some combinations of configurations are not valid. Handle this failure case. */)
    is SessionConfigureSuccess -> TODO(/* Success! */)
    else ->
        TODO(/* A different unhandled exception was thrown. */)
}
Hands.kt

Извлечь данные руки

Данные о руках доступны отдельно для левой и правой руки. Используйте state каждой руки для доступа к позам каждого сустава: 

Hand.left(session)?.state?.collect { handState -> // or Hand.right(session)
    // Hand state has been updated.
    // Use the state of hand joints to update an entity's position.
    renderPlanetAtHandPalm(handState)
}
Hands.kt

Руки обладают следующими свойствами:

  • trackingState : отслеживается ли рука.

  • handJoints : карта соотношений суставов кисти и поз. Позы суставов кисти определены стандартами OpenXR .

Используйте данные рук в своем приложении

Положение суставов рук пользователя можно использовать для прикрепления 3D-объектов к рукам пользователя, например, для прикрепления модели к левой ладони: 

val palmPose = leftHandState.handJoints[HandJointType.PALM] ?: return

// the down direction points in the same direction as the palm
val angle = Vector3.angleBetween(palmPose.rotation * Vector3.Down, Vector3.Up)
palmEntity.setEnabled(angle > Math.toRadians(40.0))

val transformedPose =
    session.scene.perceptionSpace.transformPoseTo(
        palmPose,
        session.scene.activitySpace,
    )
val newPosition = transformedPose.translation + transformedPose.down * 0.05f
palmEntity.setPose(Pose(newPosition, transformedPose.rotation))
Hands.kt

Или прикрепить модель к кончику указательного пальца правой руки: 

val tipPose = rightHandState.handJoints[HandJointType.INDEX_TIP] ?: return

// the forward direction points towards the finger tip.
val angle = Vector3.angleBetween(tipPose.rotation * Vector3.Forward, Vector3.Up)
indexFingerEntity.setEnabled(angle > Math.toRadians(40.0))

val transformedPose =
    session.scene.perceptionSpace.transformPoseTo(
        tipPose,
        session.scene.activitySpace,
    )
val position = transformedPose.translation + transformedPose.forward * 0.03f
val rotation = Quaternion.fromLookTowards(transformedPose.up, Vector3.Up)
indexFingerEntity.setPose(Pose(position, rotation))
Hands.kt

Распознавать основные жесты рук

Используйте положения суставов кисти для определения основных жестов. Чтобы определить, в каком диапазоне положений должны находиться суставы, чтобы их можно было зарегистрировать как заданную позу, обратитесь к разделу «Условные обозначения положений суставов кисти».

Например, чтобы обнаружить сжатие большого и указательного пальцев, используйте расстояние между двумя кончиками суставов: 

val thumbTip = handState.handJoints[HandJointType.THUMB_TIP] ?: return false
val thumbTipPose = session.scene.perceptionSpace.transformPoseTo(thumbTip, session.scene.activitySpace)
val indexTip = handState.handJoints[HandJointType.INDEX_TIP] ?: return false
val indexTipPose = session.scene.perceptionSpace.transformPoseTo(indexTip, session.scene.activitySpace)
return Vector3.distance(thumbTipPose.translation, indexTipPose.translation) < 0.05
Hands.kt

Примером более сложного жеста является жест «стоп». В этом жесте каждый палец должен быть вытянут, то есть каждый сустав каждого пальца должен быть примерно направлен в одну сторону: 

val threshold = toRadians(angleInDegrees = 30f)
fun pointingInSameDirection(joint1: HandJointType, joint2: HandJointType): Boolean {
    val forward1 = handState.handJoints[joint1]?.forward ?: return false
    val forward2 = handState.handJoints[joint2]?.forward ?: return false
    return Vector3.angleBetween(forward1, forward2) < threshold
}
return pointingInSameDirection(HandJointType.INDEX_PROXIMAL, HandJointType.INDEX_TIP) &&
    pointingInSameDirection(HandJointType.MIDDLE_PROXIMAL, HandJointType.MIDDLE_TIP) &&
    pointingInSameDirection(HandJointType.RING_PROXIMAL, HandJointType.RING_TIP)
Hands.kt

При разработке пользовательского распознавания жестов рук учитывайте следующие моменты:

  • Пользователи могут по-разному интерпретировать тот или иной жест. Например, некоторые могут считать жестом «стоп» растопыренные пальцы, в то время как другим более интуитивно понятным будет сжатие пальцев.
  • Некоторые жесты могут быть неудобными. Используйте интуитивно понятные жесты, не напрягающие руки пользователя.

Определить вторую руку пользователя

Система Android назначает управление системной навигацией основной руке пользователя, как указано в системных настройках. Используйте дополнительную руку для ваших пользовательских жестов, чтобы избежать конфликтов с системными жестами навигации: 

val handedness = Hand.getPrimaryHandSide(activity.contentResolver)
val secondaryHand = if (handedness == Hand.HandSide.LEFT) Hand.right(session) else Hand.left(session)
val handState = secondaryHand?.state ?: return
detectGesture(handState)
Hands.kt

OpenXR™ и логотип OpenXR являются товарными знаками компании Khronos Group Inc. и зарегистрированы в качестве товарных знаков в Китае, Европейском Союзе, Японии и Великобритании.