Praca z rękami za pomocą ARCore dla Jetpack XR

ARCore w Jetpacku XR może dostarczać informacji o wykrytych dłoniach użytkownika i podawać informacje o ich położeniu oraz o położeniu powiązanych stawów. Dane dotyczące dłoni mogą służyć do przypisywania do nich elementów i modeli, np. menu narzędzi:

Uzyskiwanie sesji

Dostęp do informacji o dłoniach za pomocą urządzenia z Androidem XR Session. Aby uzyskać Session, przeczytaj artykuł Omówienie cyklu życia sesji.

Konfigurowanie sesji

Śledzenie rąk nie jest domyślnie włączone w sesjach XR. Aby otrzymywać dane dotyczące dłoni, skonfiguruj sesję i ustaw tryb HandTrackingMode.BOTH:

val newConfig = session.config.copy(
    handTracking = Config.HandTrackingMode.BOTH
)
when (val result = session.configure(newConfig)) {
    is SessionConfigureConfigurationNotSupported ->
        TODO(/* Some combinations of configurations are not valid. Handle this failure case. */)
    is SessionConfigureSuccess -> TODO(/* Success! */)
    else ->
        TODO(/* A different unhandled exception was thrown. */)
}
Hands.kt

Pobieranie danych o dłoniach

Dane dotyczące dłoni są dostępne osobno dla lewej i prawej ręki. Użyj dłoni state, aby uzyskać dostęp do pozycji poszczególnych stawów:

Hand.left(session)?.state?.collect { handState -> // or Hand.right(session)
    // Hand state has been updated.
    // Use the state of hand joints to update an entity's position.
    renderPlanetAtHandPalm(handState)
}
Hands.kt

Dłonie mają te właściwości:

  • trackingState: czy ręka jest śledzona.

  • handJoints: mapa połączeń dłoni do póz. Pozycje stawów dłoni są określone przez standardy OpenXR.

Używanie danych o dłoniach w aplikacji

Położenie stawów dłoni użytkownika może służyć do zakotwiczania obiektów 3D na dłoniach użytkownika, na przykład do przymocowania modelu do lewej dłoni:

val palmPose = leftHandState.handJoints[HandJointType.PALM] ?: return

// the down direction points in the same direction as the palm
val angle = Vector3.angleBetween(palmPose.rotation * Vector3.Down, Vector3.Up)
palmEntity.setEnabled(angle > Math.toRadians(40.0))

val transformedPose =
    session.scene.perceptionSpace.transformPoseTo(
        palmPose,
        session.scene.activitySpace,
    )
val newPosition = transformedPose.translation + transformedPose.down * 0.05f
palmEntity.setPose(Pose(newPosition, transformedPose.rotation))
Hands.kt

Aby przymocować model do opuszka palca wskazującego prawej ręki:

val tipPose = rightHandState.handJoints[HandJointType.INDEX_TIP] ?: return

// the forward direction points towards the finger tip.
val angle = Vector3.angleBetween(tipPose.rotation * Vector3.Forward, Vector3.Up)
indexFingerEntity.setEnabled(angle > Math.toRadians(40.0))

val transformedPose =
    session.scene.perceptionSpace.transformPoseTo(
        tipPose,
        session.scene.activitySpace,
    )
val position = transformedPose.translation + transformedPose.forward * 0.03f
val rotation = Quaternion.fromLookTowards(transformedPose.up, Vector3.Up)
indexFingerEntity.setPose(Pose(position, rotation))
Hands.kt

Wykrywanie podstawowych gestów dłonią

Wykorzystuje pozycje stawów dłoni do wykrywania podstawowych gestów. Zapoznaj się z konwencjami dotyczącymi stawów dłoni, aby określić, w jakim zakresie pozycji powinny znajdować się stawy, aby zarejestrować się jako dana pozycja.

Aby na przykład wykryć uszczypnięcie kciukiem i palcem wskazującym, użyj odległości między dwoma stawami palców:

val thumbTip = handState.handJoints[HandJointType.THUMB_TIP] ?: return false
val thumbTipPose = session.scene.perceptionSpace.transformPoseTo(thumbTip, session.scene.activitySpace)
val indexTip = handState.handJoints[HandJointType.INDEX_TIP] ?: return false
val indexTipPose = session.scene.perceptionSpace.transformPoseTo(indexTip, session.scene.activitySpace)
return Vector3.distance(thumbTipPose.translation, indexTipPose.translation) < 0.05
Hands.kt

Przykładem bardziej skomplikowanego gestu jest gest „stop”. W tym geście każdy palec powinien być wyprostowany, tzn. każdy staw każdego palca powinien być skierowany w przybliżeniu w tym samym kierunku:

val threshold = toRadians(angleInDegrees = 30f)
fun pointingInSameDirection(joint1: HandJointType, joint2: HandJointType): Boolean {
    val forward1 = handState.handJoints[joint1]?.forward ?: return false
    val forward2 = handState.handJoints[joint2]?.forward ?: return false
    return Vector3.angleBetween(forward1, forward2) < threshold
}
return pointingInSameDirection(HandJointType.INDEX_PROXIMAL, HandJointType.INDEX_TIP) &&
    pointingInSameDirection(HandJointType.MIDDLE_PROXIMAL, HandJointType.MIDDLE_TIP) &&
    pointingInSameDirection(HandJointType.RING_PROXIMAL, HandJointType.RING_TIP)
Hands.kt

Podczas tworzenia niestandardowego wykrywania gestów dłoni pamiętaj o tych kwestiach:

  • Użytkownicy mogą różnie interpretować dany gest. Na przykład niektórzy mogą uważać, że gest „stop” powinien być wykonywany z rozłożonymi palcami, a inni mogą uznać, że bardziej intuicyjne jest trzymanie palców blisko siebie.
  • Niektóre gesty mogą być niewygodne. Używaj intuicyjnych gestów, które nie obciążają dłoni użytkownika.

Określanie ręki pomocniczej użytkownika

System Android umieszcza nawigację systemową po stronie ręki, której użytkownik używa najczęściej, zgodnie z ustawieniami systemowymi. Używaj drugiej ręki do wykonywania gestów niestandardowych, aby uniknąć konfliktów z gestami nawigacji systemowej:

val handedness = Hand.getPrimaryHandSide(activity.contentResolver)
val secondaryHand = if (handedness == Hand.HandSide.LEFT) Hand.right(session) else Hand.left(session)
val handState = secondaryHand?.state ?: return
detectGesture(handState)
Hands.kt

OpenXR™ i logo OpenXR są znakami towarowymi należącymi do The Khronos Group Inc. i są zarejestrowane jako znaki towarowe w Chinach, Unii Europejskiej, Japonii i Wielkiej Brytanii.