Praca z rękami za pomocą ARCore dla Jetpack XR

ARCore dla Jetpacka XR może dostarczać informacje o wykrywania rąk użytkownika oraz informacje o położeniu rąk i powiązanych z nimi stawów. Te dane dłoni można wykorzystać do przypinania elementów i modeli do rąk użytkownika, na przykład menu narzędzi:

Uzyskiwanie sesji

uzyskiwać informacje o dłoni za pomocą Androida XR Session. Aby uzyskać Session, zapoznaj się z artykułem Omówienie cyklu życia sesji.

Konfigurowanie sesji

Śledzenie rąk jest domyślnie wyłączone w sesjach XR. Aby otrzymywać dane o ręce, skonfiguruj sesję:

val newConfig = session.config.copy(
    handTracking = Config.HandTrackingMode.Enabled
)
when (val result = session.configure(newConfig)) {
    is SessionConfigureConfigurationNotSupported ->
        TODO(/* Some combinations of configurations are not valid. Handle this failure case. */)
    is SessionConfigurePermissionsNotGranted ->
        TODO(/* The required permissions in result.permissions have not been granted. */)
    is SessionConfigureSuccess -> TODO(/* Success! */)
}
Hands.kt

Pobieranie danych o ręce

Dane dotyczące dłoni są dostępne osobno dla lewej i prawej ręki. Użyj state każdej ręki, aby uzyskać dostęp do pozycji poszczególnych stawów:

Hand.left(session)?.state?.collect { handState -> // or Hand.right(session)
    // Hand state has been updated.
    // Use the state of hand joints to update an entity's position.
    renderPlanetAtHandPalm(handState)
}
Hands.kt

Ręce mają te właściwości:

  • isActive: czy dłoń jest śledzona.

  • handJoints: mapa połączeń dłoni z pozami. Pozy dłoni są określone w standardach OpenXR.

Korzystanie z danych o ręce w aplikacji

Pozycje stawów dłoni użytkownika mogą służyć do doklejania obiektów 3D do dłoni, na przykład do przyczepienia modelu do lewej dłoni:

val palmPose = leftHandState.handJoints[HandJointType.PALM] ?: return

// the down direction points in the same direction as the palm
val angle = Vector3.angleBetween(palmPose.rotation * Vector3.Down, Vector3.Up)
palmEntity.setHidden(angle > Math.toRadians(40.0))

val transformedPose =
    scenecoreSession.perceptionSpace.transformPoseTo(
        palmPose,
        scenecoreSession.activitySpace,
    )
val newPosition = transformedPose.translation + transformedPose.down * 0.05f
palmEntity.setPose(Pose(newPosition, transformedPose.rotation))
Hands.kt

Aby przypiąć model do palca wskazującego prawej ręki:

val tipPose = rightHandState.handJoints[HandJointType.INDEX_TIP] ?: return

// the forward direction points towards the finger tip.
val angle = Vector3.angleBetween(tipPose.rotation * Vector3.Forward, Vector3.Up)
indexFingerEntity.setHidden(angle > Math.toRadians(40.0))

val transformedPose =
    scenecoreSession.perceptionSpace.transformPoseTo(
        tipPose,
        scenecoreSession.activitySpace,
    )
val position = transformedPose.translation + transformedPose.forward * 0.03f
val rotation = Quaternion.fromLookTowards(transformedPose.up, Vector3.Up)
indexFingerEntity.setPose(Pose(position, rotation))
Hands.kt