ARCore dla Jetpacka XR może dostarczać informacje o wykrywania rąk użytkownika oraz informacje o położeniu rąk i powiązanych z nimi stawów. Te dane dłoni można wykorzystać do przypinania elementów i modeli do rąk użytkownika, na przykład menu narzędzi:
Uzyskiwanie sesji
uzyskiwać informacje o dłoni za pomocą Androida XR Session
. Aby uzyskać Session
, zapoznaj się z artykułem Omówienie cyklu życia sesji.
Konfigurowanie sesji
Śledzenie rąk jest domyślnie wyłączone w sesjach XR. Aby otrzymywać dane o ręce, skonfiguruj sesję:
val newConfig = session.config.copy( handTracking = Config.HandTrackingMode.Enabled ) when (val result = session.configure(newConfig)) { is SessionConfigureConfigurationNotSupported -> TODO(/* Some combinations of configurations are not valid. Handle this failure case. */) is SessionConfigurePermissionsNotGranted -> TODO(/* The required permissions in result.permissions have not been granted. */) is SessionConfigureSuccess -> TODO(/* Success! */) }
Pobieranie danych o ręce
Dane dotyczące dłoni są dostępne osobno dla lewej i prawej ręki. Użyj state
każdej ręki, aby uzyskać dostęp do pozycji poszczególnych stawów:
Hand.left(session)?.state?.collect { handState -> // or Hand.right(session) // Hand state has been updated. // Use the state of hand joints to update an entity's position. renderPlanetAtHandPalm(handState) }
Ręce mają te właściwości:
isActive
: czy dłoń jest śledzona.handJoints
: mapa połączeń dłoni z pozami. Pozy dłoni są określone w standardach OpenXR.
Korzystanie z danych o ręce w aplikacji
Pozycje stawów dłoni użytkownika mogą służyć do doklejania obiektów 3D do dłoni, na przykład do przyczepienia modelu do lewej dłoni:
val palmPose = leftHandState.handJoints[HandJointType.PALM] ?: return // the down direction points in the same direction as the palm val angle = Vector3.angleBetween(palmPose.rotation * Vector3.Down, Vector3.Up) palmEntity.setHidden(angle > Math.toRadians(40.0)) val transformedPose = session.scene.perceptionSpace.transformPoseTo( palmPose, session.scene.activitySpace, ) val newPosition = transformedPose.translation + transformedPose.down * 0.05f palmEntity.setPose(Pose(newPosition, transformedPose.rotation))
Aby przypiąć model do palca wskazującego prawej ręki:
val tipPose = rightHandState.handJoints[HandJointType.INDEX_TIP] ?: return // the forward direction points towards the finger tip. val angle = Vector3.angleBetween(tipPose.rotation * Vector3.Forward, Vector3.Up) indexFingerEntity.setHidden(angle > Math.toRadians(40.0)) val transformedPose = session.scene.perceptionSpace.transformPoseTo( tipPose, session.scene.activitySpace, ) val position = transformedPose.translation + transformedPose.forward * 0.03f val rotation = Quaternion.fromLookTowards(transformedPose.up, Vector3.Up) indexFingerEntity.setPose(Pose(position, rotation))
wykrywać podstawowe gesty dłoni,
Wykorzystaj pozycje stawów w dłoni, aby wykrywać podstawowe gesty ręką. Aby określić, w jakich zakresach ruchów stawów ręki powinien się mieścić, aby zarejestrować daną pozę, zapoznaj się z konwencjami dotyczącymi stawów ręki.
Aby na przykład wykryć szczypanie kciukiem i wskaźnikiem, użyj odległości między 2 stawami palców:
val thumbTip = handState.handJoints[HandJointType.THUMB_TIP] ?: return false val thumbTipPose = session.scene.perceptionSpace.transformPoseTo(thumbTip, session.scene.activitySpace) val indexTip = handState.handJoints[HandJointType.INDEX_TIP] ?: return false val indexTipPose = session.scene.perceptionSpace.transformPoseTo(indexTip, session.scene.activitySpace) return Vector3.distance(thumbTipPose.translation, indexTipPose.translation) < 0.05
Przykładem bardziej złożonego gestu jest gest „stop”. W tym geście każdy palec powinien być wyprostowany, czyli każdy staw w każdym palcu powinien wskazywać mniej więcej w tym samym kierunku:
val threshold = toRadians(angleInDegrees = 30f) fun pointingInSameDirection(joint1: HandJointType, joint2: HandJointType): Boolean { val forward1 = handState.handJoints[joint1]?.forward ?: return false val forward2 = handState.handJoints[joint2]?.forward ?: return false return Vector3.angleBetween(forward1, forward2) < threshold } return pointingInSameDirection(HandJointType.INDEX_PROXIMAL, HandJointType.INDEX_TIP) && pointingInSameDirection(HandJointType.MIDDLE_PROXIMAL, HandJointType.MIDDLE_TIP) && pointingInSameDirection(HandJointType.RING_PROXIMAL, HandJointType.RING_TIP)
Podczas opracowywania niestandardowego wykrywania gestów dłoni pamiętaj o tych kwestiach:
- Użytkownicy mogą interpretować gesty na różne sposoby. Niektórzy mogą na przykład uważać, że gest „stop” to rozłożone palce, a inni mogą uznać, że bardziej intuicyjne jest złączenie palców.
- Niektóre gesty mogą być niewygodne. Używaj intuicyjnych gestów, które nie obciążają rąk użytkownika.
Określanie dodatkowego użytkownika
System Android umieszcza elementy sterowania nawigacją w głównej ręce użytkownika, zgodnie z ustawieniami użytkownika w ustawieniach systemu. Aby uniknąć konfliktów z gestami systemowymi, do gestów niestandardowych używaj drugiej ręki:
val handedness = Hand.getHandedness(activity.contentResolver) val secondaryHand = if (handedness == Hand.Handedness.LEFT) Hand.right(session) else Hand.left(session) val handState = secondaryHand?.state ?: return detectGesture(handState)