Jetpack XR の ARCore を使用して手で操作する

Jetpack XR の ARCore は、ユーザーの検出された手に関する情報を提供できます。また、手とそれに関連する関節のポーズ情報を提供します。この手のデータを、ツールメニューなどのエンティティやモデルをユーザーの手に取り付けるために使用できます。

Jetpack XR 用 ARCore セッションを作成する

Jetpack XR 向け ARCore セッションを介して手の情報を取得します。Session を取得するには、セッションのライフサイクルを理解するをご覧ください。

手のデータを取得する

手のデータは、左手と右手で別々に取得できます。各手の state を使用して、各ジョイントのポーズ位置にアクセスします。

Hand.left(session).state.collect { // or Hand.right(session)
  // Hand state has been updated.
  // Use the state of hand joints to update an entity's position.
}

手には次のプロパティがあります。

  • isActive: 手がトラッキングされているかどうか。

  • handJoints: 手の関節とポーズのマップ。手のジョイント ポーズは OpenXR 標準で指定されます。

アプリで手のデータを利用する

ユーザーの手の関節の位置を使用して、ユーザーの手に3D オブジェクトを固定できます。たとえば、左手のひらにモデルを接続できます。

Hand.left(session)?.state?.collect { leftHandState ->
  val palmPose = leftHandState.handJoints[HandJointType.PALM] ?: return@collect

  // the down direction points in the same direction as the palm
  val angle = Vector3.angleBetween(palmPose.rotation * Vector3.Down, Vector3.Up)
  palmEntity.setHidden(angle > Math.toRadians(40.0))

  val transformedPose =
    session.perceptionSpace.transformPoseTo(
      palmPose,
      session.activitySpace,
    )
  val newPosition = transformedPose.translation + transformedPose.down*0.05f
  palmEntity.setPose(Pose(newPosition, transformedPose.rotation))
}

右手の人差し指先にモデルを装着するには:

Hand.right(session)?.state?.collect { rightHandState ->
  val tipPose = rightHandState.handJoints[HandJointType.INDEX_TIP] ?: return@collect

  // the forward direction points towards the finger tip.
  val angle = Vector3.angleBetween(tipPose.rotation * Vector3.Forward, Vector3.Up)
  indexEntity.setHidden(angle > Math.toRadians(40.0))

  val transformedPose =
    session.perceptionSpace.transformPoseTo(
      tipPose,
      session.activitySpace,
    )
  val position = transformedPose.translation + transformedPose.forward * 0.03f
  val rotation = Quaternion.fromLookTowards(transformedPose.up, Vector3.Up)
  indexEntity.setPose(Pose(position, rotation))
}