Jetpack XR용 ARCore를 사용하여 손으로 작업

Jetpack XR용 ARCore는 사용자의 감지된 손에 관한 정보를 제공하고 손과 관련 관절의 자세 정보를 제공합니다. 이 손 데이터는 사용자의 손에 엔터티와 모델을 연결하는 데 사용할 수 있습니다(예: 도구 메뉴).

Jetpack XR용 ARCore 세션 만들기

Jetpack XR 세션용 ARCore를 통해 손 정보에 액세스합니다. Session를 가져오려면 세션 수명 주기 이해하기를 참고하세요.

손 데이터 검색

손 데이터는 왼손과 오른손에 대해 별도로 사용할 수 있습니다. 각 손의 state를 사용하여 각 관절의 포즈 위치에 액세스합니다.

Hand.left(session).state.collect { // or Hand.right(session)
  // Hand state has been updated.
  // Use the state of hand joints to update an entity's position.
}

손에는 다음과 같은 속성이 있습니다.

isActive: 손이 추적되고 있는지 여부입니다.
handJoints: 손 관절과 포즈의 매핑입니다. 손 관절 포즈는 OpenXR 표준에 의해 지정됩니다.

앱에서 손 데이터 사용

사용자의 손 관절 위치는 사용자의 손에 3D 객체를 고정하는 데 사용할 수 있습니다(예: 왼쪽 손바닥에 모델을 연결).

Hand.left(session)?.state?.collect { leftHandState ->
  val palmPose = leftHandState.handJoints[HandJointType.PALM] ?: return@collect

  // the down direction points in the same direction as the palm
  val angle = Vector3.angleBetween(palmPose.rotation * Vector3.Down, Vector3.Up)
  palmEntity.setHidden(angle > Math.toRadians(40.0))

  val transformedPose =
    session.perceptionSpace.transformPoseTo(
      palmPose,
      session.activitySpace,
    )
  val newPosition = transformedPose.translation + transformedPose.down*0.05f
  palmEntity.setPose(Pose(newPosition, transformedPose.rotation))
}

또는 오른손 검지 끝에 모델을 첨부하려면 다음 단계를 따르세요.

Hand.right(session)?.state?.collect { rightHandState ->
  val tipPose = rightHandState.handJoints[HandJointType.INDEX_TIP] ?: return@collect

  // the forward direction points towards the finger tip.
  val angle = Vector3.angleBetween(tipPose.rotation * Vector3.Forward, Vector3.Up)
  indexEntity.setHidden(angle > Math.toRadians(40.0))

  val transformedPose =
    session.perceptionSpace.transformPoseTo(
      tipPose,
      session.activitySpace,
    )
  val position = transformedPose.translation + transformedPose.forward * 0.03f
  val rotation = Quaternion.fromLookTowards(transformedPose.up, Vector3.Up)
  indexEntity.setPose(Pose(position, rotation))
}