Работа руками с помощью ARCore для Jetpack XR

ARCore для Jetpack XR может предоставлять информацию об обнаруженных руках пользователя, а также информацию о позе рук и связанных с ними суставов. Эти данные руки можно использовать для прикрепления объектов и моделей к рукам пользователя, например, меню инструментов:

Создайте сеанс ARCore для Jetpack XR.

Получите доступ к информации о руках через сеанс ARCore для Jetpack XR. Чтобы получить Session см. раздел «Понимание жизненного цикла сеанса» .

Получить данные руки

Данные о руке доступны отдельно для левой и правой руки. Используйте state каждой руки, чтобы получить доступ к позам для каждого сустава:

Hand.left(session).state.collect { // or Hand.right(session)
  // Hand state has been updated.
  // Use the state of hand joints to update an entity's position.
}

Руки обладают следующими свойствами:

  • isActive : отслеживается ли рука.

  • handJoints : карта суставов рук в позах. Позы суставов рук определены стандартами OpenXR .

Используйте данные рук в своем приложении

Положения суставов рук пользователя можно использовать для привязки 3D-объектов к рукам пользователя, например, для прикрепления модели к левой ладони:

Hand.left(session)?.state?.collect { leftHandState ->
  val palmPose = leftHandState.handJoints[HandJointType.PALM] ?: return@collect

  // the down direction points in the same direction as the palm
  val angle = Vector3.angleBetween(palmPose.rotation * Vector3.Down, Vector3.Up)
  palmEntity.setHidden(angle > Math.toRadians(40.0))

  val transformedPose =
    session.perceptionSpace.transformPoseTo(
      palmPose,
      session.activitySpace,
    )
  val newPosition = transformedPose.translation + transformedPose.down*0.05f
  palmEntity.setPose(Pose(newPosition, transformedPose.rotation))
}

Или чтобы прикрепить модель к кончику указательного пальца правой руки:

Hand.right(session)?.state?.collect { rightHandState ->
  val tipPose = rightHandState.handJoints[HandJointType.INDEX_TIP] ?: return@collect

  // the forward direction points towards the finger tip.
  val angle = Vector3.angleBetween(tipPose.rotation * Vector3.Forward, Vector3.Up)
  indexEntity.setHidden(angle > Math.toRadians(40.0))

  val transformedPose =
    session.perceptionSpace.transformPoseTo(
      tipPose,
      session.activitySpace,
    )
  val position = transformedPose.translation + transformedPose.forward * 0.03f
  val rotation = Quaternion.fromLookTowards(transformedPose.up, Vector3.Up)
  indexEntity.setPose(Pose(position, rotation))
}