Jetpack XR के लिए ARCore की मदद से, अपने ऐप्लिकेशन में फ़ेस ट्रैकिंग की सुविधा शामिल करना

जब उपयोगकर्ता चेहरे को ट्रैक करने की अनुमति देता है, तब आपका ऐप्लिकेशन ARCore for Jetpack XR की मदद से, चेहरे के आकार की जानकारी पा सकता है. चेहरे के आकार की जानकारी से, आपका ऐप्लिकेशन उपयोगकर्ता को वर्चुअल दुनिया में दिखा सकता है. उदाहरण के लिए, वर्चुअल चश्मे को आज़माने के लिए.

Jetpack XR के लिए ARCore सेशन बनाना

ARCore for Jetpack XR सेशन के ज़रिए, हेड पोज़ की जानकारी पाना. Session पाने के लिए, सेशन के लाइफ़साइकल को समझना लेख पढ़ें.

सेशन को कॉन्फ़िगर करना

XR सेशन में, फ़ेस ट्रैकिंग की सुविधा डिफ़ॉल्ट रूप से चालू नहीं होती. चेहरे को ट्रैक करने की सुविधा चालू करने के लिए, सेशन को कॉन्फ़िगर करें और FaceTrackingMode.USER मोड सेट करें:

val newConfig = session.config.copy(
    faceTracking = Config.FaceTrackingMode.USER,
)
when (val result = session.configure(newConfig)) {
    is SessionConfigureSuccess -> TODO(/* Success! */)
    is SessionConfigureConfigurationNotSupported ->
        TODO(/* Some combinations of configurations are not valid. Handle this failure case. */)
    else ->
        TODO(/* The session could not be configured. See SessionConfigureResult for possible causes. */)
}

चेहरे का डेटा वापस पाना

उपयोगकर्ता के चेहरे का डेटा वापस पाने के लिए, Face.getUserFace(session) का इस्तेमाल करें. इसमें यह जानकारी शामिल होती है:

  • चेहरे के ब्लेंडशेप की वैल्यू: चेहरे के अलग-अलग एक्सप्रेशन, 68 ब्लेंड शेप वैल्यू का कॉम्बिनेशन होते हैं. हर ब्लेंड शेप वैल्यू, चेहरे की किसी गतिविधि या चेहरे के आकार में बदलाव को दिखाती है. वैल्यू से, इसकी इंटेंसिटी का पता चलता है. यह 0.0 से 1.0 तक होती है. हर तरह के ब्लेंड शेप के बारे में जानने के लिए, चेहरे के ब्लेंडशेप टाइप के बारे में जानकारी लेख पढ़ें.
  • क्षेत्रों के लिए कॉन्फ़िडेंस वैल्यू: चेहरे पर तीन क्षेत्र हैं. कॉन्फ़िडेंस वैल्यू से, दिए गए पोज़ के सटीक होने की संभावना का पता चलता है. यह 0.0 से 1.0 तक होती है. इसमें 1.0 का मतलब सबसे ज़्यादा कॉन्फ़िडेंस होता है.

val face = Face.getUserFace(session) ?: return
face.state.collect { state ->
    if (state.trackingState != TrackingState.TRACKING) return@collect

    val confidence = state.getConfidence(FaceConfidenceRegion.FACE_CONFIDENCE_REGION_LOWER)
    val blendShapeValue = state.blendShapes[FaceBlendShapeType.FACE_BLEND_SHAPE_TYPE_LIPS_TOWARD]
}

चेहरे के ब्लेंडशेप टाइप के बारे में जानकारी

यहां दी गई टेबल में, चेहरे के हर ब्लेंड शेप टाइप की सूची दी गई है:

ऊपरी हिस्से के ब्लेंडशेप

नाम रेफ़रंस इमेज
BROW_LOWERER_L
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
BROW_LOWERER_L = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
BROW_LOWERER_L = 1.0
BROW_LOWERER_R
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
BROW_LOWERER_R = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
BROW_LOWERER_R = 1.0
EYES_CLOSED_L
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
EYES_CLOSED_L = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
EYES_CLOSED_L = 1.0
EYES_CLOSED_R
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
EYES_CLOSED_R = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
EYES_CLOSED_R = 1.0
EYES_LOOK_DOWN_L
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
EYES_LOOK_DOWN_L = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
EYES_LOOK_DOWN_L = 1.0
EYES_LOOK_DOWN_R
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
EYES_LOOK_DOWN_R = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
EYES_LOOK_DOWN_R = 1.0
EYES_LOOK_LEFT_L
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
EYES_LOOK_LEFT_L = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
EYES_LOOK_LEFT_L = 1.0
EYES_LOOK_LEFT_R
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
EYES_LOOK_LEFT_R = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
EYES_LOOK_LEFT_R = 1.0
EYES_LOOK_RIGHT_L
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
EYES_LOOK_RIGHT_L = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
EYES_LOOK_RIGHT_L = 1.0
EYES_LOOK_RIGHT_R
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
EYES_LOOK_RIGHT_R = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
EYES_LOOK_RIGHT_R = 1.0
EYES_LOOK_UP_L
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
EYES_LOOK_UP_L = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
EYES_LOOK_UP_L = 1.0
EYES_LOOK_UP_R
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
EYES_LOOK_UP_R = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
EYES_LOOK_UP_R = 1.0
INNER_BROW_RAISER_L
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
INNER_BROW_RAISER_L = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
INNER_BROW_RAISER_L = 1.0
INNER_BROW_RAISER_R
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
INNER_BROW_RAISER_R = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
INNER_BROW_RAISER_R = 1.0
LID_TIGHTENER_L
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
LID_TIGHTENER_L = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
LID_TIGHTENER_L = 1.0
LID_TIGHTENER_R
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
LID_TIGHTENER_R = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
LID_TIGHTENER_R = 1.0
OUTER_BROW_RAISER_L
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
OUTER_BROW_RAISER_L = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
OUTER_BROW_RAISER_L = 1.0
OUTER_BROW_RAISER_R
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
OUTER_BROW_RAISER_R = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
OUTER_BROW_RAISER_R = 1.0
UPPER_LID_RAISER_L
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
UPPER_LID_RAISER_L = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
UPPER_LID_RAISER_L = 1.0
UPPER_LID_RAISER_R
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
UPPER_LID_RAISER_R = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
UPPER_LID_RAISER_R = 1.0

निचले हिस्से के ब्लेंडशेप

नाम रेफ़रंस इमेज
CHEEK_PUFF_L
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
CHEEK_PUFF_L = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
CHEEK_PUFF_L = 1.0
CHEEK_PUFF_R
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
CHEEK_PUFF_R = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
CHEEK_PUFF_R = 1.0
CHEEK_RAISER_L
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
CHEEK_RAISER_L = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
CHEEK_RAISER_L = 1.0
CHEEK_RAISER_R
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
CHEEK_RAISER_R = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
CHEEK_RAISER_R = 1.0
CHEEK_SUCK_L
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
CHEEK_SUCK_L = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
CHEEK_SUCK_L = 1.0
CHEEK_SUCK_R
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
CHEEK_SUCK_R = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
CHEEK_SUCK_R = 1.0
CHIN_RAISER_B
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
CHIN_RAISER_B = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
CHIN_RAISER_B = 1.0
CHIN_RAISER_T
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
CHIN_RAISER_T = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
CHIN_RAISER_T = 1.0
DIMPLER_L
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
DIMPLER_L = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
DIMPLER_L = 1.0
DIMPLER_R
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
DIMPLER_R = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
DIMPLER_R = 1.0
JAW_DROP
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
JAW_DROP = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
JAW_DROP = 1.0
JAW_SIDEWAYS_LEFT
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
JAW_SIDEWAYS_LEFT = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
JAW_SIDEWAYS_LEFT = 1.0
JAW_SIDEWAYS_RIGHT
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
JAW_SIDEWAYS_RIGHT = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
JAW_SIDEWAYS_RIGHT = 1.0
JAW_THRUST
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
JAW_THRUST = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
JAW_THRUST = 1.0
LIP_CORNER_DEPRESSOR_L
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
LIP_CORNER_DEPRESSOR_L = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
LIP_CORNER_DEPRESSOR_L = 1.0
LIP_CORNER_DEPRESSOR_R
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
LIP_CORNER_DEPRESSOR_R = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
LIP_CORNER_DEPRESSOR_R = 1.0
LIP_CORNER_PULLER_L
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
LIP_CORNER_PULLER_L = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
LIP_CORNER_PULLER_L = 1.0
LIP_CORNER_PULLER_R
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
LIP_CORNER_PULLER_R = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
LIP_CORNER_PULLER_R = 1.0
LIP_FUNNELER_LB
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
LIP_FUNNELER_LB = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
LIP_FUNNELER_LB = 1.0
LIP_FUNNELER_LT
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
LIP_FUNNELER_LT = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
LIP_FUNNELER_LT = 1.0
LIP_FUNNELER_RB
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
LIP_FUNNELER_RB = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
LIP_FUNNELER_RB = 1.0
LIP_FUNNELER_RT
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
LIP_FUNNELER_RT = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
LIP_FUNNELER_RT = 1.0
LIP_PRESSOR_L
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
LIP_PRESSOR_L = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
LIP_PRESSOR_L = 1.0
LIP_PRESSOR_R
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
LIP_PRESSOR_R = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
LIP_PRESSOR_R = 1.0
LIP_PUCKER_L
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
LIP_PUCKER_L = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
LIP_PUCKER_L = 1.0
LIP_PUCKER_R
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
LIP_PUCKER_R = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
LIP_PUCKER_R = 1.0
LIP_STRETCHER_L
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
LIP_STRETCHER_L = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
LIP_STRETCHER_L = 1.0
LIP_STRETCHER_R
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
LIP_STRETCHER_R = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
LIP_STRETCHER_R = 1.0
LIP_SUCK_LB
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
LIP_SUCK_LB = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
LIP_SUCK_LB = 1.0
LIP_SUCK_LT
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
LIP_SUCK_LT = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
LIP_SUCK_LT = 1.0
LIP_SUCK_RB
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
LIP_SUCK_RB = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
LIP_SUCK_RB = 1.0
LIP_SUCK_RT
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
LIP_SUCK_RT = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
LIP_SUCK_RT = 1.0
LIP_TIGHTENER_L
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
LIP_TIGHTENER_L = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
LIP_TIGHTENER_L = 1.0
LIP_TIGHTENER_R
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
LIP_TIGHTENER_R = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
LIP_TIGHTENER_R = 1.0
LIPS_TOWARD
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
LIPS_TOWARD = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
JAW_DROP = 1.0 and LIPS_TOWARD = 1.0
LOWER_LIP_DEPRESSOR_L
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
LOWER_LIP_DEPRESSOR_L = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
LOWER_LIP_DEPRESSOR_L = 1.0
LOWER_LIP_DEPRESSOR_R
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
LOWER_LIP_DEPRESSOR_R = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
LOWER_LIP_DEPRESSOR_R = 1.0
MOUTH_LEFT
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
MOUTH_LEFT = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
MOUTH_LEFT = 1.0
MOUTH_RIGHT
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
MOUTH_RIGHT = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
MOUTH_RIGHT = 1.0
NOSE_WRINKLER_L
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
NOSE_WRINKLER_L = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
NOSE_WRINKLER_L = 1.0
NOSE_WRINKLER_R
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
NOSE_WRINKLER_R = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
NOSE_WRINKLER_R = 1.0
UPPER_LIP_RAISER_L
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
UPPER_LIP_RAISER_L = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
UPPER_LIP_RAISER_L = 1.0
UPPER_LIP_RAISER_R
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
UPPER_LIP_RAISER_R = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
UPPER_LIP_RAISER_R = 1.0
TONGUE_OUT
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
TONGUE_OUT = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
TONGUE_OUT = 1.0
TONGUE_LEFT
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
TONGUE_LEFT = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
TONGUE_LEFT = 1.0
TONGUE_RIGHT
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
TONGUE_RIGHT = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
TONGUE_RIGHT = 1.0
TONGUE_UP
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
TONGUE_UP = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
TONGUE_UP = 1.0
TONGUE_DOWN
सामान्य हाव-भाव वाले चेहरे की रेफ़रंस इमेज
TONGUE_DOWN = 0.0
चेहरा ट्रैक करने की सुविधा के लिए रेफ़रंस इमेज
TONGUE_DOWN = 1.0