Android Computer Control फ़्रेमवर्क की मदद से, ओईएम के पहले से लोड किए गए एआई असिस्टेंट, डिवाइस पर इंस्टॉल किए गए चुने गए ऐप्लिकेशन ("टारगेट ऐप्लिकेशन") पर टास्क ऑटोमेशन की सुविधा उपलब्ध करा सकते हैं. इस गाइड में, कंप्यूटर कंट्रोल फ़्रेमवर्क के बारे में खास जानकारी दी गई है. साथ ही, टारगेट ऐप्लिकेशन और एआई असिस्टेंट ऐप्लिकेशन के लिए तकनीकी पहलुओं के बारे में बताया गया है.
Android डिवाइस से कंप्यूटर को कंट्रोल करने की सुविधा के बारे में खास जानकारी
Android में कंप्यूटर कंट्रोल की सुविधाएं उपलब्ध हैं. इनकी मदद से, OEM के पहले से लोड किए गए Assistant ऐप्लिकेशन को, स्थानीय तौर पर इंस्टॉल किए गए टारगेट ऐप्लिकेशन को लॉन्च करने और उनके साथ इंटरैक्ट करने की अनुमति मिलती है. हालांकि, ऐसा एक कंट्रोल किए गए एनवायरमेंट में होता है.
जब कंप्यूटर कंट्रोल फ़्रेमवर्क पहली बार किसी टारगेट ऐप्लिकेशन के साथ इंटरैक्ट करने की कोशिश करता है, तो सिस्टम अनुमति मांगने वाला डायलॉग अपने-आप दिखाता है. अनुमति मिलने के बाद, Assistant ऐप्लिकेशन, टारगेट ऐप्लिकेशन पर कई चरणों वाले टास्क पूरे कर सकता है. इससे Assistant ऐप्लिकेशन, टारगेट ऐप्लिकेशन का इस्तेमाल करके उपयोगकर्ता के अनुरोध को पूरा कर पाता है.
इस्तेमाल के उदाहरण
डिवाइस पर इंस्टॉल किए गए टारगेट ऐप्लिकेशन के सेट पर टास्क ऑटोमेशन की सुविधा इस्तेमाल करने के लिए, OEM की ओर से पहले से लोड की गई Assistant, इन ऐप्लिकेशन के स्क्रीनशॉट बार-बार कैप्चर कर सकती है. साथ ही, कार्रवाइयों का अनुमान लगाने के लिए बेहतर फ़ैसले ले सकती है. इसके अलावा, ऐप्लिकेशन के यूज़र इंटरफ़ेस (यूआई) को कंट्रोल करने के लिए कार्रवाइयां लागू कर सकती है. टारगेट किए गए ऐप्लिकेशन के साथ इंटरैक्शन, उनके मौजूदा स्थानीय डेटा और कॉन्टेक्स्ट पर आधारित होते हैं.
असिस्टेंट ऐप्लिकेशन को उपयोगकर्ताओं की ओर से कई चरणों वाले टास्क पूरे करने के लिए डिज़ाइन किया जा सकता है. उपयोगकर्ता इस तरह के ऐप्लिकेशन का इस्तेमाल कैसे कर सकते हैं, इसके कुछ उदाहरण यहां दिए गए हैं:
- खाना ऑर्डर करना: "मेरे पसंदीदा कैफ़े से पिकअप करने के लिए, एक छोटी चाय ऑर्डर करो."
- राइड शेयरिंग: "हवाई अड्डे के लिए टैक्सी बुक करो."
- किराना डिलीवरी: "पिछले हफ़्ते खरीदे गए किराने के सामान को फिर से ऑर्डर करो."
कंप्यूटर कंट्रोल की सुविधा कैसे काम करती है
कंप्यूटर कंट्रोल फ़्रेमवर्क की मदद से, OEM के पहले से लोड किए गए असिस्टेंट, टारगेट ऐप्लिकेशन को सुरक्षित बैकग्राउंड वर्चुअल डिसप्ले में लॉन्च कर सकते हैं और उन्हें ऑपरेट कर सकते हैं.
सामान्य फ़्लो इस तरह होता है:
- सेशन का अनुरोध करना: किसी असिस्टेंट ऐप्लिकेशन के पास,
ACCESS_COMPUTER_CONTROLकी खास अनुमति होनी चाहिए. ऐप्लिकेशन, क्रम से टास्क पूरे करने के लिए, छह टारगेट ऐप्लिकेशन के सेट के लिए कंप्यूटर कंट्रोल सेशन का अनुरोध कर सकता है. सिस्टम, एक समय में एक ही सेशन चालू रखने की अनुमति देता है. - उपयोगकर्ता की अनुमति पाना: जब कोई असिस्टेंट ऐप्लिकेशन सेशन का अनुरोध करता है, तो फ़्रेमवर्क सिस्टम डायलॉग को अपने-आप ट्रिगर कर देता है. इस डायलॉग में, उपयोगकर्ता से अनुमति मांगी जाती है. इससे उपयोगकर्ता, Assistant को अनुरोध किए गए टारगेट ऐप्लिकेशन को ऑटोमेट करने की अनुमति दे सकता है.
- ऑटोमेट करें: अगर उपयोगकर्ता अनुमति देता है, तो सिस्टम टारगेट किए गए ऐप्लिकेशन को वर्चुअल डिवाइस पर चलाता है. यह कास्टिंग की तरह काम करता है. Assistant ऐप्लिकेशन, सेशन का इस्तेमाल इन कामों के लिए करता है: टारगेट ऐप्लिकेशन लॉन्च करना, स्क्रीन पर मौजूद कॉन्टेंट कैप्चर करना, और उपयोगकर्ता के इनपुट इवेंट को सिम्युलेट करना. जैसे, टैप, स्वाइप, और टेक्स्ट इनपुट. इससे उपयोगकर्ता की अनुरोध को पूरा किया जा सकता है.
- कंट्रोल सौंपना: Assistant, उपयोगकर्ता को कंट्रोल सौंप सकती है, ताकि वह मैन्युअल तरीके से कार्रवाई कर सके. इसके अलावा, उपयोगकर्ता को मैन्युअल तरीके से कंट्रोल सौंपने का अनुरोध करने की अनुमति भी दी जा सकती है. उदाहरण के लिए, यह लेन-देन की पुष्टि करने या ऐसे कॉन्टेंट के लिए काम का है जिनके लिए सूचनाएं पाना ज़रूरी है.
कंप्यूटर कंट्रोल के लिए टारगेट ऐप्लिकेशन बनना
कंप्यूटर कंट्रोल फ़्रेमवर्क के ज़रिए, टारगेट ऐप्लिकेशन को Assistant के टास्क ऑटोमेशन के साथ इंटिग्रेट करने के लिए, आपको कोई और बदलाव करने की ज़रूरत नहीं है. जब तक उपयोगकर्ता ने अनुमति दी है, तब तक सहायक ऐप्लिकेशन यह तय करता है कि टारगेट ऐप्लिकेशन के यूज़र इंटरफ़ेस (यूआई) के स्क्रीनशॉट का विश्लेषण करके, कैसे नेविगेट किया जाए. आपके टारगेट ऐप्लिकेशन को, अडैप्टिव डिज़ाइन और लाइफ़साइकल मैनेजमेंट जैसे मौजूदा सबसे सही तरीकों का पालन करना चाहिए.
एआई असिस्टेंट, टारगेट किए गए ऐप्लिकेशन के उस सेट को सीमित कर सकता है जिसे वह अपने-आप मैनेज करता है.
एआई असिस्टेंट ऐप्लिकेशन बनाने के बारे में जानकारी
OEM के पहले से लोड किए गए एआई असिस्टेंट ऐप्लिकेशन को कंप्यूटर कंट्रोल के साथ इंटिग्रेट किया जा सकता है. यह इंटिग्रेशन, "कंप्यूटर कंट्रोल की सुविधा कैसे काम करती है" सेक्शन में दिए गए तरीके के मुताबिक काम करेगा.