מסגרת Android Computer Control מאפשרת לעוזרים אישיים מבוססי-AI שנטענו מראש על ידי יצרן הציוד המקורי לבצע אוטומציה של משימות באפליקציות נבחרות שמותקנות במכשיר ('אפליקציות יעד'). במדריך הזה מופיעה סקירה כללית של מסגרת Computer Control ושיקולים טכניים לגבי אפליקציות יעד ואפליקציות של עוזר AI.
סקירה כללית על שליטה במחשב באמצעות Android
היכולות של Android לשליטה במחשב מאפשרות לאפליקציית עזרה שנטענה מראש על ידי יצרן ציוד מקורי (OEM) להפעיל אפליקציות יעד שהותקנו באופן מקומי ולקיים איתן אינטראקציה בסביבה מבוקרת.
כשמסגרת Computer Control מנסה ליצור אינטראקציה עם אפליקציית יעד בפעם הראשונה, המערכת מציגה באופן אוטומטי תיבת דו-שיח של הרשאות. אחרי קבלת ההרשאה, אפליקציית העוזר יכולה לבצע משימות מרובות שלבים באפליקציית היעד, וכך למלא את בקשת המשתמש באמצעות אפליקציית היעד.
תרחישים לדוגמה
כדי לבצע אוטומציה של משימות במערך של אפליקציות יעד שמותקנות במכשיר, עוזר אישי שנטען מראש על ידי OEM (יצרן ציוד מקורי) יכול לצלם צילומי מסך של האפליקציות האלה באופן איטרטיבי, לקבל החלטות חכמות כדי להסיק פעולות ולהחיל פעולות כדי לשלוט בממשק המשתמש של האפליקציות. האינטראקציות עם אפליקציות היעד מבוססות על הנתונים המקומיים וההקשר הקיימים שלהן.
אפליקציית עוזרת וירטואלית עשויה להיות מיועדת להשלמת משימות מרובות שלבים בשם המשתמשים. דוגמאות לשימוש של משתמשים באפליקציות כאלה:
- הזמנת אוכל: "תזמין לי תה קטן באיסוף עצמי בבית הקפה האהוב עליי".
- שיתוף נסיעות: "להזמין נסיעה לשדה התעופה".
- משלוח מצרכים: "תזמין מחדש את המצרכים שקניתי בשבוע שעבר".
איך פועל השליטה במחשב
מסגרת Computer Control מאפשרת לעוזרים וירטואליים שנטענו מראש על ידי יצרן הציוד המקורי להפעיל אפליקציות יעד בתצוגה וירטואלית מאובטחת ברקע ולתפעל אותן.
התהליך האופייני הוא כזה:
- בקשת סשן: לאפליקציית עוזר צריכה להיות הרשאת
ACCESS_COMPUTER_CONTROLמיוחדת. האפליקציה יכולה לבקש הפעלה של עד שש אפליקציות יעד ברצף, במסגרת סשן של שליטה במחשב. המערכת מאפשרת סשן פעיל אחד בכל זמן נתון. - קבלת הרשאת משתמש: כשמבקשים סשן באפליקציית עוזר, המסגרת מפעילה באופן מרומז תיבת דו-שיח של המערכת. בתיבת הדו-שיח הזו מוצגת בקשת הרשאה מהמשתמש לאפשר ל-Assistant לבצע אוטומציה באפליקציות היעד המבוקשות.
- אוטומציה: אם המשתמש מעניק הרשאה, המערכת מפעילה אפליקציות יעד במכשיר וירטואלי, בדומה להפעלת Cast. אפליקציית העוזר הדיגיטלי משתמשת בסשן כדי להפעיל את אפליקציית היעד, לצלם את תוכן המסך ולדמות אירועי קלט של משתמשים, כולל הקשות, החלקות והזנת טקסט, כדי למלא את בקשת המשתמש.
- העברת השליטה: העוזר הדיגיטלי יכול להעביר את השליטה למשתמש כדי לאפשר לו להתערב באופן ידני, או לאפשר למשתמש לבקש באופן ידני לקבל את השליטה. לדוגמה, כדאי להשתמש בזה לאישור עסקה או לתוכן שדורש אישור.
הפיכת אפליקציה לאפליקציית יעד לשליטה במחשב
אין צורך לבצע שינויים נוספים כדי לשלב אפליקציית יעד עם אוטומציה של משימות ב-Assistant באמצעות מסגרת Computer Control. כל עוד המשתמש העניק הרשאה, אפליקציית העזרה קובעת איך לנווט על ידי ניתוח צילומי מסך של ממשק המשתמש של אפליקציית היעד. אפליקציית היעד צריכה לפעול לפי שיטות מומלצות קיימות, כמו עיצוב רספונסיבי וניהול מחזור החיים.
יכול להיות שעוזר מבוסס-AI יבחר להגביל את קבוצת אפליקציות היעד שהוא מבצע בהן אוטומציה.
מידע על יצירת אפליקציה של עוזר דיגיטלי מבוסס-AI
אפליקציית עוזר מבוסס-AI שנטענה מראש על ידי יצרן ציוד מקורי (OEM) יכולה להשתלב עם 'שליטה במחשב'. השילוב יפעל לפי התהליך שמתואר בקטע 'איך פועל השליטה במחשב'.