เฟรมเวิร์กการควบคุมคอมพิวเตอร์ Android ช่วยให้ผู้ช่วย AI ที่ OEM โหลดไว้ล่วงหน้าสามารถ ทำงานอัตโนมัติในแอปที่เลือกซึ่งติดตั้งในอุปกรณ์ ("แอปเป้าหมาย") คู่มือนี้จะให้ภาพรวมของเฟรมเวิร์กการควบคุมคอมพิวเตอร์และข้อควรพิจารณาทางเทคนิคสำหรับแอปเป้าหมายและแอปผู้ช่วย AI
ภาพรวมการควบคุมคอมพิวเตอร์ Android
ความสามารถในการควบคุมคอมพิวเตอร์ของ Android ช่วยให้แอปผู้ช่วยที่ OEM โหลดไว้ล่วงหน้าสามารถ เปิดและโต้ตอบกับแอปเป้าหมายที่ติดตั้งไว้ในเครื่องในสภาพแวดล้อมที่ควบคุมได้
เมื่อเฟรมเวิร์กการควบคุมคอมพิวเตอร์พยายามโต้ตอบกับแอปเป้าหมายเป็นครั้งแรก ระบบจะแสดงกล่องโต้ตอบการให้สิทธิ์โดยอัตโนมัติ เมื่อได้รับสิทธิ์แล้ว แอปผู้ช่วยจะทำงานแบบหลายขั้นตอนใน แอปเป้าหมายได้ ซึ่งจะช่วยให้แอปผู้ช่วยทำตามคำขอของผู้ใช้โดยใช้ แอปเป้าหมายได้
ตัวอย่าง Use Case
หากต้องการทำการทำงานอัตโนมัติในชุดแอปเป้าหมายที่ติดตั้งในอุปกรณ์ ผู้ช่วยที่ OEM โหลดไว้ล่วงหน้าจะสามารถจับภาพหน้าจอของแอปเหล่านี้ซ้ำๆ ทำการตัดสินใจอย่างชาญฉลาดเพื่ออนุมานการดำเนินการ และใช้การดำเนินการเพื่อควบคุม UI ของแอป การโต้ตอบกับแอปเป้าหมายจะอิงตามข้อมูลผลิตภัณฑ์ในพื้นที่และบริบทในเครื่องที่มีอยู่
แอปผู้ช่วยอาจได้รับการออกแบบมาเพื่อทำงานหลายขั้นตอนในนามของผู้ใช้ ตัวอย่างวิธีที่ผู้ใช้อาจใช้แอปดังกล่าวมีดังนี้
- การสั่งอาหาร: "สั่งชาแก้วเล็กให้ไปรับที่คาเฟ่โปรดของฉัน"
- บริการร่วมเดินทาง: "จองรถไปสนามบิน"
- การนำส่งของชำ: "สั่งซื้อของชำที่ฉันซื้อเมื่อสัปดาห์ที่แล้วอีกครั้ง"
วิธีการทำงานของการควบคุมคอมพิวเตอร์
เฟรมเวิร์กการควบคุมคอมพิวเตอร์ช่วยให้ผู้ช่วยที่ OEM โหลดไว้ล่วงหน้าสามารถเปิดแอปเป้าหมาย ในจอแสดงผลเสมือนพื้นหลังที่ปลอดภัยและใช้งานแอปเหล่านั้นได้
โดยทั่วไปขั้นตอนการทำงานมีดังนี้
- ขอเซสชัน: แอปผู้ช่วยต้องมีสิทธิ์
ACCESS_COMPUTER_CONTROLที่มีสิทธิ์ แอปสามารถขอเซสชันการควบคุมคอมพิวเตอร์ สำหรับชุดแอปเป้าหมายสูงสุด 6 แอปเพื่อการดำเนินการตามลำดับ ระบบอนุญาตให้มีเซสชันที่ใช้งานอยู่ได้ครั้งละ 1 เซสชัน - การให้สิทธิ์จากผู้ใช้: เมื่อแอปผู้ช่วยขอเซสชัน เฟรมเวิร์กจะทริกเกอร์กล่องโต้ตอบของระบบโดยนัย กล่องโต้ตอบนี้ขอสิทธิ์จากผู้ใช้เพื่ออนุญาตให้ผู้ช่วยทำงานอัตโนมัติในแอปเป้าหมายที่ขอ
- ทำให้เป็นอัตโนมัติ: หากผู้ใช้ให้สิทธิ์ ระบบจะเรียกใช้แอปเป้าหมายในอุปกรณ์เสมือนจริง ซึ่งคล้ายกับการแคสต์ แอปผู้ช่วยใช้เซสชันเพื่อเปิดแอปเป้าหมาย จับภาพเนื้อหาบนหน้าจอ และจำลองข้อมูลจากผู้ใช้ เหตุการณ์ต่างๆ รวมถึงการแตะ การปัด และการป้อนข้อความ เพื่อดำเนินการตามคำขอของผู้ใช้
- ส่งต่อการควบคุม: ผู้ช่วยสามารถส่งต่อการควบคุมให้ผู้ใช้เพื่อ การแทรกแซงด้วยตนเอง หรือให้ผู้ใช้ขอรับการควบคุมด้วยตนเอง เช่น ใช้สำหรับการยืนยันธุรกรรมหรือเนื้อหาที่ต้องมีการรับทราบ
เป็นแอปเป้าหมายสำหรับการควบคุมคอมพิวเตอร์
คุณไม่จำเป็นต้องทำการเปลี่ยนแปลงเพิ่มเติมใดๆ เพื่อผสานรวมแอปเป้าหมายกับ การทำงานอัตโนมัติของงานผู้ช่วยผ่านเฟรมเวิร์กการควบคุมคอมพิวเตอร์ ตราบใดที่ผู้ใช้ให้สิทธิ์ แอปผู้ช่วยจะกำหนดวิธีไปยังส่วนต่างๆ โดย การวิเคราะห์ภาพหน้าจอของ UI ของแอปเป้าหมาย แอปเป้าหมายควรเป็นไปตามแนวทางปฏิบัติแนะนำที่มีอยู่ เช่น การออกแบบแบบปรับอัตโนมัติและการจัดการวงจร
ผู้ช่วย AI อาจเลือกจำกัดชุดแอปเป้าหมายที่ทำให้เป็นอัตโนมัติ
เกี่ยวกับการสร้างแอปผู้ช่วย AI
แอปผู้ช่วย AI ที่ OEM โหลดไว้ล่วงหน้าสามารถผสานรวมกับฟีเจอร์การควบคุมคอมพิวเตอร์ได้ การผสานรวมจะเป็นไปตามขั้นตอนที่ระบุไว้ในส่วน "วิธีการทำงานของการควบคุมคอมพิวเตอร์"