Android Bilgisayar Kontrolü çerçevesi, OEM tarafından önceden yüklenmiş yapay zeka asistanlarının cihazda yüklü olan belirli uygulamalarda ("hedef uygulamalar") görev otomasyonu gerçekleştirmesine olanak tanır. Bu kılavuzda, Bilgisayar Kontrolü çerçevesi ve hedef uygulamalar ile yapay zeka asistanı uygulamaları için teknik hususlara genel bir bakış sunulmaktadır.
Android Bilgisayar Kontrolü'ne genel bakış
Android'in Bilgisayar Kontrolü özellikleri, OEM tarafından önceden yüklenmiş bir asistan uygulamasının kontrollü bir ortamda yerel olarak yüklenmiş hedef uygulamaları başlatmasına ve bu uygulamalarla etkileşimde bulunmasına olanak tanır.
Bilgisayar Kontrolü çerçevesi ilk kez bir hedef uygulamayla etkileşime girmeye çalıştığında sistem otomatik olarak bir izin iletişim kutusu gösterir. İzin alındıktan sonra yardımcı uygulama, hedef uygulamada çok adımlı görevler gerçekleştirebilir. Böylece yardımcı uygulama, hedef uygulamayı kullanarak kullanıcının isteğini yerine getirebilir.
Örnek kullanım alanları
Cihazda yüklü bir dizi hedef uygulamada görev otomasyonu gerçekleştirmek için OEM tarafından önceden yüklenmiş bir asistan, bu uygulamaların ekran görüntülerini yinelemeli olarak yakalayabilir, işlemleri tahmin etmek için akıllı kararlar verebilir ve uygulamaların kullanıcı arayüzünü kontrol etmek için işlemleri uygulayabilir. Hedef uygulamalarla etkileşimler, mevcut yerel verilerine ve bağlamlarına göre belirlenir.
Yardımcı uygulamalar, kullanıcılar adına çok adımlı görevleri tamamlamak için tasarlanabilir. Kullanıcıların bu tür uygulamaları kullanabileceği bazı örnekler:
- Yemek siparişi: "En sevdiğim kafeden küçük bir çay siparişi verip teslim al."
- Araç paylaşımı: "Havaalanına gitmek için araç rezervasyonu yap."
- Market teslimatı: "Geçen hafta aldığım market ürünlerini yeniden sipariş et."
Bilgisayar kontrolünün işleyiş şekli
Bilgisayar Kontrolü çerçevesi, OEM tarafından önceden yüklenen asistanların hedef uygulamaları güvenli bir arka plan sanal ekranında başlatmasına ve çalıştırmasına olanak tanır.
Tipik akış şu şekildedir:
- Oturum isteğinde bulunma: Yardımcı uygulamanın ayrıcalıklı
ACCESS_COMPUTER_CONTROLizni olmalıdır. Uygulama, sıralı yürütme için en fazla altı hedef uygulamadan oluşan bir grup için bilgisayar kontrolü oturumu isteyebilir. Sistem, belirli bir zamanda yalnızca bir etkin oturuma izin verir. - Kullanıcı izni alma: Bir asistan uygulaması oturum istediğinde çerçeve, sistem iletişim kutusunu örtülü olarak tetikler. Bu iletişim kutusunda, kullanıcının asistanın istenen hedef uygulamaları otomatik hale getirmesine izin vermesi istenir.
- Otomatikleştirme: Kullanıcı izin verirse sistem, hedef uygulamaları yayınlamaya benzer şekilde sanal bir cihazda çalıştırır. Yardımcı uygulaması, kullanıcının isteğini yerine getirmek için oturumu kullanarak hedef uygulamayı başlatır, ekran içeriğini yakalar ve dokunma, kaydırma ve metin girişi gibi kullanıcı girişi etkinliklerini simüle eder.
- Kontrolü devretme: Asistan, manuel müdahale için kontrolü kullanıcıya devredebilir veya kullanıcının kontrolü manuel olarak devralmasını isteyebilir. Örneğin, bu özellik işlem onayları veya onay gerektiren içerikler için kullanışlıdır.
Bilgisayar Kontrolü için hedef uygulama olma
Bilgisayar Kontrolü çerçevesi aracılığıyla hedef uygulamayı asistan görev otomasyonuyla entegre etmek için ek değişiklik yapmanız gerekmez. Kullanıcı izin verdiği sürece asistan uygulaması, hedef uygulamanın kullanıcı arayüzünün ekran görüntülerini analiz ederek nasıl gezinileceğini belirler. Hedef uygulamanız, uyarlanabilir tasarım ve yaşam döngüsü yönetimi gibi mevcut en iyi uygulamalara uygun olmalıdır.
Yapay zeka asistanı, otomatikleştirdiği hedef uygulamaların kümesini sınırlamayı seçebilir.
Yapay zeka asistanı uygulaması oluşturma hakkında
OEM'ler tarafından önceden yüklenen yapay zeka asistanı uygulaması, Bilgisayar Kontrolü ile entegre edilebilir. Entegrasyon, "Bilgisayar Kontrolü nasıl çalışır?" bölümünde açıklanan akışı izler.