چارچوب کنترل کامپیوتر اندروید به دستیاران هوش مصنوعی از پیش بارگذاری شده توسط تولیدکنندگان اصلی تجهیزات (OEM) اجازه میدهد تا اتوماسیون وظایف را روی برنامههای منتخب نصب شده روی دستگاه ("برنامههای هدف") انجام دهند. این راهنما مروری بر چارچوب کنترل کامپیوتر و ملاحظات فنی برای برنامههای هدف و برنامههای دستیار هوش مصنوعی ارائه میدهد.
بررسی اجمالی کنترل کامپیوتر از طریق اندروید
قابلیتهای کنترل کامپیوتر اندروید به یک برنامه دستیار از پیش بارگذاری شده توسط OEM اجازه میدهد تا برنامههای هدف نصب شده محلی را در یک محیط کنترل شده اجرا و با آنها تعامل داشته باشد.
وقتی چارچوب کنترل کامپیوتر برای اولین بار سعی در تعامل با یک برنامه هدف دارد، سیستم به طور خودکار یک پنجره مجوز نمایش میدهد. پس از دریافت مجوز، برنامه دستیار میتواند وظایف چند مرحلهای را در برنامه هدف انجام دهد و به برنامه دستیار اجازه میدهد تا درخواست کاربر را با استفاده از برنامه هدف انجام دهد.
موارد استفاده مثال
برای انجام خودکارسازی وظایف روی مجموعهای از برنامههای هدف نصبشده روی دستگاه، یک دستیار از پیش بارگذاریشده توسط تولیدکننده اصلی (OEM) میتواند به صورت تکراری از این برنامهها اسکرینشات بگیرد، تصمیمات هوشمندانهای برای استنباط اقدامات بگیرد و اقداماتی را برای کنترل رابط کاربری برنامهها اعمال کند. تعاملات با برنامههای هدف بر اساس دادهها و زمینه محلی موجود آنها انجام میشود.
یک برنامه دستیار ممکن است برای انجام وظایف چند مرحلهای از طرف کاربران طراحی شود. نمونههایی از نحوه استفاده کاربران از چنین برنامههایی شامل موارد زیر است:
- سفارش غذا : «یک چای کوچک برای تحویل گرفتن از کافه مورد علاقهام سفارش دهید.»
- اشتراکگذاری وسیله نقلیه : «یک وسیله نقلیه برای رفتن به فرودگاه رزرو کنید.»
- تحویل مواد غذایی : «مواد غذایی که هفتهی پیش خریدم را دوباره سفارش بده.»
نحوه عملکرد کنترل کامپیوتری
چارچوب کنترل کامپیوتر، دستیارهای از پیش بارگذاری شده OEM را قادر میسازد تا برنامههای هدف را در یک صفحه نمایش مجازی پس زمینه امن اجرا کرده و آنها را اداره کنند.
جریان معمول به شرح زیر است:
- درخواست جلسه : یک برنامه دستیار باید مجوز
ACCESS_COMPUTER_CONTROLممتاز را داشته باشد. برنامه میتواند برای مجموعهای از حداکثر شش برنامه هدف برای اجرای متوالی، یک جلسه کنترل کامپیوتر درخواست کند. سیستم در یک زمان معین، یک جلسه فعال را مجاز میداند. - دریافت مجوز کاربر : وقتی یک برنامه دستیار درخواست جلسه میکند، چارچوب به طور ضمنی یک کادر محاورهای سیستم را فعال میکند. این کادر محاورهای از کاربر اجازه میخواهد تا به دستیار اجازه دهد برنامههای هدف درخواستی را خودکار کند.
- خودکارسازی : اگر کاربر اجازه دهد، سیستم برنامههای هدف را روی یک دستگاه مجازی اجرا میکند، مشابه فرآیند ارسال و دریافت. برنامه دستیار از جلسه برای راهاندازی برنامه هدف، ضبط محتوای صفحه و شبیهسازی رویدادهای ورودی کاربر از جمله ضربه زدن، کشیدن انگشت و وارد کردن متن استفاده میکند تا درخواست کاربر را انجام دهد.
- کنترل تحویل : دستیار میتواند کنترل را برای مداخله دستی به کاربر واگذار کند یا به کاربر اجازه دهد تا به صورت دستی درخواست کنترل را بدهد. به عنوان مثال، این برای تأیید تراکنش یا محتوایی که نیاز به تأیید دارد مفید است.
به یک برنامه هدف برای کنترل کامپیوتر تبدیل شوید
برای ادغام یک برنامه هدف با اتوماسیون وظایف دستیار از طریق چارچوب کنترل کامپیوتر، نیازی به ایجاد هیچ تغییر اضافی ندارید. تا زمانی که کاربر اجازه داده باشد، برنامه دستیار با تجزیه و تحلیل تصاویر رابط کاربری برنامه هدف، نحوه پیمایش را تعیین میکند. برنامه هدف شما باید از بهترین شیوههای موجود مانند طراحی تطبیقی و مدیریت چرخه عمر پیروی کند.
یک دستیار هوش مصنوعی میتواند مجموعه برنامههای هدفی را که خودکار میکند، محدود کند.
درباره ایجاد یک برنامه دستیار هوش مصنوعی
برنامه دستیار هوش مصنوعی از پیش نصب شده روی OEM میتواند با Computer Control ادغام شود. این ادغام از جریان مستند شده در «نحوه عملکرد Computer Control» پیروی خواهد کرد. بخش