Google Assistant ל-Android

‫Google Assistant מאפשרת שליטה באפליקציות ל-Android באמצעות הקול. המשתמשים יכולים להפעיל אפליקציות, לבצע משימות, לגשת לתוכן ועוד באמצעות Assistant. כדי לעשות זאת, הם יכולים לומר פקודות קוליות כמו "Ok Google, start a run on Example App"‎.

מפתחי Android יכולים להשתמש במסגרת הפיתוח ובכלי הבדיקה של Assistant כדי להפעיל בקלות שליטה קולית מתקדמת באפליקציות שלהם במכשירים עם Android, כמו מכשירים ניידים, מכוניות ומכשירים לבישים.

פעולות באפליקציה

תכונת פעולות באפליקציות של Assistant מאפשרת למשתמשים להפעיל אפליקציות ל-Android ולשלוט בהן באמצעות הקול.





פעולות באפליקציה מאפשרות שליטה קולית מתקדמת יותר, ומאפשרות למשתמשים להפעיל את האפליקציות שלכם ולבצע משימות כמו:

  • הפעלת תכונות מ-Assistant: אפשר לקשר את היכולות של האפליקציה לשאילתות של משתמשים שתואמות לדפוסים סמנטיים מוגדרים מראש או לכוונות מובנות.
  • הצגת פרטי אפליקציה בפלטפורמות של Google: אספקת ווידג'טים ל-Android ל-Assistant כדי להציג תשובות מוטבעות, אישורים פשוטים ואינטראקציות קצרות למשתמשים בלי לשנות את ההקשר.
  • הצעת קיצורי דרך קוליים מ-Assistant: שימוש ב-Assistant כדי להציע למשתמשים משימות באופן יזום בהקשר הנכון, כדי שהם יוכלו לגלות אותן או להפעיל אותן מחדש.

פעולות באפליקציה משתמשות בכוונות מוכללות (BII) כדי להפעיל את התכונות האלה ועוד עשרות תרחישי שימוש בקטגוריות פופולריות של משימות. פרטים על תמיכה בממשקי BII באפליקציות זמינים בסקירה הכללית בנושא פעולות באפליקציות בדף הזה.

פיתוח לכמה מכשירים

אתם יכולים להשתמש בפעולות באפליקציות כדי לספק שליטה קולית בממשקי מכשירים שאינם ניידים. לדוגמה, באמצעות ממשקי BII שעברו אופטימיזציה לתרחישי שימוש אוטומטיים, נהגים יכולים לבצע את המשימות הבאות באמצעות הקול שלהם:

סקירה כללית של פעולות באפליקציה

פעולות באפליקציה מאפשרות למשתמשים לשלוט באפליקציות שלכם באמצעות פקודות קוליות. כדי להשתמש בפעולות באפליקציה, המשתמשים צריכים להביע כוונה באמצעות ביטוי שכולל את שם האפליקציה, למשל "Ok Google, תתחיל אימון באפליקציית הדוגמה". פעולות באפליקציה תומכות בממשקי BII שמדמים את הדרכים הנפוצות שבהן משתמשים מביעים משימות שהם רוצים לבצע או מידע שהם מחפשים, כמו:

  • להתחיל תרגיל, לשלוח הודעות ופעולות אחרות שספציפיות לקטגוריה.
  • פתיחת תכונה באפליקציה.
  • חיפוש מוצרים או תוכן באמצעות חיפוש בתוך האפליקציה.

באמצעות פעולות באפליקציות, Assistant יכול להציע למשתמשים את היכולות הקוליות שלכם כקיצורי דרך, על סמך ההקשר של המשתמש. הפונקציונליות הזו מאפשרת למשתמשים לגלות בקלות את פעולות האפליקציה שלכם ולהפעיל אותן מחדש. אתם יכולים גם להציע את קיצורי הדרך האלה באפליקציה באמצעות SDK לקידום פעולות באפליקציה בתוך האפליקציה.

כדי להפעיל תמיכה בפעולות באפליקציה, צריך להצהיר על תגי <capability> ב-shortcuts.xml. היכולות מאפשרות ל-Google להבין איך אפשר לגשת לפונקציונליות של האפליקציה באופן סמנטי באמצעות BII, ומאפשרות תמיכה קולית בתכונות שלכם. ‫Assistant ממלא את כוונות המשתמשים על ידי הפעלת האפליקציה שלכם כדי להציג את התוכן או הפעולה שצוינו. במקרים מסוימים, אפשר לציין ווידג'ט של Android שיוצג ב-Assistant כדי לספק תשובה לשאילתת המשתמש.

פעולות באפליקציה נתמכות ב-Android 5 (רמת API‏ 21) ומעלה. המשתמשים יכולים לגשת לפעולות באפליקציות רק בטלפונים עם Android. ‫Assistant ב-Android Go לא תומכת בפעולות באפליקציות.

איך פועלות פעולות באפליקציה

פעולות באפליקציה מרחיבות את הפונקציונליות של האפליקציה ל-Assistant, ומאפשרות למשתמשים לגשת לתכונות של האפליקציה באמצעות קול. כשמשתמש מפעיל פעולה באפליקציה, Assistant מתאים את השאילתה ל-BII שהוגדרה במשאב shortcuts.xml, ומפעיל את האפליקציה במסך המבוקש או מציג ווידג'ט של Android.

מצהירים על נתוני BII באפליקציה באמצעות רכיבי יכולת של Android. כשמעלים את האפליקציה באמצעות Google Play Console, Google רושמת את היכולות שהוגדרו באפליקציה ומאפשרת למשתמשים לגשת אליהן מ-Assistant.

לדוגמה, יכול להיות שבאפליקציה שלכם יש אפשרות להתחיל אימון. כשמשתמש אומר "Ok Google, start a run on Example App", השלבים הבאים מתבצעים:

  • העוזר הדיגיטלי מנתח את השאילתה בשפה טבעית, ומתאים את הסמנטיקה של הבקשה לתבנית המוגדרת מראש של BII. במקרה הזה, הביטוי actions.intent.START_EXERCISE BII תואם לשאילתה.
  • ‫Assistant בודקת אם ה-BII נרשם בעבר באפליקציה שלכם ומשתמשת בהגדרה הזו כדי לקבוע איך להפעיל אותה.
  • העוזר הדיגיטלי יוצר intent של Android כדי להפעיל את היעד בתוך האפליקציה של הבקשה, באמצעות המידע שסיפקתם ב-<capability>. ה-Assistant מחלץ את הפרמטרים של השאילתה ומעביר אותם כתוספים ב-intent שנוצר ב-Android.
  • ‫Assistant ממלאת את בקשת המשתמש על ידי הפעלת intent של Android שנוצר. אתם יכולים להגדיר את intent כך שיפעיל מסך באפליקציה או יציג ווידג'ט ב-Assistant.
כשמשתמש מזין שאילתה ל-Google Assistant, ‏ Assistant משיבה על ידי הפעלת יעד באפליקציה עבור המשתמש.
איור 1. תרשים של מסלול משתמש בשאילתת משתמש להפעלת פעולה באפליקציה.

אחרי שהמשתמש משלים משימה, אתם משתמשים בספריית השילוב של קיצורי הדרך של Google כדי להעביר ל-Google קיצור דרך דינמי של הפעולה והפרמטרים שלה, וכך לאפשר ל-Assistant להציע למשתמש את קיצור הדרך בזמנים רלוונטיים מבחינת ההקשר.

השימוש בספרייה הזו מאפשר למשתמשים לגלות את קיצורי הדרך ולהפעיל אותם מחדש בפלטפורמות של Google, כמו Assistant. לדוגמה, יכול להיות שתשלחו קיצור דרך ל-Google לכל יעד שמשתמש מבקש באפליקציית הנסיעות השיתופיות שלכם, כדי שיוכל להפעיל אותו במהירות מאוחר יותר כהצעה לקיצור דרך.

יצירת פעולות באפליקציה

פעולות באפליקציה מבוססות על פונקציונליות קיימת באפליקציית Android. התהליך דומה לכל פעולה באפליקציה שמטמיעים. פעולות באפליקציה מעבירות את המשתמשים ישירות לתוכן או לתכונות ספציפיים באפליקציה באמצעות רכיבי capability שאתם מציינים ב-shortcuts.xml.

כשיוצרים פעולה באפליקציה, השלב הראשון הוא לזהות את הפעילות שרוצים לאפשר למשתמשים לגשת אליה מ-Assistant. לאחר מכן, בעזרת המידע הזה, מחפשים את ה-BII התואם הקרוב ביותר מתוך הפניה ל-BII של פעולות באפליקציה.

מודל ה-BII מציג כמה מהדרכים הנפוצות שבהן משתמשים מנסחים משימות שהם רוצים לבצע באמצעות אפליקציה או מידע שהם מחפשים. לדוגמה, יש ממשקי BII לפעולות כמו התחלת אימון, שליחת הודעה וחיפוש בתוך אפליקציה. ממשקי BII הם הדרך הכי טובה להתחיל להשתמש בפעולות באפליקציה, כי הם מדמים וריאציות נפוצות של שאילתות משתמשים בכמה שפות, וכך מאפשרים להוסיף לאפליקציה תמיכה בהפעלה קולית במהירות.

אחרי שמזהים את תכונות האפליקציה ואת ה-BII להטמעה, מוסיפים או מעדכנים את קובץ המשאבים shortcuts.xml באפליקציית Android, שממפה את ה-BII לתכונות האפליקציה. פעולות באפליקציה מוגדרות כרכיבי capability ב-shortcuts.xml. הן מתארות איך כל BII פותר את המילוי שלו, וגם אילו פרמטרים מחולצים ומועברים לאפליקציה.

חלק ניכר מפיתוח פעולות באפליקציה הוא מיפוי של פרמטרים של BII למילוי הבקשה שהגדרתם. התהליך הזה בדרך כלל כולל מיפוי של קלט צפוי מהפונקציונליות של האפליקציה לפרמטרים סמנטיים של BII.

בדיקת פעולות באפליקציה

במהלך הפיתוח והבדיקה, משתמשים בפלאגין Google Assistant ל-Android Studio כדי ליצור תצוגה מקדימה של פעולות באפליקציה ב-Assistant עבור חשבון Google. התוסף הזה עוזר לכם לבדוק איך פעולת האפליקציה מטפלת בפרמטרים שונים לפני שאתם שולחים אותה לפריסה. אחרי שיוצרים תצוגה מקדימה של פעולות באפליקציה בכלי הבדיקה, אפשר להפעיל פעולות באפליקציה במכשיר הבדיקה ישירות מחלון של הכלי.

אפליקציות מדיה

בנוסף, ל-Assistant יש יכולות מובנות להבנת פקודות של אפליקציות מדיה, כמו Ok Google, play something by Beyonce, והיא תומכת בפקדי מדיה כמו pause, ‏ skip, ‏ fast forward ו-thumbs up.

השלבים הבאים

כדי ליצור פעולה באפליקציה באמצעות אפליקציית Android לדוגמה שלנו, פועלים לפי המסלול ליצירת פעולות באפליקציה. לאחר מכן, ממשיכים למדריך ליצירת פעולות באפליקציה עבור האפליקציה שלכם. אפשר גם לעיין במקורות המידע הנוספים האלה ליצירת פעולות באפליקציה: