Google Assistant ל-Android

‫Google Assistant מאפשרת שליטה באפליקציות ל-Android באמצעות הקול. באמצעות Assistant, המשתמשים יכולים להפעיל אפליקציות, לבצע משימות, לגשת לתוכן ועוד, באמצעות פקודות קוליות כמו Ok Google, תתחיל ריצה באפליקציית הדוגמה.

מפתחי Android יכולים להשתמש במסגרת הפיתוח ובכלי הבדיקה של Assistant כדי להפעיל בקלות שליטה קולית מתקדמת באפליקציות שלהם במכשירים עם Android, כמו מכשירים ניידים, מכוניות ומכשירים לבישים.

פעולות באפליקציה

תכונת פעולות באפליקציות של Assistant מאפשרת למשתמשים להפעיל אפליקציות ל-Android ולשלוט בהן באמצעות הקול.





פעולות באפליקציה מאפשרות שליטה קולית מתקדמת יותר, ומאפשרות למשתמשים להפעיל את האפליקציות שלכם ולבצע משימות כמו:

  • הפעלת תכונות מ-Assistant: אפשר לקשר את היכולות של האפליקציה לשאילתות של משתמשים שתואמות לדפוסים סמנטיים מוגדרים מראש או לכוונות מוכללות.
  • הצגת מידע על אפליקציות בפלטפורמות של Google: מתן ווידג'טים ל-Android ל-Assistant כדי להציג תשובות מוטמעות, אישורים פשוטים ואינטראקציות קצרות למשתמשים בלי לשנות את ההקשר.
  • הצעת קיצורי דרך קוליים מ-Assistant: שימוש ב-Assistant כדי להציע באופן יזום משימות בהקשר הנכון, כדי שהמשתמשים יוכלו לגלות אותן או להפעיל אותן מחדש.

פעולות באפליקציה משתמשות בכוונות מוכללות (BII) כדי להפעיל את התכונות האלה ועוד עשרות תרחישי שימוש בקטגוריות פופולריות של משימות. פרטים על תמיכה בממשקי BII באפליקציות זמינים בדף הזה בקטע סקירה כללית של פעולות באפליקציות.

פיתוח לכמה מכשירים

אתם יכולים להשתמש בפעולות באפליקציה כדי לספק שליטה קולית בממשקי מכשירים שאינם ניידים. לדוגמה, באמצעות ממשקי BII שעברו אופטימיזציה לתרחישי שימוש אוטומטיים, נהגים יכולים לבצע את המשימות הבאות באמצעות הקול שלהם:

סקירה כללית של פעולות באפליקציה

פעולות באפליקציה מאפשרות למשתמשים לשלוט באפליקציות שלכם באמצעות פקודות קוליות, ולבצע משימות ספציפיות באפליקציה. אם האפליקציה שלכם מותקנת אצל המשתמש, הוא יכול פשוט להביע את הכוונה שלו באמצעות ביטוי שכולל את שם האפליקציה, כמו "Ok Google, תתחיל אימון באפליקציית הדוגמה". תכונת פעולות באפליקציות תומכת בממשקי BII שמדמים את הדרכים הנפוצות שבהן משתמשים מביעים משימות שהם רוצים לבצע או מידע שהם מחפשים, כמו:

  • להתחיל תרגיל, לשלוח הודעות ופעולות אחרות שספציפיות לקטגוריה.
  • פתיחה של תכונה באפליקציה.
  • חיפוש מוצרים או תוכן באמצעות חיפוש בתוך האפליקציה.

באמצעות פעולות באפליקציות, Assistant יכול להציע למשתמשים באופן יזום את היכולות הקוליות שלכם כקיצורי דרך, על סמך ההקשר של המשתמש. הפונקציונליות הזו מאפשרת למשתמשים לגלות בקלות את פעולות האפליקציה שלכם ולהפעיל אותן מחדש. אפשר גם להציע את קיצורי הדרך האלה באפליקציה באמצעות SDK לקידום אפליקציות בתוך האפליקציה.

כדי להפעיל תמיכה בפעולות באפליקציה, צריך להצהיר על תגי <capability> ב-shortcuts.xml. היכולות מאפשרות ל-Google להבין איך אפשר לגשת לפונקציונליות של האפליקציה באופן סמנטי באמצעות BII, ומאפשרות תמיכה קולית בתכונות שלכם. ‫Assistant ממלא את האובייקטים מסוג Intent של המשתמשים על ידי הפעלת האפליקציה שלכם כדי להציג את התוכן או הפעולה שצוינו. במקרים מסוימים, אפשר לציין ווידג'ט של Android שיוצג ב-Assistant כדי לספק תשובה לשאילתה של המשתמש.

התמיכה בפעולות באפליקציה זמינה ב-Android 5 (רמת API‏ 21) ומעלה. המשתמשים יכולים לגשת לפעולות באפליקציות רק בטלפונים עם Android. ‫Assistant ב-Android Go לא תומכת בפעולות באפליקציות.

איך פועלות פעולות בתוך האפליקציה

פעולות באפליקציה מרחיבות את הפונקציונליות של האפליקציה ל-Assistant, ומאפשרות למשתמשים לגשת לתכונות של האפליקציה באמצעות הקול. כשמשתמש מפעיל פעולה באפליקציה, Assistant מתאימה את השאילתה ל-BII שהוגדרה במשאב shortcuts.xml, ומפעילה את האפליקציה במסך המבוקש או מציגה ווידג'ט של Android.

מצהירים על ממשקי BII באפליקציה באמצעות רכיבי יכולת של Android. כשמעלים את האפליקציה באמצעות Google Play Console, Google רושמת את היכולות שהוצהרו באפליקציה ומאפשרת למשתמשים לגשת אליהן מ-Assistant.

לדוגמה, יכול להיות שתספקו באפליקציה שלכם אפשרות להתחיל פעילות גופנית. כשמשתמש אומר "Ok Google, start a run on Example App", השלבים הבאים מתבצעים:

  • העוזר הדיגיטלי מבצע ניתוח של השאילתה בשפה טבעית, ומתאים את הסמנטיקה של הבקשה לדפוס המוגדר מראש של מידע עסקי חיוני. במקרה הזה, הביטוי actions.intent.START_EXERCISE BII תואם לשאילתה.
  • ‫Assistant בודקת אם ה-BII נרשם בעבר באפליקציה שלכם ומשתמשת בהגדרה הזו כדי לקבוע איך להפעיל אותה.
  • ה-Assistant יוצר intent של Android כדי להפעיל את היעד בתוך האפליקציה של הבקשה, באמצעות המידע שסיפקתם ב-<capability>. העוזר הדיגיטלי מחולץ את הפרמטרים של השאילתה ומעביר אותם כתוספים ב-intent של Android שנוצר.
  • ‫Assistant ממלאת את בקשת המשתמש על ידי הפעלת intent של Android שנוצר. אתם מגדירים את intent כך שיפעיל מסך באפליקציה או יציג ווידג'ט ב-Assistant.
כשמשתמש מזין שאילתה ל-Google Assistant, ‏ Assistant משיבה על ידי הפעלת יעד באפליקציה עבור המשתמש.
איור 1. דוגמה לזרימת שאילתות של משתמשים בפעולות באפליקציה.

אחרי שהמשתמש משלים משימה, אתם משתמשים בספריית השילוב של קיצורי הדרך של Google כדי לשלוח ל-Google קיצור דרך דינמי של הפעולה והפרמטרים שלה, וכך לאפשר ל-Assistant להציע למשתמש את קיצור הדרך בזמנים רלוונטיים בהקשר.

השימוש בספרייה הזו מאפשר למשתמשים לגלות את קיצורי הדרך ולהפעיל אותם בפלטפורמות של Google, כמו Assistant. לדוגמה, יכול להיות שתרצו לשלוח קיצור דרך ל-Google לכל יעד שמשתמש מבקש באפליקציית הנסיעות השיתופיות שלכם, כדי שיוכל להפעיל אותו במהירות מאוחר יותר כהצעה לקיצור דרך.

יצירת פעולות באפליקציה

פעולות באפליקציה מבוססות על פונקציונליות קיימת באפליקציית Android. התהליך דומה לכל פעולה באפליקציה שמטמיעים. פעולות באפליקציה מפנות משתמשים ישירות לתוכן או לתכונות ספציפיים באפליקציה באמצעות רכיבי capability שאתם מציינים ב-shortcuts.xml.

כשמפתחים פעולה באפליקציה, השלב הראשון הוא לזהות את הפעילות שרוצים לאפשר למשתמשים לגשת אליה מ-Assistant. לאחר מכן, בעזרת המידע הזה, מאתרים את ה-BII התואם הקרוב ביותר מתוך הפניה ל-BII של פעולות באפליקציה.

מודל ה-BII מציג כמה מהדרכים הנפוצות שבהן משתמשים מנסחים משימות שהם רוצים לבצע באמצעות אפליקציה או מידע שהם מחפשים. לדוגמה, יש BII לפעולות כמו התחלת אימון, שליחת הודעה וחיפוש בתוך אפליקציה. BII הן הדרך הכי טובה להתחיל להשתמש בפעולות באפליקציה, כי הן מדמות וריאציות נפוצות של שאילתות משתמשים בכמה שפות, וכך מאפשרות להוסיף לאפליקציה תמיכה בפקודות קוליות במהירות.

אחרי שמזהים את הפונקציונליות באפליקציה ואת ה-BII שרוצים להטמיע, מוסיפים או מעדכנים את קובץ המשאבים shortcuts.xml באפליקציית Android, שממפה את ה-BII לפונקציונליות של האפליקציה. פעולות באפליקציה מוגדרות כרכיבי capability ב-shortcuts.xml. הן מתארות איך כל BII משיג את המטרה שלו, וגם אילו פרמטרים מחולצים ומועברים לאפליקציה.

חלק ניכר מהפיתוח של פעולות באפליקציה הוא מיפוי של פרמטרים של BII למילוי הבקשה שהגדרתם. התהליך הזה בדרך כלל כולל מיפוי של הקלט הצפוי של הפונקציונליות באפליקציה לפרמטרים סמנטיים של BII.

בדיקת פעולות באפליקציה

במהלך הפיתוח והבדיקות, משתמשים בתוסף Google Assistant ל-Android Studio כדי ליצור תצוגה מקדימה של פעולות באפליקציה ב-Assistant עבור חשבון Google. התוסף הזה עוזר לכם לבדוק איך פעולות באפליקציה מטפלות בפרמטרים שונים לפני שאתם שולחים אותן לפריסה. אחרי שיוצרים תצוגה מקדימה של פעולה באפליקציה בכלי הבדיקה, אפשר להפעיל פעולה באפליקציה במכשיר הבדיקה ישירות מחלון כלי הבדיקה.

אפליקציות מדיה

בנוסף, ל-Assistant יש יכולות מובנות להבנת פקודות של אפליקציות מדיה, כמו "Ok Google, play something by Beyonce", והיא תומכת בפקדי מדיה כמו השהיה, דילוג, הרצה קדימה ולייק.

השלבים הבאים

כדי ליצור פעולה באפליקציה באמצעות אפליקציית Android לדוגמה, אפשר לפעול לפי ההוראות ליצירת פעולות באפליקציות. לאחר מכן, אפשר להמשיך למדריך ליצירת פעולות באפליקציות משלכם. אפשר גם לעיין במקורות המידע הנוספים האלה ליצירת פעולות באפליקציות: