מסוכנים בתוך האפליקציה ועד למערכת החכמה של Android: מה חדש באפליקציות חכמות במפגש של מפתחי Android

בעידן הבינה המלאכותית, המשתמשים כבר לא רק מקישים על אפליקציות, אלא מבטאים יעדים ברמה גבוהה ומצפים מסוכני AI כמו Gemini להשלים תהליכי עבודה מרובי שלבים, לפעמים בכמה אפליקציות במכשירים שלהם. כדי לעזור לכם להגיע למשתמשים בכל מקום שבו הם נמצאים, אנחנו משיקים דרכים חדשות ליצירת חוויות חכמות וסוכני AI באפליקציות ל-Android:

• להתחבר למערכת הבינה המלאכותית של Android: אתם יכולים לשתף את היכולות של האפליקציה עם הסוכן של המערכת באמצעות Android MCP. כדי לאפשר למשתמשים להתחבר ישירות לאפליקציה שלכם דרך אפליקציית Gemini וחיפוש Google ב-Android, הצטרפו לתוכנית טרום-ההשקה (Preview) של פלטפורמת האפליקציות המקושרות.
• הוספת יכולות חכמות לאפליקציה: אתם יכולים לפתח תכונות וסוכנים חכמים במכשיר באמצעות ממשקי ה-API של ML Kit GenAI, ולהוסיף מודל למידת מכונה בהתאמה אישית באמצעות LiteRT ב-Google Play Services. אתם יכולים להשתמש במודלים של Gemini בענן באמצעות Firebase AI Logic, ולאפשר לסוכן ליצור ממשק משתמש מקורי של Compose באמצעות הכלי לעיבוד A2UI Compose.

כבר ראיתם חלק מממשקי ה-API והכלים החדשים למפתחים בנאום הפתיחה של מפגש מפתחי Android. עכשיו אתם יכולים ללמוד בעזרת מקורות המידע החדשים שלנו, שכוללים 10 סשנים חדשים על פי דרישה בנושא חוויות חכמות חדשות, שיעזרו לכם לפתח אפליקציות חכמות.

חיבור למערכת החכמה של Android

מערכת Android Intelligence היא הבסיס של המערכת שנועד להגן על המשתמשים בזמן שהם מחברים סוכני AI לאפליקציות במכשירי Android. הוא מספק למשתמשים עזרה לפי בקשה והצעות שימושיות בסביבה העסקית של מכשירי Android, כולל טלפונים, גאדג'טים לבישים, משקפי XR, טלוויזיות ומכוניות. 

• סיוע לפי הנחיות: כשהמשתמש מבקש באופן פעיל מסוכן לבצע מטרה (לדוגמה, "תבדוק את היומן שלי, תזמין נסיעה ותשלח הודעה ל-Jingyu עם זמן ההגעה המשוער שלי"), הסוכן מתאם בין כלים באפליקציות שונות כדי לבצע את המשימה. כדי שהביצוע יהיה מהיר ואמין ככל האפשר, אתם יכולים להשתמש בשרת MCP מרוחק או בשרת MCP מקומי ל-Android. הסוכנים יכולים גם להשתמש במסגרת של Android לשליטה במחשב כדי להשלים פעולות בלי שילוב בצד האפליקציה.
• הצעות שימושיות: המערכת צופה את הצרכים של המשתמשים ומציגה צ'יפים של הצעות תלויות הקשר ישירות במסכי הנעילה, בהתראות, במקלדות הווירטואליות ובאפליקציות. 

אנחנו נותנים לכם שליטה על האופן שבו האפליקציות שלכם משתלבות במערכת Android Intelligence, באמצעות ממשקי API וכלים שמבוססים על תקן MCP המוכר. Android MCP, שמבוסס על ספריית AppFunctions Jetpack, הוא מסגרת מאוחדת לקריאות API לכלים. היא מאפשרת לכם להתחבר לסוכני AI מתאימים ישירות במכשיר, בין אם מדובר בסוכן המערכת או בסוכן שלכם בתוך האפליקציה במכשיר. שרת MCP מרוחק מאפשר לכם להגיע למשתמשים בפלטפורמות שונות. 

‫Android MCP משלים את ה-MCP המרוחק כפתרון מקומי ל-Android, והוא נתיב השילוב המומלץ כשהתהליך שעובר המשתמש כולל הצפנה מקצה לקצה או נתונים רגישים של המכשיר המקומי, דורש חיישנים וחומרה של המכשיר, צריך לפעול באופן מקומי או כשאין נקודת קצה זמינה של השרת. 

כדי לקבל מידע נוסף על מערכת Android Intelligence ולשלב את Gemini כסוכן המערכת, צפו בסרטון הזה: 

איך להוסיף יכולות חכמות לאפליקציות: מסוכן במכשיר ועד למרנדר A2UI Compose

עם היכולות החדשות שזמינות ב-Gemini Nano 4, כמו קריאה להפעלת פונקציות, אנחנו מרחיבים את ממשקי ה-API של GenAI ב-ML Kit כדי ליצור Agentic Workflows שפועלים לגמרי במכשיר. אנחנו מספקים לכם את אבני הבניין ישירות באמצעות הגישה הישירה למודל של ML Kit עם Prompt API ו-Agentic API החדש, שמפעיל פונקציות באופן אוטומטי, שומר את היסטוריית השיחות, מנהל את לולאת התזמור וכולל אמצעי הגנה אוטומטיים. כדאי לעיין בדוגמת הקוד של Jetpacker ב-GitHub ולצפות בסרטון הזה כדי להבין לעומק איך אפשר להשתמש בממשקי ה-API של ML Kit GenAI כדי להפעיל יכולות אג'נטיות באפליקציה: 

בנוסף לממשקי ה-API החדשים של Agentic, אנחנו מציעים חבילה של יכולות חדשות במכשיר:

• סקירה כללית של ממשקי ה-API של ML Kit GenAI במכשיר, החל מתכונות של Prompt API כמו מצב חשיבה והוראות מערכת ועד לממשקי API חדשים בשלב אלפא כמו Embeddings API, שמבוססים על EmbeddingGemma 2. בנוסף, נסביר על אופטימיזציות של מערכת Android ונסקור תרחישים נפוצים לדוגמה של AI גנרטיבי במכשיר שכבר נמצאים בייצור.
• מידע מעמיק על ארכיטקטורת המודל של Gemini Nano 4, שמבוסס על Gemma 4. מודל Gemini Nano 4 מבוסס על הטמעות לכל שכבה, אימון מודע לקוונטיזציה וחיזוי של כמה טוקנים. הוא מספק מהירות הסקה גבוהה פי 3 ומפחית את השימוש בזיכרון עד פי 4 בהשוואה לגרסה הקודמת של מודל Gemini Nano, לפי נקודות השוואה פנימיות לבדיקה.
• אתם יכולים להריץ את המודלים המותאמים אישית של ML עם ביצועי GPU מהירים יותר באמצעות LiteRT ב-Google Play Services. כך זמן הריצה יוסר מה-APK והגודל של ה-APK יקטן ב-8MB בערך. עכשיו גם ב-Wear OS וב-Android Automotive OS. לא משנה אם אתם משתמשים בממשקי ה-API המוכנים של ML Kit או במודל קצה מותאם אישית משלכם, כדאי לקרוא את ההודעה ולצפות בשיחה הזו.
• אתם יכולים לראות איך ממשקי ה-API האלה משתלבים באפליקציות בעולם האמיתי, החל ממורה לשפות ב-XR שמשתמש בממשקי ה-API של ML Kit לזיהוי דיבור, תרגום דיבור והמרת טקסט לדיבור (TTS) בטלפונים ובמשקפיים חכמים, ועד לנהג משנה מבוסס-AI בפורמולה E שנוצר באמצעות Gemini Nano, גישה ישירה למודלים של ML Kit וערכת פיתוח הסוכנים (ADK). 

בתהליכי עבודה שכוללים עיבוד בענן ועיבוד מקומי, Firebase AI Logic מציע פתרון היברידי פשוט. אתם יכולים להפעיל מודלים מתקדמים בענן כמו Gemini 4, ולהשתמש בהסקת מסקנות במכשיר עם Gemini Nano כשהוא זמין. כדי להגן על האפליקציה ולנהל את העלויות בסביבת הייצור, אתם יכולים להשתמש ב-Firebase App Check, בתבניות החדשות לפרומפטים בשרת ובתקרות ההוצאה ב-Firebase. 

כפי שהוצג בהדגמה בהרצאה המרכזית עם עוזר ההזמנות בזמן אמת של Jetpacker, מעבד ה-A2UI של Jetpack Compose זמין עכשיו בגרסת אלפא כדי לעזור לנציגים שלכם "לדבר UI". הנציגים שלכם יכולים להעביר בסטרימינג ממשקי משתמש עשירים ואינטראקטיביים של Compose ישירות מפרוטוקול JSON. אתם מוזמנים להתחיל להשתמש בכלי העיבוד A2UI Compose ולשלוח לנו משוב. בסרטון הזה מוסבר איך להטמיע את התכונה באפליקציה. 

איך להגיע ליותר משתמשים ב-Gemini ובחיפוש Google באמצעות Connected Apps Platform

בפלטפורמות השונות של Google, המשתמשים עוברים משאלת שאלות לביצוע פעולות. השקנו את פלטפורמת האפליקציות המקושרות כדי שתוכלו להגיע למשתמשים עם כוונת רכישה גבוהה ב-Gemini ובחיפוש Google. הפלטפורמה משלבת בין Android MCP להפעלה מקומית במכשיר לבין שרתי MCP מרוחקים כדי להגיע למשתמשים בפלטפורמות שונות. אתם יכולים להתחיל ליצור ולבדוק באופן מקומי כבר היום באמצעות מצב פיתוח למפתחי אפליקציות ב-Gemini. כשהאפליקציה מוכנה לייצור, הצטרפו לרשימת ההמתנה לגרסת טרום-השקה (Preview). הקיבולת של גרסת טרום-השקה (Preview) מוגבלת כרגע לאפליקציות נבחרות שמוכנות לייצור בקטגוריות נתמכות. בהמשך תהיה גישה רחבה יותר לממשק בניהול עצמי.

כדי ללמוד איך ליצור, לבדוק ולפרסם את האפליקציה המקושרת הראשונה, אתם יכולים לצפות בסרטון Extend your app to Gemini and Search with the Connected Apps Platform (הרחבת האפליקציה ל-Gemini ולחיפוש Google באמצעות Connected Apps Platform).

העדכונים האחרונים שיעזרו לכם לפתח אפליקציות חכמות

כדי להתחיל לפתח, אתם יכולים ליצור סוכנים במכשיר באמצעות Agentic Workflows של ML Kit, לצד גישה ישירה למודל עם סקילים חדשים ב-Android.  כשאתם בודקים יכולות חדשות במודלים בגרסת טרום-השקה, חשוב להצטרף לתוכנית התצוגה המקדימה למפתחים של AIcore. אתם יכולים להוסיף תכונות חכמות לאפליקציה שלכם באמצעות ממשקי ה-API של ML Kit, ולהריץ מודלים מותאמים אישית של למידת מכונה באמצעות LiteRT ב-Google Play Services. מריצים הסקה (inference) עם מודלים של Gemini בענן באמצעות Firebase AI Logic ישירות, ומעבירים בסטרימינג ממשקי משתמש מקוריים של Compose מ-JSON באמצעות כלי הרינדור Jetpack Compose A2UI. לבסוף, משלבים את מערכת ה-AI של Android, יוצרים אב טיפוס עם Android MCP באמצעות המיומנות של AppFunctions והסוכן לדוגמה ונרשמים לתצוגה מקדימה למפתחים של Connected Apps Platform.

אנחנו כבר ממש סקרנים לראות מה תיצרו!