Gemini Nano

‫Gemini Nano מאפשר לכם ליהנות מחוויית שימוש עשירה ב-AI גנרטיבי בלי חיבור לרשת או שליחת נתונים לענן. ‫AI במכשיר הוא פתרון מצוין לתרחישי שימוש שבהם העלות הנמוכה ואמצעי ההגנה על הפרטיות הם השיקולים העיקריים.

לתרחישי שימוש במכשיר, אפשר להשתמש במודל הבסיסי Gemini Nano של Google. ‫Gemini Nano פועל בשירות המערכת AICore של Android, שמנצל את החומרה של המכשיר כדי לאפשר השלמת מסקנות עם חביון נמוך, ודואג שהמודל יהיה עדכני.

ML Kit GenAI APIs

ממשקי ה-API של GenAI ב-ML Kit מנצלים את העוצמה של Gemini Nano כדי לעזור לאפליקציות שלכם לבצע משימות. ממשקי ה-API האלה מספקים איכות גבוהה מחוץ לקופסה לתרחישי שימוש פופולריים באמצעות ממשק ברמה גבוהה. ממשקי GenAI API של ML Kit מבוססים על AICore, שירות מערכת של Android שמאפשר הפעלה במכשיר של מודלים בסיסיים של AI גנרטיבי. כך אפשר להשתמש בתכונות כמו שיפור הפונקציונליות של האפליקציה ושיפור הפרטיות של המשתמשים באמצעות עיבוד נתונים באופן מקומי. מידע נוסף

תכונות עיקריות

ממשקי ה-API של GenAI ב-ML Kit תומכים בתכונות הבאות:

• הנחיה: יצירת תוכן טקסט על סמך הנחיה מותאמת אישית שמבוססת על טקסט בלבד או על כמה אופנים.
• סיכום: סיכום מאמרים או שיחות כרשימה עם תבליטים.
• הגהה: הגהה של הודעות צ'אט קצרות.
• שכתוב: שכתוב של הודעות קצרות בצ'אט בסגנונות או בטונים שונים.
• תיאור תמונה: יצירת תיאור קצר של תמונה נתונה.
• זיהוי דיבור: תמלול של אודיו של דיבור לטקסט.

android skills add ml-kit-genai-prompt-api

ארכיטקטורה באמצעות AICore

כמודול ברמת המערכת, הגישה ל-AICore מתבצעת דרך סדרה של ממשקי API כדי להפעיל הסקה במכשיר. בנוסף, ל-AICore יש כמה תכונות בטיחות מובנות, שמבטיחות הערכה יסודית בהתאם למסנני הבטיחות שלנו. הדיאגרמה הבאה מתארת איך אפליקציה ניגשת ל-AICore כדי להריץ את Gemini Nano במכשיר.

שמירה על הפרטיות והאבטחה של נתוני המשתמשים

‫AI גנרטיבי במכשיר מריץ פרומפטים באופן מקומי, בלי לבצע קריאות לשרת. הפעולה הזו אמנם מסירה את זמן האחזור ברשת, אבל מהירות ההסקה תלויה בחומרה של המכשיר. הגישה הזו משפרת את הפרטיות כי הנתונים הרגישים נשמרים במכשיר, מאפשרת שימוש בתכונות במצב אופליין ומפחיתה את עלויות ההסקה.

‫AICore פועל בהתאם לעקרונות של Private Compute Core, עם המאפיינים העיקריים הבאים:

• קישור חבילות מוגבל: AICore מבודד מרוב החבילות האחרות, עם חריגים מוגבלים לחבילות מערכת ספציפיות. כל שינוי ברשימת ההיתרים הזו יכול להתבצע רק במהלך עדכון מלא של Android OTA.
• גישה עקיפה לאינטרנט: ל-AICore אין גישה ישירה לאינטרנט. כל הבקשות באינטרנט, כולל הורדות של מודלים, מנותבות דרך קובץ ה-APK הנלווה של Private Compute Services בקוד פתוח. ממשקי API ב-Private Compute Services צריכים להדגים באופן מפורש את האופי שלהם שמתמקד בפרטיות.

בנוסף, AICore מבודד כל בקשה ולא שומר תיעוד של נתוני הקלט או של הפלט שמתקבל אחרי העיבוד, כדי להגן על פרטיות המשתמשים. מידע נוסף זמין בפוסט בבלוג מבוא לפרטיות ולבטיחות ב-Gemini Nano.

היתרונות של גישה למודלים בסיסיים של AI באמצעות AICore

‫AICore מאפשר למערכת ההפעלה Android לספק ולנהל מודלים בסיסיים של AI. כך אפשר להקטין באופן משמעותי את העלות של השימוש במודלים הגדולים האלה באפליקציה, בעיקר בגלל הסיבות הבאות:

• פריסה קלה: AICore מנהל את ההפצה של Gemini Nano ומטפל בעדכונים עתידיים. לא צריך לדאוג לגבי הורדה או עדכון של מודלים גדולים ברשת, או לגבי השפעה על התקציב של הדיסק וזיכרון זמן הריצה של האפליקציה.
• הסקת מסקנות מואצת: AICore משתמש בחומרה במכשיר כדי להאיץ את הסקת המסקנות. האפליקציה שלכם מקבלת את הביצועים הכי טובים בכל מכשיר, ואתם לא צריכים לדאוג לממשקי החומרה הבסיסיים.

מתי כדאי להשתמש בהסקת מסקנות היברידית

‫Gemini Nano הוא מודל אידיאלי למשימות אופליין ולמשימות שדורשות שמירה על פרטיות, אבל יש לו מגבלות במכשיר כמו מגבלות על מספר הטוקנים, מגבלות על חומרת המכשיר ומגבלות על יכולות המודל. במקרים כאלה, אפשר להשתמש בהסקת מסקנות היברידית כדי לאזן את עומסי העבודה של ה-AI בין המכשיר המקומי לבין הענן.

כדי להבטיח חוויית משתמש עקבית בכל המכשירים ולטפל בשאילתות מורכבות, אפשר להשתמש ב-Firebase AI Logic Hybrid API. ההרשאה הזו מאפשרת לאפליקציה:

• מעבר אוטומטי למודל אחר: המערכת מעבירה אוטומטית בקשות למודלים של Gemini Flash או Gemini Pro בענן, אם Gemini Nano לא זמין או לא נתמך במכשיר של המשתמש.
• אכיפת אבטחה: כדי להגן על הסקת מסקנות בענן, אפשר להשתמש בFirebase App Check (ובספקי האימות הנתמכים שלו, כמו Play Integrity) ולשמור על הנחיות מערכת רגישות בצד השרת.