Gemini Nano עם Google AI Edge SDK

במכשירים מבוססי Android נתמכים, אפשר לספק חוויות AI גנרטיביות עשירות בלי צורך בחיבור לרשת או בשליחת נתונים לענן. AI במכשיר הוא פתרון מצוין לתרחישי שימוש שבהם החששות העיקריים שלכם הם זמן אחזור קצר, עלות נמוכה ואמצעי הגנה על הפרטיות.

בתרחישי שימוש במכשיר, אפשר להשתמש במודל הבסיס של Gemini Nano של Google. הוא קטן יותר ממודלים אחרים של Gemini שמריצים הסקת מסקנות בענן, אבל אפשר לשפר את ההתאמה של Gemini Nano כדי לבצע משימות מיוחדות, כמו גם את אלה של הדגמים הגדולים יותר. Gemini Nano פועל בשירות המערכת AICore של Android, שמשתמש בחומרה של המכשיר כדי לאפשר זמן אחזור קצר של ההסקות ולשמור על המודל עדכני.

Google AI Edge SDK מספק גישה ל-Gemini Nano API ול-AICore. Google AI Edge הוא חבילת כלים מקיפה ל-ML במכשיר. מידע נוסף על Google AI Edge

ארכיטקטורה

כמודול ברמת המערכת, כדי להריץ את ההסקה במכשיר צריך לגשת ל-AICore דרך סדרה של ממשקי API. בנוסף, ל-AICore יש כמה תכונות בטיחות מובנות, שמבטיחות הערכה יסודית מול מסנני הבטיחות שלנו. בתרשים הבא מוסבר איך אפליקציה ניגשת ל-AICore כדי להריץ את Gemini Nano במכשיר.

שמירה על הפרטיות והאבטחה של נתוני המשתמשים

AI גנרטיבי במכשיר מבצע הנחיות באופן מקומי, וכך מבטל את הצורך בקריאות לשרת. הגישה הזו משפרת את הפרטיות על ידי שמירת נתונים רגישים במכשיר, הפעלת פונקציונליות אופליין והפחתת עלויות ההסקה.

AICore פועל בהתאם לעקרונות של Private Compute Core, עם המאפיינים הבולטים הבאים:

קישור חבילות מוגבל: AICore מבודד מרוב החבילות האחרות, עם החרגות מוגבלות לחבילות מערכת ספציפיות. אפשר לבצע שינויים ברשימת ההיתרים הזו רק במהלך עדכון OTA מלא של Android.

גישה עקיפה לאינטרנט: ל-AICore אין גישה ישירה לאינטרנט. כל הבקשות לאינטרנט, כולל הורדות של מודלים, מנותבות דרך חבילת ה-APK הנלווית של Private Compute Services בקוד פתוח. ממשקי ה-API ב-Private Compute Services חייבים להציג באופן מפורש את אופי ההתמקדות שלהם בפרטיות.

בנוסף, AICore תוכנן לבודד כל בקשה, ולא נשמרת בו רשומה של נתוני הקלט או הפלט שנוצר לאחר העיבוד שלהם, כדי להגן על פרטיות המשתמשים. מידע נוסף זמין בפוסט בבלוג מבוא לפרטיות ולבטיחות ב-Gemini Nano.

היתרונות של הגישה למודלים בסיסיים של AI באמצעות AICore

AICore מאפשר למערכת ההפעלה Android לספק ולנהל מודלים בסיסיים של AI. כך אפשר להפחית משמעותית את העלות של השימוש במודלים הגדולים האלה באפליקציה, בעיקר בגלל:

קלות הפריסה: AICore מנהל את הפצת Gemini Nano ומטפל בעדכונים עתידיים. אין צורך לדאוג לגבי הורדה או עדכון של מודלים גדולים ברשת, או השפעה על תקציב הזיכרון של האפליקציה בדיסק ובזמן הריצה.

הסקה מואצת: AICore משתמש בחומרה במכשיר כדי להאיץ את ההסקה. האפליקציה שלכם תקבל את הביצועים הטובים ביותר בכל מכשיר, ואתם לא צריכים לדאוג לממשקי החומרה הבסיסיים.

פונקציונליות נתמכת

AICore תומך במכשירים ובמודלים הבאים:

• מכשירים נתמכים: AICore זמין כרגע במכשירי סדרת Pixel 9, במכשירי סדרת Google Pixel 8, כולל Pixel 8‏¹ ו-Pixel 8a‏², במכשירי סדרת Samsung S24, ב-Samsung Z Fold6, ב-Samsung Z Flip6, ב-Realme GT 6, ב-Motorola Edge 50 Ultra, ב-Motorola Razr 50 Ultra, ב-Xiaomi 14T/Pro וב-Xiaomi MIX Flip.
• מודלים נתמכים: בשלב הזה, AICore תומך במודל טקסט ב-Gemini Nano.

אנחנו משקיעים רבות בתחומים של תמיכה במכשירים ובשיטות נוספים.

תרחישים לדוגמה

בגלל מגבלות המשאבים במכשירים ניידים בהשוואה לשרתים בענן, מודלים של בינה מלאכותית גנרטיבית במכשיר תוכננו עם דגש על יעילות וגודל. האופטימיזציה הזו נותנת עדיפות למשימות ספציפיות ומוגדרות היטב על פני אפליקציות כלליות יותר. תרחישים לדוגמה:

• ניסוח מחדש של טקסט: שינוי הטון והסגנון של הטקסט (למשל, מבלתי רשמי לרשמי).
• תשובה מהירה: יצירת תשובות רלוונטיות להקשר בשרשור בצ'אט.
• הגהה: זיהוי ותיקון של שגיאות איות ודקדוק.
• סיכום: אפשר לצמצם מסמכים ארוכים לסיכומים תמציתיים (פסקה או נקודות).

כדי לשפר את הביצועים, מומלץ לעיין במסמכי התיעוד בנושא שיטות להצגת הנחיות. כדי לבדוק את התרחישים האלה בעצמכם, תוכלו להוריד את האפליקציה לדוגמה שלנו ולהתחיל להתנסות ב-Gemini Nano.

מספר אפליקציות של Google משתמשות ב-Gemini Nano. דוגמאות:

• Talkback: אפליקציית הנגישות של Android‏, Talkback, משתמשת ביכולות הקלט הרב-מודליות של Gemini Nano כדי לשפר את תיאורי התמונות למשתמשים עם ליקויי ראייה.
• Pixel Voice Recorder: באפליקציה Pixel Voice Recorder נעשה שימוש ב-Gemini Nano וב-AICore כדי להפעיל תכונה של סיכום במכשיר. צוות Recorder השתמש במודל Gemini Nano העדכני ביותר כדי לתמוך בהקלטות ארוכות יותר ולספק סיכומים באיכות גבוהה יותר.
• Gboard: התכונה 'תשובה מהירה' ב-Gboard מתבססת על Gemini Nano במכשיר עם AICore כדי לספק תשובות מהירות מדויקות.