Gemini Nano מאפשר לכם לספק חוויות AI גנרטיביות עשירות בלי צורך בחיבור לרשת או בשליחת נתונים לענן. AI במכשיר הוא פתרון מצוין לתרחישים לדוגמה שבהם החששות העיקריים שלכם הם זמן אחזור קצר, עלות נמוכה ואמצעי הגנה על הפרטיות.
בתרחישי שימוש במכשיר, אפשר להשתמש במודל הבסיס של Gemini Nano של Google. Gemini Nano פועל בשירות המערכת AICore של Android, שמשתמש בחומרה של המכשיר כדי לאפשר זמן אחזור נמוך של ההסקה ולשמור על העדכניות של המודל.
הגישה אל Gemini Nano זמינה כרגע דרך:
- ממשקי ה-API של ML Kit GenAI, שמספקים ממשק ברמה גבוהה לתכונות כמו סיכום, הגהה, כתיבה מחדש ותיאור תמונות.
- Google AI Edge SDK, שמאפשר גישה ניסיונית למפתחים שרוצים לבדוק שיפורים באפליקציות שלהם באמצעות יכולות AI במכשיר.
ארכיטקטורה
כמודול ברמת המערכת, כדי להריץ את ההסקה במכשיר צריך לגשת ל-AICore דרך סדרה של ממשקי API. בנוסף, ל-AICore יש כמה תכונות בטיחות מובנות, שמבטיחות הערכה יסודית מול מסנני הבטיחות שלנו. בתרשים הבא מוסבר איך אפליקציה ניגשת ל-AICore כדי להריץ את Gemini Nano במכשיר.
שמירה על הפרטיות והאבטחה של נתוני המשתמשים
AI גנרטיבי במכשיר מבצע הנחיות באופן מקומי, וכך מבטל את הקריאות לשרת. הגישה הזו משפרת את הפרטיות על ידי שמירת נתונים רגישים במכשיר, הפעלת פונקציונליות אופליין והפחתת עלויות ההסקה.
AICore פועל בהתאם לעקרונות של Private Compute Core, עם המאפיינים העיקריים הבאים:
קישור חבילות מוגבל: AICore מבודד מרוב החבילות האחרות, עם חריגים מוגבלים לחבילות מערכת ספציפיות. אפשר לבצע שינויים ברשימת ההיתרים הזו רק במהלך עדכון OTA מלא של Android.
גישה עקיפה לאינטרנט: ל-AICore אין גישה ישירה לאינטרנט. כל הבקשות לאינטרנט, כולל הורדות של מודלים, מנותבות דרך חבילת ה-APK הנלווית של Private Compute Services בקוד פתוח. ממשקי API ב-Private Compute Services חייבים להפגין באופן מפורש את אופי ההתמקדות שלהם בפרטיות.
בנוסף, AICore תוכנן לבודד כל בקשה ולא לאחסן תיעוד של נתוני הקלט או של הפלט שנוצר לאחר העיבוד שלהם, כדי להגן על פרטיות המשתמשים. מידע נוסף זמין בפוסט בבלוג מבוא לפרטיות ולבטיחות ב-Gemini Nano.
היתרונות של הגישה למודלים בסיסיים של AI באמצעות AICore
AICore מאפשר למערכת ההפעלה Android לספק ולנהל מודלים בסיסיים של AI. כך אפשר להפחית משמעותית את העלות של השימוש במודלים הגדולים האלה באפליקציה, בעיקר בגלל:
קלות הפריסה: AICore מנהל את הפצת Gemini Nano ומטפל בעדכונים עתידיים. אין צורך לדאוג לגבי הורדה או עדכון של מודלים גדולים ברשת, או השפעה על תקציב הזיכרון של האפליקציה בדיסק ובזמן הריצה.
הסקה מואצת: AICore משתמש בחומרה במכשיר כדי להאיץ את ההסקה. האפליקציה שלכם תניב את הביצועים הטובים ביותר בכל מכשיר, ואתם לא צריכים לדאוג לממשקי החומרה הבסיסיים.
פונקציונליות נתמכת
- מכשירים נתמכים: Gemini Nano עם Google AI Edge SDK זמין כרגע לניסויים במכשירי סדרת Pixel 9.
- מודלים נתמכים: נכון לעכשיו, AICore תומך במודל טקסט ב-Gemini Nano.
אנחנו משקיעים רבות בתחומים של תמיכה במכשירים ובשיטות נוספים.
תרחישים לדוגמה
בגלל מגבלות המשאבים במכשירים ניידים בהשוואה לשרתים בענן, מודלים של AI גנרטיבי במכשיר תוכננו תוך התמקדות ביעילות ובגודל. האופטימיזציה הזו נותנת עדיפות למשימות ספציפיות וברורות על פני יישומים כלליים יותר. תרחישים לדוגמה:
- ניסוח מחדש של טקסט: שינוי הטון והסגנון של הטקסט (למשל, מרשמי ליומיומי).
- תשובה מהירה: יצירת תשובות רלוונטיות לפי הקשר בשרשור בצ'אט.
- הגהה: זיהוי ותיקון של שגיאות איות ודקדוק.
- סיכום: צמצום מסמכים ארוכים לסיכומים תמציתיים (פסקה או נקודות).
כדי לשפר את הביצועים, מומלץ לעיין במסמכי התיעוד בנושא שיטות להצגת הנחיות. כדי לבדוק את התרחישים האלה בעצמכם, תוכלו להוריד את האפליקציה לדוגמה שלנו ולהתחיל להתנסות ב-Gemini Nano.
כמה אפליקציות של Google משתמשות ב-Gemini Nano. הנה כמה דוגמאות:
- Talkback: אפליקציית הנגישות של Android, Talkback, משתמשת ביכולות הקלט הרב-מודליות של Gemini Nano כדי לשפר את תיאורי התמונות למשתמשים עם ליקויי ראייה.
- Pixel Voice Recorder: באפליקציה Pixel Voice Recorder נעשה שימוש ב-Gemini Nano וב-AICore כדי להפעיל תכונה של סיכום במכשיר. צוות Recorder השתמש במודל Gemini Nano העדכני ביותר כדי לתמוך בהקלטות ארוכות יותר ולספק סיכומים באיכות גבוהה יותר.
- Gboard: התכונה 'תשובה מהירה' ב-Gboard מתבססת על Gemini Nano במכשיר עם AICore כדי לספק תשובות מהירות מדויקות.