Google AI Edge SDK מאפשר למפתחים גישה ניסיונית לבדיקת שיפור האפליקציות שלהם באמצעות יכולות AI במכשיר דרך Gemini Nano.
ארכיטקטורה באמצעות AICore
כמודול ברמת המערכת, הגישה ל-AICore מתבצעת באמצעות סדרה של ממשקי API כדי להריץ הסקה במכשיר. בנוסף, ל-AICore יש כמה תכונות בטיחות מובנות, שמבטיחות הערכה יסודית בהתאם למסנני הבטיחות שלנו. בתרשים הבא מוסבר איך אפליקציה ניגשת ל-AICore כדי להריץ את Gemini Nano במכשיר.
שמירה על הפרטיות והאבטחה של נתוני המשתמשים
AI גנרטיבי במכשיר מבצע הנחיות באופן מקומי, בלי לבצע קריאות לשרת. הגישה הזו משפרת את הפרטיות כי הנתונים הרגישים נשמרים במכשיר, מאפשרת שימוש בתכונות במצב אופליין ומפחיתה את עלויות ההסקה.
AICore פועל בהתאם לעקרונות של Private Compute Core, עם המאפיינים העיקריים הבאים:
- קישור חבילות מוגבל: AICore מבודד מרוב החבילות האחרות, עם חריגים מוגבלים לחבילות מערכת ספציפיות. שינויים ברשימת ההיתרים הזו יכולים להתבצע רק במהלך עדכון מלא של Android OTA.
- גישה עקיפה לאינטרנט: ל-AICore אין גישה ישירה לאינטרנט. כל הבקשות באינטרנט, כולל הורדות של מודלים, מנותבות דרך קובץ ה-APK הנלווה של Private Compute Services בקוד פתוח. ממשקי API ב-Private Compute Services צריכים להדגים באופן מפורש את האופי שלהם שמתמקד בפרטיות.
בנוסף, AICore מתוכנן לבודד כל בקשה, ולא לאחסן רשומה של נתוני הקלט או של הפלט שמתקבל אחרי העיבוד שלהם, כדי להגן על פרטיות המשתמשים. מידע נוסף זמין בפוסט בבלוג מבוא לפרטיות ולאבטחה ב-Gemini Nano.
היתרונות של גישה למודלים בסיסיים של AI באמצעות AICore
AICore מאפשר למערכת ההפעלה Android לספק ולנהל מודלים בסיסיים של AI. כך אפשר להפחית משמעותית את העלות של השימוש במודלים הגדולים האלה באפליקציה, בעיקר בגלל הסיבות הבאות:
- הטמעה קלה: AICore מנהל את ההפצה של Gemini Nano ומטפל בעדכונים עתידיים. לא צריך לדאוג לגבי הורדה או עדכון של מודלים גדולים ברשת, וגם לא לגבי השפעה על התקציב של הדיסק והזיכרון בזמן הריצה של האפליקציה.
- הסקת מסקנות מואצת: AICore משתמש בחומרה במכשיר כדי להאיץ את הסקת המסקנות. האפליקציה שלכם מקבלת את הביצועים הכי טובים בכל מכשיר, ואתם לא צריכים לדאוג לממשקי החומרה הבסיסיים.
פונקציונליות נתמכת
- מכשירים נתמכים: אפשר להתנסות ב-Gemini Nano עם Google AI Edge SDK במכשירים מסדרת Pixel 9.
- אופנים נתמכים: AICore תומך באופן טקסטואלי עבור Gemini Nano.
אנחנו משקיעים מאמצים רבים כדי להוסיף תמיכה במכשירים ובאמצעי תקשורת נוספים.
תרחישים לדוגמה
בגלל מגבלות המשאבים של מכשירים ניידים בהשוואה לשרתי ענן, מודלים של AI גנרטיבי במכשיר מתוכננים עם דגש על יעילות וגודל. באופטימיזציה הזו, המערכת נותנת עדיפות למשימות ספציפיות ומוגדרות היטב על פני אפליקציות כלליות יותר. תרחישים מתאימים לדוגמה:
- ניסוח מחדש של טקסט: שינוי הטון והסגנון של הטקסט (למשל, מניסוח לא רשמי לניסוח רשמי).
- תשובה מהירה: יצירת תשובות רלוונטיות להקשר בשרשור צ'אט.
- הגהה: זיהוי ותיקון של שגיאות איות ודקדוק.
- סיכום: אפשר לצמצם מסמכים ארוכים לסיכומים תמציתיים (פסקה או נקודות).
כדי להשיג ביצועים אופטימליים, כדאי לעיין במסמכי התיעוד בנושא אסטרטגיות לכתיבת הנחיות.
Gemini Nano משמש בכמה אפליקציות של Google. הנה כמה דוגמאות:
- Talkback: אפליקציית הנגישות של Android Talkback משתמשת ביכולות הקלט הרב-מודאליות של Gemini Nano כדי לשפר את תיאורי התמונות למשתמשים עם ליקויי ראייה.
- מכשיר ההקלטה של Pixel: אפליקציית מכשיר ההקלטה של Pixel משתמשת ב-Gemini Nano וב-AICore כדי להפעיל תכונת סיכום במכשיר. צוות מכשיר ההקלטה השתמש במודל Gemini Nano העדכני ביותר כדי לתמוך בהקלטות ארוכות יותר, ומספק סיכומים באיכות גבוהה יותר.
- Gboard: התשובות המהירות ב-Gboard מבוססות על Gemini Nano במכשיר עם AICore כדי לספק תשובות מהירות מדויקות.