SDK של Google AI Edge

‫Google AI Edge SDK מאפשר למפתחים גישה ניסיונית לבדיקת שיפור האפליקציות שלהם באמצעות יכולות AI במכשיר דרך Gemini Nano.

ארכיטקטורה באמצעות AICore

כמודול ברמת המערכת, הגישה ל-AICore מתבצעת באמצעות סדרה של ממשקי API כדי להריץ הסקה במכשיר. בנוסף, ל-AICore יש כמה תכונות בטיחות מובנות, שמבטיחות הערכה יסודית בהתאם למסנני הבטיחות שלנו. בתרשים הבא מוסבר איך אפליקציה ניגשת ל-AICore כדי להריץ את Gemini Nano במכשיר.

‫Google AI Edge SDK,‏ AICore ו-Gemini Nano.
איור 1. ‫Google AI Edge SDK,‏ AICore ו-Gemini Nano.

שמירה על הפרטיות והאבטחה של נתוני המשתמשים

‫AI גנרטיבי במכשיר מבצע הנחיות באופן מקומי, בלי לבצע קריאות לשרת. הגישה הזו משפרת את הפרטיות כי הנתונים הרגישים נשמרים במכשיר, מאפשרת שימוש בתכונות במצב אופליין ומפחיתה את עלויות ההסקה.

‫AICore פועל בהתאם לעקרונות של Private Compute Core, עם המאפיינים העיקריים הבאים:

  • קישור חבילות מוגבל: AICore מבודד מרוב החבילות האחרות, עם חריגים מוגבלים לחבילות מערכת ספציפיות. שינויים ברשימת ההיתרים הזו יכולים להתבצע רק במהלך עדכון מלא של Android OTA.
  • גישה עקיפה לאינטרנט: ל-AICore אין גישה ישירה לאינטרנט. כל הבקשות באינטרנט, כולל הורדות של מודלים, מנותבות דרך קובץ ה-APK הנלווה של Private Compute Services בקוד פתוח. ממשקי API ב-Private Compute Services צריכים להדגים באופן מפורש את האופי שלהם שמתמקד בפרטיות.

בנוסף, AICore מתוכנן לבודד כל בקשה, ולא לאחסן רשומה של נתוני הקלט או של הפלט שמתקבל אחרי העיבוד שלהם, כדי להגן על פרטיות המשתמשים. מידע נוסף זמין בפוסט בבלוג מבוא לפרטיות ולבטיחות ב-Gemini Nano.

איור של ארכיטקטורת AICore
איור 2. ארכיטקטורת AICore

היתרונות של גישה למודלים בסיסיים של AI באמצעות AICore

‫AICore מאפשר למערכת ההפעלה Android לספק ולנהל מודלים בסיסיים של AI. השינוי הזה מפחית באופן משמעותי את העלות של השימוש במודלים הגדולים האלה באפליקציה, בעיקר בגלל הסיבות הבאות:

  • פריסה קלה: AICore מנהל את ההפצה של Gemini Nano ומטפל בעדכונים עתידיים. לא צריך לדאוג לגבי הורדה או עדכון של מודלים גדולים ברשת, וגם לא לגבי השפעה על התקציב של הדיסק והזיכרון בזמן הריצה של האפליקציה.
  • הסקת מסקנות מואצת: AICore משתמש בחומרה במכשיר כדי להאיץ את הסקת המסקנות. האפליקציה שלכם מקבלת את הביצועים הכי טובים בכל מכשיר, ואתם לא צריכים לדאוג לממשקי החומרה הבסיסיים.

פונקציונליות נתמכת

  • מכשירים נתמכים: Gemini Nano עם Google AI Edge SDK זמין לניסוי במכשירי Pixel מסדרת 9.
  • אופנים נתמכים: AICore תומך באופן טקסטואלי עבור Gemini Nano.

אנחנו משקיעים מאמצים רבים בהוספת תמיכה במכשירים נוספים ובאמצעי תקשורת נוספים.

תרחישים לדוגמה

בגלל מגבלות המשאבים של מכשירים ניידים בהשוואה לשרתי ענן, מודלים של AI גנרטיבי במכשיר מתוכננים עם דגש על יעילות וגודל. באופטימיזציה הזו יש עדיפות למשימות ספציפיות ומוגדרות היטב על פני אפליקציות כלליות יותר. תרחישים מתאימים לדוגמה:

  • ניסוח מחדש של טקסט: שינוי הטון והסגנון של הטקסט (למשל, מניסוח לא רשמי לניסוח רשמי).
  • תשובה מהירה: יצירת תשובות רלוונטיות להקשר בתוך שרשור צ'אט.
  • הגהה: זיהוי ותיקון של שגיאות איות ודקדוק.
  • סיכום: קיצור מסמכים ארוכים לסיכומים תמציתיים (פסקה או נקודות).

כדי להשיג ביצועים אופטימליים, מומלץ לעיין במסמכי התיעוד בנושא אסטרטגיות לכתיבת הנחיות. כדי להתנסות בתרחישי השימוש האלה בעצמכם, אתם יכולים להוריד את אפליקציית הדוגמה שלנו ולהתחיל להתנסות ב-Gemini Nano.

מספר אפליקציות של Google משתמשות ב-Gemini Nano. הנה כמה דוגמאות:

  • Talkback: אפליקציית הנגישות של Android‏ Talkback משתמשת ביכולות הקלט הרב-מודאליות של Gemini Nano כדי לשפר את תיאורי התמונות למשתמשים עם ליקויי ראייה.
  • מכשיר ההקלטה של Pixel: אפליקציית מכשיר ההקלטה של Pixel משתמשת ב-Gemini Nano וב-AICore כדי להפעיל תכונת סיכום במכשיר. צוות מכשיר ההקלטה הטמיע את המודל העדכני ביותר של Gemini Nano כדי לתמוך בהקלטות ארוכות יותר ולספק סיכומים באיכות גבוהה יותר.
  • Gboard: התשובות המהירות ב-Gboard מבוססות על Gemini Nano במכשיר עם AICore, כדי לספק תשובות מהירות מדויקות.