Gemini Nano

‫Gemini Nano מאפשר לכם לספק חוויות עשירות של AI גנרטיבי בלי צורך בחיבור לרשת או בשליחת נתונים לענן. ‫AI במכשיר הוא פתרון מצוין לתרחישים לדוגמה שבהם עלות נמוכה ואמצעי הגנה על הפרטיות הם הדאגות העיקריות שלכם.

לתרחישים לדוגמה במכשיר, אתם יכולים להשתמש במודל הבסיס Gemini Nano של Google. ‫Gemini Nano פועל בשירות המערכת AICore של Android, שמשתמש בחומרה של המכשיר כדי לאפשר זמן אחזור קצר של הסקת מסקנות ולשמור על המודל מעודכן.

ממשקי API של ML Kit GenAI

ממשקי ה-API של AI גנרטיבי ב-ML Kit משתמשים ביכולות של Gemini Nano כדי לעזור לאפליקציות לבצע משימות של AI גנרטיבי במכשיר. ממשקי ה-API האלה מבוססים על AICore, שירות מערכת של Android שמאפשר להפעיל במכשיר מודלים בסיסיים של AI גנרטיבי. המודלים האלה משפרים את תכונות האפליקציה ואת פרטיות המשתמשים על ידי עיבוד נתונים באופן מקומי. מידע נוסף

תכונות עיקריות

היכולות של ML Kit בתחום ה-AI הגנרטיבי מחולקות לקטגוריות הבאות:

יצירת תוכן וסוכנים בהתאמה אישית

עבודה ישירות עם המודל הבסיסי Gemini Nano לתרחישי שימוש מותאמים אישית:

  • גישה ישירה למודל (באמצעות המחלקה GenerativeModel): יוצרים טקסט או פלט מובנה מסוג מסוים מהנחיות מותאמות אישית שמכילות טקסט בלבד או הנחיות מולטי-מודאליות, או מנהלים את היסטוריית השיחות עם הזיכרון ישירות באמצעות אובייקט List<Content> עם התפקידים USER ו-MODEL והערך sessionId.
  • Agentic Workflows (באמצעות המחלקה AgentRunner): מבוססים על המחלקה GenerativeModel, ומבצעים אוטומציה של ניהול סשנים רב-שלבי (כולל היסטוריית שיחות בזיכרון) ולולאות של קריאה לפונקציות עם כמה שלבים.

דיבור ואודיו

תמלול, תרגום וסינתזה של אודיו של דיבור במכשיר:

משימות של טקסט ותמונות

להשתמש בממשקי API ספציפיים למשימות, שעברו אופטימיזציה למשימות נפוצות של ראייה, כתיבה וחיפוש, דרך ממשק ברמה גבוהה:

  • תיאור תמונה: יצירת תיאור קצר של תמונה נתונה.
  • סיכום: סיכום מאמרים או שיחות כרשימה עם תבליטים.
  • הגהה: הגהה של הודעות צ'אט קצרות.
  • שכתוב: שכתוב הודעות צ'אט קצרות בטונים או בסגנונות שונים.
  • חיפוש סמנטי: יוצרים הטמעות וקטורים לטקסט ולתמונות באמצעות Embedding API ומשלבים אותן עם AndroidX AppSearch כדי למצוא תוכן לפי המשמעות שלו.

ארכיטקטורה באמצעות AICore

כמודול ברמת המערכת, אתם ניגשים ל-AICore דרך סדרה של ממשקי API כדי להריץ הסקה במכשיר. בנוסף, ב-AICore יש כמה תכונות בטיחות מובנות, שמאפשרות הערכה יסודית בהתאם למסנני הבטיחות שלנו. בתרשים הבא מוסבר איך אפליקציה ניגשת ל-AICore כדי להפעיל את Gemini Nano במכשיר.

תרשים שמראה איך אפליקציה ל-Android משתמשת ב-Google AI Edge SDK כדי לגשת ל-AICore, שבו Gemini Nano,‏ LoRA ותכונות הבטיחות מנוהלים ומופעלים במאיצי חומרה.
איור 1. ‫AICore משמש כממשק בין האפליקציה למודל Gemini Nano, ומנהל את עדכוני המודל והבטיחות תוך שימוש בחומרה במכשיר.

שמירה על הפרטיות והאבטחה של נתוני המשתמשים

‫AI גנרטיבי במכשיר מריץ הנחיות באופן מקומי, בלי לשלוח קריאות לשרת. הפעולה הזו מסירה את זמן האחזור של הרשת, אבל מהירות ההסקה תלויה בחומרה של המכשיר. הגישה הזו משפרת את הפרטיות כי המידע הרגיש נשאר במכשיר, מאפשרת פונקציונליות אופליין ומפחיתה את עלויות ההסקה.

‫AICore פועל בהתאם לעקרונות של Private Compute Core, עם המאפיינים העיקריים הבאים:

  • קישור חבילה מוגבל: AICore מבודד מרוב החבילות האחרות, עם חריגים מוגבלים לחבילות מערכת ספציפיות. אפשר לשנות את רשימת ההיתרים הזו רק במהלך עדכון OTA מלא של Android.
  • גישה עקיפה לאינטרנט: ל-AICore אין גישה ישירה לאינטרנט. כל הבקשות לאינטרנט, כולל הורדות של מודלים, מנותבות דרך ה-APK הנלווה של Private Compute Services בקוד פתוח. ממשקי API ב-Private Compute Services צריכים להדגים באופן מפורש את אופיים שמתמקד בפרטיות.

בנוסף, AICore מבודד כל בקשה ולא שומר תיעוד של נתוני הקלט או הפלט שנוצר אחרי העיבוד שלהם, כדי להגן על פרטיות המשתמשים. מידע נוסף זמין בפוסט בבלוג מבוא לפרטיות ובטיחות ב-Gemini Nano.

דיאגרמת ארכיטקטורה מפורטת של AICore שמראה את תהליך הבקשה: פני השטח של ה-API, עיבוד קלט עם אותות בטיחות, הגדרת תכונות, זמן ריצה עם משקלי מודלים ו-LoRA, ועיבוד פלט עם אותות בטיחות. הוא גם מציג הורדות של מודלים דרך Private Compute Services.
איור 2. הארכיטקטורה של AICore מנהלת את הבטיחות של הקלט והפלט, את עיבוד הבקשות ואת משקלי המודל כדי לספק סביבה מאובטחת ל-AI במכשיר.

היתרונות של גישה למודלים בסיסיים של AI באמצעות AICore

‫AICore מאפשר למערכת ההפעלה Android לספק ולנהל מודלים בסיסיים של AI. כך אפשר להוזיל משמעותית את עלות השימוש במודלים הגדולים האלה באפליקציה, בעיקר מהסיבות הבאות:

  • קלות הפריסה: AICore מנהל את ההפצה של Gemini Nano ומטפל בעדכונים עתידיים. אתם לא צריכים לדאוג לגבי הורדה או עדכון של מודלים גדולים דרך הרשת, או לגבי ההשפעה על הדיסק של האפליקציה ועל התקציב של זיכרון זמן הריצה.
  • הסקה מואצת: AICore משתמש בחומרה במכשיר כדי להאיץ את ההסקה. האפליקציה שלכם תפעל בצורה הכי טובה בכל מכשיר, ולא תצטרכו לדאוג לממשקי החומרה הבסיסיים.

מתי כדאי להשתמש בהסקה היברידית

למרות ש-Gemini Nano אידיאלי למשימות אופליין ולמשימות שדורשות רגישות לפרטיות, יש לו מגבלות במכשיר, כמו מגבלות על אסימונים, מגבלות חומרה במכשיר וגבולות ליכולות של המודל. במקרים כאלה, אתם יכולים להשתמש בהסקה היברידית כדי לאזן את עומסי העבודה של ה-AI בין המכשיר המקומי לבין הענן.

כדי להבטיח חוויית משתמש עקבית בכל המכשירים ולטפל בשאילתות מורכבות, אתם יכולים להשתמש ב-Firebase AI Logic Hybrid API. כך האפליקציה יכולה:

  • מעבר חלק למודל חלופי: אם Gemini Nano לא זמין או לא נתמך במכשיר של המשתמש, הבקשות מנותבות באופן אוטומטי למודלים של Gemini Flash או Gemini Pro בענן.
  • אכיפת אבטחה: הגנו על היקש בענן באמצעות Firebase App Check (וספקי האימות הנתמכים שלה, כמו Play Integrity) ושמרו על הנחיות מערכת רגישות בצד השרת.