הסקת מסקנות היברידית

‫Google מספקת מבחר נרחב של מודלים ו-API של AI מובילים בתעשייה, הן להסקת מסקנות מבוססת-ענן והן להסקת מסקנות במכשיר. הסקת מסקנות היברידית מאפשרת לאזן בצורה חלקה בין עומסי עבודה של AI במכשיר המקומי ובענן, ולבצע אופטימיזציה של הביצועים, העלות והזמינות.

הסקת מסקנות היברידית מספקת שני יתרונות עיקריים לאפליקציית Android שלכם:

• מקסימום חשיפה: מודלים בענן משמשים כגיבוי חשוב כשמודלים במכשיר, כמו Gemini Nano, לא זמינים בגלל מגבלות של חומרת המכשיר או מערכת ההפעלה. כך תוכלו לוודא שתכונות ה-AI ימשיכו לפעול במגוון רחב ככל האפשר של מכשירי משתמשים.
• עלות ויכולות אופליין: מודלים במכשיר עוזרים לוודא שתכונות ה-AI פועלות בצורה חלקה כשהמשתמש נמצא במצב אופליין. בנוסף, העברת משימות שגרתיות למכשיר המקומי עוזרת להפחית את עלויות ההסקה בענן.

אלה היתרונות של היקש במכשיר והיקש בענן, בהתאמה:

אפשרויות הטמעה

אפשר להטמיע הסקה היברידית באמצעות הגישות הבאות:

Firebase AI Logic Hybrid API

‫Firebase AI Logic Hybrid API מספק ממשק יחיד ומאוחד לפיצול הסקת מסקנות בין סביבות ענן ובין סביבות במכשיר.

הוא כולל פרמטר onDeviceConfig שמספק אמצעי בקרה להגדרת מצב ההסקה ולניהול הניתוב:

• ‫PREFER_ON_DEVICE: המערכת מנסה להשתמש במודל במכשיר, ואם המודל במכשיר לא זמין או לא נתמך לבקשה, היא עוברת אוטומטית למודל שמתארח בענן.

• ‫PREFER_IN_CLOUD: המערכת מנסה להשתמש במודל שמתארח בענן כשהמכשיר מחובר לאינטרנט והמודל זמין, וחוזרת למודל במכשיר רק אם המכשיר לא מחובר לאינטרנט.

• ‫ONLY_ON_DEVICE: מנסה להשתמש במודל במכשיר, אבל מעלה חריגה אם הוא לא זמין או לא נתמך לבקשה.

• ‫ONLY_IN_CLOUD: המערכת מנסה להשתמש במודל שמתארח בענן כשהמכשיר מחובר לאינטרנט והמודל זמין, ומציגה חריגה בכל המקרים האחרים.

val model = Firebase.ai(backend = GenerativeBackend.Companion.googleAI())
    .generativeModel(
        modelName = "gemini-3.5-flash",
        onDeviceConfig = OnDeviceConfig(mode = InferenceMode.Companion.PREFER_ON_DEVICE)
    )

val response = model.generateContent("Write a story about a green robot.")
print(response.text)
HybridInferenceSnippets.kt

פרטים על ההטמעה מופיעים במסמכי התיעוד של Firebase. אפשר גם לעיין בדוגמה ל-AI היברידי בקטלוג ה-AI.

ניתוב בהתאמה אישית

אם לאפליקציה שלכם יש דרישות ספציפיות לגבי העסק או חוויית המשתמש, אתם יכולים גם להטמיע לוגיקה מותאמת אישית של ניתוב. כך אפשר לקבוע באופן דינמי את נתיב ההסקה על סמך גורמים בזמן אמת, כמו:

• זמן האחזור של הרשת
• תקינות מערכת המכשיר (לדוגמה, רמות הטעינה של הסוללה ועומס המעבד)
• מורכבות שאילתת המשתמש

הגישה הזו של הסקת מסקנות היברידית מותאמת אישית נמצאת בשימוש באפליקציות מובילות שהטמיעו ניתוב מותאם אישית משלהן כדי לספק חוויות AI מהימנות, כולל:

• ‫GBoard: ‫Gboard משתמש בהסקת מסקנות היברידית מותאמת אישית כדי להפעיל את הכלים לניסוח טקסט, כמו הגהה ושכתוב.

• ‫Kakao Mobility: חברת Kakao Mobility יצרה כלי לחילוץ ישויות באמצעות הסקה היברידית בהתאמה אישית עבור שירות משלוחי החבילות שלה. הכלי מחלץ באופן אוטומטי שמות של נמענים, כתובות ומספרי טלפון מהודעות בשפה טבעית כדי לייעל את טפסי ההזמנה.