איך כתיבת פרומפטים משופרת משפרת את האיכות של GenAI Prompt API ב-ML Kit

אופטימיזציה אוטומטית של הנחיות (APO)

כדי לעזור לכם להעביר את תרחישי השימוש שלכם ב-Prompt API של ML Kit לסביבת הייצור, אנחנו שמחים להכריז על כתיבת פרומפטים משופרת (APO) שמטרגטת מודלים במכשיר ב-Vertex AI. הכלי "אופטימיזציה אוטומטית של הנחיות" עוזר לכם למצוא באופן אוטומטי את ההנחיה האופטימלית לתרחישי השימוש שלכם.

העידן של AI במכשיר הוא כבר לא הבטחה – הוא מציאות. עם השקת Gemini Nano v3, אנחנו נותנים למשתמשים יכולות חסרות תקדים של הבנת שפה ומולטי-מודאליות. משפחת המודלים של Gemini Nano מאפשרת לנו לתמוך במגוון רחב של מכשירים בסביבה העסקית של Android. אבל למפתחים שיוצרים את הדור הבא של אפליקציות חכמות, הגישה למודל חזק היא רק השלב הראשון. האתגר האמיתי הוא ההתאמה האישית: איך מתאימים מודל בסיס לביצועים ברמה גבוהה לתרחיש לדוגמה הספציפי שלכם, בלי לחרוג מהמגבלות של החומרה בנייד?

בעולם של צד השרת, מודלי LLM גדולים יותר נוטים להיות בעלי יכולות גבוהות ודורשים פחות התאמה לדומיין. גם כשצריך, אפשרויות מתקדמות יותר כמו כוונון עדין של LoRA (Low-Rank Adaptation) יכולות להיות אפשרויות מעשיות. עם זאת, הארכיטקטורה הייחודית של Android AICore נותנת עדיפות למודל מערכת משותף וחסכוני בזיכרון. המשמעות היא שפריסת מתאמי LoRA בהתאמה אישית לכל אפליקציה בנפרד כרוכה באתגרים בשירותי המערכת המשותפים האלה.

אבל יש דרך חלופית שיכולה להיות יעילה באותה מידה. בעזרת כתיבת פרומפטים משופרת (APO) ב-Vertex AI, מפתחים יכולים להגיע לאיכות שקרובה לכוונון עדין, תוך כדי עבודה חלקה בסביבת ההפעלה המקורית של Android. ההתמקדות בהוראות מערכת מעולות מאפשרת למפתחים להתאים את התנהגות המודל בצורה חזקה וניתנת להתאמה יותר מאשר פתרונות כוונון עדין מסורתיים.

הערה: ‫Gemini Nano V3 הוא גרסה משופרת של המודל המוערך Gemma 3N. כל אופטימיזציה של הנחיות שנעשית במודל Gemma 3N בקוד פתוח תחול גם על Gemini Nano V3. במכשירים נתמכים, ממשקי ה-API של ML Kit GenAI משתמשים במודל nano-v3 כדי לשפר את האיכות למפתחים של Android

ההנחיה לא נחשבת לטקסט סטטי, אלא למשטח שניתן לתכנות ולביצוע אופטימיזציה. הוא משתמש במודלים בצד השרת (כמו Gemini Pro ו-Flash) כדי להציע הנחיות, להעריך וריאציות ולמצוא את הווריאציה האופטימלית למשימה הספציפית שלכם. התהליך הזה משתמש בשלושה מנגנונים טכניים ספציפיים כדי למקסם את הביצועים:

1. ניתוח שגיאות אוטומטי: APO מנתח דפוסי שגיאות מנתוני האימון כדי לזהות באופן אוטומטי נקודות חולשה ספציפיות בהנחיה הראשונית.
2. זיקוק הוראות סמנטיות: המודל מנתח דוגמאות אימון רבות כדי לזקק את "הכוונה האמיתית" של משימה, ויוצר הוראות שמשקפות בצורה מדויקת יותר את התפלגות הנתונים האמיתית.
3. בדיקת מועמדים מקבילה: במקום לבדוק רעיון אחד בכל פעם, APO יוצר ובודק מספר רב של מועמדים להנחיות במקביל כדי לזהות את המקסימום הגלובלי לאיכות.

למה APO יכול להתקרב לאיכות של כוונון עדין

יש תפיסה מוטעית נפוצה שלפיה כוונון תמיד מניב איכות טובה יותר מאשר הנחיות. במודלים בסיסיים מודרניים כמו Gemini Nano v3, הנדסת פרומפטים יכולה להיות יעילה בפני עצמה:

• שמירה על יכולות כלליות: כוונון עדין ( PEFT/LoRA) מאלץ את המשקלים של המודל להוסיף לאינדקס יותר מדי נתונים מהתפלגות ספציפית. זה מוביל לעיתים קרובות ל "שכחה קטסטרופלית", שבה המודל משתפר בתחביר הספציפי שלכם אבל נהיה פחות טוב בלוגיקה כללית ובבטיחות. ‫APO לא משנה את המשקלים, וכך שומר על היכולות של מודל הבסיס.
• מילוי הוראות וזיהוי אסטרטגיות: גרסה 3 של Gemini Nano אומנה באופן קפדני למלא הוראות מערכת מורכבות. ה-APO מנצל את זה כדי למצוא את מבנה ההוראות המדויק שמאפשר למודל להשתמש ביכולות הנסתרות שלו, ולעיתים קרובות מגלה אסטרטגיות שמהנדסים אנושיים יתקשו למצוא. 

כדי לאמת את הגישה הזו, הערכנו את APO בעומסי עבודה שונים בסביבת הייצור. האימות שלנו הראה שיפור עקבי של 5-8% ברמת הדיוק בתרחישים שונים לדוגמה.במגוון תכונות שפועלות במכשיר, APO סיפק שיפורים משמעותיים באיכות.

תהליך עבודה חלק מקצה לקצה למפתחים

יש תפיסה מוטעית נפוצה שלפיה כוונון תמיד מניב איכות טובה יותר מאשר הנחיות. במודלים בסיסיים מודרניים כמו Gemini Nano v3, הנדסת פרומפטים יכולה להיות יעילה בפני עצמה:

• שמירה על יכולות כלליות: כוונון עדין ( PEFT/LoRA) מאלץ את המשקלים של המודל להוסיף לאינדקס יותר מדי נתונים מהתפלגות ספציפית. זה מוביל לעיתים קרובות ל "שכחה קטסטרופלית", שבה המודל משתפר בתחביר הספציפי שלכם אבל נהיה פחות טוב בלוגיקה כללית ובבטיחות. ‫APO לא משנה את המשקלים, וכך שומר על היכולות של מודל הבסיס.
• מילוי הוראות וזיהוי אסטרטגיות: גרסה 3 של Gemini Nano אומנה באופן קפדני למלא הוראות מערכת מורכבות. ה-APO מנצל את זה כדי למצוא את מבנה ההוראות המדויק שמאפשר למודל להשתמש ביכולות הנסתרות שלו, ולעיתים קרובות מגלה אסטרטגיות שמהנדסים אנושיים יתקשו למצוא. 

כדי לאמת את הגישה הזו, הערכנו את APO בעומסי עבודה שונים בסביבת הייצור. האימות שלנו הראה שיפור עקבי של 5-8% ברמת הדיוק בתרחישים שונים לדוגמה.בתכונות שונות שפועלות במכשיר, APO סיפק שיפורים משמעותיים באיכות.

סיכום

ההשקה של אופטימיזציה אוטומטית של הנחיות (APO) היא נקודת מפנה בתחום ה-AI הגנרטיבי במכשיר. אנחנו מגשרים על הפער בין מודלים בסיסיים לבין ביצועים ברמה של מומחים, וכך נותנים למפתחים את הכלים ליצור אפליקציות חזקות יותר לנייד. לא משנה אם אתם רק מתחילים עם אופטימיזציה של Zero-Shot או משדרגים לייצור עם שיפור מבוסס-נתונים, הדרך ל-AI איכותי במכשיר ברורה יותר עכשיו. אתם יכולים להשיק את תרחישי השימוש במכשיר כבר היום באמצעות Prompt API של ML Kit ו"כתיבת פרומפטים משופרת" של Vertex AI. 

קישורים רלוונטיים: 

• ML Kit Prompt API,
• המסמכים של Vertex AI Prompt Optimizer
• הבלוג שבו הוכרז על Gemma 3N