איך כתיבת פרומפטים משופרת מאפשרת שיפורים באיכות של GenAI Prompt API ב-ML Kit

אופטימיזציה אוטומטית של הנחיות (APO)

כדי לעזור לכם להשתמש בתרחישי השימוש של ML Kit Prompt API בסביבת ייצור, אנחנו שמחים להודיע על אופטימיזציה אוטומטית של הנחיות (APO) שמיועדת למודלים במכשיר ב-Vertex AI. הכלי "כתיבת פרומפטים משופרת" עוזר לכם למצוא באופן אוטומטי את ההנחיה האופטימלית לתרחישי השימוש שלכם.

העידן של AI במכשיר הוא כבר לא הבטחה – הוא מציאות שמתרחשת בפועל. עם השקת Gemini Nano v3, אנחנו נותנים למשתמשים יכולות חסרות תקדים של הבנת שפה ומולטי-מודאליות. משפחת המודלים של Gemini Nano מאפשרת לנו לתמוך במגוון רחב של מכשירים בסביבה העסקית של Android. אבל למפתחים שיוצרים את הדור הבא של אפליקציות חכמות, גישה למודל עוצמתי היא רק השלב הראשון. האתגר האמיתי הוא התאמה אישית: איך מתאימים מודל בסיסי לביצועים ברמת מומחה לתרחיש השימוש הספציפי שלכם בלי לחרוג ממגבלות החומרה של הנייד?

בעולם של צד השרת, מודלי ה-LLM הגדולים יותר נוטים להיות בעלי יכולות גבוהות ודורשים פחות התאמה לדומיין. גם כשצריך, אפשר להשתמש באפשרויות מתקדמות יותר כמו כוונון עדין של LoRA (Low-Rank Adaptation). עם זאת, הארכיטקטורה הייחודית של Android AICore נותנת עדיפות למודל מערכת משותף וחסכוני בזיכרון. המשמעות היא שפריסת מתאמי LoRA בהתאמה אישית לכל אפליקציה בנפרד כרוכה באתגרים בשירותי המערכת המשותפים האלה.

אבל יש דרך אחרת שיכולה להיות יעילה באותה מידה. בעזרת כתיבת פרומפטים משופרת (APO) ב-Vertex AI, מפתחים יכולים להשיג איכות שמתקרבת לזו של כוונון עדין, וכל זאת תוך עבודה חלקה בסביבת הביצוע המקורית של Android. ההתמקדות בהוראות מערכת משופרות מאפשרת למפתחים להתאים את התנהגות המודל בצורה חזקה וניתנת להתאמה יותר מאשר בפתרונות כוונון מסורתיים.

הערה: ‫Gemini Nano V3 הוא גרסה משופרת של המודל המוערך Gemma 3N. כל אופטימיזציה של הנחיות שנעשית במודל Gemma 3N בקוד פתוח תחול גם על Gemini Nano V3. במכשירים נתמכים, ממשקי ה-API של ML Kit GenAI משתמשים במודל nano-v3 כדי לשפר את האיכות למפתחים ל-Android

ה-APO מתייחס להנחיה לא כאל טקסט סטטי, אלא כאל משטח ניתן לתכנות שאפשר לבצע בו אופטימיזציה. הוא משתמש במודלים בצד השרת (כמו Gemini Pro ו-Flash) כדי להציע הנחיות, להעריך וריאציות ולמצוא את הווריאציה האופטימלית למשימה הספציפית שלכם. התהליך הזה משתמש בשלושה מנגנונים טכניים ספציפיים כדי למקסם את הביצועים:

1. ניתוח שגיאות אוטומטי: APO מנתח דפוסי שגיאות מנתוני האימון כדי לזהות באופן אוטומטי נקודות חולשה ספציפיות בהנחיה הראשונית.
2. זיקוק הוראות סמנטיות: המודל מנתח דוגמאות אימון רבות כדי לזקק את 'הכוונה האמיתית' של משימה, ויוצר הוראות שמשקפות בצורה מדויקת יותר את התפלגות הנתונים האמיתית.
3. בדיקה מקבילה של מועמדים: במקום לבדוק רעיון אחד בכל פעם, APO יוצרת ובודקת במקביל מספר רב של מועמדים להנחיות כדי לזהות את המקסימום הגלובלי של האיכות.

למה APO יכול להתקרב לאיכות של כוונון עדין

יש תפיסה מוטעית נפוצה שלפיה כוונון עדין תמיד מניב איכות טובה יותר מאשר הנחיות. במודלים בסיסיים מודרניים כמו Gemini Nano v3, הנדסת פרומפטים יכולה להיות יעילה בפני עצמה:

• שמירה על יכולות כלליות: כוונון עדין ( PEFT/LoRA) גורם למשקלים של המודל להתמקד יתר על המידה בהתפלגות ספציפית של נתונים. זה מוביל לעיתים קרובות ל "שכחה קטסטרופלית", שבה המודל משתפר בתחביר הספציפי שלכם, אבל נהיה פחות טוב בלוגיקה כללית ובבטיחות. ‫APO לא משנה את המשקלים, וכך משמר את היכולות של מודל הבסיס.
• מילוי הוראות וזיהוי אסטרטגיות: אימנו את Gemini Nano v3 באופן קפדני כדי שימלא הוראות מערכת מורכבות. כדי לנצל את זה, APO מוצא את מבנה ההוראות המדויק שמאפשר למודל להשתמש ביכולות הנסתרות שלו. לעיתים קרובות, הוא מגלה אסטרטגיות שמהנדסים אנושיים יתקשו למצוא. 

כדי לאמת את הגישה הזו, הערכנו את APO בעומסי עבודה שונים בסביבת הייצור. האימות שלנו הראה שיפורים עקביים בדיוק של 5-8% במגוון תרחישי שימוש.בקרב תכונות רבות שמוטמעות במכשיר, APO סיפק שיפורים משמעותיים באיכות.

תהליך עבודה חלק מקצה לקצה למפתחים

יש תפיסה מוטעית נפוצה שלפיה כוונון עדין תמיד מניב איכות טובה יותר מאשר הנחיות. במודלי בסיס מודרניים כמו Gemini Nano v3, הנדסת פרומפטים יכולה להניב תוצאות משמעותיות גם בלי שימוש בטכניקות אחרות:

• שמירה על יכולות כלליות: כוונון עדין ( PEFT/LoRA) גורם למשקלים של המודל להתמקד יתר על המידה בהתפלגות ספציפית של נתונים. זה מוביל לעיתים קרובות ל "שכחה קטסטרופלית", שבה המודל משתפר בתחביר הספציפי שלכם, אבל נהיה פחות טוב בלוגיקה כללית ובבטיחות. ‫APO לא משנה את המשקלים, וכך משמר את היכולות של מודל הבסיס.
• מילוי הוראות וזיהוי אסטרטגיות: אימנו את Gemini Nano v3 באופן קפדני כדי שימלא הוראות מערכת מורכבות. כדי לנצל את זה, APO מוצא את מבנה ההוראות המדויק שמאפשר למודל להשתמש ביכולות הנסתרות שלו. לעיתים קרובות, הוא מגלה אסטרטגיות שמהנדסים אנושיים יתקשו למצוא. 

כדי לאמת את הגישה הזו, ביצענו הערכה של APO בעומסי עבודה מגוונים בסביבת ייצור. האימות שלנו הראה שיפורים עקביים בדיוק של 5-8% במגוון תרחישי שימוש.בקרב תכונות רבות שמוטמעות במכשיר, APO סיפק שיפורים משמעותיים באיכות.

סיכום

ההשקה של אופטימיזציה אוטומטית של פרומפטים (APO) מסמנת נקודת מפנה בשימוש ב-AI גנרטיבי במכשיר. אנחנו מגשרים על הפער בין מודלים בסיסיים לבין ביצועים ברמה של מומחים, וכך נותנים למפתחים את הכלים ליצור אפליקציות חזקות יותר לנייד. לא משנה אם אתם רק מתחילים עם אופטימיזציה ללא דוגמאות או מרחיבים את הייצור באמצעות שיפור מבוסס-נתונים, הדרך להשגת בינה מלאכותית איכותית במכשיר ברורה יותר עכשיו. אתם יכולים להשיק את תרחישי השימוש במכשיר כבר היום באמצעות Prompt API של ML Kit ו"כתיבת פרומפטים משופרת" של Vertex AI. 

קישורים רלוונטיים: 

• ‫ML Kit Prompt API,
• המסמכים של Vertex AI Prompt Optimizer
• הבלוג שבו הוכרז על Gemma 3N