התפתחות באופן המדידה של מודלים גדולים של שפה (LLM) ב-Android: העידן הבא של Android Bench

במרץ השנה השקנו את Android Bench – טבלת ההשוואה של מודלים גדולים של שפה (LLM) למשימות פיתוח ב-Android בעולם האמיתי. המטרה שלנו הייתה לספק שקיפות לגבי יכולות המודל בפיתוח ל-Android ולעודד שיפורים במודל, כדי לתת לכם אפשרויות מבוססות-AI שיעזרו לכם בתהליך העבודה היומיומי. מאז, שיפרנו את ההשוואה על סמך המשוב שלכם, כולל הערכה של מודלים עם משקלים פתוחים והוספה של מאפייני עלות ויעילות לטבלת ההשוואה. 

אבל היכולות של ה-AI משתנות כל הזמן, ולכן גם המדידה צריכה להשתנות בהתאם. במסגרת הגרסה שפרסמנו ביולי, אימצנו את מסגרת Harbor, שכוללת גרסה מעודכנת של סוכן ההשוואה לשוק שמשמש להערכת מודלים. 

בנוסף לשינוי הזה בשיטת ההערכה, במהדורה של יולי אנחנו מוסיפים לטבלת ההשוואה 8 מודלים חדשים (Claude Fable 5, ‏ Claude Sonnet 5, ‏ Claude Opus 4.8, ‏ GLM 5.2, ‏ Kimi K2.7 Code, ‏ MiniMax M3, ‏ Qwen 3.7 Plus ו-Qwen 3.7 Max). אנחנו גם משתפים הזדמנויות לקהילת מפתחי Android לתרום למדד ההשוואה. 

שדרוג המתודולוגיה שלנו באמצעות מסגרת Harbor

כשעיצבנו את Android Bench, ביססנו את המתודולוגיה שלנו על סטנדרטים מובילים בתחום שהיו זמינים באותו זמן. השתמשנו ב-mini-swe-agent v1, סוכן כללי להשוואת ביצועים, והתאמנו אותו לניואנסים של פיתוח ל-Android כדי לספק מדידת בסיס ליכולות של מודלים למשימות נפוצות בפיתוח ל-Android.

כדי להמשיך לספק לכם הערכות מתקדמות שמודדות בצורה מדויקת את היכולות של המודלים העדכניים בפיתוח ל-Android, אנחנו מתקננים את מדד ההשוואה שלנו ל-Harbor framework. פרויקט Harbor מגדיר סטנדרטים ואינטגרציות שמאפשרים לכל אחד להריץ את נקודת ההשוואה, להעריך את ההגדרה המועדפת שלו או לשתף תוצאות – וכך מספק לכם שקיפות ונראות נוספות.

השדרוג הזה מאפשר לנו להעריך את המודלים והיכולות שלהם בצורה מדויקת יותר, והרצנו מחדש את ההשוואה בין כל המודלים כדי ליצור בסיס מעודכן. המשמעות היא שיהיה שינוי קל בשיטת הניקוד, אבל עדיין תוכלו לראות את הציונים ההיסטוריים בארכיון באתר שלנו.

אנחנו רוצים לוודא ש-Android Bench מועיל לכם, ולכן נעדכן אותו באופן שוטף ככל שההערכות שלנו והתחום יתפתחו.

הרחבת טבלת ההשוואה עם 8 מודלים חדשים

כחלק מהמחויבות שלנו לשמור על עדכניות טבלת ההשוואה, הוספנו את המודלים Claude Fable 5, ‏ Claude Sonnet 5, ‏ Claude Opus 4.8, ‏ GLM 5.2, ‏ Kimi K2.7 Code, ‏ MiniMax M3, ‏ Qwen 3.7 Plus ו-Qwen 3.7 Max לטבלת ההשוואה של Android Bench. 

אפשר לראות שClaude Fable 5 נמצא בראש טבלת הדירוג עם ציון של 84.5, אחריו GPT 5.5 עם ציון של 80.2, וClaude Sonnet 5 במקום השלישי עם ציון של 76.2.

כשמשווים רק מודלים עם משקלים פתוחים, GLM 5.2 נמצא בראש הרשימה עם 72.2, ואחריו Kimi K2.7 Code עם ציון של 70.4.

כדי לראות איך המודלים החדשים והקודמים מתמודדים עם אתגרים ספציפיים ל-Android, כמו העברות של Jetpack Compose, רשתות של מכשירים לבישים ועדכוני API של הפלטפורמה, אתם יכולים לעיין במדדים של ביצועי המודלים והיעילות שלהם בטבלת ההשוואה המעודכנת.  

פתיחת Android Bench לתרומות מהקהילה

מההתחלה, אנחנו מעריכים גישה פתוחה ושקופה, ולכן פרסמנו את המתודולוגיה המקורית ואת מערכת הבדיקה שלנו ב-GitHub. ביקשתם דרך לספק משוב על מערך הנתונים שלנו, ועכשיו אנחנו עושים צעד נוסף בשיתוף הפעולה ומאפשרים לכם, קהילת מפתחי Android, לעצב את Android Bench.

החל מהיום, יש שתי דרכים לתרום ל-Android Bench:

1. אתם יכולים לעצב ולשלוח משימות פיתוח משלכם ל-Android כדי להעריך איך המודלים מתמודדים עם התרחישים שחשובים לכם.
2. הפעלת השוואות ביצועים ושיתוף שלהן באופן ישיר, בדיקת המודלים המועדפים שלכם מול מערך הנתונים שלנו או מול משימות מותאמות אישית משלכם.

נבדוק את המשימות שנשלחו ונחליט אם להוסיף אותן למדד ההשוואה. אנחנו מקווים ליצור מדד השוואה שישקף באמת את המציאות המגוונת של קהילת מפתחי Android העולמית.

מה צפוי בהמשך

ככל שיש יותר ויותר אפשרויות לפיתוח מבוסס-סוכנים, שמירה על מדד השוואה מתקדם מבטיחה שהעזרה מבוססת-ה-AI שאתם מסתמכים עליה תמשיך להיות חכמה, מועילה ויעילה יותר. אפשר לעבור אל מאגר GitHub שלנו כדי לעיין במשימות. אתם מוזמנים לשלוח משימה לצוות שלנו לבדיקה, ולעיין בHarbor Hub כדי לבדוק את מערך הנתונים או לשלוח הערכות.

כמו תמיד, אפשר לעיין ברשימת המובילים המעודכנת או לקרוא על המתודולוגיה באתר שלנו.