הסבר על היכולות של שיפור המדיה

אפליקציות מודרניות לנייד מסתמכות במידה רבה על מדיה שנוצרה על ידי משתמשים כדי להגביר את ההתעניינות והשימור. באפליקציות יש הבדלים טבעיים באיכות התוכן בגלל המגוון הרחב של יכולות המכשירים, תנאי התאורה וחוויית המשתמש. באפליקציות שמנהלות כמויות גדולות של תמונות וסרטונים ממגוון מקורות, יש הזדמנות לשפר את איכות הבסיס של התוכן הזה שנוצר על ידי משתמשים. כדי לשמור על איכות אופטימלית, צריך לאזן בין הדחיסה שנדרשת לפעולות כמו עריכה, העלאה והורדה, לבין שמירה על מספיק פרטים כדי שהצפייה תהיה באיכות גבוהה.

סקירה כללית על Media enhancement API

‫Media Enhancement API ב-Google Play Services מספק פתרון AI מקיף במכשיר כדי לגשר על הפער הזה. הוא משתמש בהאצה של המעבד הגרפי (GPU) במכשיר כדי לשפר את האיכות של התמונות והסרטונים עם זמן אחזור קצר. השיפורים האלה מתבצעים באמצעות תכונות כמו מיפוי גוונים אוטומטי, הסרת טשטוש, הפחתת רעשים והגדלת קנה מידה.

ה-API הזה, שמופעל באופן מקורי דרך Google Play Services, מעביר משימות שחזור של תמונות וסרטונים שדורשות משאבי מחשוב רבים ישירות למעבד הגרפי (GPU) וליחידת העיבוד הנוירוני (NPU) המקוריים של המכשיר המארח. ה-API מספק צינור עיבוד נתונים עם זמן אחזור קצר ששומר על הפרטיות, בלי להגדיל את קובץ ה-APK. המודלים יורדים על פי דרישה רק כשצריך, כדי לא לתפוס יותר מדי מקום בכונן של המכשיר.

יכולות ליבה ותרחישי שימוש

המסגרת מתמקדת בנקודות כשל ספציפיות במדיה באמצעות שלוש יכולות ליבה של למידת מכונה, שאפשר להגדיר בנפרד או ביחד:

פונקציה פונקציונליות אלגוריתמית תרחיש שימוש אופטימלי באפליקציה
מיפוי גוונים אלגוריתם למיפוי גוונים מקומי מ-SDR ל-SDR שמשפר תמונות בטווח דינמי רגיל (SDR) כדי לחקות איכויות דמויות HDR – כמו ניגודיות מקומית משופרת והבהרת צללים – תוך שמירה על טווח ה-SDR שניתן להצגה. האלגוריתם הזה פועל בזמן אמת, חסכוני בחשמל ומותאם לביצועים בנייד. הצלת תמונות נוף שטוחות ומעוננות או דיוקנאות בתוך הבית עם תאורה אחורית חזקה.
הפחתת טשטוש הכלי משחזר קצוות חדים על ידי הערכת גרעין הטשטוש המתמטי שנגרם מתנועת האובייקט או מרעידת המצלמה. האפקט מפעיל סינון מרחבי כדי להחליק גרעיניות כרומטית, ופועל כמסנן לביטול חסימה כדי לצמצם פגמים בדחיסה ליד קצוות חדים. תיקון תמונות מטושטשות או לא יציבות, שיפור תמונות מגורענות שצולמו בתאורה חלשה והסרת פגמים בתמונות JPEG דחוסות ובסרטונים.
יוקרתית התכונה משתמשת במודל גנרטיבי של שדרוג הרזולוציה כדי להכפיל את מספר הפיקסלים ולשחזר פרטים חסרים בתדירות גבוהה. הגדלת תמונות ממוזערות קטנות או קובצי וידאו באיכות רגילה לתצוגה במסך מלא.

במאמר טעינת תמונות באופן הדרגתי ברשתות איטיות מופיעה דוגמה שמשלבת הגדלת קנה מידה והסרת טשטוש בתמונות ברזולוציה נמוכה שהורדו ברשתות איטיות.

דרישות החומרה

הרצת הסקה במכשיר באמצעות מודלים של למידת מכונה או למידה עמוקה נמשכת זמן, והביצועים תלויים במידה רבה בשיפור מהירות באמצעות חומרה שבה המכשיר משתמש. ‫Media Enhancement API מותאם למכשירים ברמת פרימיום שמצוידים בליבות Tensor ייעודיות וזיכרון ברוחב פס גבוה (לדוגמה, Pixel 10 Pro או Samsung Galaxy S26 Ultra).

אם החומרה של המכשיר לא עומדת בדרישות הסף המינימליות לביצועים, תהליך האתחול נעצר ומדווח על סטטוס לא נתמך כדי למנוע אובדן פריימים או ויסות תרמי.