אפליקציות מודרניות לנייד מסתמכות במידה רבה על מדיה שנוצרה על ידי משתמשים כדי להגביר את המעורבות והשימור. יש שונות טבעית באיכות התוכן באפליקציות בגלל מגוון היכולות של המכשירים, תנאי התאורה וחוויית המשתמש. אם האפליקציות שלכם מנהלות נפחים גדולים של תמונות וסרטונים שמגיעים ממגוון מקורות, יש לכם הזדמנות לשפר את איכות הבסיס של התוכן שנוצר על ידי משתמשים. כדי לשמור על איכות אופטימלית, צריך לשמור על איזון בין הדחיסה שנדרשת לפעולות כמו עריכה, העלאה והורדה, לבין שמירה על מספיק פרטים לצריכה באיכות גבוהה.
סקירה כללית על Media enhancement API
ממשק ה-API לשיפור המדיה ב-Google Play Services מספק פתרון מקיף של AI במכשיר כדי לגשר על הפער הזה. הוא משתמש בהאצה של מעבד גרפי (GPU) במכשיר כדי לספק שיפורים באיכות גבוהה ובזמן אחזור נמוך לתמונות ולסרטונים. השיפורים האלה מתבצעים באמצעות תכונות כמו מיפוי טונים אוטומטי, הסרת טשטוש, הסרת רעשים והגדלת רזולוציה.
ה-API הזה, שמופעל באופן מקורי דרך Google Play Services, מעביר משימות שדורשות הרבה משאבי מחשוב של שחזור תמונות וסרטונים ישירות אל ה-GPU המקורי ואל היחידה לעיבוד עצבי (NPU) של מכשיר המארח. ה-API מספק צינור נתונים עם השהיה נמוכה ושמירה על הפרטיות, ללא ניפוח של קובץ ה-APK. הוא מוריד מודלים לפי דרישה רק כשצריך, כדי לא לבזבז מקום בדיסק של המכשיר.
יכולות ליבה ותרחישי שימוש
המסגרת מתמקדת בנקודות ספציפיות של כשל במדיה באמצעות שלוש יכולות ליבה של למידת מכונה, שאפשר להגדיר אותן בנפרד או יחד:
| פונקציה | פונקציונליות אלגוריתמית | תרחיש שימוש אופטימלי באפליקציה |
|---|---|---|
| מיפוי טונים | אלגוריתם למיפוי טונים מקומי מ-SDR ל-SDR שמשפר תמונות בטווח דינמי רגיל (SDR) כדי לחקות איכויות דומות ל-HDR, כמו ניגודיות מקומית משופרת והבהרת אזורים מוצללים, תוך שמירה על טווח ה-SDR שניתן להצגה. האלגוריתם הזה פועל בזמן אמת, חסכוני באנרגיה ועבר אופטימיזציה לביצועים בנייד. | שיפור תמונות נוף שטוחות ומעוננות או תמונות פורטרט בתוך הבית עם תאורה אחורית חזקה. |
| הפחתת טשטוש | הכלי משחזר קצוות חדים על ידי הערכת ליבת הטשטוש המתמטית שנגרמה כתוצאה מתנועת האובייקט או מרעידות המצלמה. הוא מחיל סינון מרחבי כדי להחליק גרעיניות כרומטית, ופועל כמסנן לביטול חסימות כדי לצמצם את הארטיפקטים של הדחיסה ליד קצוות חדים. | שיפור תמונות מטושטשות או רועדות, שיפור תמונות מגורענות שצולמו בתנאי תאורה חלשים והסרת ארטיפקטים מרובעים מתמונות JPEG דחוסות ומזרמי וידאו. |
| יוקרתית | הוא משתמש במודל גנרטיבי של סופר-רזולוציה כדי להכפיל את מספר הפיקסלים ולשחזר פרטים חסרים בתדר גבוה. | שינוי הגודל של תמונות ממוזערות קטנות או של קובצי וידאו באיכות SD כדי להציג אותם במסך מלא. |
דרישות חומרה
הסקת מסקנות במכשיר באמצעות מודלים של למידת מכונה או למידה עמוקה אורכת זמן, והביצועים תלויים במידה רבה במאיצי החומרה שבהם המכשיר משתמש. ממשק ה-API לשיפור המדיה מותאם למכשירים ברמת פרימיום שמצוידים בליבות טנסור ייעודיות ובזיכרון עם רוחב פס גבוה (לדוגמה, Pixel 10 Pro או Samsung Galaxy S26 Ultra).
אם החומרה של מכשיר לא עומדת בדרישות הסף המינימליות לביצועים, תהליך האתחול נעצר ומוצג סטטוס של חוסר תמיכה כדי למנוע ירידה בקצב הפריימים או ויסות תרמי.