ทำความเข้าใจความสามารถในการปรับปรุงสื่อ

แอปพลิเคชันบนอุปกรณ์เคลื่อนที่ในปัจจุบันพึ่งพาสื่อที่ผู้ใช้สร้างขึ้นอย่างมากเพื่อกระตุ้น การมีส่วนร่วมและการรักษาผู้ใช้ แอปจะสังเกตความผันแปรตามธรรมชาติในคุณภาพของเนื้อหา เนื่องจากความสามารถของอุปกรณ์ สภาพแสง และประสบการณ์ของผู้ใช้ มีความหลากหลาย สำหรับแอปที่จัดการรูปภาพและวิดีโอจำนวนมากจากแหล่งที่มาต่างๆ คุณมีโอกาสที่จะยกระดับคุณภาพพื้นฐาน ของเนื้อหาที่ผู้ใช้สร้างขึ้นนี้ การรักษาคุณภาพที่เหมาะสมที่สุดต้องอาศัยความสมดุลระหว่างการบีบอัดที่จำเป็นสำหรับการดำเนินการต่างๆ เช่น การแก้ไข การอัปโหลด และการดาวน์โหลด ขณะเดียวกันก็ต้องคงรายละเอียดไว้ให้เพียงพอสำหรับการรับชมที่มีความเที่ยงตรงสูง

ภาพรวม Media Enhancement API

Media Enhancement API ในบริการ Google Play มีโซลูชัน AI ที่ครอบคลุมในอุปกรณ์เพื่อเชื่อมช่องว่างนี้ โดยจะใช้การเร่งความเร็วของหน่วยประมวลผลกราฟิก (GPU) ในอุปกรณ์เพื่อปรับปรุงรูปภาพและวิดีโอให้มีคุณภาพสูงและมีความหน่วงต่ำ โดยการปรับปรุงเหล่านี้เกิดขึ้นได้ผ่านฟีเจอร์ต่างๆ เช่น การแมปโทนสีอัตโนมัติ การปรับให้คมชัด การลดสัญญาณรบกวน และการเพิ่มความละเอียดของรูปภาพ

API นี้ซึ่งให้บริการผ่านบริการ Google Play โดยตรงจะลดภาระ งานการกู้คืนรูปภาพและวิดีโอที่ต้องใช้การคำนวณจำนวนมากไปยัง GPU และหน่วยประมวลผลประสาท (NPU) ดั้งเดิมของอุปกรณ์โฮสต์โดยตรง API มีไปป์ไลน์ที่มีเวลาในการตอบสนองต่ำและรักษาความเป็นส่วนตัวโดยไม่มีการขยายขนาด APK, ดาวน์โหลดโมเดล ตามต้องการเฉพาะเมื่อจำเป็นเพื่อไม่ให้ใช้พื้นที่ดิสก์ของอุปกรณ์มากเกินไป

ความสามารถหลักและกรณีการใช้งาน

เฟรมเวิร์กนี้มุ่งเน้นจุดที่สื่อล้มเหลวโดยเฉพาะผ่านความสามารถหลัก 3 อย่างของแมชชีนเลิร์นนิง ซึ่งคุณกำหนดค่าแยกกันหรือพร้อมกันได้ ดังนี้

ความสามารถ	ฟังก์ชันการทำงานของอัลกอริทึม	กรณีการใช้งานแอปพลิเคชันที่เหมาะสม
การแมปโทน	อัลกอริทึมการแมปโทนสีเฉพาะที่จาก SDR เป็น SDR ที่ปรับปรุงรูปภาพ Standard Dynamic Range (SDR) เพื่อเลียนแบบคุณภาพ คล้าย HDR เช่น คอนทราสต์เฉพาะที่ที่ได้รับการปรับปรุงและเงาที่สว่างขึ้น ขณะที่ ยังคงอยู่ในช่วง SDR ที่แสดงได้ อัลกอริทึมแบบเรียลไทม์ที่ประหยัดพลังงานนี้ได้รับการเพิ่มประสิทธิภาพเพื่อประสิทธิภาพบนอุปกรณ์เคลื่อนที่	กู้คืนรูปภาพทิวทัศน์ที่แบนราบและมีเมฆปกคลุม หรือภาพถ่ายบุคคลในอาคารที่มีแสงสว่างด้านหลังมากเกินไป
ปรับให้คมชัด	สร้างขอบที่คมชัดขึ้นใหม่โดยประมาณเคอร์เนลเบลอทางคณิตศาสตร์ที่เกิดจากการเคลื่อนไหวของวัตถุหรือกล้องสั่น ใช้การกรองเชิงพื้นที่เพื่อลดความหยาบของสี และทำหน้าที่เป็นตัวกรองการลดบล็อกเพื่อลดสิ่งประดิษฐ์จากการบีบอัดใกล้ขอบที่คมชัด	การกู้คืนรูปภาพที่สั่นไหวหรือเบลอ การปรับปรุงรูปภาพที่มีแสงน้อยซึ่งเป็นเม็ดเล็กๆ และการนำอาร์ติแฟกต์ที่เป็นบล็อกออกจากรูปภาพ JPEG และสตรีมวิดีโอที่บีบอัด
หรูหรา	ใช้โมเดล Generative แบบความละเอียดสูงเพื่อเพิ่มจำนวนพิกเซลและสร้างรายละเอียดความถี่สูงที่ขาดหายไปขึ้นมาใหม่	การปรับขนาดภาพปกขนาดเล็กหรือไฟล์วิดีโอความละเอียดมาตรฐานเพื่อแสดงแบบเต็มหน้าจอ

ข้อกำหนดเกี่ยวกับฮาร์ดแวร์

การเรียกใช้การอนุมานในอุปกรณ์ด้วยโมเดลแมชชีนเลิร์นนิงหรือการเรียนรู้เชิงลึกต้องใช้เวลา และประสิทธิภาพส่วนใหญ่ขึ้นอยู่กับตัวเร่งฮาร์ดแวร์ที่อุปกรณ์ใช้ Media Enhancement API ได้รับการเพิ่มประสิทธิภาพสำหรับอุปกรณ์ระดับพรีเมียมที่มี Tensor Core โดยเฉพาะและหน่วยความจำแบนด์วิดท์สูง (เช่น Pixel 10 Pro หรือ Samsung Galaxy S26 Ultra)

หากฮาร์ดแวร์ของอุปกรณ์ไม่เป็นไปตามเกณฑ์ประสิทธิภาพขั้นต่ำ กระบวนการเริ่มต้นจะหยุดลงและรายงานสถานะที่ไม่รองรับเพื่อป้องกันเฟรมหลุดหรือการควบคุมความร้อน