ทำความเข้าใจความสามารถในการปรับปรุงสื่อ

แอปพลิเคชันบนอุปกรณ์เคลื่อนที่สมัยใหม่ต้องพึ่งพาสื่อที่ผู้ใช้สร้างขึ้นอย่างมากเพื่อกระตุ้นการมีส่วนร่วมและรักษาผู้ใช้ไว้ แอปต่างๆ สังเกตเห็นความแปรปรวนตามธรรมชาติในคุณภาพของเนื้อหาเนื่องจากความสามารถของอุปกรณ์ สภาพแสง และประสบการณ์ของผู้ใช้ที่หลากหลาย สำหรับแอปที่จัดการรูปภาพและวิดีโอจำนวนมากซึ่งมาจากแหล่งที่มาต่างๆ มีโอกาสที่จะยกระดับคุณภาพพื้นฐานของเนื้อหาที่ผู้ใช้สร้างขึ้นนี้ การรักษาคุณภาพที่เหมาะสมต้องอาศัยความสมดุลระหว่างการบีบอัดที่จำเป็นสำหรับการดำเนินการต่างๆ เช่น การแก้ไข การอัปโหลด และการดาวน์โหลด ขณะเดียวกันก็ต้องเก็บรายละเอียดไว้เพียงพอสำหรับการรับชมที่มีรายละเอียดเสมือนจริงสูง

ภาพรวมของ Media Enhancement API

Media Enhancement API ในบริการ Google Play มีโซลูชัน AI ที่ครอบคลุมในอุปกรณ์เพื่อลดช่องว่างนี้ โดยใช้การเร่งความเร็วของหน่วยประมวลผลกราฟิก (GPU) ในอุปกรณ์เพื่อให้รูปภาพและวิดีโอมีคุณภาพสูงและมีความหน่วงต่ำ API นี้จะปรับปรุงคุณภาพผ่านฟีเจอร์ต่างๆ เช่น การแมปโทนสีอัตโนมัติ การปรับให้คมชัด การลดสัญญาณรบกวน และการเพิ่มความละเอียด

API นี้ได้รับการติดตั้งมาพร้อมกับบริการ Google Play โดยจะลดภาระงานการกู้คืนรูปภาพและวิดีโอที่ต้องใช้การคำนวณจำนวนมากไปยัง GPU ดั้งเดิมและหน่วยประมวลผลประสาท (NPU) ของอุปกรณ์โฮสต์โดยตรง API นี้มีไปป์ไลน์ที่มีเวลาในการตอบสนองต่ำและรักษาความเป็นส่วนตัวโดยไม่มีการเพิ่มขนาด APK โดยจะดาวน์โหลดโมเดลตามความต้องการเมื่อจำเป็นเท่านั้นเพื่อไม่ให้ใช้พื้นที่ในดิสก์ของอุปกรณ์มากเกินไป

ความสามารถหลักและกรณีการใช้งาน

เฟรมเวิร์กกำหนดเป้าหมายจุดที่สื่อล้มเหลวโดยเฉพาะผ่านความสามารถหลัก 3 อย่างของแมชชีนเลิร์นนิง ซึ่งคุณสามารถกำหนดค่าแยกกันหรือพร้อมกันก็ได้

ความสามารถ	ฟังก์ชันการทำงานของอัลกอริทึม	กรณีการใช้งานแอปพลิเคชันที่เหมาะสม
การปรับโทนสี	อัลกอริทึมการแมปโทนสีแบบ SDR-to-SDR ในอุปกรณ์ที่ปรับปรุงรูปภาพ Standard Dynamic Range (SDR) ให้มีคุณภาพคล้ายกับ HDR เช่น ปรับปรุงคอนทราสต์เฉพาะจุดและทำให้เงาสว่างขึ้น ขณะเดียวกันก็ยังคงอยู่ในช่วง SDR ที่แสดงได้ อัลกอริทึมแบบเรียลไทม์และประหยัดพลังงานนี้ ได้รับการปรับให้เหมาะกับประสิทธิภาพของอุปกรณ์เคลื่อนที่	กู้คืนรูปภาพทิวทัศน์ที่ดูแบนราบและมีเมฆปกคลุม หรือภาพบุคคลในอาคารที่มีแสงจากด้านหลังมากเกินไป
การปรับให้คมชัด	สร้างขอบที่คมชัดขึ้นโดยประมาณเคอร์เนลเบลอทางคณิตศาสตร์ที่เกิดจากการเคลื่อนไหวของวัตถุหรือกล้องสั่น ใช้การกรองเชิงพื้นที่เพื่อลดความหยาบของสี และทำหน้าที่เป็นตัวกรองการลดการเกิดบล็อกเพื่อลดสิ่งรบกวนจากการบีบอัดใกล้ขอบที่คมชัด	กู้คืนรูปภาพที่สั่นไหวหรือเบลอ ปรับปรุงรูปภาพแสงน้อยที่มีความหยาบ และนำสิ่งรบกวนที่เป็นบล็อกออกจากรูปภาพ JPEG และสตรีมวิดีโอที่บีบอัด
การเพิ่มความละเอียด	ใช้โมเดลเชิงกำเนิดแบบความละเอียดสูงพิเศษเพื่อเพิ่มจำนวนพิกเซลและสร้างรายละเอียดความถี่สูงที่ขาดหายไป	การปรับขนาดภาพขนาดย่อขนาดเล็กหรือไฟล์วิดีโอความละเอียดมาตรฐานให้แสดงแบบเต็มหน้าจอ

ข้อกำหนดเกี่ยวกับฮาร์ดแวร์

การอนุมานในอุปกรณ์ด้วยโมเดลแมชชีนเลิร์นนิงหรือการเรียนรู้เชิงลึกต้องใช้เวลา และประสิทธิภาพจะขึ้นอยู่กับตัวเร่งฮาร์ดแวร์ที่อุปกรณ์ใช้เป็นส่วนใหญ่ Media Enhancement API ได้รับการปรับให้เหมาะกับอุปกรณ์ระดับพรีเมียมที่มี Tensor Core เฉพาะและหน่วยความจำแบนด์วิดท์สูง (เช่น Pixel 10 Pro หรือ Samsung Galaxy S26 Ultra)

หากฮาร์ดแวร์ของอุปกรณ์ไม่เป็นไปตามเกณฑ์ประสิทธิภาพขั้นต่ำ กระบวนการเริ่มต้นจะหยุดลงและรายงานสถานะที่ไม่รองรับเพื่อป้องกันการหลุดของเฟรมหรือการจำกัดความเร็วเนื่องจากความร้อน