आजकल के मोबाइल ऐप्लिकेशन, लोगों का जुड़ाव बढ़ाने और उन्हें अपने साथ जोड़े रखने के लिए, उपयोगकर्ता के बनाए गए मीडिया पर काफ़ी हद तक निर्भर होते हैं. डिवाइस की अलग-अलग क्षमताओं, रोशनी की स्थितियों, और उपयोगकर्ता अनुभव की वजह से, ऐप्लिकेशन में कॉन्टेंट की क्वालिटी में अंतर दिखता है. ऐसे ऐप्लिकेशन के लिए, उपयोगकर्ता जनरेट किए गए कॉन्टेंट की क्वालिटी को बेहतर बनाने का मौका होता है जो अलग-अलग सोर्स से मिलने वाली फ़ोटो और वीडियो को मैनेज करते हैं. ऑप्टिमल क्वालिटी बनाए रखने के लिए, एडिटिंग, अपलोड करने, और डाउनलोड करने जैसी कार्रवाइयों के लिए ज़रूरी कंप्रेशन और अच्छी क्वालिटी में कॉन्टेंट देखने के लिए ज़रूरी जानकारी के बीच सही संतुलन बनाए रखना ज़रूरी है.
Media enhancement API के बारे में खास जानकारी
Google Play services में मौजूद Media Enhancement API, इस समस्या को हल करने के लिए उपयोगकर्ता के डिवाइस पर एआई की मदद से काम करने वाला एक बेहतरीन समाधान उपलब्ध कराता है. यह उपयोगकर्ता के डिवाइस पर मौजूद ग्राफ़िक्स प्रोसेसिंग यूनिट (जीपीयू) की मदद से, इमेज और वीडियो की अच्छी क्वालिटी और कम इंतज़ार के समय में सुधार करता है. यह इन सुधारों को ऑटोमैटिक टोन मैपिंग, फ़ोटो या वीडियो से ब्लर हटाना, डीनॉइज़िंग, और क्वालिटी को बेहतर बनाने की प्रोसेस जैसी सुविधाओं के ज़रिए करता है.
यह एपीआई, Google Play services के ज़रिए नेटिव तौर पर उपलब्ध कराया जाता है. यह इमेज और वीडियो को वापस लाने के लिए, ज़्यादा कंप्यूटिंग की ज़रूरत वाले टास्क को सीधे तौर पर होस्ट डिवाइस के नेटिव जीपीयू और न्यूरल प्रोसेसिंग यूनिट (एनपीयू) पर भेज देता है. यह एपीआई, कम समय में काम करने वाली और निजता बनाए रखने वाली पाइपलाइन उपलब्ध कराता है. इसमें एपीके का साइज़ भी नहीं बढ़ता. साथ ही, यह डिवाइस की डिस्क स्पेस को ध्यान में रखते हुए, ज़रूरत पड़ने पर ही मॉडल डाउनलोड करता है.
मुख्य सुविधाएं और इस्तेमाल के उदाहरण
यह फ़्रेमवर्क, मीडिया से जुड़ी समस्याओं को ठीक करने के लिए तीन मुख्य मशीन लर्निंग क्षमताओं का इस्तेमाल करता है. इन्हें अलग-अलग या एक साथ कॉन्फ़िगर किया जा सकता है:
| क्षमता | एल्गोरिदम से जुड़ी सुविधाएं | ऐप्लिकेशन को बेहतर तरीके से इस्तेमाल करने का उदाहरण |
|---|---|---|
| टोनमैप | एसडीआर से एसडीआर में लोकल टोन मैपिंग करने वाला एल्गोरिदम जो स्टैंडर्ड डाइनैमिक रेंज (एसडीआर) वाली इमेज को बेहतर बनाता है, ताकि वे एचडीआर जैसी क्वालिटी वाली दिखें. जैसे, बेहतर लोकल कंट्रास्ट और चमकदार शैडो. हालांकि, यह एल्गोरिदम एसडीआर की डिसप्ले रेंज में ही काम करता है. यह रीयलटाइम और कम बैटरी इस्तेमाल करने वाला एल्गोरिदम है. इसे मोबाइल परफ़ॉर्मेंस के लिए ऑप्टिमाइज़ किया गया है. | धुंधली, बादल वाली लैंडस्केप फ़ोटो या घर के अंदर ली गई ऐसी पोर्ट्रेट फ़ोटो को ठीक करना जिनमें पीछे से ज़्यादा रोशनी आ रही हो. |
| फ़ोटो या वीडियो से ब्लर हटाना | यह फ़ोटो में मौजूद चीज़ों के किनारों को फिर से बनाता है. इसके लिए, यह अनुमान लगाता है कि सब्जेक्ट के हिलने या कैमरे के हिलने की वजह से, फ़ोटो में कितना ब्लर हुआ है. यह क्रोमेटिक ग्रेन को स्मूद करने के लिए, स्पेशल फ़िल्टरिंग लागू करता है. साथ ही, यह डीब्लॉकिंग फ़िल्टर के तौर पर काम करता है, ताकि शार्प किनारों के पास कंप्रेस करने से जुड़ी गड़बड़ियों को कम किया जा सके. | हिलने या धुंधली होने की वजह से खराब हुई फ़ोटो को ठीक करना, कम रोशनी में ली गई इमेज को बेहतर बनाना, और कंप्रेस की गई JPEG इमेज और वीडियो स्ट्रीम से ब्लॉक जैसे दिखने वाले आर्टफ़ैक्ट हटाना. |
| हर सुविधा मौजूद है | यह पिक्सल की संख्या बढ़ाने और ज़्यादा फ़्रीक्वेंसी वाली छूटी हुई बारीकियों को फिर से बनाने के लिए, सुपर-रिज़ॉल्यूशन जनरेटिव मॉडल का इस्तेमाल करता है. | फ़ुल-स्क्रीन पर दिखाने के लिए, छोटे थंबनेल या स्टैंडर्ड-डेफ़िनिशन वीडियो फ़ाइलों को बड़ा करना. |
हार्डवेयर से जुड़ी ज़रूरी शर्तें
मशीन लर्निंग या डीप लर्निंग मॉडल की मदद से, उपयोगकर्ता के डिवाइस पर अनुमान लगाने में समय लगता है. साथ ही, परफ़ॉर्मेंस काफ़ी हद तक इस बात पर निर्भर करती है कि डिवाइस किन हार्डवेयर ऐक्सलरेटर का इस्तेमाल करता है. Media Enhancement API को प्रीमियम-टियर वाले उन डिवाइसों के लिए ऑप्टिमाइज़ किया गया है जिनमें खास तौर पर बनाए गए टेंसर कोर और हाई-बैंडविड्थ मेमोरी होती है. उदाहरण के लिए, Pixel 10 Pro या Samsung Galaxy S26 Ultra.
अगर किसी डिवाइस का हार्डवेयर, परफ़ॉर्मेंस के लिए तय किए गए थ्रेशोल्ड को पूरा नहीं करता है, तो डिवाइस को चालू करने की प्रोसेस रुक जाती है. साथ ही, यह सूचना दी जाती है कि डिवाइस पर यह सुविधा काम नहीं करती. इससे फ़्रेम ड्रॉप या थर्मल थ्रॉटलिंग को रोका जा सकता है.