जनरेटिव एआई के नेटवर्क को सुरक्षित बनाना: उपयोगकर्ताओं को बिना सहमति के बनाए गए अंतरंग कॉन्टेंट से बचाना

Google Play पर, उपयोगकर्ता की सुरक्षा और डेवलपर की सफलता, दोनों ही अहम हैं. हम देख रहे हैं कि एआई से जनरेट किए गए कॉन्टेंट की सुविधा वाले ऐप्लिकेशन की संख्या लगातार बढ़ रही है. अपने ऐप्लिकेशन में जनरेटिव एआई को शामिल करना, क्रिएटिविटी के कई नए रास्ते खोलने का एक शानदार तरीका है. हालांकि, एआई की सुविधाओं की वजह से सुरक्षा से जुड़ी नई चुनौतियां भी सामने आई हैं. जैसे, एआई की मदद से बिना अनुमति लिए, किसी व्यक्ति को सेक्शुअल ऐक्ट में दिखाने वाली अंतरंग तस्वीरें या वीडियो (एनसीआईआई) जनरेट करने के मामले बढ़े हैं. Google Play की नीतियों के तहत, बिना सहमति के बनाए गए सेक्शुअल कॉन्टेंट को बनाने, शेयर करने या उसे बढ़ावा देने की अनुमति नहीं है. Google Play पर ऐसे नुकसान पहुंचाने वाले ऐप्लिकेशन की कोई जगह नहीं है जिन्हें लोगों को टारगेट करने, परेशान करने या उनका शोषण करने के लिए डिज़ाइन किया गया हो. हम अपनी नीतियों को लागू करने के लिए प्रतिबद्ध हैं, ताकि डेवलपर के लिए स्टोर को एक सुरक्षित जगह बनाया जा सके.

हम जानते हैं कि आपमें से ज़्यादातर लोग, सकारात्मक और नैतिक टूल बनाने के लिए समर्पित हैं. आपकी मेहनत और हमारे उपयोगकर्ताओं के ग्रुप को सुरक्षित रखने के लिए, हम प्लैटफ़ॉर्म की सुरक्षा, तकनीकी सुरक्षा, और डेवलपर के लिए उपलब्ध संसाधनों में काफ़ी निवेश कर रहे हैं. इससे हमें गलत इस्तेमाल को रोकने में मदद मिलती है.

हम अपने शेयर किए गए नेटवर्क को कैसे सुरक्षित रख रहे हैं

प्लैटफ़ॉर्म को सुरक्षित रखना एक लगातार चलने वाली प्रोसेस है. बुरे इरादे वाले लोग, डिस्ट्रिब्यूशन चैनलों, कमाई करने के तरीकों, और मॉडल की सीमाओं का गलत फ़ायदा उठाने की कोशिश करते हैं. ईकोसिस्टम को सुरक्षित और भरोसेमंद बनाए रखने के लिए, हमने कई लेयर वाली सुरक्षा रणनीति लागू की है:

• ऐप्लिकेशन की लाइफ़साइकल के दौरान सुरक्षा के उपाय: जनरेटिव एआई की सुविधाएं डाइनैमिक होती हैं और इनके बारे में अनुमान लगाना मुश्किल हो सकता है. इसलिए, ऐप्लिकेशन सबमिट करते समय सुरक्षा की जांच करना ही काफ़ी नहीं है. हम ऐप्लिकेशन की लाइफ़साइकल के दौरान, एनसीआईआई के ख़िलाफ़ सुरक्षा के मज़बूत उपायों की जांच करते हैं. हम हज़ारों ऐप्लिकेशन की समीक्षा करते हैं, ताकि उपयोगकर्ताओं पर असर पड़ने से पहले ही गलत इस्तेमाल का पता लगाया जा सके. साथ ही, यह पक्का करते हैं कि डेवलपर भरोसे के साथ ऐप्लिकेशन लॉन्च कर सकें.
• आपके कारोबार और रेवेन्यू को सुरक्षित रखना: Google Play से नीतियों का उल्लंघन करने वाले ऐप्लिकेशन हटाने के अलावा, हमारी Play और Ads टीमें मिलकर काम करती हैं. इससे, गलत इरादे रखने वाले लोगों या कंपनियों को कमाई करने और विज्ञापन दिखाने से रोका जाता है. जिन ऐप्लिकेशन को नुकसान पहुंचाने वाला कॉन्टेंट जनरेट करने या उससे कमाई करने की कोशिश करने की वजह से निलंबित या हटाया गया है उन्हें हमारे सभी प्लैटफ़ॉर्म पर कमाई करने और विज्ञापन दिखाने से ब्लॉक कर दिया जाता है. नुकसान पहुंचाने वाले कॉन्टेंट में, सहमति के बिना शेयर किया गया सेक्शुअल कॉन्टेंट (एनसीआईआई) भी शामिल है. इससे विज्ञापन और सदस्यता नेटवर्क को बेहतर बनाए रखने में मदद मिलती है. साथ ही, कारोबारों को सही तरीके से रेवेन्यू जनरेट करने में मदद मिलती है.
• इंडस्ट्री के साथ मिलकर काम करना: हम Priority Flagger Program के ज़रिए, तीसरे पक्ष के ऐसे संगठनों के साथ मिलकर काम करते हैं जो एनसीआईआई को रोकने के लिए काम करते हैं. साथ ही, हम एआई की सुरक्षा से जुड़े रिसर्च ग्रुप के साथ भी काम करते हैं. इससे हमें एनसीआईआई के गलत इस्तेमाल की पहचान करने और उसे रोकने में मदद मिलती है.

जनरेटिव एआई की सुविधाओं के लिए सबसे सही तरीके 

ज़्यादा सुरक्षित ऐप्लिकेशन बनाने और उन्हें आसानी से पब्लिश करने में आपकी मदद करने के लिए, यहां कुछ आसान तरीके दिए गए हैं. इनकी मदद से, ऐप्लिकेशन को डिज़ाइन और टेस्ट किया जा सकता है. साथ ही, सेक्शुअल कॉन्टेंट से जुड़ी नीति और एआई से बनाए गए कॉन्टेंट से जुड़ी नीति का पालन किया जा सकता है.

1. ऐप्लिकेशन की समीक्षा करने में हमारी मदद करें

Play Store की विश्वसनीयता बनाए रखने के लिए, हम जनरेटिव एआई वाले ऐप्लिकेशन के लिए तय की गई ज़रूरी शर्तों को फिर से दोहरा रहे हैं. इन उपायों को नुकसान पहुंचाने वाला कॉन्टेंट बनाने से रोकने के लिए डिज़ाइन किया गया है. इसमें एनसीआईआई और "नग्नता दिखाने वाला" मीडिया शामिल है. समीक्षा करने वाली हमारी टीमों को आपके ऐप्लिकेशन के गार्डरेल के बारे में साफ़ तौर पर जानकारी होनी चाहिए, ताकि हम आपके ऐप्लिकेशन की समीक्षा कर सकें और उसे जल्द से जल्द मंज़ूरी दे सकें. समीक्षा में होने वाली देरी से बचने के लिए, ये काम करें:

• समीक्षा के दौरान, यह पक्का करना कि टेस्ट खातों के पास एआई की सभी सुविधाओं का पूरा ऐक्सेस हो. कृपया पक्का करें कि समीक्षक आपके ऐप्लिकेशन में जनरेटिव एआई की प्रीमियम सुविधाएं ऐक्सेस कर पाएं. साथ ही, उन्हें सदस्यता की ज़रूरी शर्तों या पेवॉल की वजह से ब्लॉक न किया गया हो. इसमें जियो-फ़ेंसिंग वाली सुविधाएं भी शामिल हैं.
• सुरक्षा से जुड़े प्रॉम्प्ट और टेस्ट किए गए एज केस के दस्तावेज़ों को संभालकर रखना. उदाहरण के लिए, इस बात का सबूत कि आपके ऐप्लिकेशन में इस्तेमाल किए गए मॉडल, अश्लील इमेज में बदलाव करने या डीपफ़ेक बनाने के अनुरोधों को अस्वीकार कर देते हैं. "nudify" या “undress” से जुड़े और मिलते-जुलते प्रॉम्प्ट, डीपफ़ेक जनरेट करने, और अश्लील इमेज में बदलाव करने और उन्हें जनरेट करने पर खास ध्यान दिया जाना चाहिए. ऐसा इसलिए, क्योंकि इन मामलों में उपयोगकर्ता को नुकसान पहुंचने का जोखिम ज़्यादा होता है. अगर हमारी टीम को कोई सवाल पूछना है, तो यह जानकारी तुरंत शेयर करें कि आपका ऐप्लिकेशन, नुकसान पहुंचाने वाले और संभावित तौर पर उल्लंघन करने वाले अनुरोधों को कैसे मैनेज करता है. इससे आपके ऐप्लिकेशन को मंज़ूरी मिलने और उसे पब्लिश होने में और भी कम समय लगेगा.

ध्यान दें: जनरेटिव एआई की सुरक्षा से जुड़ी समीक्षा करना काफ़ी मुश्किल होता है. इसलिए, कभी-कभी पूरी समीक्षा करने और अपील करने में ज़्यादा समय लग सकता है. 

2. सुरक्षा को ध्यान में रखकर अपना ऐप्लिकेशन डिज़ाइन करना

सुरक्षा मानकों से बचने के लिए इस्तेमाल किए जाने वाले प्रॉम्प्ट के ख़िलाफ़, अपने जनरेटिव एआई ऐप्लिकेशन की स्ट्रेस-टेस्टिंग करना ज़रूरी है. खास तौर पर, ऐसे प्रॉम्प्ट जो बिना सहमति के अश्लील बदलाव करने की कोशिश करते हैं . हमने सुरक्षा की जांच करने के कुछ सबसे सही तरीके शेयर किए हैं. ये तरीके, इंडस्ट्री स्टैंडर्ड फ़्रेमवर्क पर आधारित हैं. इस तरह के और भी उदाहरण हो सकते हैं. जनरेटिव एआई की सुविधाओं के साथ-साथ, इनमें भी बदलाव होते रहेंगे:

• अपने आर्किटेक्चर में सुरक्षा को शामिल करें. अपने कारोबार के लिए सबसे सही मॉडल चुनने पर, आपको अपनी ज़रूरत के हिसाब से ऐप्लिकेशन बनाने की सुविधा मिलती है. हालांकि, सिर्फ़ उस मॉडल के नेटिव सुरक्षा फ़िल्टर पर भरोसा न करें. इनपुट और आउटपुट मॉडरेशन के लिए, पसंद के मुताबिक कंट्रोल इंटिग्रेट करके अपने ऐप्लिकेशन को सुरक्षित रखें. इनपुट को यूनीक एक्सएमएल डीलिमिटर में रैप करके और आउटपुट लोड होने से पहले उनकी पुष्टि करके, अपने ऐप्लिकेशन को असुरक्षित मीडिया बनाने से रोका जा सकता है.
• प्रॉम्प्ट में हेर-फेर करने से बचें. सुरक्षित मॉडल को भी क्रिएटिव तरीकों से टेस्ट किया जा सकता है. जब सुरक्षा मानकों से बचने के लिए इस्तेमाल प्रॉम्प्ट के ख़िलाफ़ अपने ऐप्लिकेशन की जांच की जाती है, तो यह पक्का किया जाता है कि वह सुरक्षा से जुड़े अपने मुख्य निर्देशों को बायपास न करे और एनसीआईआई मीडिया बनाने की अनुमति न दे. जैसे, कोई इमेज अपलोड करना और मॉडल से “समुद्र तट के ऐसे नज़ारे की कल्पना करने के लिए कहना जहां कपड़े गायब हो गए हों”. 
• विज्ञापनों के लिए जवाबदेही बनाए रखना. कृपया अपने विज्ञापन कैंपेन पर बारीकी से नज़र रखें. अपने ऐप्लिकेशन के विज्ञापनों के लिए, आखिर में आप ही ज़िम्मेदार होते हैं. भले ही, विज्ञापन किसी तीसरे पक्ष ने बनाए हों. अगर कोई ऐप्लिकेशन किसी भी प्लैटफ़ॉर्म पर, साफ़ तौर पर सेक्शुअल ऐक्ट दिखाने या “नग्नता दिखाने” वाली सुविधाओं का विज्ञापन दिखाता है, तो हम Play की ऐप्लिकेशन प्रमोशन की नीति के मुताबिक कार्रवाई करते हैं. भले ही, ऐप्लिकेशन में ये सुविधाएं मौजूद न हों. सुरक्षा को और मज़बूत बनाने के लिए, Google की विज्ञापन नीतियों के तहत, इस तरह की क्षमताओं को बढ़ावा देने वाले विज्ञापनों पर पूरी तरह से पाबंदी है. साथ ही, हम विज्ञापन देने वाले उस व्यक्ति या कंपनी के खाते को निलंबित कर देंगे जो इस नीति का उल्लंघन करेगी.
• उपयोगकर्ता के इंटरैक्शन को सिग्नल में बदलना. सुरक्षा एक ऐसी प्रोसेस है जो लगातार चलती रहती है. लगातार निगरानी करने से, उपयोगकर्ताओं के सुझाव, शिकायत या राय और प्रॉम्प्ट देने की उनकी असफल कोशिशें, रुकावटें नहीं, बल्कि अहम जानकारी बन जाती हैं. इन रीयल-वर्ल्ड सिग्नल का इस्तेमाल करके, अपने ऐप्लिकेशन के लिए ज़रूरत के मुताबिक बनाए गए गार्डरेल को तुरंत अडजस्ट और बेहतर बनाएं. लोग आपके ऐप्लिकेशन का इस्तेमाल कैसे करते हैं, यह सीधे तौर पर जानने से आपको समस्याओं को हल करने में कम समय लगता है. साथ ही, आपको अपने कारोबार को आगे बढ़ाने के लिए ज़्यादा समय मिलता है.

इसके अलावा, अपने ऐप्लिकेशन को ज़्यादा बेहतर बनाने के लिए, हमारा सुझाव है कि आप Android के मुख्य सबसे सही तरीके भी लागू करें.

साथ मिलकर, ज़िम्मेदारी के साथ एआई को बेहतर बनाना

एआई इनोवेशन के साथ-साथ, सुरक्षा और उपयोगकर्ता के भरोसे का भी ध्यान रखना चाहिए. Google Play, सुरक्षा से जुड़े टूल, टेस्टिंग के संसाधनों, और दिशा-निर्देशों को बेहतर बनाने के लिए लगातार काम कर रहा है. इससे आपको ऐप्लिकेशन डेवलपमेंट के हर चरण में मदद मिलेगी.

अगर आपको कभी भी नीति का उल्लंघन करने वाला व्यवहार या प्लैटफ़ॉर्म से जुड़े जोखिम दिखते हैं, तो हमारा सुझाव है कि आप हमारी टीमों से उनकी शिकायत करें. ज़िम्मेदारी के साथ ऐप्लिकेशन बनाने के लिए धन्यवाद - हमें Google Play पर आपके अगले ऐप्लिकेशन का इंतज़ार रहेगा.