जनरेटिव एआई के इकोसिस्टम में सुरक्षा को बढ़ावा देना: उपयोगकर्ताओं को उनकी सहमति के बिना अंतरंग स्थिति वाला कॉन्टेंट दिखाए जाने से बचाना

Google Play पर, उपयोगकर्ताओं की सुरक्षा और डेवलपर की सफलता, दोनों साथ-साथ चलती हैं. हमें एआई से जनरेट की गई सुविधाओं वाले ऐप्लिकेशन की संख्या में लगातार बढ़ोतरी देखने को मिल रही है. साथ ही, अपने ऐप्लिकेशन में जनरेटिव एआई को शामिल करना, क्रिएटिविटी के कई नए रास्ते खोलने का एक बेहतरीन तरीका है. हालांकि, एआई की सुविधाओं से सुरक्षा से जुड़ी नई चुनौतियां भी सामने आई हैं. जैसे, एआई की मदद से बिना अनुमति लिए, किसी व्यक्ति को सेक्शुअल ऐक्ट में दिखाने वाली अंतरंग तस्वीरें या वीडियो (एनसीआईआई) जनरेट करने के मामलों में बढ़ोतरी. Google Play की नीतियों के तहत, बिना अनुमति के सेक्शुअल कॉन्टेंट को बढ़ावा देने, बनाने या डिस्ट्रिब्यूट करने पर पाबंदी है. Google Play पर, लोगों को टारगेट करने, उन्हें परेशान करने या उनका शोषण करने के मकसद से बनाए गए नुकसान पहुंचाने वाले ऐप्लिकेशन को बिलकुल भी जगह नहीं दी जाती. हम अपनी नीतियों को लागू करने के लिए प्रतिबद्ध हैं, ताकि डेवलपर के लिए स्टोर को एक सुरक्षित जगह बनाए रखा जा सके.

हम जानते हैं कि आप में से ज़्यादातर लोग, सकारात्मक और नैतिक टूल बनाने के लिए प्रतिबद्ध हैं. हम प्लैटफ़ॉर्म की सुरक्षा, तकनीकी सुरक्षा, और डेवलपर के लिए उपलब्ध संसाधनों में काफ़ी निवेश कर रहे हैं. इससे हम आपके काम और हमारे प्लैटफ़ॉर्म का इस्तेमाल करने वाले लोगों को सुरक्षित रख पाएंगे. साथ ही, हम प्लैटफ़ॉर्म के गलत इस्तेमाल को रोक पाएंगे.

हम अपने शेयर किए गए नेटवर्क को कैसे सुरक्षित रख रहे हैं

प्लैटफ़ॉर्म को सुरक्षित रखने के लिए, हम लगातार काम करते रहते हैं. हैकर, डिस्ट्रिब्यूशन चैनल, कमाई करने के तरीके, और मॉडल की सीमाओं का गलत इस्तेमाल करने की कोशिश करते हैं. ईकोसिस्टम को निष्पक्ष और सुरक्षित बनाए रखने के लिए, हमने कई लेयर वाली सुरक्षा रणनीति लागू की है:

• ऐप्लिकेशन के पूरे लाइफ़साइकल में सुरक्षा से जुड़ी सुविधाएं: जनरेटिव एआई की सुविधाएं डाइनैमिक होती हैं और इनके बारे में अनुमान लगाना मुश्किल होता है. इसलिए, जब ऐप्लिकेशन सबमिट किया जाता है, तब सुरक्षा की जांच सिर्फ़ एक बार नहीं की जाती. हम ऐप्लिकेशन के पूरे लाइफ़साइकल में, बार-बार उनकी जांच करते हैं, ताकि एनसीआईआई को बेहतर तरीके से कंट्रोल किया जा सके. हम हज़ारों ऐप्लिकेशन की समीक्षा करते हैं, ताकि बड़े पैमाने पर उपयोगकर्ताओं पर असर पड़ने से पहले ही, उनके गलत इस्तेमाल का पता लगाया जा सके. साथ ही, यह पक्का किया जा सके कि डेवलपर भरोसे के साथ ऐप्लिकेशन लॉन्च कर सकें.
• आपके कारोबार और रेवेन्यू को सुरक्षित रखना: Google Play से नीति का उल्लंघन करने वाले ऐप्लिकेशन हटाने के साथ-साथ, हमारी Play और Ads टीमें मिलकर धोखाधड़ी करने वालों के लिए कमाई और विज्ञापन दिखाने के रास्ते बंद करती हैं. जिन ऐप्लिकेशन को नुकसान पहुंचाने वाला कॉन्टेंट जनरेट करने या उससे कमाई करने की कोशिश करने की वजह से निलंबित या हटाया गया है उन्हें हमारे सभी प्लैटफ़ॉर्म पर कमाई करने और विज्ञापन दिखाने से ब्लॉक कर दिया जाता है. जैसे, एनसीआईआई. इससे विज्ञापन और सदस्यता के नेटवर्क को बेहतर बनाए रखने में मदद मिलती है. साथ ही, इससे कानूनी तौर पर रजिस्टर कारोबारों को रेवेन्यू मिलता है.
• उद्योगों के साथ मिलकर काम करना: हम तीसरे पक्ष की उन खास संस्थाओं के साथ मिलकर काम करते हैं जो एनसीआईआई से बचाव करती हैं. साथ ही, हम एआई की सुरक्षा से जुड़े रिसर्च ग्रुप के साथ भी काम करते हैं. इसके लिए, हम Priority Flagger Program का इस्तेमाल करते हैं. हम खास तौर पर एनसीआईआई के गलत इस्तेमाल की पहचान करने और इससे निपटने के लिए ऐसा करते हैं. 

जनरेटिव एआई की सुविधाओं को इस्तेमाल करने के सबसे सही तरीके 

हमारा मकसद है कि आप सुरक्षित ऐप्लिकेशन बना पाएं और उन्हें आसानी से पब्लिश कर पाएं. इसके लिए, यहां कुछ आसान तरीके दिए गए हैं. इनकी मदद से, सेक्शुअल कॉन्टेंट से जुड़ी हमारी नीति और  एआई से जनरेट किए गए कॉन्टेंट से जुड़ी हमारी नीति के मुताबिक, अपने ऐप्लिकेशन को डिज़ाइन और टेस्ट किया जा सकता है.

1. ऐप्लिकेशन की समीक्षा को आसान बनाने में हमारी मदद करें

Play Store की विश्वसनीयता बनाए रखने के लिए, हम जनरेटिव एआई ऐप्लिकेशन को खास तौर पर टारगेट करके, बेहतर ज़रूरी शर्तों को दोहरा रहे हैं. इन तरीकों का इस्तेमाल, नुकसान पहुंचाने वाला कॉन्टेंट बनाने से रोकने के लिए किया जाता है. इसमें एनसीआईआई और "न्यूडिफ़ाय" मीडिया शामिल है. समीक्षा करने वाली हमारी टीमों को आपके ऐप्लिकेशन के दिशा-निर्देशों के बारे में साफ़ तौर पर पता होना चाहिए, ताकि हम आपके ऐप्लिकेशन की समीक्षा करके उसे जल्दी और आसानी से मंज़ूरी दे सकें. समीक्षा में बेवजह की देरी से बचने के लिए:

• यह पक्का करना कि समीक्षा के दौरान, टेस्ट खातों के पास एआई की सभी सुविधाओं का पूरा ऐक्सेस हो. कृपया पक्का करें कि समीक्षक, आपके ऐप्लिकेशन में जनरेटिव एआई की प्रीमियम सुविधाओं को ऐक्सेस कर सकें. साथ ही, उन्हें सदस्यता की ज़रूरी शर्तों या पेवॉल की वजह से ब्लॉक न किया गया हो. इसमें, भौगोलिक सीमाएं तय करने वाली सुविधाएं भी शामिल हैं.
• सुरक्षा से जुड़े प्रॉम्प्ट और आपने जिन खास मामलों की जांच की है उनसे जुड़े दस्तावेज़ अपने पास रखें. उदाहरण के लिए, इस बात का सबूत कि आपका ऐप्लिकेशन जिन मॉडल का इस्तेमाल करता है वे साफ़ तौर पर आपत्तिजनक इमेज में बदलाव करने या डीपफ़ेक से जुड़े अनुरोधों को अस्वीकार करते हैं. "नग्नता" या “कपड़े उतारने” से जुड़े और मिलते-जुलते प्रॉम्प्ट, डीपफ़ेक जनरेट करने, और अश्लील इमेज में बदलाव करने और उन्हें जनरेट करने पर खास ध्यान दिया जाना चाहिए. ऐसा इसलिए, क्योंकि इन संदर्भों में उपयोगकर्ता को नुकसान पहुंचने का खतरा बढ़ जाता है. अगर हमारी टीम के कुछ सवाल हैं, तो यह जानकारी तुरंत शेयर करें कि आपका ऐप्लिकेशन, नुकसान पहुंचाने वाले और नीति का उल्लंघन करने वाले अनुरोधों को कैसे हैंडल करता है. इससे आपके ऐप्लिकेशन को मंज़ूरी मिलने और उसे पब्लिश होने में और भी कम समय लगेगा.

ध्यान दें: जनरेटिव एआई की सुरक्षा का आकलन करना एक जटिल प्रक्रिया है. इसलिए, कभी-कभी बारीकी से की जाने वाली समीक्षाओं और अपील में ज़्यादा समय लग सकता है. 

2. सुरक्षा के लिहाज़ से अपना ऐप्लिकेशन डिज़ाइन करना

अपने जनरेटिव एआई ऐप्लिकेशन की स्ट्रेस-टेस्टिंग करना ज़रूरी है. इसके लिए, ऐसे प्रॉम्प्ट का इस्तेमाल करें जो आपत्तिजनक हों. खास तौर पर, ऐसे प्रॉम्प्ट का इस्तेमाल करें जिनसे सहमति के बिना आपत्तिजनक बदलाव करने की कोशिश की जाती है.  हमने सुरक्षा जांच के लिए, सबसे सही तरीके शेयर किए हैं. ये तरीके, इंडस्ट्री के स्टैंडर्ड फ़्रेमवर्क पर आधारित हैं, ताकि आपको मदद मिल सके. ये उदाहरण पूरी तरह से नहीं दिए गए हैं. साथ ही, जनरेटिव एआई की सुविधाओं के साथ-साथ, इनमें भी बदलाव होते रहेंगे:

• अपने आर्किटेक्चर में सुरक्षा को शामिल करें. अपने कारोबार के लिए सबसे सही मॉडल चुनने पर, आपको अपनी ज़रूरत के हिसाब से मॉडल बनाने की सुविधा मिलती है. हालांकि, सिर्फ़ उस मॉडल के नेटिव सुरक्षा फ़िल्टर पर भरोसा न करें. अपनी पसंद के मुताबिक इनपुट और आउटपुट को मॉडरेट करने वाले कंट्रोल इंटिग्रेट करके, अपने ऐप्लिकेशन को सुरक्षित रखें. इनपुट को यूनीक एक्सएमएल डेलिमिटर में रैप करके और आउटपुट लोड होने से पहले उनकी पुष्टि करके, अपने ऐप्लिकेशन को असुरक्षित मीडिया बनाने से रोका जा सकता है.
• प्रॉम्प्ट में बदलाव करने से एक कदम आगे रहें. सुरक्षित मॉडल की भी क्रिएटिव वर्कअराउंड से जांच की जा सकती है. जब अपने ऐप्लिकेशन की जांच, नुकसान पहुंचाने वाले प्रॉम्प्ट के ख़िलाफ़ की जाती है, तो यह पक्का किया जाता है कि वह सुरक्षा से जुड़े मुख्य निर्देशों का पालन कर रहा हो. जैसे, किसी इमेज को अपलोड करके मॉडल से यह पूछना कि “ऐसी बीच सीन की इमेज बनाओ जिसमें कपड़े गायब हों”. इससे यह पक्का किया जाता है कि ऐप्लिकेशन, एनसीआईआई मीडिया बनाने की अनुमति न दे. 
• विज्ञापनों के लिए जवाबदेही बनाए रखें. कृपया अपने विज्ञापन कैंपेन पर नज़र रखें. आपके ऐप्लिकेशन के विज्ञापनों की ज़िम्मेदारी आपकी ही होती है. भले ही, विज्ञापनों को तीसरे पक्ष ने बनाया हो. अगर कोई ऐप्लिकेशन किसी भी प्लैटफ़ॉर्म पर सेक्शुअल कॉन्टेंट दिखाने या “नग्नता” दिखाने वाली सुविधाओं का विज्ञापन करता है, तो हम Play की ऐप्लिकेशन के प्रमोशन से जुड़ी नीति के मुताबिक कार्रवाई करते हैं. भले ही, ऐप्लिकेशन में ये सुविधाएं मौजूद न हों. सुरक्षा की एक अतिरिक्त लेयर के तौर पर, Google की विज्ञापन नीतियां, इन सुविधाओं का प्रमोशन करने वाले विज्ञापनों पर पूरी तरह से पाबंदी लगाती हैं. साथ ही, हम विज्ञापन देने वाले उस व्यक्ति या कंपनी का खाता निलंबित कर देंगे जो इन नीतियों का उल्लंघन करती है.
• उपयोगकर्ता के इंटरैक्शन को सिग्नल में बदलें. सुरक्षा एक लगातार चलने वाली प्रक्रिया है. लगातार निगरानी करने की सुविधा लागू करने पर, उपयोगकर्ताओं के सुझाव/राय और उनकी शिकायतें और प्रॉम्प्ट के काम न करने की कोशिशें, आपके लिए नुकसानदेह नहीं होतीं. इनसे आपको अहम जानकारी मिलती है. इन रीयल-वर्ल्ड सिग्नल का इस्तेमाल करके, अपने ऐप्लिकेशन के लिए ज़रूरत के मुताबिक बनाए गए गार्डरेल में तुरंत बदलाव करें और उन्हें बेहतर बनाएं. लोग आपके ऐप्लिकेशन का इस्तेमाल कैसे करते हैं, इस बारे में सीधे तौर पर जानकारी मिलने से, आपको समस्याओं को ठीक करने में कम समय लगता है. साथ ही, आपको अपने कारोबार को आगे बढ़ाने के लिए ज़्यादा समय मिलता है.

इसके अलावा, हम आपको अपने ऐप्लिकेशन को ज़्यादा भरोसेमंद बनाने के लिए, Android के इन बुनियादी सिद्धांतों को लागू करने का सुझाव देते हैं.

ज़िम्मेदारी के साथ, साथ मिलकर बनाना

एआई के क्षेत्र में होने वाले इनोवेशन के साथ-साथ, सुरक्षा और उपयोगकर्ता के भरोसे को हमेशा प्राथमिकता दी जानी चाहिए. Google Play, सुरक्षा से जुड़े टूल, टेस्टिंग के संसाधन, और दिशा-निर्देशों को बेहतर बनाने के लिए लगातार काम कर रहा है. इससे आपको डेवलपमेंट के हर चरण में मदद मिलेगी.

अगर आपको कभी भी नीति का उल्लंघन करने वाला व्यवहार या प्लैटफ़ॉर्म से जुड़े जोखिम दिखते हैं, तो हम आपको हमारी टीमों से उनकी शिकायत करने के लिए बढ़ावा देते हैं. ज़िम्मेदारी के साथ ऐप्लिकेशन बनाने के लिए धन्यवाद. हमें Google Play पर आपके अगले ऐप्लिकेशन का बेसब्री से इंतज़ार है.