Zapewnianie bezpieczeństwa w ekosystemie generatywnej AI: ochrona użytkowników przed treściami intymnymi bez ich zgody

W Google Play bezpieczeństwo użytkowników i sukces deweloperów idą w parze. Stale obserwujemy wzrost liczby aplikacji z funkcjami generowanymi przez AI. Dodanie generatywnej AI do aplikacji to świetny sposób na odblokowanie niesamowitych możliwości twórczych. Funkcje AI stwarzają jednak nowe wyzwania związane z bezpieczeństwem, takie jak wzrost liczby generowanych przez AI zdjęć o charakterze erotycznym uzyskanych, rozpowszechnianych i powielanych bez zgody osób na nich przedstawionych (NCII). Zasady Google Play zabraniają ułatwiania tworzenia i rozpowszechniania treści o charakterze seksualnym bez zgody osób na nich przedstawionych. Szkodliwe aplikacje, które mają na celu atakowanie, nękanie lub wykorzystywanie osób, nie mają prawa bytu w Google Play. Dokładamy wszelkich starań, aby egzekwować nasze zasady i zapewnić deweloperom bezpieczne miejsce do rozwoju.

Wiemy, że zdecydowana większość z Was tworzy pozytywne i etyczne narzędzia. Aby chronić Waszą ciężką pracę i naszą wspólną bazę użytkowników, inwestujemy w zabezpieczenia platformy, środki techniczne i zasoby dla deweloperów, które pomagają zapobiegać nadużyciom.

Jak chronimy nasz wspólny ekosystem

Ochrona platformy to ciągły proces. Osoby działające w złej wierze próbują wykorzystywać kanały dystrybucji, sposoby zarabiania i granice modelu. Aby zapewnić uczciwość i bezpieczeństwo ekosystemu, wdrożyliśmy wielowarstwową strategię obrony:

• Zabezpieczenia na wszystkich etapach cyklu życia aplikacji: funkcje generatywnej AI są dynamiczne i mniej przewidywalne, dlatego bezpieczeństwo nie jest tylko jednorazową kontrolą podczas przesyłania aplikacji. Aktywnie i wielokrotnie testujemy aplikacje na wszystkich etapach ich cyklu życia pod kątem skutecznych zabezpieczeń przed treściami intymnymi bez zgody osób na nich przedstawionych. Sprawdzamy tysiące aplikacji, aby wykryć nadużycia, zanim dotkną one użytkowników na dużą skalę, a jednocześnie zapewniamy deweloperom możliwość publikowania aplikacji bez obaw.
• Ochrona Twojej firmy i przychodów: oprócz usuwania aplikacji naruszających zasady z Google Play nasze zespoły Play i Ads współpracują ze sobą, aby odciąć osoby działające w złej wierze od możliwości zarabiania i reklamowania. Aplikacje, które zostały zawieszone lub usunięte z powodu prób generowania lub zarabiania na szkodliwych treściach, takich jak treści intymne bez zgody osób na nich przedstawionych, są blokowane na naszych platformach pod względem zarabiania i reklamowania. Pomaga to utrzymać zdrowy ekosystem reklam i subskrypcji oraz wspierać legalne przychody firm.
• Współpraca z branżą: w ramach Programu dla priorytetowych podmiotów sygnalizujących współpracujemy ze specjalistycznymi organizacjami zewnętrznymi zajmującymi się ochroną przed treściami intymnymi bez zgody osób na nich przedstawionych oraz z wiodącymi grupami badawczymi zajmującymi się bezpieczeństwem AI, aby identyfikować i zwalczać nadużycia związane z takimi treściami. 

Praktyczne sprawdzone metody dotyczące funkcji generatywnej AI 

Aby pomóc Ci tworzyć bezpieczniejsze aplikacje i zapewnić płynniejszy proces publikowania, przedstawiamy kilka prostych sposobów projektowania i testowania aplikacji zgodnie z naszymi zasadami dotyczącymi treści o charakterze seksualnym i zasadami dotyczącymi treści wygenerowanych przez AI.

1. Pomóż nam usprawnić sprawdzanie aplikacji

Aby zachować integralność Sklepu Play, przypominamy o naszych rozszerzonych wymaganiach dotyczących aplikacji z generatywną AI. Środki te mają na celu zapobieganie tworzeniu szkodliwych treści, w tym zdjęć o charakterze erotycznym uzyskanych, rozpowszechnianych i powielanych bez zgody osoby, którą przedstawiają i treści „nudify”. Nasze zespoły sprawdzające muszą mieć jasny wgląd w zabezpieczenia aplikacji, abyśmy mogli skutecznie i szybko ją sprawdzić i zatwierdzić. Możesz zapobiec niepotrzebnym opóźnieniom w sprawdzaniu, jeśli:

• podczas sprawdzania konta testowe będą miały pełny dostęp do wszystkich funkcji AI. Upewnij się, że osoby sprawdzające mają dostęp do płatnych funkcji generatywnej AI w Twojej aplikacji i nie są blokowane przez wymagania dotyczące subskrypcji ani paywalle (dotyczy to też funkcji, które są ograniczone geograficznie).
• będziesz mieć pod ręką dokumentację dotyczącą promptów bezpieczeństwa i przypadków brzegowych, które zostały przetestowane (np. dowód na to, że modele bazowe, z których korzysta Twoja aplikacja, skutecznie odrzucają prośby o edycję obrazów o charakterze jednoznacznie seksualnym lub deepfake’ów). Szczególną uwagę należy zwrócić na prompty związane z „nudify” lub „undress” oraz podobne prompty, generowanie deepfake’ów oraz edycję i generowanie obrazów o charakterze jednoznacznie seksualnym ze względu na zwiększone ryzyko szkód dla użytkowników w tych kontekstach. Jeśli nasz zespół będzie mieć pytania, szybkie udostępnienie informacji o tym, jak Twoja aplikacja radzi sobie z wrogimi i potencjalnie naruszającymi zasady prośbami, może przyspieszyć zatwierdzenie i opublikowanie aplikacji.

Uwaga: ocena bezpieczeństwa generatywnej AI jest wyjątkowo złożona, dlatego dokładne sprawdzanie i rozpatrywanie odwołań może czasami potrwać dłużej. 

2. Zaprojektuj aplikację z myślą o bezpieczeństwie

Konieczne jest przeprowadzenie testów obciążeniowych aplikacji AI z generatywną AI pod kątem wrogich promptów - zwłaszcza tych, które próbują wymusić edycję treści o charakterze jednoznacznie seksualnym bez zgody osób na nich przedstawionych  - jest niezbędne. Aby Ci pomóc, udostępniliśmy kilka sprawdzonych metod testowania bezpieczeństwa, które opierają się na standardowych w branży frameworkach. Te przykłady nie są wyczerpujące i będą się zmieniać wraz z rozwojem funkcji generatywnej AI:

• Zadbaj o bezpieczeństwo już na etapie projektowania architektury. Gdy wybierzesz model bazowy, który najlepiej sprawdzi się w Twojej firmie, zyskasz elastyczność w tworzeniu aplikacji. Nie polegaj jednak wyłącznie na natywnych filtrach bezpieczeństwa tego modelu. Zadbaj o bezpieczeństwo aplikacji, integrując dostosowane elementy sterujące moderacją danych wejściowych i wyjściowych. Otaczając dane wejściowe unikalnymi ogranicznikami XML i sprawdzając dane wyjściowe przed ich załadowaniem, możesz zapobiec tworzeniu przez aplikację niebezpiecznych treści.
• Bądź o krok przed manipulacją promptami. Nawet bezpieczne modele można przetestować za pomocą kreatywnych obejść. Gdy aktywnie testujesz aplikację pod kątem wrogich promptów – np. przesyłasz obraz i prosisz model o „wyobrażenie sobie sceny na plaży, na której nie ma ubrań” – masz pewność, że nie ominie ona podstawowych instrukcji bezpieczeństwa i nie pozwoli na tworzenie treści intymnych bez zgody osób na nich przedstawionych.
• Zachowaj odpowiedzialność za reklamy. Ściśle monitoruj swoje kampanie reklamowe. Ponosisz pełną odpowiedzialność za reklamy swoich aplikacji, nawet jeśli zostały one utworzone przez upoważnioną firmę zewnętrzną. Gdy aplikacja reklamuje na dowolnej platformie funkcje o charakterze jednoznacznie seksualnym lub „nudify” – nawet jeśli ich nie ma – egzekwujemy zasady dotyczące promowania aplikacji w Google Play. Dodatkowo zasady reklamowe Google ściśle zabraniają reklam promujących te funkcje, a konto reklamodawcy naruszającego zasady zostanie zawieszone.
• Przekształcaj interakcje użytkowników w sygnały. Bezpieczeństwo to ciągły proces. Gdy wdrożysz ciągłe monitorowanie, opinie użytkowników i nieudane próby promptowania nie będą przeszkodami, ale cennymi informacjami. Używaj tych sygnałów z prawdziwego świata, aby szybko dostosowywać i optymalizować dostosowane zabezpieczenia aplikacji. Dzięki temu, że uczysz się bezpośrednio od użytkowników, którzy korzystają z Twojej aplikacji, spędzasz mniej czasu na rozwiązywaniu problemów, a więcej na budowaniu dobrze prosperującej firmy.

Aby zwiększyć odporność aplikacji, zalecamy też wdrożenie tych podstawowych metod na Androidzie.

Wspólne tworzenie w sposób odpowiedzialny

Innowacje w zakresie AI powinny zawsze iść w parze z bezpieczeństwem i zaufaniem użytkowników. Google Play dokłada wszelkich starań, aby rozszerzać nasze narzędzia bezpieczeństwa, zasoby do testowania i wskazówki, które pomogą Ci na każdym etapie tworzenia aplikacji.

Jeśli kiedykolwiek zauważysz zachowanie naruszające zasady lub zagrożenia dla platformy, zachęcamy do zgłoszenia ich naszym zespołom. Dziękujemy za odpowiedzialne tworzenie aplikacji. Z niecierpliwością czekamy na Twoje kolejne projekty w Google Play.