Zapewnianie bezpieczeństwa w ekosystemie generatywnej AI: ochrona użytkowników przed intymnymi treściami generowanymi bez zgody

W Google Play bezpieczeństwo użytkowników i sukces deweloperów idą w parze. Nadal obserwujemy wzrost liczby aplikacji z funkcjami generowanymi przez AI. Dodanie generatywnej AI do aplikacji to świetny sposób na odblokowanie niesamowitych możliwości twórczych. Funkcje oparte na AI niosą jednak ze sobą nowe wyzwania związane z bezpieczeństwem, takie jak wzrost liczby generowanych przez AI zdjęć o charakterze erotycznym uzyskanych, rozpowszechnianych i powielanych bez zgody osoby, którą przedstawiają. Zasady Google Play zabraniają ułatwiania, tworzenia i rozpowszechniania treści o charakterze seksualnym, które odbywają się bez przyzwolenia drugiej osoby. W Google Play nie ma miejsca na szkodliwe aplikacje, które mają na celu nękanie lub wykorzystywanie osób. Dokładamy wszelkich starań, aby egzekwować nasze zasady i zapewnić deweloperom bezpieczne środowisko do rozwoju.

Wiemy, że zdecydowana większość z Was dąży do tworzenia pozytywnych, etycznych narzędzi. Aby chronić zarówno Twoją ciężką pracę, jak i naszą wspólną bazę użytkowników, dużo inwestujemy w zabezpieczenia platformy, środki ochrony technicznej i zasoby dla deweloperów, które mają na celu powstrzymanie nadużyć.

Jak chronimy nasz wspólny ekosystem

Ochrona platformy to ciągły proces. Nieuczciwe podmioty próbują wykorzystywać kanały dystrybucji, ścieżki zarabiania i granice modeli. Aby zapewnić uczciwość i bezpieczeństwo ekosystemu, wdrożyliśmy wielowarstwową strategię ochrony:

• Zabezpieczenia w całym cyklu życia aplikacji: funkcje oparte na generatywnej AI są dynamiczne i mogą być mniej przewidywalne, dlatego bezpieczeństwo nie jest sprawdzane tylko raz, gdy przesyłasz aplikację. Aktywnie i wielokrotnie testujemy aplikacje w całym ich cyklu życia pod kątem skutecznych mechanizmów kontroli NCII. Sprawdzamy tysiące aplikacji, aby wykryć nadużycia, zanim wpłyną one na użytkowników na dużą skalę, a jednocześnie zapewnić deweloperom możliwość bezpiecznego wprowadzania aplikacji na rynek.
• Ochrona Twojej firmy i przychodów: oprócz usuwania z Google Play aplikacji naruszających zasady nasze zespoły ds. Google Play i reklam współpracują, aby odcinać nieuczciwym podmiotom możliwość zarabiania i reklamowania się. Aplikacje, które zostały zawieszone lub usunięte z powodu prób generowania szkodliwych treści, takich jak NCII, lub zarabiania na nich, mają zablokowaną możliwość zarabiania i wyświetlania reklam na naszych platformach. Pomaga to utrzymać prawidłowe funkcjonowanie ekosystemu reklam i subskrypcji oraz wspiera generowanie przychodów przez legalne firmy.
• Współpraca branżowa: w ramach naszego programu dla priorytetowych podmiotów sygnalizujących współpracujemy ze specjalistycznymi organizacjami zewnętrznymi zajmującymi się ochroną przed NCII oraz wiodącymi grupami badawczymi zajmującymi się bezpieczeństwem AI, aby identyfikować i zwalczać nadużycia związane z NCII. 

Praktyczne sprawdzone metody dotyczące funkcji opartych na generatywnej AI 

Aby pomóc Ci tworzyć bezpieczniejsze aplikacje i ułatwić ich publikowanie, przygotowaliśmy kilka prostych wskazówek dotyczących projektowania i testowania aplikacji zgodnie z naszymi zasadami dotyczącymi treści o charakterze seksualnym i  zasadami dotyczącymi treści generowanych przez AI.

1 Pomóż nam usprawnić proces sprawdzania aplikacji

Aby zachować integralność Sklepu Play, przypominamy o naszych rozszerzonych wymaganiach dotyczących aplikacji wykorzystujących generatywną AI. Te środki mają na celu zapobieganie tworzeniu szkodliwych treści, w tym materiałów NCII i generowanych przez aplikacje do rozbierania. Nasze zespoły sprawdzające muszą mieć jasny wgląd w zabezpieczenia aplikacji, abyśmy mogli skutecznie i szybko ją sprawdzić i zatwierdzić. Aby uniknąć niepotrzebnych opóźnień w procesie sprawdzania:

• Upewnij się, że podczas sprawdzania konta testowe mają pełny dostęp do wszystkich funkcji opartych na AI. Upewnij się, że weryfikatorzy mają dostęp do funkcji generatywnej AI premium w Twojej aplikacji i nie są blokowani przez wymagania dotyczące subskrypcji ani paywalle (dotyczy to też funkcji, które są ograniczone geograficznie).
• Przechowywanie dokumentacji dotyczącej testowanych promptów bezpieczeństwa i przypadków skrajnych (np. dowodu na to, że modele, które wywołuje Twoja aplikacja, skutecznie odrzucają prośby o modyfikację zdjęć o charakterze jednoznacznie seksualnym lub tworzenie deepfake'ów). Szczególną uwagę należy zwrócić na prompty związane z „rozbieraniem” i podobne, generowanie deepfake'ów oraz edytowanie i generowanie obrazów o charakterze jednoznacznie seksualnym, ponieważ w tych kontekstach istnieje podwyższone ryzyko wyrządzenia szkody użytkownikom. Jeśli nasz zespół będzie miał pytania, szybkie udostępnienie informacji o tym, jak aplikacja obsługuje niepożądane i potencjalnie naruszające zasady żądania, może pomóc w szybszym zatwierdzeniu i opublikowaniu aplikacji.

Uwaga: ze względu na to, że ocena bezpieczeństwa generatywnej AI jest wyjątkowo złożona, dokładne sprawdzenie i rozpatrzenie odwołania może czasami potrwać dłużej. 

2 Projektowanie aplikacji z myślą o bezpieczeństwie

Konieczne jest przetestowanie aplikacji AI opartej na generatywnej AI pod kątem złośliwych promptów, zwłaszcza tych, które próbują wymusić niechciane zmiany o charakterze jednoznacznie seksualnym . Aby Ci pomóc, udostępniliśmy kilka sprawdzonych metod testowania bezpieczeństwa, które opierają się na standardowych platformach branżowych. Te przykłady nie są wyczerpujące i będą się zmieniać wraz z rozwojem funkcji opartych na generatywnej AI:

• Wbuduj bezpieczeństwo bezpośrednio w architekturę. Gdy wybierzesz model podstawowy, który najlepiej pasuje do Twojej firmy, zyskasz elastyczność w tworzeniu rozwiązań na swój sposób. Nie polegaj jednak wyłącznie na natywnych filtrach bezpieczeństwa tego modelu. Zadbaj o bezpieczeństwo aplikacji, integrując dostosowane ustawienia moderowania danych wejściowych i wyjściowych. Dzięki umieszczaniu danych wejściowych w unikalnych ogranicznikach XML i weryfikowaniu danych wyjściowych przed ich wczytaniem możesz zapobiec tworzeniu przez aplikację niebezpiecznych multimediów.
• Bądź o krok przed manipulacją promptami. Nawet bezpieczne modele można przetestować za pomocą kreatywnych obejść. Jeśli aktywnie testujesz aplikację pod kątem złośliwych promptów – np. przesyłasz obraz i prosisz model o „wizualizację sceny na plaży, na której zniknęły ubrania” – upewniasz się, że nie omija on podstawowych instrukcji dotyczących bezpieczeństwa i nie zezwala na tworzenie multimediów NCII.
• Zachowanie odpowiedzialności za reklamy. Uważnie monitoruj swoje kampanie reklamowe – ponosisz ostateczną odpowiedzialność za reklamy swoich aplikacji, nawet jeśli zostały one utworzone przez upoważnioną osobę trzecią. Jeśli aplikacja reklamuje na dowolnej platformie funkcje o charakterze jednoznacznie seksualnym lub funkcje „rozbierania” – nawet jeśli nie ma takich funkcji – egzekwujemy zasady zgodnie z zasadami promocji aplikacji w Google Play. W celu zwiększenia ochrony użytkowników zasady Google dotyczące reklam surowo zabraniają wyświetlania reklam promujących te funkcje. Konta reklamodawców, którzy naruszają te zasady, będą zawieszane.
• Przekształcanie interakcji użytkowników w sygnały. Bezpieczeństwo to proces ciągły. Gdy wdrożysz ciągłe monitorowanie, opinie użytkowników i nieudane próby promptowania nie będą przeszkodami, ale cennymi informacjami. Wykorzystaj te sygnały z prawdziwego świata, aby szybko dostosować i doprecyzować niestandardowe zabezpieczenia aplikacji. Dzięki temu, że uczysz się bezpośrednio na podstawie sposobu, w jaki użytkownicy korzystają z Twojej aplikacji, spędzasz mniej czasu na rozwiązywaniu problemów, a więcej na rozwijaniu firmy.

Aby zwiększyć odporność aplikacji, zalecamy też wdrożenie tych podstawowych sprawdzonych metod dotyczących Androida.

Odpowiedzialny rozwój

Innowacje w zakresie AI powinny zawsze iść w parze z bezpieczeństwem i zaufaniem użytkowników. Google Play dąży do rozszerzania narzędzi bezpieczeństwa, zasobów testowych i wskazówek, aby wspierać Cię na każdym etapie rozwoju.

Jeśli kiedykolwiek zauważysz zachowanie naruszające zasady lub zagrożenia na platformie, zachęcamy do zgłoszenia ich naszym zespołom. Dziękujemy za odpowiedzialne tworzenie aplikacji. Nie możemy się doczekać, aż zobaczymy, co jeszcze stworzysz w Google Play.