Assurer la sécurité dans l'écosystème de l'IA générative : protéger les utilisateurs contre les contenus intimes non consensuels

Sur Google Play, la sécurité des utilisateurs et la réussite des développeurs vont de pair. Nous constatons une croissance continue des applications dotées de fonctionnalités générées par l'IA. En effet, l'ajout d'IA générative à vos applications est un excellent moyen de débloquer des possibilités créatives incroyables. Toutefois, les fonctionnalités d'IA présentent également de nouveaux défis en matière de sécurité, comme la prolifération de la génération d'images intimes non consensuelles facilitée par l'IA. Les règles de Google Play interdisent de faciliter, de créer ou de distribuer des contenus à caractère sexuel non consensuels. Les applications nuisibles conçues pour cibler, harceler ou exploiter des personnes n'ont absolument pas leur place sur Google Play. Nous nous engageons à faire appliquer nos règles pour que la plate-forme reste un espace sûr où les développeurs peuvent s'épanouir.

Nous savons que la grande majorité d'entre vous s'efforcent de créer des outils positifs et éthiques. Pour protéger à la fois votre travail acharné et notre base d'utilisateurs commune, nous investissons massivement dans des protections de la plate-forme, des défenses techniques et des ressources pour les développeurs afin de mettre fin aux utilisations abusives.

Comment nous protégeons notre écosystème commun

La protection de la plate-forme est un effort continu. Les acteurs malveillants tentent d'exploiter les canaux de distribution, les méthodes de monétisation et les limites des modèles. Pour que l'écosystème reste équitable et sûr, nous avons mis en place une stratégie de défense à plusieurs niveaux :

• Mesures de protection tout au long du cycle de vie de l'application : les fonctionnalités d'IA générative sont dynamiques et peuvent être moins prévisibles. La sécurité n'est donc pas qu'une vérification ponctuelle lorsque vous envoyez votre application. Nous testons activement et à plusieurs reprises les applications tout au long de leur cycle de vie pour nous assurer qu'elles disposent de contrôles robustes contre les contenus intimes non consensuels. Nous examinons des milliers d'applications pour détecter les utilisations abusives avant qu'elles n'affectent les utilisateurs à grande échelle, tout en veillant à ce que les développeurs puissent lancer leurs applications en toute confiance.
• Protection de votre entreprise et de vos revenus : en plus de supprimer les applications qui enfreignent les règles de Google Play, nos équipes Play et Ads collaborent pour bloquer les méthodes de monétisation et de publicité des acteurs malveillants. Les applications suspendues ou supprimées pour avoir tenté de générer ou de monétiser des contenus nuisibles tels que des contenus intimes non consensuels sont bloquées pour la monétisation et la publicité sur nos plates-formes. Cela permet de préserver la santé de l'écosystème des annonces et des abonnements, et de soutenir les revenus commerciaux légitimes.
• Collaborations avec le secteur : nous collaborons avec des organisations tierces spécialisées dans la défense contre les contenus intimes non consensuels et des groupes de recherche de pointe sur la sécurité de l’IA par le biais de notre programme Signaleur prioritaire, en particulier pour identifier et lutter contre les utilisations abusives de contenus intimes non consensuels. 

Bonnes pratiques pour vos fonctionnalités d'IA générative 

Pour vous aider à créer des applications plus sûres et à bénéficier d'une expérience de publication plus fluide, voici quelques moyens simples de concevoir et de tester votre application, conformément à notre Règlement sur le contenu à caractère sexuel et Règlement sur le contenu généré par IA.

1. Aidez-nous à simplifier l'examen de votre application

Pour préserver l'intégrité du Play Store, nous réitérons nos exigences renforcées ciblant spécifiquement les applications d'IA générative. Ces mesures sont conçues pour empêcher la création de contenus nuisibles, y compris les contenus intimes non consensuels et les médias "nudify". Nos équipes d'examen ont besoin d'une visibilité claire sur les garde-fous de votre application afin que nous puissions l'examiner et l'approuver efficacement et rapidement. Vous pouvez éviter les retards d'examen inutiles en procédant comme suit :

• Assurez-vous que les comptes de test ont un accès complet à toutes les fonctionnalités d'IA lors de l'examen. Veuillez vous assurer que les examinateurs peuvent accéder aux fonctionnalités d'IA générative premium de votre application et qu'ils ne sont pas bloqués par des exigences d'abonnement ou des paywalls (y compris les fonctionnalités de géorepérage).
• Conservez la documentation à portée de main sur les invites de sécurité et les cas extrêmes que vous avez testés (par exemple, la preuve que les modèles sous-jacents que votre application appelle rejettent correctement les demandes de modifications explicites d'images ou de deepfakes). Une attention particulière doit être accordée aux invites "nudify" ou "undress" et aux invites similaires, à la génération de deepfakes, ainsi qu'à la modification et à la génération d'images explicites en raison des risques élevés de préjudice pour les utilisateurs dans ces contextes. Si notre équipe a des questions, le fait de pouvoir partager rapidement comment votre application gère les requêtes contradictoires et potentiellement non conformes peut accélérer l'approbation et la publication de votre application.

Remarque : L'évaluation de la sécurité de l'IA générative étant particulièrement complexe, les examens et les appels approfondis peuvent parfois prendre plus de temps. 

2. Concevez votre application pour la sécurité

Il est essentiel de tester la résistance de votre application d'IA générative aux invites contradictoires, en particulier celles qui tentent de forcer des modifications explicites non consensuelles . Nous avons partagé quelques bonnes pratiques pour les tests de sécurité qui s'appuient sur des frameworks standards du secteur pour vous aider. Ces exemples ne sont pas exhaustifs et continueront d'évoluer à mesure que les fonctionnalités d'IA générative évolueront :

• Intégrez la sécurité directement dans votre architecture. Lorsque vous choisissez le modèle sous-jacent qui convient le mieux à votre entreprise, vous bénéficiez de la flexibilité nécessaire pour créer votre propre modèle. Toutefois, ne vous fiez pas exclusivement aux filtres de sécurité natifs de ce modèle. Sécurisez votre application en intégrant des contrôles de modération personnalisés pour les entrées et les sorties. En encapsulant les entrées dans des délimiteurs XML uniques et en validant les sorties avant leur chargement, vous pouvez empêcher votre application de créer des médias non sécurisés.
• Gardez une longueur d'avance sur la manipulation des invites. Même les modèles sécurisés peuvent être testés par des solutions de contournement créatives. Lorsque vous testez de manière proactive votre application par rapport à des invites contradictoires (par exemple, en important une image et en demandant au modèle de "visualiser une scène de plage où les vêtements ont disparu"), vous vous assurez qu'elle ne contourne pas ses instructions de sécurité de base et qu'elle n'autorise pas la création de médias intimes non consensuels. 
• Assurez-vous de la responsabilité des annonces. Veuillez surveiller de près vos campagnes publicitaires. Vous restez responsable des annonces de vos applications, même si elles sont créées par un tiers autorisé. Lorsqu'une application fait la publicité de fonctionnalités à caractère sexuel explicite ou "nudify" sur une plate-forme, même si elle ne dispose pas de ces fonctionnalités, nous appliquons le Règlement sur la promotion des applications de Play . Pour une protection supplémentaire, les règles relatives aux annonces de Google interdisent strictement les annonces qui font la promotion de ces fonctionnalités, et nous suspendrons le compte de l'annonceur qui enfreint ces règles.
• Transformez les interactions utilisateur en signaux. La sécurité est un processus continu. Lorsque vous mettez en place une surveillance continue, les commentaires des utilisateurs et les tentatives d'invites infructueuses ne sont pas des revers, mais des informations précieuses. Utilisez ces signaux concrets pour vous adapter rapidement et affiner les garde-fous personnalisés de votre application. En apprenant directement de la façon dont les utilisateurs utilisent votre application, vous passez moins de temps à résoudre les problèmes et plus de temps à développer une entreprise prospère.

De plus, pour rendre votre application plus résiliente, nous vous recommandons également d'appliquer ces pratiques de base Android.

Construire ensemble de manière responsable

L'innovation en matière d'IA doit toujours aller de pair avec la sécurité et la confiance des utilisateurs. Google Play s'engage à développer ses outils de sécurité, ses ressources de test et ses conseils pour vous accompagner à chaque étape du développement.

Si vous rencontrez un comportement qui enfreint les règles ou des risques liés à la plate-forme, nous vous encourageons à les signaler à nos équipes. Merci de créer de manière responsable. Nous avons hâte de découvrir vos prochaines créations sur Google Play.