Garantizamos la seguridad en el ecosistema de IA generativa: Protegemos a los usuarios del contenido íntimo no consensuado

En Google Play, la seguridad del usuario y el éxito del desarrollador van de la mano. Seguimos viendo un crecimiento en las apps con funciones generadas por IA y, de hecho, agregar IA generativa a tus apps es una excelente manera de desbloquear increíbles posibilidades creativas. Sin embargo, las funciones de IA también plantean nuevos desafíos de seguridad, como el aumento de la generación de imágenes íntimas no consensuadas (NCII) facilitada por IA. Las políticas de Google Play prohíben la facilitación, la creación o la distribución de contenido sexual no consensuado. Las aplicaciones dañinas diseñadas para atacar, acosar o explotar a personas no tienen lugar en Google Play, y nos comprometemos a aplicar nuestras políticas para que la tienda sea un espacio seguro para que los desarrolladores prosperen.

Sabemos que la gran mayoría de ustedes se dedica a crear herramientas positivas y éticas. Para proteger tu arduo trabajo y nuestra base de usuarios compartida, invertimos mucho en protecciones de la plataforma, defensas técnicas y recursos para desarrolladores para detener el abuso.

Cómo protegemos nuestro ecosistema compartido

Proteger la plataforma es un esfuerzo continuo. Los actores maliciosos intentan explotar los canales de distribución, las rutas de monetización y los límites del modelo. Para ayudar a mantener el ecosistema justo y seguro, implementamos una estrategia de defensa de varias capas:

• Protecciones en todo el ciclo de vida de la app: Las funciones de IA generativa son dinámicas y pueden ser menos predecibles, por lo que la seguridad no es solo una verificación única cuando envías tu app. Probamos las apps de forma activa y repetida durante todo su ciclo de vida para obtener controles sólidos de NCII. Revisamos miles de apps para detectar el abuso antes de que afecte a los usuarios a gran escala y, al mismo tiempo, nos aseguramos de que los desarrolladores puedan lanzar sus apps con confianza.
• Protección de tu empresa y tus ingresos: Además de quitar las apps que incumplen las políticas de Google Play, nuestros equipos de Play y Google Ads trabajan en conjunto para cortar las rutas de monetización y publicidad para los actores maliciosos. Las apps que se suspenden o quitan por intentar generar o monetizar contenido dañino, como NCII, no pueden monetizarse ni publicitarse en nuestras plataformas. Esto ayuda a mantener saludable el ecosistema de anuncios y suscripciones, y respalda los ingresos comerciales legítimos.
• Colaboraciones de la industria: Nos asociamos con organizaciones especializadas de terceros de defensa contra NCII y grupos de investigación de seguridad de IA líderes a través de nuestro programa Priority Flagger, específicamente para identificar y abordar el abuso de NCII. 

Prácticas recomendadas para tus funciones de IA generativa 

Para ayudarte a crear apps más seguras y tener una experiencia de publicación más fluida, te presentamos algunas formas sencillas de diseñar y probar tu app, en consonancia con nuestra Política de Contenido Sexual y Política de Contenido Generado por IA.

1. Ayúdanos a optimizar la revisión de tu app

Para mantener la integridad de Play Store, reiteramos nuestros requisitos mejorados que se orientan específicamente a las aplicaciones de IA generativa. Estas medidas se diseñaron para evitar la creación de contenido dañino, incluido el NCII y el contenido "nudify". Nuestros equipos de revisión necesitan una visibilidad clara de las barreras de protección de tu app para que podamos revisarla y aprobarla de manera eficaz y rápida. Para evitar demoras innecesarias en la revisión, haz lo siguiente:

• Asegúrate de que las cuentas de prueba tengan acceso completo a todas las funciones de IA durante la revisión. Asegúrate de que los revisores puedan acceder a las funciones premium de IA generativa de tu app y que no estén bloqueados por los requisitos de suscripción o los muros de pago (esto incluye las funciones que están geovalladas).
• Ten a mano la documentación sobre las instrucciones de seguridad y los casos extremos que probaste (p.ej., pruebas de que los modelos subyacentes a los que llama tu app rechazan correctamente las solicitudes de ediciones de imágenes explícitas o deepfakes). Se debe prestar especial atención a las instrucciones relacionadas con "nudify" o "desvestir" y similares, la generación de deepfakes y la edición y generación de imágenes explícitas debido a los riesgos elevados de daño al usuario en estos contextos. Si nuestro equipo tiene preguntas, poder compartir rápidamente cómo maneja tu app las solicitudes adversarias y potencialmente infractoras puede ayudar a que se apruebe y publique aún más rápido.

Nota: Debido a que la evaluación de seguridad de la IA generativa es excepcionalmente compleja, las revisiones y apelaciones exhaustivas pueden demorar más en ocasiones. 

2. Diseña tu app para la seguridad

Es fundamental realizar pruebas de estrés en tu app de IA generativa con instrucciones adversarias, en especial, aquellas que intentan forzar ediciones explícitas no consensuadas . Compartimos algunas de las prácticas recomendadas para las pruebas de seguridad que se basan en frameworks estándar de la industria para ayudarte. Estos ejemplos no son exhaustivos y seguirán evolucionando a medida que lo hagan las funciones de IA generativa:

• Integra la seguridad directamente en tu arquitectura. Cuando eliges el modelo subyacente que mejor se adapta a tu empresa, obtienes la flexibilidad para crear a tu manera. Sin embargo, no dependas exclusivamente de los filtros de seguridad nativos de ese modelo. Mantén la seguridad de tu app integrando controles de moderación de entrada y salida personalizados. Si encapsulas las entradas en delimitadores XML únicos y validas las salidas antes de que se carguen, puedes evitar que tu app cree contenido multimedia no seguro.
• Mantente un paso adelante de la manipulación de instrucciones. Incluso los modelos seguros se pueden probar con soluciones alternativas creativas. Cuando pruebas de forma proactiva tu app con instrucciones adversarias, como subir una imagen y pedirle al modelo que "visualice una escena de playa en la que desapareció la ropa", te aseguras de que no omita sus instrucciones de seguridad principales y permita la creación de contenido multimedia de NCII. 
• Mantén la responsabilidad de los anuncios. Supervisa de cerca tus campañas publicitarias. Eres el responsable final de los anuncios de tus apps, incluso cuando los cree un tercero autorizado. Cuando una app anuncia capacidades sexualmente explícitas o "nudify" en cualquier plataforma, incluso si no las tiene, aplicamos la política de Play Promoción de Apps. Como capa de protección adicional, las políticas publicitarias de Google prohíben estrictamente los anuncios que promocionan estas capacidades, y suspenderemos la cuenta del anunciante infractor.
• Convierte las interacciones del usuario en indicadores. La seguridad es un proceso continuo. Cuando implementas la supervisión continua, los comentarios de los usuarios y los intentos fallidos de instrucciones de tus usuarios no son contratiempos, sino estadísticas valiosas. Usa estos indicadores del mundo real para adaptarte rápidamente y ajustar las barreras de protección personalizadas de tu app. Si aprendes directamente de cómo las personas usan tu app, pasarás menos tiempo persiguiendo problemas y más tiempo creando una empresa próspera.

Además, para que tu app sea más resistente, también te recomendamos que implementes estas prácticas principales de Android.

Construimos juntos de forma responsable

La innovación de la IA siempre debe ir de la mano con la seguridad y la confianza del usuario. Google Play se compromete a expandir nuestras herramientas de seguridad, recursos de prueba y orientación para ayudarte en cada etapa del desarrollo.

Si alguna vez encuentras un comportamiento que incumple las políticas o riesgos de la plataforma, te recomendamos que los denuncies a nuestros equipos. Gracias por crear de forma responsable. Esperamos ver tus próximas creaciones en Google Play.