Garantizar la seguridad en el ecosistema de la IA generativa: Protección de los usuarios contra el contenido íntimo no consensuado

En Google Play, la seguridad de los usuarios y el éxito de los desarrolladores van de la mano. Seguimos viendo un crecimiento en las apps con funciones generadas por IA y, de hecho, agregar IA generativa a tus apps es una excelente manera de desbloquear increíbles posibilidades creativas. Sin embargo, las funciones potenciadas por IA también presentan nuevos desafíos de seguridad, como el aumento de la generación de imágenes íntimas no consensuadas (NCII) facilitada por la IA. Las políticas de Google Play prohíben la facilitación, la creación o la distribución de contenido sexual sin consentimiento. Las aplicaciones dañinas diseñadas para atacar, hostigar o explotar a personas no tienen lugar en Google Play, y nos comprometemos a aplicar nuestras políticas para que la tienda siga siendo un espacio seguro para que los desarrolladores prosperen.

Sabemos que la gran mayoría de ustedes se dedica a crear herramientas positivas y éticas. Para proteger tu arduo trabajo y nuestra base de usuarios compartida, invertimos mucho en protecciones de la plataforma, defensas técnicas y recursos para desarrolladores que detengan el abuso.

Cómo protegemos nuestro ecosistema compartido

Proteger la plataforma es un esfuerzo continuo. Las entidades maliciosas intentan aprovechar los canales de distribución, las rutas de monetización y los límites del modelo. Para mantener el ecosistema justo y seguro, implementamos una estrategia de defensa de varias capas:

• Protecciones durante todo el ciclo de vida de la app: Las funciones de IA generativa son dinámicas y pueden ser menos predecibles, por lo que la seguridad no es solo una verificación única cuando envías tu app. Probamos las apps de forma activa y repetida durante todo su ciclo de vida para garantizar controles sólidos de NCII. Revisamos miles de apps para detectar el abuso antes de que afecte a los usuarios a gran escala y, al mismo tiempo, nos aseguramos de que los desarrolladores puedan realizar lanzamientos con confianza.
• Protección de tu empresa y tus ingresos: Además de quitar las apps infractoras de Google Play, nuestros equipos de Play y de Google Ads trabajan en conjunto para cortar las vías de monetización y publicidad de los usuarios malintencionados. Las apps que se suspenden o quitan por intentar generar o monetizar contenido dañino, como el NCII, se bloquean para la monetización y la publicidad en todas nuestras plataformas. Esto ayuda a mantener saludable el ecosistema de anuncios y suscripciones, y respalda los ingresos comerciales legítimos.
• Colaboraciones con la industria: Nos asociamos con organizaciones externas especializadas en la defensa contra el NCII y con los principales grupos de investigación sobre seguridad de la IA a través de nuestro Programa Priority Flagger, específicamente para identificar y abordar el abuso de NCII. 

Prácticas recomendadas para tus funciones potenciadas por IA generativa 

Para ayudarte a crear apps más seguras y tener una experiencia de publicación más fluida, te presentamos algunas formas sencillas de diseñar y probar tu app, de acuerdo con nuestras Política de Contenido Sexual y Política de Contenido Generado por IA.

1. Ayúdanos a optimizar la revisión de tu app

Para mantener la integridad de Play Store, reiteramos nuestros requisitos mejorados que se dirigen específicamente a las aplicaciones de IA generativa. Estas medidas se diseñaron para evitar la creación de contenido dañino, incluido el contenido de NCII y el contenido de "nudify". Nuestros equipos de revisión necesitan tener una visibilidad clara de las medidas de protección de tu app para que podamos revisarla y aprobarla de manera eficaz y rápida. Para evitar demoras innecesarias en la revisión, haz lo siguiente:

• Asegúrate de que las cuentas de prueba tengan acceso completo a todas las funciones basadas en IA durante la revisión. Asegúrate de que los revisores puedan acceder a las funciones premium potenciadas por IA generativa de tu app y de que no estén bloqueados por requisitos de suscripción ni muros de pago (esto incluye las funciones que tienen restricciones geográficas).
• Ten a mano la documentación sobre las instrucciones de seguridad y los casos extremos que probaste (p.ej., pruebas de que los modelos subyacentes a los que llama tu app rechazan correctamente las solicitudes de ediciones de imágenes explícitas o deepfakes). Se debe prestar especial atención a las instrucciones relacionadas con “desnudar” o “quitar la ropa”, la generación de deepfakes y la edición y generación de imágenes explícitas debido a los riesgos elevados de daño al usuario en estos contextos. Si nuestro equipo tiene preguntas, poder compartir rápidamente cómo tu app controla las solicitudes adversarias y potencialmente infractoras puede ayudar a que se apruebe y publique aún más rápido.

Nota: Debido a que la evaluación de seguridad de la IA generativa es excepcionalmente compleja, es posible que las revisiones y apelaciones exhaustivas tarden más de lo habitual. 

2. Diseña tu app para la seguridad

Es fundamental realizar pruebas de esfuerzo en tu app de IA generativa con instrucciones adversarias, en especial, aquellas que intentan forzar ediciones explícitas no consensuadas . Compartimos algunas de las prácticas recomendadas para las pruebas de seguridad que se basan en marcos de trabajo estándares de la industria para ayudarte. Estos ejemplos no son exhaustivos y seguirán evolucionando a medida que lo hagan las funciones potenciadas por IA generativa:

• Integra la seguridad en tu arquitectura. Cuando eliges el modelo subyacente que mejor se adapta a tu empresa, obtienes la flexibilidad para crear a tu manera. Sin embargo, no confíes exclusivamente en los filtros de seguridad nativos de ese modelo. Mantén la seguridad de tu app integrando controles de moderación de entrada y salida personalizados. Si encapsulas las entradas en delimitadores XML únicos y validas las salidas antes de que se carguen, puedes evitar que tu app cree contenido multimedia no seguro.
• Mantente un paso adelante de la manipulación de instrucciones. Incluso los modelos seguros se pueden probar con soluciones creativas. Cuando pruebas de forma proactiva tu app con instrucciones adversarias, como subir una imagen y pedirle al modelo que “visualice una escena de playa en la que desapareció la ropa”, te aseguras de que no omita sus instrucciones de seguridad principales y permita la creación de contenido multimedia de NCII. 
• Mantener la responsabilidad de los anuncios Supervisa de cerca tus campañas publicitarias, ya que sigues siendo el responsable final de los anuncios de tus aplicaciones, incluso cuando los cree un tercero autorizado. Cuando una app promociona capacidades sexualmente explícitas o de “desnudos” en cualquier plataforma, incluso si no las tiene, aplicamos la Política de Promoción de Apps de Play. Como capa adicional de protección, las políticas publicitarias de Google prohíben estrictamente los anuncios que promocionen estas capacidades, y suspenderemos la cuenta del anunciante infractor.
• Convierte las interacciones del usuario en indicadores. La seguridad es un proceso continuo. Cuando implementas la supervisión continua, los comentarios de los usuarios y los intentos fallidos de instrucciones no son contratiempos, sino información valiosa. Usa estos indicadores del mundo real para adaptarte rápidamente y ajustar los parámetros personalizados de tu app. Si aprendes directamente cómo las personas usan tu app, dedicarás menos tiempo a resolver problemas y más a crear un negocio próspero.

Además, para que tu app sea más resistente, también te recomendamos que implementes estas prácticas principales de Android.

Construcción responsable en conjunto

La innovación en la IA siempre debe ir de la mano con la seguridad y la confianza de los usuarios. Google Play se compromete a expandir nuestras herramientas de seguridad, recursos de pruebas y orientación para brindarte asistencia en cada etapa del desarrollo.

Si alguna vez detectas comportamientos que infringen las políticas o riesgos en la plataforma, te recomendamos que los denuncies a nuestros equipos. Gracias por crear de forma responsable. Esperamos ver tus próximas creaciones en Google Play.