生成 AI エコシステムの安全性を確保する: 同意のないわいせつなコンテンツからユーザーを保護する

Google Play では、ユーザーの安全とデベロッパーの成功は密接に関連しています。AI 生成機能を持つアプリは引き続き増加しており、アプリに生成 AI を追加することは、創造性を発揮する素晴らしい機会をもたらします。しかし、AI 機能は、当人の合意なく作成された私的な状況のシナリオ・画像・動画（NCII）の AI による生成の増加など、新たな安全上の課題ももたらします。Google Play のポリシーでは、同意のない性的なコンテンツの助長、作成、配布を禁止しています。個人を標的としたり、ハラスメントをしたり、搾取したりする有害なアプリケーションは、Google Play には絶対に掲載されません。Google は、デベロッパーが成長できる安全なスペースを維持するために、ポリシーの適用に尽力しています。

ほとんどのデベロッパーが、ポジティブで倫理的なツールを構築することに専念していることを Google は認識しています。デベロッパーの努力と Google の共有ユーザーベースの両方を保護するため、Google は不正行為を阻止するためのプラットフォーム保護、技術的防御、デベロッパー向けリソースに多額の投資を行っています。

Google が共有エコシステムを保護する方法

プラットフォームの保護は継続的な取り組みです。悪意のあるユーザーは、配信チャネル、収益化パス、モデルの境界を悪用しようとします。エコシステムを公平かつ安全に保つため、Google は多層防御戦略を導入しています。

• アプリのライフサイクル全体にわたる保護: 生成 AI 機能は動的で予測しにくいため、アプリを送信する際の 1 回限りのチェックだけでは安全性を確保できません。Google は、アプリのライフサイクル全体にわたって、堅牢な NCII 制御を積極的に繰り返しテストしています。数千ものアプリを審査して、不正行為が大規模なユーザーに影響を与える前に検出するとともに、デベロッパーが自信を持ってリリースできるようにしています。
• ビジネスと収益の保護: Google は、Google Play から違反アプリを削除するだけでなく、Google Play チームと Google 広告チームが連携して、悪意のあるユーザーの収益化と広告掲載の経路を遮断しています。NCII などの有害なコンテンツを生成または収益化しようとして停止または削除されたアプリは、Google のプラットフォーム全体で収益化と広告掲載がブロックされます。これにより、広告と定期購入のエコシステムを健全に保ち、正当なビジネス収益をサポートできます。
• 業界との連携: Google は、優先報告者プログラムを通じて、専門の第三者 NCII 防御組織や主要な AI 安全研究グループと提携し、NCII の不正使用を特定して対処しています。

生成 AI 機能に関する実践的なベスト プラクティス 

安全なアプリを構築し、スムーズな公開を実現するために、性的なコンテンツに関するポリシーと AI 生成コンテンツに関するポリシーに沿ってアプリを設計およびテストする簡単な方法をいくつかご紹介します。

1. アプリの審査を効率化する

Google は、Google Play ストアの完全性を維持するため、生成 AI アプリケーションを特にターゲットとした強化された要件を改めて提示します。これらの対策は、NCII や「ヌーディファイ」メディアなどの有害なコンテンツの作成を防ぐことを目的としています。審査チームがアプリのガードレールを明確に把握できるようにすることで、アプリを効果的かつ迅速に審査して承認できます。不要な審査の遅延を防ぐには、次の方法があります。

• 審査中にテスト アカウントがすべての AI 機能に完全にアクセスできる ようにします。審査担当者がアプリのプレミアム生成 AI 機能にアクセスでき、定期購入の要件やペイウォールによってブロックされないようにしてください（地域制限のある機能も含む）。
• テストした安全プロンプトとエッジケースに関するドキュメントを手元に用意しておく （例: アプリが呼び出す基盤モデルが、露骨な画像の編集やディープフェイクのリクエストを正常に拒否したことを証明するもの）。このような状況ではユーザーに危害が及ぶリスクが高いため、「ヌーディファイ」や「脱衣」に関連するプロンプトや類似のプロンプト、ディープフェイクの生成、露骨な画像の編集と生成に特に注意する必要があります。Google のチームから質問があった場合、アプリが敵対的でポリシーに違反する可能性のあるリクエストをどのように処理するかを迅速に共有することで、アプリの承認と公開をさらに迅速に進めることができます。

注: 生成 AI の安全性の評価は非常に複雑なため、徹底的な審査と再審査請求には時間がかかる場合があります。 

**2. 安全性を考慮してアプリを設計する

敵対的なプロンプト（特に、同意のない露骨な編集を強制しようとするプロンプト  ）に対して生成 AI アプリのストレステストを行うことが不可欠です。Google は、業界標準のフレームワークに依存する安全テストの ベストプラクティスをいくつか共有しています。これらの例は網羅的なものではなく、生成 AI 機能の進化に伴って進化し続けます。

• 安全性をアーキテクチャに組み込む。ビジネスに最適な基盤モデルを選択すると、柔軟に構築できます。ただし、そのモデルのネイティブの安全フィルタだけに頼らないでください。カスタマイズされた入力と出力のモデレーション コントロールを統合して、アプリの安全性を維持します。入力を一意の XML デリミタでラップし、読み込む前に出力を検証することで、アプリが安全でないメディアを作成するのを防ぐことができます。
• プロンプト操作の一歩先を行く。安全なモデルでも、クリエイティブな回避策でテストできます。画像をアップロードして「服が消えたビーチの風景を視覚化する」など、敵対的なプロンプトに対してアプリを積極的にテストすることで、アプリがコアの安全指示をバイパスして NCII メディアの作成を許可しないようにします。
• 広告の責任を維持する 。広告キャンペーンを綿密にモニタリングしてください。広告が承認された第三者によって作成された場合でも、アプリの広告に対する最終的な責任はデベロッパーにあります。アプリがプラットフォーム上で露骨な性的表現や「ヌーディファイ」機能を宣伝する場合、アプリにこれらの機能がない場合でも、Google は Google Play の アプリのプロモーションに関するポリシーに沿って適用します。保護を強化するため、Google の 広告掲載のポリシーでは、これらの機能を宣伝する広告を厳しく禁止しており、違反した広告主のアカウントは停止されます。
• ユーザー操作をシグナルに変える。安全性は継続的なプロセスです。継続的なモニタリングを実装すると、ユーザーからのフィードバックやユーザーによるプロンプトの失敗は、後退ではなく貴重な分析情報になります。これらの実際のシグナルを使用して、迅速に適応し、アプリのカスタマイズされたガードレールを微調整します。ユーザーがアプリをどのように使用しているかを直接学習することで、問題の追跡に費やす時間を減らし、ビジネスの成長に時間を費やすことができます。

また、アプリの復元力を高めるために、 Android のコア プラクティスを実装することをおすすめします。

責任ある構築をともに

AI のイノベーションは、常に安全性とユーザーの信頼と並行して進める必要があります。Google Play は、開発のあらゆる段階でデベロッパーをサポートするために、安全ツール、テストリソース、ガイダンスの拡充に尽力しています。

ポリシーに違反する行為やプラットフォームのリスクが発生した場合は、Google のチームに 報告してください。責任ある構築にご協力いただきありがとうございます。Google Play での今後のご活躍を楽しみにしております。