生成 AI エコシステムにおける安全性の確保: 同意のない親密あるいは露骨なコンテンツからユーザーを保護する

Google Play では、ユーザーの安全性とデベロッパーの成功は密接に関連しています。AI 生成機能を搭載したアプリは引き続き増加しています。実際、アプリに生成 AI を追加することは、クリエイティブな可能性を大きく広げる優れた方法です。しかし、AI 機能は、AI を利用した当人の合意なく作成された私的な状況のシナリオ・画像・動画（NCII）の生成の増加など、新たな安全上の課題ももたらしています。Google Play のポリシーでは、非同意の性的なコンテンツの助長、作成、配布を禁止しています。個人を標的にしたり、嫌がらせをしたり、搾取したりすることを目的とした有害なアプリは、Google Play では一切認められません。Google は、デベロッパーが活躍できる安全な場所を維持するために、ポリシーを徹底してまいります。

皆様の大多数が、倫理的で有益なツールの構築に尽力されていることは承知しています。デベロッパーの皆様の努力と、Google とデベロッパーの皆様に共通するユーザーベースを保護するため、Google はプラットフォームの保護、技術的な防御、デベロッパー向けリソースに多大な投資を行い、不正行為の防止に努めています。

共有エコシステムを保護するための取り組み

プラットフォームの保護は継続的な取り組みです。不正な行為者は、配信チャネル、収益化パス、モデルの境界を悪用しようとします。エコシステムの公平性と安全性を維持するため、Google は多層防御戦略を導入しています。

• アプリのライフサイクル全体にわたる安全対策: 生成 AI 機能は動的で、予測が難しい場合があるため、安全性はアプリの送信時に 1 回だけチェックすればよいというものではありません。Google は、アプリのライフサイクル全体にわたって、NCII に対する堅牢な管理を積極的に繰り返しテストしています。数千ものアプリを審査して、ユーザーに大規模な影響が及ぶ前に不正行為を検出し、デベロッパーが安心してアプリをリリースできるようにしています。
• ビジネスと収益の保護: Google Play から違反アプリを削除するだけでなく、Google Play チームと広告チームが連携して、不正行為者の収益化と広告の経路を遮断しています。NCII などの有害なコンテンツの生成や収益化を試みたために停止または削除されたアプリは、Google のプラットフォーム全体で収益化と広告掲載がブロックされます。これにより、広告と定期購入のエコシステムを健全に保ち、正当なビジネス収益をサポートできます。
• 業界との連携: Google は、優先報告者プログラムを通じて、NCII 対策を専門とするサードパーティ組織や、AI の安全性に関する主要な研究グループと連携し、特に NCII の不正使用の特定と対策に取り組んでいます。

生成 AI 機能の実用的なベスト プラクティス 

より安全なアプリを構築し、公開をスムーズに行えるよう、Google の性的なコンテンツに関するポリシーと  AI 生成コンテンツに関するポリシーに沿ってアプリを設計、テストするための簡単な方法をいくつかご紹介します。

1. アプリの審査を効率化する

Google Play ストアの健全性を維持するため、生成 AI アプリを対象とした強化された要件を改めてお知らせいたします。これらの対策は、NCII や「ヌード化」メディアなどの有害なコンテンツの作成を防ぐように設計されています。Google の審査チームがアプリを効果的かつ迅速に審査、承認できるよう、アプリのガードレールを明確に把握できるようにする必要があります。審査の遅延を回避するには、次の点に注意してください。

• 審査中に、テスト アカウントがすべての AI 機能に完全にアクセスできるようにする。審査担当者がアプリのプレミアム生成 AI 機能にアクセスでき、定期購入の要件やペイウォールによってブロックされないようにしてください（これには、ジオフェンスが設定されている機能も含まれます）。
• テストした安全プロンプトとエッジケースに関するドキュメント（アプリが呼び出す基盤モデルが、露骨な画像編集やディープフェイクのリクエストを正常に拒否したことを示す証拠など）を手元に用意しておく。「ヌード化」や「脱衣」に関連するプロンプトや同様のプロンプト、ディープフェイクの生成、露骨な画像の編集や生成は、ユーザーに危害を及ぼすリスクが高いため、特に注意が必要です。Google のチームから質問があった場合に、アプリが敵対的なリクエストや違反の可能性があるリクエストをどのように処理するかを迅速に共有できれば、アプリの承認と公開をさらに迅速に行うことができます。

注: 生成 AI の安全性評価は非常に複雑であるため、徹底的な審査と再審査請求に時間がかかることがあります。 

2. 安全性を重視してアプリを設計する

敵対的なプロンプト（特に、同意のない明示的な編集を強制しようとするプロンプト）に対して生成 AI アプリのストレステストを行うことは不可欠です。 業界標準のフレームワークに準拠した安全性テストのベスト プラクティスをいくつかご紹介しました。これらの例はすべてを網羅しているわけではなく、生成 AI 機能の進化に伴って今後も変化していきます。

• アーキテクチャに安全性を組み込む。ビジネスに最適な基盤モデルを選択することで、柔軟に構築できます。ただし、そのモデルのネイティブの安全フィルタだけに頼らないでください。カスタマイズされた入力と出力のモデレーション管理を統合することで、アプリのセキュリティを維持します。一意の XML 区切り文字で入力をラップし、読み込み前に出力を検証することで、アプリが安全でないメディアを作成するのを防ぐことができます。
• プロンプト操作の一歩先を行く。安全なモデルであっても、クリエイティブな回避策によってテストされる可能性があります。敵対的なプロンプト（画像をアップロードして、モデルに「衣服が消えたビーチのシーンを視覚化する」よう求めるなど）に対してアプリを事前にテストすることで、アプリがコアの安全に関する指示を回避して NCII メディアの作成を許可しないようにすることができます。
• 広告の説明責任を維持する。広告キャンペーンを注意深く監視してください。承認された第三者が広告を作成した場合でも、アプリの広告に対する最終的な責任はデベロッパーにあります。アプリが露骨な性的表現や「ヌード化」機能を宣伝している場合、そのアプリにそのような機能がなくても、Google Play のアプリ プロモーション ポリシーに沿って違反措置が適用されます。さらに、Google の広告ポリシーでは、こうした機能を宣伝する広告を厳しく禁止しており、違反した広告主のアカウントは停止されます。
• ユーザー インタラクションをシグナルに変換する。安全性は継続的なプロセスです。継続的なモニタリングを実装すると、ユーザーからのフィードバックや、ユーザーによるプロンプトの失敗は、挫折ではなく、貴重な分析情報となります。これらの実際のシグナルを使用して、アプリのカスタマイズされたガードレールを迅速に調整し、微調整します。ユーザーがアプリをどのように使用しているかを直接把握することで、問題の追跡に費やす時間を減らし、ビジネスの成長により多くの時間を割くことができます。

また、アプリの復元力を高めるために、Android のコア プラクティスを実装することをおすすめします。

責任ある構築をともに

AI のイノベーションは、常に安全性とユーザーの信頼と密接に関連している必要があります。Google Play は、開発のあらゆる段階でデベロッパーをサポートするため、安全ツール、テスト用リソース、ガイダンスの拡充に取り組んでいます。

ポリシー違反行為やプラットフォームのリスクに遭遇した場合は、担当チームに報告することをおすすめします。責任あるアプリ開発にご協力いただき、誠にありがとうございます。Google Play での皆様の今後のご活躍を楽しみにしております。