生成 AI エコシステムにおける安全性の確保: 同意のない親密なコンテンツからユーザーを保護する

Google Play では、ユーザーの安全とデベロッパーの成功は密接に関連しています。AI 生成機能を搭載したアプリは引き続き増加しています。実際、アプリに生成 AI を追加することは、創造的な可能性を大きく広げる優れた方法です。しかし、AI 機能は、AI を利用した当人の合意なく作成された私的な状況のシナリオ・画像・動画（NCII）の生成の増加など、新たな安全上の課題ももたらしています。Google Play のポリシーでは、非同意の性的なコンテンツの助長、作成、配布を禁止しています。個人を標的にしたり、嫌がらせをしたり、搾取したりすることを目的とした有害なアプリは、Google Play では一切認められません。Google は、デベロッパーが成功を収めることができる安全な場所としてストアを維持するために、ポリシーを徹底して適用することに尽力しています。

皆様の大多数が、倫理的で有益なツールの構築に尽力されていることは承知しております。デベロッパーの皆様の努力と、Google とデベロッパーの皆様に共通するユーザーベースを保護するため、Google はプラットフォームの保護、技術的な防御、デベロッパー向けリソースに多大な投資を行い、不正行為の防止に努めています。

共有エコシステムを保護するための取り組み

プラットフォームの保護は継続的な取り組みです。悪意のある行為者は、配信チャネル、収益化パス、モデルの境界を悪用しようとします。エコシステムの公平性と安全性を維持するため、Google は多層防御戦略を導入しています。

• アプリのライフサイクル全体にわたる安全対策: 生成 AI 機能は動的で、予測が難しい場合があるため、安全性はアプリの送信時に 1 回だけチェックすればよいというものではありません。Google は、アプリのライフサイクル全体にわたって、NCII の堅牢な管理を積極的に繰り返しテストしています。数千ものアプリを審査して、ユーザーに大規模な影響が及ぶ前に不正行為を検出し、デベロッパーが安心してリリースできるようにしています。
• ビジネスと収益の保護: Google Play から違反アプリを削除するだけでなく、Google Play チームと広告チームが連携して、不正行為者の収益化と広告の経路を遮断しています。NCII などの有害なコンテンツの生成や収益化を試みたために停止または削除されたアプリは、Google のプラットフォーム全体で収益化と広告掲載がブロックされます。これにより、広告と定期購入のエコシステムを健全に保ち、正当なビジネス収益をサポートできます。
• 業界との連携: Google は、優先報告者プログラムを通じて、NCII 対策を専門とするサードパーティ組織や、AI の安全性に関する主要な研究グループと連携し、特に NCII の不正使用の特定と対策に取り組んでいます。

生成 AI 機能の実用的なベスト プラクティス 

より安全なアプリを構築し、公開プロセスをスムーズに進めるために、Google の性的なコンテンツに関するポリシーと  AI 生成コンテンツに関するポリシーに沿ってアプリを設計、テストする簡単な方法をいくつかご紹介します。

1. アプリの審査を効率化する

Google Play ストアの健全性を維持するため、生成 AI アプリを対象とした要件の強化について改めてお知らせいたします。これらの対策は、NCII や「ヌード化」メディアなどの有害なコンテンツの作成を防ぐことを目的としています。審査チームがアプリを効果的かつ迅速に審査して承認できるよう、アプリのガードレールを明確に把握できるようにする必要があります。審査の遅延を回避するには、次の点に注意してください。

• 審査中に、テスト用アカウントがすべての AI 機能に完全にアクセスできるようにします。審査担当者がアプリのプレミアム生成 AI 機能にアクセスでき、サブスクリプション要件やペイウォールによってブロックされないようにしてください（これには、ジオフェンスが設定されている機能も含まれます）。
• テストした安全性のプロンプトとエッジケースに関するドキュメントを手元に用意しておく（例: アプリが呼び出す基盤モデルが、露骨な画像編集やディープフェイクのリクエストを正常に拒否していることを示す証拠）。「ヌード化」や「脱衣」に関連するプロンプトや同様のプロンプト、ディープフェイクの生成、露骨な画像の編集や生成には、ユーザーに危害を及ぼすリスクが高まるため、特に注意を払う必要があります。Google のチームから質問があった場合に、アプリが敵対的なリクエストや違反の可能性があるリクエストをどのように処理するかを迅速に共有できれば、アプリの承認と公開をさらに迅速に行うことができます。

注: 生成 AI の安全性評価は非常に複雑であるため、徹底的な審査と再審査請求に時間がかかることがあります。 

2. 安全性を重視してアプリを設計する

敵対的なプロンプト（特に、同意のない明示的な編集を強制しようとするプロンプト）に対して生成 AI アプリのストレステストを行うことは不可欠です。 安全性テストのベスト プラクティスをいくつかご紹介しました。これらは、業界標準のフレームワークに準拠したものです。以下の例はすべてを網羅しているわけではなく、生成 AI 機能の進化に伴って今後も変化していきます。

• アーキテクチャに安全性を組み込む。ビジネスに最適な基盤モデルを選択することで、柔軟に構築できます。ただし、そのモデルのネイティブの安全フィルタだけに頼らないでください。カスタマイズされた入力と出力のモデレーション制御を統合して、アプリのセキュリティを維持します。入力値を一意の XML 区切り文字でラップし、出力値を読み込む前に検証することで、アプリが安全でないメディアを作成するのを防ぐことができます。
• プロンプト操作の一歩先を行く。安全なモデルであっても、クリエイティブな回避策によってテストされる可能性があります。敵対的なプロンプト（画像をアップロードして、モデルに「衣服が消えたビーチのシーンを視覚化する」よう求めるなど）に対してアプリを事前にテストすることで、アプリがコアの安全に関する指示を回避して NCII メディアの作成を許可しないようにすることができます。
• 広告の説明責任を維持する。広告キャンペーンを注意深く監視してください。承認済みの第三者が広告を作成した場合でも、アプリの広告に関する最終的な責任はお客様にあります。アプリが露骨な性表現や「ヌード化」機能をプラットフォームで宣伝している場合、アプリにこれらの機能がなくても、Google Play のアプリ インストール広告 ポリシーに沿って違反措置が適用されます。さらに、Google の広告ポリシーでは、こうした機能を宣伝する広告を厳しく禁止しており、違反した広告主のアカウントは停止されます。
• ユーザー インタラクションをシグナルに変換する。安全性は継続的なプロセスです。継続的なモニタリングを実装すると、ユーザーからのフィードバックやプロンプトの失敗は、挫折ではなく、貴重な分析情報となります。これらの実際のシグナルを使用して、アプリのカスタマイズされたガードレールを迅速に調整し、微調整します。ユーザーがアプリをどのように使用しているかを直接把握することで、問題の追跡に費やす時間を減らし、ビジネスの成長に多くの時間を割くことができます。

また、アプリの復元力を高めるために、Android のコア プラクティスを実装することをおすすめします。

責任ある構築をともに

AI のイノベーションは、常に安全性とユーザーの信頼と密接に関連している必要があります。Google Play は、開発のあらゆる段階でデベロッパーをサポートするため、安全ツール、テストリソース、ガイダンスの拡充に取り組んでいます。

ポリシー違反行為やプラットフォームのリスクに遭遇した場合は、Google のチームに報告することをおすすめします。責任あるアプリ開発にご協力いただき、誠にありがとうございます。Google Play での皆様の今後のご活躍を楽しみにしております。