最新のモバイルアプリは、ユーザー エンゲージメントと維持率を高めるために、ユーザー生成メディアに大きく依存しています。デバイスの機能、照明条件、ユーザー エクスペリエンスが多岐にわたるため、コンテンツの品質には自然なばらつきが生じます。さまざまなソースから大量の写真や動画を管理するアプリでは、こうしたユーザー作成コンテンツのベースライン品質を高めることができます。最適な品質を維持するには、編集、アップロード、ダウンロードなどのオペレーションに必要な圧縮と、高忠実度な消費に必要な詳細度のバランスを慎重に取る必要があります。
メディア拡張 API の概要
Google Play 開発者サービスのメディア拡張 API は、このギャップを埋める包括的なオンデバイス AI ソリューションを提供します。オンデバイスのグラフィック プロセッサ（GPU）アクセラレーションを使用して、画像と動画の高品質化と低レイテンシ化を実現します。自動トーンマッピング、ブレ補正、ノイズ除去、アップスケーリングなどの機能により、これらの拡張を実現します。
Google Play 開発者サービスを通じてネイティブに提供されるこの API は、計算負荷の高い画像と動画の復元タスクをホスト デバイスのネイティブ GPU とニューラル プロセッサ（NPU）に直接オフロードします。この API は、低レイテンシでプライバシーの保護されたパイプラインを提供し、APK の肥大化をゼロに抑えます。デバイスのディスク容量を考慮して、モデルは必要な場合にのみオンデマンドでダウンロードされます。
主な機能とユースケース
このフレームワークは、3 つのコア ML 機能を通じて特定のメディア障害点をターゲットにしています。これらの機能は、個別に構成することも、連携して構成することもできます。
| 能力 | アルゴリズム機能 | 最適なアプリのユースケース |
|---|---|---|
| トーンマップ | SDR から SDR へのローカル トーン マッピング アルゴリズム 標準ダイナミック レンジ（SDR）画像を補正して、HDR のような品質（ローカル コントラストの改善やシャドウの明るさなど）を再現しながら、表示可能な SDR レンジ内に収めます。このリアルタイムで電力効率の高い アルゴリズムは、モバイル パフォーマンス向けに最適化されています。 | フラットな曇り空の風景写真や、逆光の強い屋内ポートレートを救済します。 |
| ブレ補正 | 被写体の動きやカメラの揺れによって生じる数学的なブレカーネルを推定して、シャープなエッジを再構成します。空間フィルタリングを適用して色収差を滑らかにし、デブロッキング フィルタとして機能して、シャープなエッジ付近の圧縮アーティファクトを軽減します。 | 手ぶれやブレのある写真の復元、粒子の粗い低照度画像の補正、圧縮された JPEG 画像や動画ストリームからのブロック状のアーティファクトの除去。 |
| アップスケール | 超解像度生成モデルを使用してピクセル数を増やし、欠落している高周波の詳細を再構成します。 | 小さなサムネイルや標準解像度の動画ファイルをスケーリングして全画面表示します。 |
ハードウェア要件
ML モデルまたはディープ ラーニング モデルを使用してオンデバイスで推論を実行するには時間がかかり、パフォーマンスはデバイスが使用するハードウェア アクセラレータに大きく左右されます。メディア拡張 API は、専用のテンソルコアと高帯域幅メモリを搭載したプレミアム ティア デバイス（Pixel 10 Pro や Samsung Galaxy S26 Ultra など）向けに最適化されています。
デバイスのハードウェアが最小パフォーマンスのしきい値を満たしていない場合、初期化プロセスが停止し、フレームのドロップやサーマル スロットリングを防ぐために、サポートされていないステータスが報告されます。