最新のモバイルアプリは、エンゲージメントと維持率を高めるために、ユーザー作成メディアに大きく依存しています。アプリは、デバイスの機能、照明条件、ユーザー エクスペリエンスの幅広いスペクトルにより、コンテンツの品質に自然なばらつきがあることを確認します。さまざまなソースから大量の写真や動画を管理するアプリでは、このユーザー作成コンテンツのベースライン品質を向上させる機会があります。最適な品質を維持するには、編集、アップロード、ダウンロードなどの操作に必要な圧縮と、高忠実度の消費に十分な詳細を保持することのバランスを慎重に取る必要があります。
Media Enhancement API の概要
Google Play 開発者サービスの Media Enhancement API は、このギャップを埋める包括的なオンデバイス AI ソリューションを提供します。デバイス上の画像処理装置(GPU)アクセラレーションを使用して、画像や動画の品質を向上させ、低レイテンシを実現します。これらの機能強化は、自動トーン マッピング、ブレ除去、ノイズ除去、アップスケーリングなどの機能によって実現されます。
Google Play 開発者サービスを通じてネイティブに提供されるこの API は、計算負荷の高い画像と動画の復元タスクをホストデバイスのネイティブ GPU とニューラル プロセッシング ユニット(NPU)に直接オフロードします。この API は、APK の肥大化をゼロに抑えた、低レイテンシでプライバシーを保護するパイプラインを提供します。デバイスのディスク容量を考慮して、必要な場合にのみオンデマンドでモデルをダウンロードします。
主な機能とユースケース
このフレームワークは、3 つのコア機械学習機能を通じて特定のメディア障害ポイントをターゲットにしています。これらの機能は、個別に構成することも、組み合わせて構成することもできます。
| 能力 | アルゴリズム機能 | 最適なアプリケーションのユースケース |
|---|---|---|
| トーンマップ | SDR から SDR へのローカル トーン マッピング アルゴリズム。標準ダイナミック レンジ(SDR)画像を強化して、HDR のような品質(ローカル コントラストの改善やシャドウの明るさの向上など)を模倣しながら、表示可能な SDR 範囲内に収めます。このリアルタイムで電力効率に優れたアルゴリズムは、モバイル パフォーマンス向けに最適化されています。 | 平坦で曇った風景写真や、逆光が強い屋内ポートレートを救済する。 |
| ブレ補正 | 被写体の動きやカメラのブレによって生じる数学的なぼかしカーネルを推定することで、シャープなエッジを再構築します。空間フィルタリングを適用して色収差を滑らかにし、デブロッキング フィルタとして機能して、シャープなエッジ付近の圧縮アーティファクトを軽減します。 | 手ぶれやぼやけのある写真を補正したり、暗い場所で撮影したざらつきのある画像を鮮明にしたり、圧縮された JPEG 画像や動画ストリームからブロック状のアーティファクトを除去したりできます。 |
| 高級感のあるお店 | 超解像生成モデルを使用してピクセル数を増やし、欠落している高周波の詳細を再構築します。 | 小さなサムネイルや標準画質の動画ファイルを全画面表示用に拡大する。 |
低速ネットワークでダウンロードされた低解像度画像のアップスケーリングとブレ除去を組み合わせた例については、低速ネットワークで画像を段階的に読み込むをご覧ください。
ハードウェア要件
機械学習モデルまたはディープ ラーニング モデルを使用してデバイス上で推論を実行するには時間がかかり、パフォーマンスはデバイスで使用されるハードウェア アクセラレータに大きく依存します。Media Enhancement API は、専用の Tensor コアと高帯域幅メモリを搭載したプレミアム ティアのデバイス(Google Pixel 10 Pro や Samsung Galaxy S26 Ultra など)向けに最適化されています。
デバイスのハードウェアが最小パフォーマンスしきい値を満たしていない場合、初期化プロセスは停止し、フレーム落ちやサーマル スロットリングを防ぐために、サポートされていないステータスを報告します。