Gemini API を使用して AI で Android XR アプリを強化する

対象の XR デバイス
このガイダンスは、次のようなタイプの XR デバイス向けのエクスペリエンスを構築する際に役立ちます。
XR ヘッドセット
有線 XR グラス
オーディオと
ディスプレイ メガネ

Android XR は、Gemini 時代に構築された初の Android プラットフォームであり、ヘッドセットやグラスなど、さまざまなデバイスのエコシステムを支えています。Gemini は、ユーザーが見ているものを理解し、ユーザーに代わってアクションを実行することで、Android XR エクスペリエンスを使いやすくし、独自の機能を追加します。

Firebase AI Logic を使用して Gemini API にアクセスできます。これは、ネイティブ Android アプリ(Kotlin を使用)と Unity の両方で使用できます。これらの API を使用して、クラウドベースの Gemini モデルと統合する AI を活用した機能を構築します。

モデルを選択する

まず、Firebase で利用可能な各モデルの機能を比較します。次に、AI Studio でさまざまなモデルのさまざまなプロンプトの結果を評価して、ユースケースに最適なモデルを特定できます。

Gemini を使用してアプリを強化するその他の方法を確認する

ユースケースに合ったモデルを特定したら、アプリを強化する他の方法も検討してください。

  • 音声インターフェースを提供する: Android XR は、手、視線、音声などの自然な入力を使用してシステムを操作します。ユーザーが音声でアプリを操作できるようにするには、関数呼び出しとともに Gemini Live API を使用します。
  • マルチモーダル サポートで画像を生成する: Gemini Developer API を使用して Gemini モデルで画像を生成します。
  • Unity アプリでゲームのインタラクションを強化する: Gemini Developer API または Vertex AI Gemini API を使用して構造化された出力を生成します。