AI メガネ用の Gemini Live API と統合する

対象の XR デバイス
このガイダンスは、このようなタイプの XR デバイス向けのエクスペリエンスを構築する際に役立ちます。
AI メガネ

Gemini Live API は、ユーザーとの会話型インターフェースを実装するための包括的なソリューションを提供します。Android XR 向けにビルドする際は、Firebase AI Logic を通じて Gemini Live API と統合できます。テキスト読み上げ(TTS)自動音声認識(ASR)を使用する場合とは異なり、Gemini Live API は音声の入力と出力をシームレスに処理します。Gemini Live API は、永続的なインターネット接続が必要で、費用が発生します。また、プロジェクトあたりの同時接続数に制限があり、エラー条件やその他の重要なユーザー通信の処理には適していない可能性があります。特に、ディスプレイのない AI メガネでは、その傾向が顕著です。

音声インターフェースのサポートに加えて、Gemini Live API を使用してエージェント エクスペリエンスを構築することもできます。

Gemini Live API の使用を開始するには、Gemini Live API ガイドに記載されている手順に沿って操作します。このチュートリアルでは、LiveGenerativeModel のインスタンス化と構成、LiveSession の確立、アプリが Gemini からのリクエストを処理できるようにするカスタム FunctionDeclaration インスタンスの作成について説明します。