AI メガネのフォーム ファクタは、ユーザーが環境とやり取りする様子を一人称のマルチモーダル ビューで表示します。音声入力やハードウェア センサーと組み合わせることで、アプリに前例のないレベルのコンテキスト情報を提供できる可能性があります。アプリでこのコンテキストを利用するには、アプリ内エージェントを使用して、これらのマルチモーダル入力を LLM に転送します。アプリでは、Gemini Live API を活用したり、カスタム AI エージェントを統合したりできます。
責任を持って AI を使用する
感覚、認知、社会性、AI の快適さなど、ユーザーの快適さのあらゆる側面を考慮して設計します。
「同意ファースト」に対応したアプリを設計する:
- アプリが開いているからといって、録画できるとは限りません。
- センサーを有効にする前に、物理的なジェスチャーなどの明示的なトリガーを使用します。
- アクティビティに必要と判断された場合は、エージェントがカメラをオンにするよう依頼します。
- 価値を提供するために必要な最小限のデータを収集し、処理してから破棄します。
エージェントの設計に関する考慮事項
AI グラスの場合、AI 機能により、テキスト読み上げや画像認識などのタスクを効率的に実行できます。AI を使用すると、静的なツリーではなく、自然言語でやり取りできます。
AI は、自然な音声キューと微妙なビジュアルにより、スマートフォンとメガネの間でタスクをより自然に完了できるようにします。
アプリ内にエージェントを統合する際は、次の点を考慮してください。
- 語調とトーン
- 日常生活におけるユーザーのコンテキスト
- ユーザーの安全
- ユーザーに負担を与えない
- ソーシャル コンフォートを重視した設計
AI メガネの場合、AI エージェントは簡潔で邪魔にならないようにする必要があります。会話型 UX のベスト プラクティスと AI パターンに沿って設計してください。