שילוב עם Gemini Live API למשקפי AI

מכשירי XR רלוונטיים
ההנחיות האלה יעזרו לכם ליצור חוויות למכשירי XR מהסוגים האלה.
משקפי AI

Gemini Live API מספק פתרון מקיף להטמעה של ממשקי שיחה עם המשתמשים. כשמפתחים ל-Android XR, אפשר לשלב עם Gemini Live API דרך Firebase AI Logic. בניגוד לשימוש בהמרת טקסט לדיבור (TTS) ובזיהוי דיבור אוטומטי (ASR), Gemini Live API מטפל גם בקלט וגם בפלט של אודיו בצורה חלקה. השימוש ב-Gemini Live API מחייב חיבור אינטרנט קבוע, כרוך בעלויות, תומך במספר מוגבל של חיבורים בו-זמניים לכל פרויקט, ויכול להיות שהוא לא מתאים לטיפול בתנאי שגיאה או בתקשורת קריטית אחרת עם המשתמש, במיוחד במשקפי AI ללא מסך.

בנוסף לתמיכה בממשקי אודיו, אפשר גם להשתמש ב-Gemini Live API כדי ליצור חוויות אינטראקטיביות.

כדי להתחיל להשתמש ב-Gemini Live API, פועלים לפי השלבים שמפורטים במדריך ל-Gemini Live API. הוא כולל הסברים על יצירת מופע של LiveGenerativeModel והגדרתו, יצירת LiveSession ויצירת מופעים מותאמים אישית של FunctionDeclaration שמאפשרים לאפליקציה לעבד בקשות מ-Gemini.