Los lentes con audio y pantalla proporcionan una vista en primera persona y multimodal del usuario que interactúa con su entorno. En combinación con la entrada de voz y los sensores de hardware, esto tiene el potencial de proporcionar un nivel de información contextual sin precedentes a tu app. Para utilizar este contexto en tu app, puedes usar un agente integrado en la app y enrutar estas entradas multimodales a tu LLM. Tu app puede aprovechar la API de Gemini Live o integrar un agente de IA personalizado.
Usa la IA de forma responsable
Diseña para todos los aspectos de la comodidad del usuario, incluidos los aspectos sensoriales, cognitivos, sociales y de comodidad con la IA.
Diseña tus apps para que prioricen el consentimiento:
- No asumas que puedes grabar porque una app está abierta.
- Usa activadores explícitos, como un gesto físico, antes de activar los sensores.
- Haz que tu agente solicite que se encienda la cámara si lo considera necesario para la actividad.
- Recopila la cantidad mínima de datos necesaria para entregar valor, procésala y, luego, descártala.
Consideraciones de diseño para tu agente
En el caso de los lentes con audio y pantalla, las funciones potenciadas por IA proporcionan una manera eficiente de realizar tareas como la conversión de texto a voz y el reconocimiento de imágenes. La IA permite la interacción a través del lenguaje natural, en lugar de árboles estáticos.
La IA puede ayudar a que completar tareas entre el teléfono y los lentes sea más natural con indicaciones de audio naturales y elementos visuales sutiles.
Cuando integres un agente en tu app, ten en cuenta lo siguiente:
- Voz y tono
- Contextos del usuario en la vida cotidiana
- Seguridad del usuario
- No abrumes al usuario
- Diseña para la comodidad social
El agente de IA debe ser conciso y discreto, y seguir las prácticas recomendadas de UX conversacional y los patrones de IA.