Gemini Nano

Com o Gemini Nano, você oferece experiências avançadas de IA generativa sem precisar de uma conexão de rede ou enviar dados para a nuvem. A IA no dispositivo é uma ótima solução para casos de uso em que o baixo custo e as proteções de privacidade são as principais preocupações.

Para casos de uso no dispositivo, aproveite o modelo de base Gemini Nano do Google. O Gemini Nano é executado no serviço de sistema AICore do Android, que aproveita o hardware do dispositivo para permitir baixa latência de inferência e manter o modelo atualizado.

APIs de IA generativa do Kit de ML

As APIs GenAI do ML Kit aproveitam o poder do Gemini Nano para ajudar seus apps a realizar tarefas. Essas APIs oferecem qualidade pronta para uso em casos de uso populares por meio de uma interface de alto nível. As APIs GenAI do ML Kit são criadas com base no AICore, um serviço do sistema Android que permite a execução no dispositivo de modelos de fundação de IA generativa para facilitar recursos como funcionalidade aprimorada de apps e melhor privacidade do usuário ao processar dados localmente. Saiba mais.

Principais recursos

As APIs de IA generativa do Kit de ML são compatíveis com os seguintes recursos:

  • Comando: gere conteúdo de texto com base em um comando personalizado somente de texto ou multimodal.
  • Resumo: resuma artigos ou conversas em uma lista com marcadores.
  • Revisão: revise mensagens curtas de chat.
  • Reescrita: reescreva mensagens de chat curtas em tons ou estilos diferentes.
  • Descrição da imagem: gere uma breve descrição de uma imagem específica.
  • Reconhecimento de fala: transcreve áudio falado em texto.

Arquitetura com o AICore

Como um módulo no nível do sistema, você acessa o AICore por uma série de APIs para executar inferências no dispositivo. Além disso, o AICore tem vários recursos de segurança integrados, garantindo uma avaliação completa em relação aos nossos filtros de segurança. O diagrama a seguir descreve como um app acessa o AICore para executar o Gemini Nano no dispositivo.

Um diagrama mostrando como um app Android usa o SDK do Google AI Edge para acessar o AICore, onde o Gemini Nano, o LoRA e os recursos de segurança são gerenciados e executados em aceleradores de hardware.
Figura 1. O AICore serve como interface entre seu app e o modelo Gemini Nano, gerenciando atualizações e segurança do modelo enquanto aproveita o hardware no dispositivo.

Manter a privacidade e a segurança dos dados do usuário

A IA generativa no dispositivo executa comandos localmente, eliminando chamadas de servidor. Isso remove a latência da rede, mas a velocidade de inferência depende do hardware do dispositivo. Essa abordagem aumenta a privacidade ao manter dados sensíveis no dispositivo, permite a funcionalidade off-line e reduz os custos de inferência.

O AICore segue os princípios do Private Compute Core, com as seguintes características principais:

  • Vinculação de pacote restrita: o AICore é isolado da maioria dos outros pacotes, com exceções limitadas para pacotes específicos do sistema. As modificações nessa lista de permissões só podem ocorrer durante uma atualização OTA completa do Android.
  • Acesso indireto à Internet: o AICore não tem acesso direto à Internet. Todas as solicitações da Internet, incluindo downloads de modelos, são roteadas pelo APK complementar de código aberto Private Compute Services. As APIs nos Serviços de computação privada precisam demonstrar explicitamente sua natureza focada na privacidade.

Além disso, o AICore foi criado para isolar cada solicitação e não armazena nenhum registro dos dados de entrada ou das saídas resultantes após o processamento para proteger a privacidade do usuário. Leia a postagem do blog Introdução à privacidade e segurança do Gemini Nano para saber mais.

Um diagrama de arquitetura detalhado do AICore mostrando o fluxo de solicitação: superfície da API, processamento de entrada com indicadores de segurança, configuração de recursos, tempo de execução com pesos de modelo e LoRAs e processamento de saída com indicadores de segurança. Ele também mostra downloads de modelos pelos Private Compute Services.
Figura 2. A arquitetura do AICore gerencia a segurança de entrada e saída, o processamento de solicitações e os pesos do modelo para oferecer um ambiente seguro para a IA no dispositivo.

Benefícios de acessar modelos de fundação de IA com o AICore

O AICore permite que o SO Android forneça e gerencie modelos de fundação de IA. Isso reduz significativamente o custo de usar esses modelos grandes no seu app, principalmente devido ao seguinte:

  • Facilidade de implantação: o AICore gerencia a distribuição do Gemini Nano e processa atualizações futuras. Você não precisa se preocupar em baixar ou atualizar modelos grandes pela rede nem com o impacto no orçamento de memória de disco e tempo de execução do app.
  • Inferência acelerada: o AICore usa o hardware no dispositivo para acelerar a inferência. Seu app tem a melhor performance em cada dispositivo, e você não precisa se preocupar com as interfaces de hardware subjacentes.

Quando usar a inferência híbrida

Embora o Gemini Nano seja ideal para tarefas off-line e sensíveis à privacidade, ele tem restrições no dispositivo, como limites de token, limitações de hardware do dispositivo e limites de capacidade do modelo. Nesses cenários, é possível usar a inferência híbrida para equilibrar as cargas de trabalho de IA entre o dispositivo local e a nuvem.

Para garantir uma experiência do usuário consistente em todos os dispositivos e processar consultas complexas, use a API híbrida do Firebase AI Logic. Isso permite que seu app faça o seguinte:

  • Fallback elegante: encaminhe automaticamente as solicitações para os modelos do Gemini Flash ou do Gemini Pro na nuvem quando o Gemini Nano não estiver disponível ou não for compatível com o dispositivo do usuário.
  • Reforce a segurança: proteja a inferência na nuvem com o Firebase App Check (e os provedores de atestado compatíveis, como Play Integrity) e mantenha os comandos sensíveis do sistema no lado do servidor.