Gemini Nano

O Gemini Nano permite oferecer experiências avançadas em IA generativa sem a necessidade de uma conexão de rede ou de enviar dados para a nuvem. A IA no dispositivo é uma ótima solução para casos de uso em que o baixo custo e as proteções de privacidade são suas principais preocupações.

Para casos de uso no dispositivo, você pode aproveitar o modelo de fundação do Gemini Nano do Google. O Gemini Nano é executado no serviço de sistema AICore do Android, que aproveita o hardware do dispositivo para permitir baixa latência de inferência e manter o modelo atualizado.

APIs GenAI do Kit de ML

As APIs GenAI do Kit de ML aproveitam o poder do Gemini Nano para ajudar seus apps a realizar tarefas. Essas APIs oferecem qualidade pronta para uso em casos de uso populares por meio de uma interface de alto nível. As APIs GenAI do Kit de ML são criadas com base no AICore, um serviço de sistema Android que permite a execução no dispositivo de modelos de fundação GenAI para facilitar recursos como funcionalidade aprimorada do app e privacidade do usuário melhorada, processando dados localmente. Saiba mais.

Principais recursos

As APIs GenAI do Kit de ML oferecem suporte aos seguintes recursos:

  • Comando: gere conteúdo de texto com base em um comando multimodal ou somente de texto personalizado.
  • Resumo: resuma artigos ou conversas como uma lista com marcadores.
  • Revisão: revise mensagens curtas de chat.
  • Reescrita: reescreva mensagens curtas de chat em tons ou estilos diferentes.
  • Descrição da imagem: gere uma descrição curta de uma imagem.
  • Reconhecimento de fala: transcreva áudio falado em texto.

Arquitetura pelo AICore

Como um módulo no nível do sistema, você acessa o AICore por uma série de APIs para executar a inferência no dispositivo. Além disso, o AICore tem vários recursos de segurança integrados, garantindo uma avaliação completa em relação aos nossos filtros de segurança. O diagrama a seguir descreve como um app acessa o AICore para executar o Gemini Nano no dispositivo.

Um diagrama mostrando como um app Android usa o SDK do Google AI Edge para acessar o AICore, onde o Gemini Nano, o LoRA e os recursos de segurança são gerenciados e executados em aceleradores de hardware.
Figura 1. O AICore serve como interface entre o app e o modelo Gemini Nano, gerenciando atualizações e segurança do modelo, enquanto aproveita o hardware no dispositivo.

Manter os dados do usuário privados e seguros

A IA generativa no dispositivo executa comandos localmente, eliminando chamadas de servidor. Embora isso remova a latência da rede, a velocidade de inferência depende do hardware do dispositivo. Essa abordagem melhora a privacidade, mantendo dados sensíveis no dispositivo, permite a funcionalidade off-line e reduz os custos de inferência.

O AICore segue os princípios do Private Compute Core, com as seguintes características principais:

  • Vinculação de pacote restrita: o AICore é isolado da maioria dos outros pacotes, com exceções limitadas para pacotes de sistema específicos. Todas as modificações nessa lista permitida só podem ocorrer durante uma atualização OTA completa do Android.
  • Acesso indireto à Internet: o AICore não tem acesso direto à Internet. Todas as solicitações de internet, incluindo downloads de modelos, são encaminhadas pelo APK complementar de código aberto Private Compute Services. As APIs nos Serviços de computação privada precisam demonstrar explicitamente a natureza focada na privacidade.

Além disso, o AICore é criado para isolar cada solicitação e não armazena nenhum registro dos dados de entrada ou das saídas resultantes após o processamento para proteger a privacidade do usuário. Leia a postagem do blog Uma introdução à privacidade e segurança do Gemini Nano para saber mais.

Um diagrama de arquitetura detalhado do AICore mostrando o fluxo de solicitação: superfície da API, processamento de entrada com indicadores de segurança, configuração de recursos, tempo de execução com ponderações de modelo e LoRAs e processamento de saída com indicadores de segurança. Ele também mostra downloads de modelos pelos Private Compute Services.
Figura 2. A arquitetura do AICore gerencia a segurança de entrada e saída, o processamento de solicitações e os pesos do modelo para fornecer um ambiente seguro para a IA no dispositivo.

Benefícios de acessar modelos de fundação de IA com o AICore

O AICore permite que o SO Android forneça e gerencie modelos de fundação de IA. Isso reduz significativamente o custo de uso desses modelos grandes no seu app, principalmente devido ao seguinte:

  • Facilidade de implantação: o AICore gerencia a distribuição do Gemini Nano e processa atualizações futuras. Não é necessário se preocupar com o download ou a atualização de modelos grandes pela rede nem com o impacto no disco e no orçamento de memória de execução do app.
  • Inferência acelerada: o AICore aproveita o hardware no dispositivo para acelerar a inferência. Seu app tem o melhor desempenho em cada dispositivo, e você não precisa se preocupar com as interfaces de hardware subjacentes.