Gemini Nano com o SDK AI Edge do Google

Em dispositivos Android com suporte, é possível oferecer experiências de IA generativa sem precisar de uma conexão de rede ou enviar dados para a nuvem. A IA no dispositivo é uma ótima solução para casos de uso em que baixa latência, baixo custo e proteção de privacidade são as principais preocupações.

Para casos de uso no dispositivo, aproveite o modelo de base Gemini Nano do Google. Embora seja menor do que outros modelos do Gemini que executam inferência na nuvem, é possível ajustar o Gemini Nano para realizar tarefas especializadas, assim como as versões maiores. O Gemini Nano é executado no serviço de sistema AICore do Android, que aproveita o hardware do dispositivo para permitir baixa latência de inferência e manter o modelo atualizado.

O acesso à API Gemini Nano e ao AICore é fornecido pelo SDK Google AI Edge. O Google AI Edge é um pacote abrangente de ferramentas para ML no dispositivo. Saiba mais sobre o Google AI Edge.

Arquitetura

Como um módulo do sistema, você acessa o AICore por uma série de APIs para executar a inferência no dispositivo. Além disso, o AICore tem vários recursos de segurança integrados, garantindo uma avaliação completa dos nossos filtros de segurança. O diagrama a seguir descreve como um app acessa o AICore para executar o Gemini Nano no dispositivo.

Manter os dados do usuário em sigilo e seguros

A IA generativa no dispositivo executa comandos localmente, eliminando as chamadas do servidor. Essa abordagem melhora a privacidade, mantendo dados sensíveis no dispositivo, ativando a funcionalidade off-line e reduzindo os custos de inferência.

O AICore segue os princípios do Núcleo de processamento privado, com as seguintes características principais:

Vinculação de pacote restrita: o AICore é isolado da maioria dos outros pacotes, com exceções limitadas para pacotes de sistema específicos. Qualquer modificação nessa lista só pode ocorrer durante uma atualização OTA completa do Android.

Acesso indireto à Internet: o AICore não tem acesso direto à Internet. Todas as solicitações de Internet, incluindo downloads de modelos, são roteadas pelo APK complementar de serviços de computação privada de código aberto. As APIs nos Serviços de computação privados precisam demonstrar explicitamente a natureza com foco em privacidade.

Além disso, o AICore foi criado para isolar cada solicitação e não armazena nenhum registro dos dados de entrada ou das saídas resultantes após o processamento para proteger a privacidade do usuário. Leia a postagem do blog Introdução à privacidade e à segurança do Gemini Nano para saber mais.

Benefícios de acessar modelos de base de IA com o AICore

O AICore permite que o SO Android forneça e gerencie modelos de base de IA. Isso reduz significativamente o custo de usar esses modelos grandes no seu app, principalmente devido ao seguinte:

Fácil implantação: o AICore gerencia a distribuição do Gemini Nano e processa atualizações futuras. Não é necessário fazer o download ou atualizar modelos grandes pela rede, nem afetar o orçamento de disco e de memória de execução do app.

Inferência acelerada: o AICore aproveita o hardware do dispositivo para acelerar a inferência. O app vai ter o melhor desempenho em cada dispositivo, e você não precisa se preocupar com as interfaces de hardware.

Funcionalidade com suporte

O AICore oferece suporte aos seguintes dispositivos e modalidades:

• Dispositivos compatíveis: o AICore está disponível nos dispositivos Pixel 9, nas séries Google Pixel 8, incluindo o Pixel 8¹ e o Pixel 8a², nos dispositivos Samsung S24, Samsung Z Fold6, Samsung Z Flip6, Realme GT 6, Motorola Edge 50 Ultra, Motorola Razr 50 Ultra, Xiaomi 14T/Pro e Xiaomi MIX Flip.
• Modalidades compatíveis: atualmente, o AICore oferece suporte à modalidade de texto para o Gemini Nano.

O suporte a mais dispositivos e modalidades são áreas de investimento ativo.

Casos de uso

Devido às restrições de recursos de dispositivos móveis em comparação com servidores em nuvem, os modelos de IA generativa no dispositivo são projetados com foco na eficiência e no tamanho. Essa otimização prioriza tarefas específicas e bem definidas em vez de aplicativos mais generalizados. Os casos de uso adequados incluem:

• Reformular o texto: modifique o tom e o estilo do texto (por exemplo, casual para formal).
• Resposta inteligente: gere respostas contextualmente relevantes em uma conversa.
• Revisão: identifique e corrija erros de ortografia e gramática.
• Resumir: condense documentos longos em resumos concisos (parágrafos ou marcadores).

Para um desempenho ideal, consulte a documentação de estratégias de solicitação. Para conferir esses casos de uso, faça o download do nosso app de exemplo e comece a testar o Gemini Nano.

O Gemini Nano é usado por vários apps do Google. Veja alguns exemplos:

• Talkback:o app de acessibilidade do Android Talkback aproveita os recursos de entrada multimodal do Gemini Nano para melhorar as descrições de imagens para usuários com deficiência visual.
• Gravador de voz do Pixel:o app Gravador de voz do Pixel usa o Gemini Nano e o AICore para oferecer um recurso de resumo no dispositivo. A equipe do Recorder adotou o modelo Gemini Nano mais recente para oferecer suporte a gravações mais longas e resumos de maior qualidade.
• Gboard:a Resposta inteligente do Gboard usa o Gemini Nano no dispositivo com o AICore para oferecer respostas inteligentes precisas.