O SDK AI Edge do Google permite acesso experimental para desenvolvedores que querem testar o aprimoramento dos apps com recursos de IA no dispositivo usando o Gemini Nano.
Arquitetura com o AICore
Como um módulo no nível do sistema, você acessa o AICore por uma série de APIs para executar inferências no dispositivo. Além disso, o AICore tem vários recursos de segurança integrados, garantindo uma avaliação completa em relação aos nossos filtros de segurança. O diagrama a seguir descreve como um app acessa o AICore para executar o Gemini Nano no dispositivo.
Manter a privacidade e a segurança dos dados do usuário
A IA generativa no dispositivo executa comandos localmente, eliminando chamadas de servidor. Essa abordagem aumenta a privacidade ao manter dados sensíveis no dispositivo, permite funcionalidades off-line e reduz os custos de inferência.
O AICore segue os princípios do Núcleo de processamento privado, com as seguintes características principais:
- Vinculação de pacote restrita: o AICore é isolado da maioria dos outros pacotes, com exceções limitadas para pacotes específicos do sistema. Qualquer modificação nessa lista permitida só pode ocorrer durante uma atualização OTA completa do Android.
- Acesso indireto à Internet: o AICore não tem acesso direto à Internet. Todas as solicitações da Internet, incluindo downloads de modelos, são roteadas pelo APK complementar de Private Compute Services de código aberto. As APIs nos Serviços de computação particulares precisam demonstrar explicitamente sua natureza focada na privacidade.
Além disso, o AICore foi criado para isolar cada solicitação e não armazena nenhum registro dos dados de entrada ou das saídas resultantes após o processamento para proteger a privacidade do usuário. Leia a postagem do blog Uma introdução à privacidade e segurança do Gemini Nano para saber mais.
Benefícios de acessar modelos de fundação de IA com o AICore
O AICore permite que o SO Android forneça e gerencie modelos de fundação de IA. Isso reduz significativamente o custo de usar esses modelos grandes no seu app, principalmente devido ao seguinte:
- Facilidade de implantação: o AICore gerencia a distribuição do Gemini Nano e processa atualizações futuras. Você não precisa se preocupar em baixar ou atualizar modelos grandes pela rede nem com o impacto no orçamento de memória de disco e tempo de execução do app.
- Inferência acelerada: o AICore usa hardware no dispositivo para acelerar a inferência. Seu app tem a melhor performance em cada dispositivo, e você não precisa se preocupar com as interfaces de hardware subjacentes.
Funcionalidade compatível
- Dispositivos compatíveis: o Gemini Nano com o SDK AI Edge do Google está disponível para teste nos dispositivos da série Pixel 9.
- Modalidades aceitas: o AICore aceita a modalidade de texto para o Gemini Nano.
Estamos investindo em mais dispositivos e modalidades.
Casos de uso
Devido às restrições de recursos dos dispositivos móveis em comparação com os servidores de nuvem, os modelos de IA generativa no dispositivo são projetados com foco na eficiência e no tamanho. Essa otimização prioriza tarefas específicas e bem definidas em vez de aplicativos mais generalizados. Casos de uso adequados:
- Reformulação de texto: modifique o tom e o estilo do texto (por exemplo, de informal para formal).
- Resposta inteligente: gere respostas contextualmente relevantes em uma conversa.
- Revisão: identifique e corrija erros de ortografia e gramática.
- Resumo: condense documentos longos em resumos concisos (parágrafos ou tópicos).
Para ter um desempenho ideal, consulte a documentação sobre estratégias de comandos. Para conhecer esses casos de uso, baixe nosso app de exemplo e comece a testar o Gemini Nano.
O Gemini Nano é usado por vários apps do Google. Veja alguns exemplos:
- TalkBack:o app de acessibilidade do Android TalkBack usa os recursos de entrada multimodal do Gemini Nano para melhorar as descrições de imagens para usuários com deficiência visual.
- Gravador de voz do Pixel:o app Gravador de voz do Pixel usa o Gemini Nano e o AICore para oferecer um recurso de resumo no dispositivo. A equipe do Gravador adotou o modelo mais recente do Gemini Nano para oferecer suporte a gravações mais longas e resumos de qualidade superior.
- Gboard:a Resposta Inteligente do Gboard usa o Gemini Nano no dispositivo com o AICore para fornecer respostas inteligentes precisas.