Com o Gemini Nano, você oferece experiências avançadas de IA generativa sem precisar de uma conexão de rede ou enviar dados para a nuvem. A IA no dispositivo é uma ótima solução para casos de uso em que o baixo custo e as salvaguardas de privacidade são as principais preocupações.
Para casos de uso no dispositivo, aproveite o modelo de fundação Gemini Nano do Google. O Gemini Nano é executado no serviço de sistema AICore do Android, que aproveita o hardware do dispositivo para permitir baixa latência de inferência e manter o modelo atualizado.
APIs de IA generativa do Kit de ML
As APIs GenAI do Kit de ML aproveitam o poder do Gemini Nano para ajudar seus apps a realizar tarefas. Essas APIs oferecem qualidade pronta para uso em casos de uso populares por meio de uma interface de alto nível. As APIs GenAI do Kit de ML são criadas com base no AICore, um serviço do sistema Android que permite a execução no dispositivo de modelos de fundação de IA generativa para facilitar recursos como funcionalidade aprimorada do app e melhor privacidade do usuário ao processar dados localmente. Saiba mais.
Principais recursos
As APIs de IA generativa do Kit de ML são compatíveis com os seguintes recursos:
- Comando: gere conteúdo de texto com base em um comando personalizado somente de texto ou multimodal.
- Resumo: resuma artigos ou conversas em uma lista com marcadores.
- Revisão: revise mensagens curtas de chat.
- Reescrita: reescreva mensagens curtas de chat em tons ou estilos diferentes.
- Descrição da imagem: gere uma breve descrição de uma determinada imagem.
- Reconhecimento de fala: transcreva áudio falado em texto.
Arquitetura com o AICore
Como um módulo no nível do sistema, você acessa o AICore por uma série de APIs para executar inferências no dispositivo. Além disso, o AICore tem vários recursos de segurança integrados, garantindo uma avaliação completa em relação aos nossos filtros de segurança. O diagrama a seguir descreve como um app acessa o AICore para executar o Gemini Nano no dispositivo.
Manter a privacidade e a segurança dos dados do usuário
A IA generativa no dispositivo executa comandos localmente, eliminando chamadas de servidor. Isso remove a latência da rede, mas a velocidade de inferência depende do hardware do dispositivo. Essa abordagem aumenta a privacidade ao manter dados sensíveis no dispositivo, permite a funcionalidade off-line e reduz os custos de inferência.
O AICore segue os princípios do Private Compute Core, com as seguintes características principais:
- Vinculação de pacote restrita: o AICore é isolado da maioria dos outros pacotes, com exceções limitadas para pacotes de sistema específicos. Qualquer modificação nessa lista de permissões só pode ocorrer durante uma atualização OTA completa do Android.
- Acesso indireto à Internet: o AICore não tem acesso direto à Internet. Todas as solicitações da Internet, incluindo downloads de modelos, são roteadas pelo APK complementar de Private Compute Services de código aberto. As APIs nos Serviços de computação particulares precisam demonstrar explicitamente sua natureza focada na privacidade.
Além disso, o AICore foi criado para isolar cada solicitação e não armazena nenhum registro dos dados de entrada ou das saídas resultantes após o processamento para proteger a privacidade do usuário. Leia a postagem do blog Uma introdução à privacidade e segurança do Gemini Nano para saber mais.
Benefícios de acessar modelos de fundação de IA com o AICore
O AICore permite que o SO Android forneça e gerencie modelos de fundação de IA. Isso reduz significativamente o custo de usar esses modelos grandes no seu app, principalmente devido ao seguinte:
- Facilidade de implantação: o AICore gerencia a distribuição do Gemini Nano e processa atualizações futuras. Você não precisa se preocupar em baixar ou atualizar modelos grandes pela rede nem com o impacto no orçamento de memória de disco e de tempo de execução do app.
- Inferência acelerada: o AICore usa o hardware no dispositivo para acelerar a inferência. Seu app tem a melhor performance em cada dispositivo, e você não precisa se preocupar com as interfaces de hardware subjacentes.