Como a Otimização Automática de Comandos melhora a qualidade da API GenAI Prompt do Kit de ML

Otimização Automática de Comandos (APO)

Para ajudar ainda mais a colocar em produção seus casos de uso da API Prompt do Kit de ML, temos o prazer de anunciar a Otimização Automática de Comandos (APO, na sigla em inglês) para modelos no dispositivo na Vertex AI. A Otimização Automática de Comandos é uma ferramenta que ajuda você a encontrar automaticamente o comando ideal para seus casos de uso.

A era da IA no dispositivo não é mais uma promessa, é uma realidade de produção. Com o lançamento do Gemini Nano v3, estamos colocando recursos multimodais e de compreensão de linguagem sem precedentes diretamente nas mãos dos usuários. Com a família de modelos Gemini Nano, temos uma ampla cobertura de dispositivos compatíveis em todo o ecossistema Android. Mas, para os desenvolvedores que criam a próxima geração de apps inteligentes, o acesso a um modelo poderoso é apenas o primeiro passo. O verdadeiro desafio está na personalização: como adaptar um modelo de fundação para que ele tenha um desempenho de nível profissional no seu caso de uso específico sem ultrapassar as restrições do hardware móvel?

No mundo do lado do servidor, os LLMs maiores tendem a ser altamente capazes e exigem menos adaptação de domínio. Mesmo quando necessário, opções mais avançadas, como o ajuste fino de LoRA (adaptação de classificação baixa), podem ser viáveis. No entanto, a arquitetura exclusiva do Android AICore prioriza um modelo de sistema compartilhado e eficiente em termos de memória. Isso significa que a implantação de adaptadores LoRA personalizados para cada app individual apresenta desafios nesses serviços de sistema compartilhados.

Mas há um caminho alternativo que pode ser igualmente impactante. Ao usar a Otimização Automática de Comandos (APO) na Vertex AI, os desenvolvedores podem alcançar uma qualidade próxima ao ajuste fino, tudo isso trabalhando de forma integrada no ambiente de execução nativo do Android. Ao se concentrar em instruções de sistema superiores, a APO permite que os desenvolvedores personalizem o comportamento do modelo com maior robustez e escalonabilidade do que as soluções tradicionais de ajuste fino.

Observação : o Gemini Nano V3 é uma versão otimizada para qualidade do aclamado modelo Gemma 3N. Todas as otimizações de comandos feitas no modelo de código aberto Gemma 3N também serão aplicadas ao Gemini Nano V3. Em dispositivos compatíveis, as APIs GenAI do Kit de ML usam o modelo nano-v3 para maximizar a qualidade para desenvolvedores Android

A APO trata o comando não como um texto estático, mas como uma superfície programável que pode ser otimizada. Ele usa modelos do lado do servidor (como o Gemini Pro e o Flash) para propor comandos, avaliar variações e encontrar a melhor opção para sua tarefa específica. Esse processo usa três mecanismos técnicos específicos para maximizar o desempenho:

1. Análise automatizada de erros: a APO analisa padrões de erro dos dados de treinamento para identificar automaticamente pontos fracos específicos no comando inicial.
2. Destilação de instruções semânticas:analisa exemplos de treinamento em massa para destilar a "verdadeira intenção" de uma tarefa, criando instruções que refletem com mais precisão a distribuição de dados real.
3. Teste paralelo de candidatos:em vez de testar uma ideia por vez, a APO gera e testa vários candidatos de comando em paralelo para identificar o máximo global de qualidade.

Por que a APO pode se aproximar da qualidade do ajuste fino

É um equívoco comum achar que o ajuste fino sempre gera uma qualidade melhor do que o comando. Para modelos de fundação modernos, como o Gemini Nano v3, a engenharia de comandos pode ser eficaz por si só:

• Preservação de recursos gerais:o ajuste fino ( PEFT/LoRA) força os pesos de um modelo a indexar em excesso uma distribuição específica de dados. Isso geralmente leva ao "esquecimento catastrófico", em que o modelo melhora na sintaxe específica, mas piora na lógica geral e na segurança. A APO não altera os pesos, preservando os recursos do modelo de base.
• Seguir instruções e descobrir estratégias:o Gemini Nano v3 foi treinado rigorosamente para seguir instruções complexas do sistema. A APO aproveita isso ao encontrar a estrutura de instrução exata que desbloqueia as capacidades latentes do modelo, muitas vezes descobrindo estratégias que seriam difíceis de serem encontradas por engenheiros humanos. 

Para validar essa abordagem, avaliamos a APO em diversas cargas de trabalho de produção. Nossa validação mostrou ganhos de precisão consistentes de 5% a 8% em vários casos de uso.Em vários recursos implantados no dispositivo, a APO proporcionou melhorias significativas de qualidade.

Um fluxo de trabalho de desenvolvedor completo e integrado

É um equívoco comum achar que o ajuste fino sempre gera uma qualidade melhor do que o comando. Para modelos de fundação modernos, como o Gemini Nano v3, a engenharia de comandos pode ser eficaz por si só:

• Preservação de recursos gerais:o ajuste fino ( PEFT/LoRA) força os pesos de um modelo a indexar em excesso uma distribuição específica de dados. Isso geralmente leva ao "esquecimento catastrófico", em que o modelo melhora na sintaxe específica, mas piora na lógica geral e na segurança. A APO não altera os pesos, preservando os recursos do modelo de base.
• Seguir instruções e descobrir estratégias:o Gemini Nano v3 foi treinado rigorosamente para seguir instruções complexas do sistema. A APO aproveita isso ao encontrar a estrutura de instrução exata que desbloqueia as capacidades latentes do modelo, muitas vezes descobrindo estratégias que seriam difíceis de serem encontradas por engenheiros humanos. 

Para validar essa abordagem, avaliamos a APO em diversas cargas de trabalho de produção. Nossa validação mostrou ganhos de precisão consistentes de 5% a 8% em vários casos de uso.Em vários recursos implantados no dispositivo, a APO proporcionou melhorias significativas de qualidade.

Conclusão

O lançamento da Otimização Automática de Comandos (APO, na sigla em inglês) marca um ponto de virada para a IA generativa no dispositivo. Ao preencher a lacuna entre os modelos de fundação e o desempenho de nível especializado, estamos oferecendo aos desenvolvedores as ferramentas para criar aplicativos móveis mais robustos. Seja para começar com a otimização zero-shot ou para escalonar para a produção com o refinamento orientado por dados, o caminho para uma inteligência de alta qualidade no dispositivo agora está mais claro. Lance seus casos de uso no dispositivo para produção hoje mesmo com a API Prompt do Kit de ML e a Otimização Automática de Comandos da Vertex AI. 

Links relevantes: 

• API Prompt do Kit de ML,
• Documentação do Otimizador de Comandos da Vertex AI
• Blog de anúncio do Gemma 3N