自动提示词优化如何助力机器学习套件的生成式 AI Prompt API 提升输出质量

自动提示词优化 (APO)

为了进一步帮助您将机器学习套件 Prompt API 用例投入生产，我们很高兴地宣布推出针对 Vertex AI 上设备端模型的自动提示词优化 (APO)。自动提示词优化是一款工具，可帮助您自动找到适合您应用场景的最佳提示词。

设备端 AI 时代不再是愿景，而是生产环境中的现实。随着 Gemini Nano v3 的发布，我们将前所未有的语言理解和多模态功能直接带到用户手中。通过 Gemini Nano 系列模型，我们广泛覆盖了 Android 生态系统中的受支持设备。但对于致力于打造新一代智能应用的开发者而言，获得强大的模型只是第一步。真正的挑战在于自定义：如何在不突破移动硬件限制的情况下，针对特定用例对基础模型进行定制，使其达到专家级性能？

在服务器端，较大的 LLM 通常功能强大，需要的领域适应较少。即使需要微调，LoRA（低秩适应）微调等更高级的选项也可能是可行的选择。不过，Android AICore 的独特架构优先考虑共享且内存高效的系统模型。这意味着，为每个应用部署自定义 LoRA 适配器会对这些共享系统服务带来挑战。

但还有另一条同样有效的途径。通过在 Vertex AI 上利用自动提示词优化 (APO)，开发者可以实现接近微调的质量，同时在原生 Android 执行环境中无缝运行。APO 专注于提供卓越的系统指令，使开发者能够以比传统微调解决方案更强大的稳健性和可扩缩性来定制模型行为。

注意： Gemini Nano V3 是广受好评的 Gemma 3N 模型的质量优化版本。对开源 Gemma 3N 模型进行的任何提示优化也将应用于 Gemini Nano V3。在受支持的设备上，机器学习套件生成式 AI API 利用 nano-v3 模型，为 Android 开发者提供尽可能高的质量

APO 不会将提示视为静态文本，而是将其视为可优化的可编程表面。它利用服务器端模型（如 Gemini Pro 和 Flash）来提出提示、评估变体，并找到适合您特定任务的最佳提示。此过程采用三种特定的技术机制来最大限度地提高性能：

1. 自动错误分析：APO 会分析训练数据中的错误模式，自动识别初始提示中的具体弱点。
2. 语义指令提炼：它会分析海量训练样本，提炼出任务的“真实意图”，从而创建更准确反映真实数据分布的指令。
3. 并行候选测试：APO 不会一次只测试一个想法，而是并行生成并测试多个候选提示，以确定质量的全局最大值。

为什么 APO 可以达到接近微调的质量

人们普遍误以为微调的效果总是优于提示。对于 Gemini Nano v3 等现代基础模型，提示词工程本身就能产生显著效果：

• 保留通用能力：微调（PEFT/LoRA）会强制模型的权重在特定数据分布上过度索引。这通常会导致“灾难性遗忘”，即模型在特定语法方面表现更好，但在一般逻辑和安全性方面表现更差。APO 不会改变权重，从而保留基础模型的功能。
• 指令遵循和策略发现：Gemini Nano v3 经过严格训练，能够遵循复杂的系统指令。APO 正是利用了这一点，通过寻找精确的指令结构来释放模型的潜在能力，通常能发现人类工程师难以找到的策略。

为了验证这种方法，我们针对各种生产工作负载评估了 APO。我们的验证结果表明，在各种应用场景中，准确率均能稳定提升 5-8%。在多个已部署的设备端功能中，APO 显著提升了质量。

顺畅的端到端开发者工作流

人们普遍误以为微调的效果总是优于提示。对于 Gemini Nano v3 等现代基础模型，提示词工程本身就能产生显著效果：

• 保留通用能力：微调（PEFT/LoRA）会强制模型的权重在特定数据分布上过度索引。这通常会导致“灾难性遗忘”，即模型在特定语法方面表现更好，但在一般逻辑和安全性方面表现更差。APO 不会改变权重，从而保留基础模型的功能。
• 指令遵循和策略发现：Gemini Nano v3 经过严格训练，能够遵循复杂的系统指令。APO 正是利用了这一点，通过寻找精确的指令结构来释放模型的潜在能力，通常能发现人类工程师难以找到的策略。

为了验证这种方法，我们针对各种生产工作负载评估了 APO。我们的验证结果表明，在各种应用场景中，准确率均能稳定提升 5-8%。在多个已部署的设备端功能中，APO 显著提升了质量。

总结

自动提示词优化 (APO) 的发布标志着设备端生成式 AI 迎来了一个转折点。通过弥合基础模型与专家级性能之间的差距，我们为开发者提供了构建更强大的移动应用的工具。无论您是刚开始使用零样本优化，还是通过数据驱动的优化来扩展到生产环境，现在都有了更清晰的路径来实现高质量的设备端智能。立即使用机器学习套件的 Prompt API 和 Vertex AI 的自动提示词优化功能，将设备端用例投入生产。

相关链接：

• 机器学习套件 Prompt API、
• Vertex AI Prompt Optimizer 文档
• Gemma 3N 发布公告博文