產品最新消息

自動化提示優化如何提升 ML Kit 的 GenAI 提示 API 的質量

3 分鐘小故事
4 作者
Chetan Tekur, Chao Zhao, Paul Zhou, Caren Chang

自動提示最佳化 (APO)

為了進一步幫助您將 ML Kit Prompt API 用例投入生產，我們很高興地宣布 Vertex AI 上的 針對設備端模型的自動提示優化 (APO)。自動最佳化提示詞工具可協助您自動找出最適合用途的提示。

設備端人工智慧時代不再是空想，而是現實。隨著 Gemini Nano v3 的發布，我們將前所未有的語言理解和多模態功能直接帶到了使用者的掌中。透過 Gemini Nano 系列產品，我們能夠廣泛覆蓋 Android 生態系統中的支援設備。但對於建立下一代智慧應用程式的開發者來說，獲得強大的模型只是第一步。真正的挑戰在於客製化：如何在不違反行動硬體限制的情況下，根據您的特定用例自訂基礎模型以達到專家級效能？

在伺服器端領域，規模較大的 LLM 往往功能強大，所需的領域適配性也較低。即使在需要的時候，LoRA（低秩自適應）微調等更高級的選項也是可行的選擇。然而，Android AICore 的獨特架構優先考慮 共享、記憶體高效的系統模型。這意味著為每個單獨的應用程式部署自訂 LoRA 適配器會對這些共用系統服務帶來挑戰。

但還有一條同樣有效的替代路徑。透過利用 Vertex AI 上的 自動提示優化 (APO)，開發者可以實現接近微調的質量，同時還能在原生 Android 執行環境中無縫工作。透過專注於卓越的系統指令，APO 使開發人員能夠以比傳統微調解決方案更高的穩健性和可擴展性來自訂模型行為。

注意： Gemini Nano V3 是備受好評的 Gemma 3N 模型，經過最佳化後可提供更高品質的內容。在開放原始碼 Gemma 3N 模型上進行的任何提示最佳化作業，也會套用至 Gemini Nano V3。在支援的裝置上，ML Kit GenAI API 會運用 nano-v3 模型，盡可能為 Android 開發人員提供優質體驗

APO block diagram.jpg

APO 會將提示視為可供最佳化的可程式化介面，而非靜態文字。這項功能會運用伺服器端模型 (例如 Gemini Pro 和 Flash) 建議提示、評估變體，並找出最適合特定工作的提示。這項程序會採用三種特定技術機制，盡可能提升效能：

  1. 自動錯誤分析：APO 會分析訓練資料中的錯誤模式，自動找出初始提示的特定缺點。
  2. 語意指令蒸餾：分析大量訓練範例，從中提煉出工作的「真正意圖」，然後建立指令，更準確地反映實際資料分布。
  3. 平行候選測試：APO 不會一次測試一個構想，而是平行生成及測試多個提示候選項目，找出品質的全球最大值。

為什麼 APO 可以接近微調品質

一般人常誤以為微調的品質一定比提示好，對於 Gemini Nano v3 等現代基礎模型，提示工程本身就能帶來顯著影響：

  • 保留一般功能：微調 ( PEFT/LoRA) 會強制模型權重過度索引特定資料分布。這通常會導致「災難性遺忘」，也就是模型在特定語法方面表現更好，但在一般邏輯和安全性方面表現更差。APO 不會更動權重，因此可保留基礎模型的功能。
  • 遵循指令和策略探索：Gemini Nano v3 經過嚴格訓練，可遵循複雜的系統指令。APO 會找出確切的指令結構，藉此發揮模型潛在能力，通常會發現人類工程師難以找到的策略。

為驗證這項方法，我們針對各種正式環境工作負載評估 APO。驗證結果顯示，在各種用途中，APO 的準確率都穩定提升了 5% 至 8%。在多項已部署的裝置端功能中，APO 顯著提升了品質。

用途工作類型工作說明指標APO 改良
主題分類文字分類將新聞文章分類到諸如財經、體育等主題。準確率+5%
意圖分類文字分類將客戶服務查詢分類為不同意圖準確率+8.0%
網頁翻譯文字翻譯將網頁從英文翻譯成當地語言BLEU+8.57%

無縫銜接的端到端開發人員工作流程

一般人常誤以為微調的品質一定比提示好，對於 Gemini Nano v3 等現代基礎模型，提示工程本身就能帶來顯著影響：

  • 保留一般功能：微調 ( PEFT/LoRA) 會強制模型權重過度索引特定資料分布。這通常會導致「災難性遺忘」，也就是模型在特定語法方面表現更好，但在一般邏輯和安全性方面表現更差。APO 不會更動權重，因此可保留基礎模型的功能。
  • 遵循指令和策略探索：Gemini Nano v3 經過嚴格訓練，可遵循複雜的系統指令。APO 會找出確切的指令結構，藉此發揮模型潛在能力，通常會發現人類工程師難以找到的策略。

為驗證這項方法，我們針對各種正式環境工作負載評估 APO。驗證結果顯示，在各種用途中，APO 的準確率都穩定提升了 5% 至 8%。在多項已部署的裝置端功能中，APO 顯著提升了品質。

結論

自動提示最佳化 (APO) 的發布標誌著裝置端生成式 AI 的轉折點。透過彌合基礎模型和專家級效能之間的差距，我們正在為開發者提供建立更強大的行動應用程式的工具。無論您是剛開始使用 零樣本優化，還是透過 數據驅動 改進擴展到生產環境，通往高品質設備端智慧的道路現在都更加清晰了。立即使用 ML Kit 的 Prompt API 和 Vertex AI 的 Automated Prompt Optimization，將您的裝置端用例投入生產。

相關連結：

撰寫者：
繼續閱讀