產品最新消息

如何透過自動最佳化提示詞，提升 ML Kit GenAI Prompt API 的輸出品質

閱讀時間：3 分鐘
4 作者
Chetan Tekur, Chao Zhao, Paul Zhou, Caren Chang

自動最佳化提示詞 (APO)

為進一步協助您將 ML Kit Prompt API 用途投入實際應用，我們很高興宣布針對 Vertex AI 裝置端模型推出自動最佳化提示詞 (APO)。自動最佳化提示詞工具可協助您自動找出最適合特定用途的提示詞。

裝置端 AI 時代已然來臨，不再只是未來願景。隨著 Gemini Nano v3 的推出，我們將前所未有的語言理解和多模態功能直接帶到使用者手中。透過 Gemini Nano 系列模型，我們廣泛支援 Android 生態系統中的裝置。不過，對於建構新一代智慧型應用程式的開發人員來說，取得強大模型只是第一步。真正的挑戰在於自訂：如何針對特定用途，將基礎模型調整至專家級效能，同時不超出行動硬體的限制？

在伺服器端，較大的 LLM 通常功能強大，不需要太多領域調整。即使需要微調，LoRA (低秩適應) 等進階選項也是可行的做法。不過，Android AICore 的獨特架構會優先採用共用且節省記憶體的系統模型。這表示為每個應用程式部署自訂 LoRA 轉換器時，這些共用系統服務會面臨挑戰。

不過，還有另一種做法同樣能發揮影響力。開發人員只要在 Vertex AI 使用自動最佳化提示詞 (APO)，就能在 Android 原生執行環境中順暢作業，同時達到接近微調的品質。APO 著重於提供優質的系統指令，讓開發人員能根據需求調整模型行為，比傳統微調解決方案更穩健、更具擴充性。

注意： Gemini Nano V3 是廣受好評的 Gemma 3N 模型，經過品質最佳化。對開放原始碼 Gemma 3N 模型進行的任何提示詞最佳化，也會套用至 Gemini Nano V3。在支援的裝置上，ML Kit GenAI API 會運用 nano-v3 模型，為 Android 開發人員提供最佳品質

APO block diagram.jpg

APO 不會將提示視為靜態文字，而是可最佳化的可程式化介面。這項功能會運用伺服器端模型 (例如 Gemini Pro 和 Flash) 提出提示、評估變化版本，並找出最適合特定工作的版本。這項程序採用三種特定的技術機制，盡可能提升成效：

  1. 自動錯誤分析：APO 會分析訓練資料中的錯誤模式，自動找出初始提示詞的特定弱點。
  2. 語意指令提煉：分析大量訓練樣本，提煉出任務的「真實意圖」，建立更準確反映實際資料分布的指令。
  3. 平行測試候選提示：APO 不會一次只測試一個想法，而是會同時生成及測試多個候選提示，找出品質最佳的提示。

為什麼 APO 能達到微調品質

一般人常誤以為微調的效果一定比提示好，對於 Gemini Nano v3 等現代基礎模型，提示工程本身就能發揮重大影響力：

  • 保留一般功能：微調 ( PEFT/LoRA) 會強制模型權重過度偏重特定資料分布。這通常會導致「災難性遺忘」，也就是模型雖然更擅長特定語法，但一般邏輯和安全性卻變差。APO 不會更動權重，因此能保留基礎模型的功能。
  • 遵循指令和策略探索：Gemini Nano v3 經過嚴格訓練，可遵循複雜的系統指令。APO 會找出確切的指令結構，發揮模型的潛在能力，通常能找出人類工程師難以發現的策略。

為了驗證這個方法，我們評估了 APO 在各種正式環境工作負載中的表現。驗證結果顯示，在各種用途中，準確度皆提升 5% 至 8%。在多項已部署的裝置端功能中，APO 顯著提升了品質。

用途工作類型工作說明指標APO 改善
主題分類文字分類將新聞報導分類為財經、體育等主題準確率+5%
意圖分類文字分類將客戶服務查詢分類為意圖準確率+8.0%
網頁翻譯文字翻譯將網頁從英文翻譯成當地語言BLEU+8.57%

流暢的端對端開發人員工作流程

一般人常誤以為微調的效果一定比提示好，對於 Gemini Nano v3 等現代基礎模型，提示工程本身就能發揮重大影響力：

  • 保留一般功能：微調 ( PEFT/LoRA) 會強制模型權重過度偏重特定資料分布。這通常會導致「災難性遺忘」，也就是模型雖然更擅長特定語法，但一般邏輯和安全性卻變差。APO 不會更動權重，因此能保留基礎模型的功能。
  • 遵循指令和策略探索：Gemini Nano v3 經過嚴格訓練，可遵循複雜的系統指令。APO 會找出確切的指令結構，發揮模型的潛在能力，通常能找出人類工程師難以發現的策略。

為了驗證這個方法，我們評估了 APO 在各種正式環境工作負載中的表現。驗證結果顯示，在各種用途中，準確度皆提升 5% 至 8%。在多項已部署的裝置端功能中，APO 顯著提升了品質。

結論

自動最佳化提示詞 (APO) 的推出，是裝置端生成式 AI 的重要里程碑。我們縮小了基礎模型與專家級效能之間的差距，為開發人員提供建構更強大行動應用程式的工具。無論是剛開始使用零樣本最佳化，還是透過資料導向精細調整來擴充至正式環境，現在都能更清楚地瞭解如何打造高品質的裝置端智慧功能。立即使用 ML Kit 的 Prompt API 和 Vertex AI 的自動最佳化提示詞功能，將裝置端用途投入實際應用。

相關連結：

作者：
繼續閱讀