產品最新消息

自動最佳化提示詞如何提升 ML Kit 的 GenAI Prompt API 品質

閱讀時間：3 分鐘
4 作者
Chetan Tekur, Chao Zhao, Paul Zhou, Caren Chang

自動最佳化提示詞 (APO)

為進一步協助您將 ML Kit Prompt API 用於正式環境，我們很高興宣布推出自動最佳化提示詞 (APO) 功能，可指定 Vertex AI 的裝置端模型。自動最佳化提示詞工具可協助您自動找出最適合特定用途的提示詞。

裝置端 AI 時代已然來臨，不再只是空談。隨著 Gemini Nano v3 的推出，我們將前所未有的語言理解和多模態功能直接帶給使用者。透過 Gemini Nano 系列模型，我們廣泛支援 Android 生態系統中的裝置。但對於建構新一代智慧型應用程式的開發人員來說，存取強大模型只是第一步。真正的挑戰在於自訂：如何針對特定用途，將基礎模型調整至專家級效能，同時不超出行動硬體的限制？

在伺服器端世界中，較大的 LLM 通常功能強大，且需要較少的網域調整。即使需要微調，LoRA (低秩適應) 等進階選項也是可行的做法。不過，Android AICore 的獨特架構會優先採用共用且節省記憶體的系統模型。也就是說，為每個應用程式部署自訂 LoRA 適應器時，這些共用系統服務會面臨挑戰。

但還有另一條同樣有影響力的道路。開發人員只要在 Vertex AI 上運用自動最佳化提示詞 (APO)，就能在原生 Android 執行環境中順暢作業，同時獲得接近微調的品質。APO 著重於提供優質的系統指令，讓開發人員能根據模型行為進行調整，比傳統微調解決方案更穩健、更具擴充性。

注意： Gemini Nano V3 是廣受好評的 Gemma 3N 模型，經過品質最佳化調整。對開放原始碼 Gemma 3N 模型進行的任何提示詞最佳化，也會套用至 Gemini Nano V3。在支援的裝置上，ML Kit GenAI API 會運用 nano-v3 模型，盡可能為 Android 開發人員提供優質體驗

APO block diagram.jpg

APO 不會將提示視為靜態文字，而是可程式化的介面，可進行最佳化。這項功能會運用伺服器端模型 (例如 Gemini Pro 和 Flash) 提出提示、評估變化版本，並找出最適合特定工作的提示。這項程序採用三種特定的技術機制，盡可能提升成效：

  1. 自動錯誤分析：APO 會分析訓練資料中的錯誤模式，自動找出初始提示的特定缺點。
  2. 語意指令提煉：分析大量訓練樣本，提煉出任務的「真實意圖」，建立更準確反映實際資料分布情形的指令。
  3. 平行測試候選提示：APO 不會一次只測試一個想法，而是會同時生成及測試多個候選提示，找出品質最佳的提示。

為什麼 APO 能達到微調品質

一般人常誤以為微調的效果一定比提示好，對於 Gemini Nano v3 等現代基礎模型，提示工程本身就能發揮重大影響力：

  • 保留一般功能：微調 ( PEFT/LoRA) 會強制模型權重過度索引特定資料分布。這通常會導致「災難性遺忘」，也就是模型雖然更擅長特定語法，但一般邏輯和安全性卻變差。APO 不會更動權重，因此可保留基礎模型的功能。
  • 遵循指令和策略探索：Gemini Nano v3 經過嚴格訓練，可遵循複雜的系統指令。APO 會找出確切的指令結構，藉此發揮模型潛在能力，通常會發現人類工程師難以找到的策略，進而利用這點。

為驗證這種做法，我們評估了各種正式環境工作負載的 APO。驗證結果顯示，在各種用途中，準確度皆提升 5% 到 8%。在多項已部署的裝置端功能中，APO 顯著提升了品質。

用途工作類型工作說明指標APO 改善
主題分類文字分類將新聞報導分類為財經、體育等主題準確率+5%
意圖分類文字分類將客戶服務查詢分類為意圖準確率+8.0%
網頁翻譯文字翻譯將網頁從英文翻譯成當地語言BLEU+8.57%

順暢的端對端開發人員工作流程

一般人常誤以為微調的品質一定比提示好，對於 Gemini Nano v3 等現代基礎模型，提示工程本身就能帶來顯著影響：

  • 保留一般功能：微調 ( PEFT/LoRA) 會強制模型權重過度索引特定資料分布。這通常會導致「災難性遺忘」，也就是模型雖然更擅長特定語法，但一般邏輯和安全性卻變差。APO 不會更動權重，因此可保留基礎模型的功能。
  • 遵循指令和策略探索：Gemini Nano v3 經過嚴格訓練，可遵循複雜的系統指令。APO 會找出確切的指令結構，藉此發揮模型潛在能力，通常會發現人類工程師難以找到的策略，進而利用這點。

為了驗證這個方法，我們評估了 APO 在各種正式環境工作負載中的表現。驗證結果顯示，在各種用途中，APO 的準確度都穩定提升 5% 至 8%。在多項已部署的裝置端功能中，APO 顯著提升了品質。

結論

自動最佳化提示詞 (APO) 的推出，是裝置端生成式 AI 的重要里程碑。我們縮小了基礎模型與專家級效能之間的差距，讓開發人員能運用工具打造更強大的行動應用程式。無論是剛開始使用零樣本最佳化，還是透過資料導向精細調整擴充至正式環境，現在都能更清楚掌握打造優質裝置端智慧功能的途徑。立即使用 ML Kit 的 Prompt API 和 Vertex AI 的自動最佳化提示詞功能，將裝置端用途投入實際應用。

相關連結：

撰寫者：
繼續閱讀