混合式推論

Google 提供多種領先業界的 AI 模型和 API，適用於雲端式和裝置端推論。混合式推論功能可讓您在本地裝置和雲端之間順暢平衡 AI 工作負載，進而提升效能、降低成本及提高可用性。

混合式推論可為 Android 應用程式帶來兩項主要優勢：

  • 盡量擴大觸及範圍：如果裝置硬體或作業系統限制導致 Gemini Nano 等裝置端模型無法使用，雲端模型就能做為重要的備援方案。確保 AI 功能在各種使用者裝置上都能正常運作。
  • 成本和離線功能：裝置端模型可確保 AI 功能在使用者離線時也能順暢運作。此外，將例行工作卸載至本機裝置，有助於降低雲端推論成本。

以下分別是裝置端推論和雲端推論的優點：

裝置端的推論 雲端推論
可離線存取 適用於任何裝置
免付推論費用 進階模型功能

導入選項

您可以透過下列方法實作混合推論：

Firebase AI Logic Hybrid API

Firebase AI Logic Hybrid API 提供單一整合式介面，可在雲端和裝置端模型之間轉送推論。

  • 自動切換：您可以設定應用程式，盡可能在裝置端執行 AI 任務。這表示應用程式功能可離線運作、隱私權獲得提升，且不會產生雲端推論費用。如果裝置端模型無法使用，SDK 可以自動將要求轉送至雲端主機代管的 Gemini 模型。
  • 防範濫用行為：直接從行動應用程式呼叫 Cloud API 可能會導致憑證外洩，並產生不必要的費用。不過，使用 Firebase AI Logic 時，您也會強制執行 Firebase App Check，驗證只有未經竄改的真實應用程式才能存取雲端 Gemini API，進而防止濫用行為。
  • 支出限制：將要求傳送至雲端代管模型時，您可以設定支出上限，保護雲端預算並避免產生意外費用。

在應用程式中，您可以定義 onDeviceConfig 參數來控管推論模式及管理路徑：

  • PREFER_ON_DEVICE：嘗試使用裝置端模型；如果裝置端模型無法使用或不支援要求，系統會自動改用雲端模型。

  • PREFER_IN_CLOUD：裝置連線且模型可用時，系統會嘗試使用雲端代管模型；只有在裝置離線時，才會改用裝置端模型。

  • ONLY_ON_DEVICE：嘗試使用裝置端模型；如果裝置端模型無法使用或不支援該要求，則會擲回例外狀況。

  • ONLY_IN_CLOUD：裝置連線且模型可用時，嘗試使用雲端託管模型；在所有其他情況下都會擲回例外狀況。

val model = Firebase.ai(backend = GenerativeBackend.Companion.googleAI())
    .generativeModel(
        modelName = "gemini-3.5-flash",
        onDeviceConfig = OnDeviceConfig(mode = InferenceMode.Companion.PREFER_ON_DEVICE)
    )

val response = model.generateContent("Write a story about a green robot.")
print(response.text)

如需實作詳細資料，請參閱 Firebase 說明文件，並探索 AI 目錄中的混合式 AI 範例。

將工作負載遷移至雲端時，可能會公開雲端 API 端點。使用 Firebase AI Logic 時，您可以強制執行 Firebase App Check，直接從用戶端應用程式安全地存取雲端式 Gemini 模型，有助於防止未授權存取和帳單濫用，保護雲端式推論作業。這有助於確保混合式備援機制可用且安全。

自訂路徑

如果應用程式有特定的商業或 UX 需求，您也可以實作自訂的路由邏輯。您可以根據即時因素 (例如：

  • 網路延遲
  • 裝置系統健康狀態 (例如電池電量和處理器負載)
  • 使用者查詢複雜度

許多頂尖應用程式都採用這種自訂混合推論方法，並實作自己的自訂路徑，提供可靠的 AI 體驗，包括：

  • Gboard： Gboard 使用自訂混合推論技術，為撰寫工具提供支援，例如校對和改寫。

  • Kakao Mobility： Kakao Mobility 為包裹遞送服務建構實體擷取工具，使用自訂混合推論， 從自然語言訊息自動擷取收件者姓名、地址和電話號碼，簡化訂單表單。