Inférence hybride

Google propose une vaste sélection de modèles et d'API d'IA de pointe pour l'inférence dans le cloud et sur l'appareil. L'inférence hybride vous permet d'équilibrer de manière fluide les charges de travail d'IA entre l'appareil local et le cloud, en optimisant les performances, les coûts et la disponibilité.

L'inférence hybride offre deux principaux avantages pour votre application Android :

• Maximiser la couverture : les modèles cloud servent de solution de repli essentielle lorsque les modèles sur l'appareil, tels que Gemini Nano, ne sont pas disponibles en raison de contraintes liées au matériel ou à l'OS de l'appareil. Cela permet de s'assurer que vos fonctionnalités d'IA restent fonctionnelles sur la plus large gamme possible d'appareils utilisateur.
• Coût et fonctionnalités hors connexion : les modèles sur l'appareil permettent de s'assurer que vos fonctionnalités d'IA fonctionnent de manière fluide lorsque l'utilisateur est hors connexion. De plus, le déchargement des tâches de routine sur l'appareil local permet de réduire les coûts d'inférence dans le cloud.

Voici les avantages de l'inférence sur l'appareil et de l'inférence cloud, respectivement :

Options d'implémentation

Vous pouvez implémenter l'inférence hybride à l'aide des approches suivantes :

• API hybride Firebase AI Logic
• Routage personnalisé

API hybride Firebase AI Logic

L'API hybride Firebase AI Logic fournit une interface unique et unifiée pour le routage de l'inférence entre les modèles cloud et sur l'appareil.

• Changement automatique : vous pouvez configurer votre application pour qu'elle exécute des tâches d'IA sur l'appareil chaque fois que possible. Cela signifie que la fonctionnalité de votre application fonctionne hors connexion, offre une confidentialité renforcée et n'entraîne aucun coût d'inférence cloud. Si le modèle sur l'appareil n'est pas disponible, le SDK peut automatiquement acheminer la requête vers le modèle Gemini hébergé dans le cloud.
• Protection contre les utilisations abusives : l'appel direct des API Cloud à partir d'une application mobile peut entraîner l'exposition d'identifiants et des frais indésirables. Toutefois, lorsque vous utilisez Firebase AI Logic, vous appliquez également Firebase App Check, qui peut vous aider à prévenir les utilisations abusives en vérifiant que seule votre application authentique et non modifiée peut accéder à l'API Gemini dans le cloud.
• Limites de dépenses : lorsque vous routez des requêtes vers des modèles hébergés dans le cloud, vous pouvez configurer des plafonds de dépenses pour vous aider à protéger votre budget cloud et à éviter les frais inattendus.

Dans votre application, vous définissez le paramètre onDeviceConfig pour contrôler le mode d'inférence et gérer le routage :

• PREFER_ON_DEVICE : tente d'utiliser le modèle sur l'appareil et bascule automatiquement vers le modèle hébergé dans le cloud si le modèle sur l'appareil n'est pas disponible ou n'est pas compatible avec la requête.

• PREFER_IN_CLOUD : tente d'utiliser le modèle hébergé dans le cloud lorsque l'appareil est en ligne et que le modèle est disponible. N'utilise le modèle sur l'appareil que si l'appareil est hors connexion.

• ONLY_ON_DEVICE : tente d'utiliser le modèle sur l'appareil et génère une exception si le modèle sur l'appareil n'est pas disponible ou n'est pas compatible avec la requête.

• ONLY_IN_CLOUD : tente d'utiliser le modèle hébergé dans le cloud lorsque l'appareil est en ligne et que le modèle est disponible ; génère une exception dans tous les autres cas.

val model = Firebase.ai(backend = GenerativeBackend.Companion.googleAI())
    .generativeModel(
        modelName = "gemini-3.5-flash",
        onDeviceConfig = OnDeviceConfig(mode = InferenceMode.Companion.PREFER_ON_DEVICE)
    )

val response = model.generateContent("Write a story about a green robot.")
print(response.text)
HybridInferenceSnippets.kt

Pour en savoir plus sur l'implémentation, consultez la documentation Firebase et explorez l'exemple d'IA hybride dans le catalogue d'IA.

La transition des charges de travail vers le cloud peut exposer les points de terminaison des API cloud. Lorsque vous utilisez Firebase AI Logic, vous pouvez accéder de manière sécurisée aux modèles Gemini dans le cloud directement depuis vos applications côté client en appliquant Firebase App Check, qui permet de protéger l'inférence dans le cloud contre les accès non autorisés et les utilisations abusives de la facturation. Cela permet de garantir la disponibilité et la sécurité de votre mécanisme de secours hybride.

Routage personnalisé

Si votre application présente des exigences spécifiques en termes d'expérience utilisateur ou d'activité, vous pouvez également implémenter une logique de routage personnalisée. Cela vous permet de déterminer de manière dynamique le chemin d'inférence en fonction de facteurs en temps réel, tels que :

• Latence du réseau
• L'état du système de l'appareil (par exemple, le niveau de batterie et la charge du processeur)
• Complexité des requêtes utilisateur

Cette approche d'inférence hybride personnalisée est utilisée par les principales applications qui ont implémenté leur propre routage personnalisé pour offrir des expériences d'IA fiables, y compris :

• Gboard : Gboard utilise l'inférence hybride personnalisée pour alimenter les outils d'écriture tels que la relecture et la réécriture.

• Kakao Mobility : Kakao Mobility a créé un outil d'extraction d'entités à l'aide d'une inférence hybride personnalisée pour son service de livraison de colis. Cet outil extrait automatiquement les noms, adresses et numéros de téléphone des destinataires à partir de messages en langage naturel afin de simplifier les bons de commande.