Karma çıkarım

Google, hem bulut tabanlı hem de cihaz üzerinde çıkarım için sektör lideri yapay zeka modelleri ve API'lerden oluşan geniş bir seçenek sunar. Hibrit çıkarım, yapay zeka iş yüklerini yerel cihaz ve bulut arasında sorunsuz bir şekilde dengelemenize olanak tanıyarak performansı, maliyeti ve kullanılabilirliği optimize eder.

Hibrit çıkarım, Android uygulamanız için iki temel avantaj sağlar:

• Erişimi artırma: Cihaz donanımı veya OS kısıtlamaları nedeniyle Gemini Nano gibi cihaz üzerinde modeller kullanılamadığında bulut modelleri önemli bir yedek olarak işlev görür. Bu sayede, yapay zeka özelliklerinizin mümkün olan en geniş kullanıcı cihazı yelpazesinde işlevsel kalması sağlanır.
• Maliyet ve çevrimdışı özellikler: Cihaz üzerinde modeller, kullanıcının internet bağlantısı olmadığında yapay zeka özelliklerinizin sorunsuz çalışmasını sağlar. Ayrıca, rutin görevleri yerel cihaza aktarmak bulut çıkarımı maliyetlerini azaltmaya yardımcı olur.

Cihaz üzerinde çıkarım ve bulut çıkarımının avantajlarını aşağıda bulabilirsiniz:

Uygulama seçenekleri

Aşağıdaki yaklaşımları kullanarak karma çıkarım uygulayabilirsiniz:

Firebase AI Logic Hybrid API

Firebase AI Logic Hybrid API, çıkarımı bulut ve cihaz üzerinde ortamları arasında bölmek için tek ve birleşik bir arayüz sağlar.

onDeviceConfig parametresi, çıkarım modunu tanımlamak ve yönlendirmeyi yönetmek için kontroller sağlar:

• PREFER_ON_DEVICE: Cihaz üzerinde modeli kullanmaya çalışır. Cihaz üzerinde model kullanılamıyorsa veya istek için desteklenmiyorsa otomatik olarak bulutta barındırılan modele geri döner.

• PREFER_IN_CLOUD: Cihaz internete bağlıyken ve model kullanılabilir durumdayken bulutta barındırılan modeli kullanmaya çalışır. Yalnızca cihaz çevrimdışıysa cihaz üzerinde modele geri döner.

• ONLY_ON_DEVICE: Cihaz üzerinde modeli kullanmaya çalışır ancak istek için kullanılamıyorsa veya desteklenmiyorsa istisna oluşturur.

• ONLY_IN_CLOUD: Cihaz internete bağlıyken ve model kullanılabilir durumdayken bulutta barındırılan modeli kullanmaya çalışır, diğer tüm durumlarda istisna oluşturur.

val model = Firebase.ai(backend = GenerativeBackend.Companion.googleAI())
    .generativeModel(
        modelName = "gemini-3.5-flash",
        onDeviceConfig = OnDeviceConfig(mode = InferenceMode.Companion.PREFER_ON_DEVICE)
    )

val response = model.generateContent("Write a story about a green robot.")
print(response.text)
HybridInferenceSnippets.kt

Uygulama ayrıntıları için Firebase belgelerini inceleyin ve yapay zeka kataloğundaki Hibrit Yapay Zeka örneğini keşfedin.

Özel yönlendirme

Uygulamanızın belirli işletme veya kullanıcı deneyimi şartları varsa özel yönlendirme mantığı da uygulayabilirsiniz. Bu sayede, çıkarım yolunu aşağıdakiler gibi gerçek zamanlı faktörlere göre dinamik olarak belirleyebilirsiniz:

• Ağ gecikmesi
• Cihaz sisteminin durumu (ör. pil seviyeleri ve işlemci yükü)
• Kullanıcı sorgusunun karmaşıklığı

Bu özel hibrit çıkarım yaklaşımı, aşağıdakiler de dahil olmak üzere güvenilir yapay zeka deneyimleri sunmak için kendi özel yönlendirmelerini uygulayan önde gelen uygulamalar tarafından kullanılır:

• Gboard: Gboard, gözden geçirme ve yeniden yazma gibi yazma araçlarına güç sağlamak için özel hibrit çıkarım kullanır.

• Kakao Mobility: Kakao Mobility, paket teslimatı hizmeti için özel hibrit çıkarım kullanarak bir öğe çıkarma aracı geliştirdi. Bu araç, sipariş formlarını kolaylaştırmak için doğal dil mesajlarından alıcı adlarını, adreslerini ve telefon numaralarını otomatik olarak çıkarır.