Gemini Nano

Gemini Nano, ağ bağlantısına ihtiyaç duymadan veya verileri buluta göndermeden zengin üretken yapay zeka deneyimleri sunmanızı sağlar. Cihaz üzerinde yapay zeka, düşük maliyet ve gizlilik önlemlerinin öncelikli olduğu kullanım alanları için mükemmel bir çözümdür.

Cihaz üzerinde kullanım alanlarında Google'ın Gemini Nano temel modelinden yararlanabilirsiniz. Gemini Nano, Android'in AICore sistem hizmetinde çalışır. Bu hizmet, çıkarım gecikmesini azaltmak için cihaz donanımından yararlanır ve modeli güncel tutar.

ML Kit GenAI API'leri

ML Kit'in üretken yapay zeka API'leri, uygulamalarınızın görevleri yerine getirmesine yardımcı olmak için Gemini Nano'nun gücünden yararlanır. Bu API'ler, üst düzey bir arayüz aracılığıyla popüler kullanım alanları için kullanıma hazır kalite sunar. ML Kit üretken yapay zeka API'leri, verileri yerel olarak işleyerek gelişmiş uygulama işlevselliği ve kullanıcı gizliliğini iyileştirme gibi özellikleri kolaylaştırmak için cihaz üzerinde üretken yapay zeka temel modellerinin yürütülmesini sağlayan bir Android sistem hizmeti olan AICore üzerine kurulmuştur. Daha fazla bilgi edinin.

Temel özellikler

ML Kit üretken yapay zeka API'leri aşağıdaki özellikleri destekler:

  • İstem: Yalnızca metin içeren veya çok formatlı özel bir isteme dayalı olarak metin içeriği oluşturun.
  • Özetleme: Makaleleri veya görüşmeleri madde işaretli liste olarak özetleyin.
  • Gözden geçirme: Kısa sohbet mesajlarını gözden geçirin.
  • Yeniden yazma: Kısa sohbet mesajlarını farklı tonlarda veya stillerde yeniden yazın.
  • Resim Açıklaması: Belirli bir resmin kısa açıklamasını oluşturun.
  • Konuşma Tanıma: Seslendirilmiş içeriği metne dönüştürün.

AICore ile mimari

Sistem düzeyinde bir modül olan AICore'a, cihaz üzerinde çıkarım çalıştırmak için bir dizi API aracılığıyla erişirsiniz. Ayrıca AICore'da, güvenlik filtrelerimize karşı kapsamlı bir değerlendirme yapılmasını sağlayan çeşitli yerleşik güvenlik özellikleri bulunur. Aşağıdaki diyagramda, bir uygulamanın cihaz üzerinde Gemini Nano'yu çalıştırmak için AICore'a nasıl eriştiği özetlenmektedir.

Bir Android uygulamasının, Gemini Nano, LoRA ve güvenlik özelliklerinin yönetildiği ve donanım hızlandırıcılarında çalıştırıldığı AICore'a erişmek için Google AI Edge SDK'yı nasıl kullandığını gösteren bir şema.
Şekil 1. AICore, uygulamanız ile Gemini Nano modeli arasındaki arayüz olarak işlev görür. Cihaz üzerinde donanım kullanırken model güncellemelerini ve güvenliği yönetir.

Kullanıcı verilerini gizli ve güvende tutma

Cihaz üzerinde üretken yapay zeka, istemleri yerel olarak çalıştırarak sunucu çağrılarını ortadan kaldırır. Bu işlem ağ gecikmesini ortadan kaldırsa da çıkarım hızı cihaz donanımına bağlıdır. Bu yaklaşım, hassas verileri cihazda tutarak gizliliği artırır, çevrimdışı işlevselliği etkinleştirir ve çıkarım maliyetlerini azaltır.

AICore, aşağıdaki temel özelliklerle Private Compute Core ilkelerine uyar:

  • Kısıtlanmış Paket Bağlama: AICore, belirli sistem paketleri için sınırlı istisnalar dışında diğer paketlerin çoğundan ayrı tutulur. Bu izin verilenler listesinde yapılacak değişiklikler yalnızca tam Android OTA güncellemesi sırasında gerçekleşebilir.
  • Dolaylı İnternet Erişimi: AICore'un doğrudan internet erişimi yoktur. Model indirmeleri de dahil olmak üzere tüm internet istekleri, açık kaynaklı Private Compute Services yardımcı APK'sı üzerinden yönlendirilir. Private Compute Services'daki API'ler, gizlilik odaklı olduklarını açıkça göstermelidir.

Ayrıca AICore, her isteği izole edecek şekilde tasarlanmıştır ve kullanıcı gizliliğini korumak için giriş verilerinin veya işlendikten sonra elde edilen çıkışların kayıtlarını saklamaz. Daha fazla bilgi edinmek için Gemini Nano'da Gizlilik ve Güvenliğe Giriş başlıklı blog yayınını okuyun.

İstek akışını gösteren ayrıntılı bir AICore mimari şeması: API yüzeyi, güvenlik sinyalleriyle giriş işleme, özellik yapılandırması, model ağırlıkları ve LoRA'lar içeren çalışma zamanı ve güvenlik sinyalleriyle çıkış işleme. Ayrıca, Private Compute Services üzerinden yapılan model indirmelerini de gösterir.
Şekil 2. AICore mimarisi, cihaz üzerinde yapay zeka için güvenli bir ortam sağlamak amacıyla giriş ve çıkış güvenliğini, istek işlemeyi ve model ağırlıklarını yönetir.

AICore ile yapay zeka temel modellerine erişmenin avantajları

AICore, Android OS'in yapay zeka temel modellerini sağlamasına ve yönetmesine olanak tanır. Bu, uygulamanızda bu büyük modellerin kullanım maliyetini önemli ölçüde azaltır. Bunun temel nedenleri şunlardır:

  • Kolay dağıtım: AICore, Gemini Nano'nun dağıtımını yönetir ve gelecekteki güncellemeleri ele alır. Ağ üzerinden büyük modelleri indirmeniz veya güncellemeniz gerekmez. Ayrıca, uygulamanızın disk ve çalışma zamanı bellek bütçesi etkilenmez.
  • Hızlandırılmış çıkarım: AICore, çıkarımı hızlandırmak için cihaz üzerindeki donanımdan yararlanır. Uygulamanız her cihazda en iyi performansı gösterir ve temel donanım arayüzleri hakkında endişelenmenize gerek kalmaz.

Karma çıkarım ne zaman kullanılır?

Gemini Nano, çevrimdışı ve gizliliğe duyarlı görevler için ideal olsa da jeton sınırları, cihaz donanım sınırlamaları ve model yetenek sınırları gibi cihaz üzerinde sınırlamaları vardır. Bu senaryolarda, yapay zeka iş yüklerini yerel cihaz ile bulut arasında dengelemek için karma çıkarım'ı kullanabilirsiniz.

Tüm cihazlarda tutarlı bir kullanıcı deneyimi sağlamak ve karmaşık sorguları işlemek için Firebase AI Logic Hybrid API'yi kullanabilirsiniz. Bu sayede uygulamanız şunları yapabilir:

  • Sorunsuz geri dönüş: Gemini Nano kullanılamadığında veya kullanıcının cihazında desteklenmediğinde istekleri buluttaki Gemini Flash ya da Gemini Pro modellerine otomatik olarak yönlendirin.
  • Güvenliği zorunlu kılın: Firebase Uygulama Kontrolü (ve desteklenen doğrulama sağlayıcıları, örneğin Play Integrity) ile bulut çıkarımını koruyun ve hassas sistem istemlerini sunucu tarafında tutun.