Gemini Nano

Gemini Nano, ağ bağlantısına ihtiyaç duymadan veya buluta veri göndermeden zengin üretken yapay zeka deneyimleri sunmanıza olanak tanır. Cihaz üzerinde yapay zeka, düşük maliyet ve gizlilik önlemlerinin öncelikli olduğu kullanım alanları için mükemmel bir çözümdür.

Cihaz üzerinde kullanım alanlarında Google'ın Gemini Nano temel modelinden yararlanabilirsiniz. Gemini Nano, Android'in AICore sisteme ait hizmetinde çalışır. Bu hizmet, çıkarım gecikmesini azaltmak için cihaz donanımından yararlanır ve modeli güncel tutar.

ML Kit GenAI API'leri

ML Kit'in üretken yapay zeka API'leri, uygulamalarınızın görevleri yerine getirmesine yardımcı olmak için Gemini Nano'nun gücünden yararlanır. Bu API'ler, üst düzey bir arayüz aracılığıyla popüler kullanım alanları için kullanıma hazır kalite sunar. ML Kit üretken yapay zeka API'leri, verileri yerel olarak işleyerek gelişmiş uygulama işlevselliği ve kullanıcı gizliliğini iyileştirme gibi özellikleri kolaylaştırmak için cihaz üzerinde üretken yapay zeka temel modellerinin yürütülmesini sağlayan bir Android sisteme ait hizmet olan AICore üzerine kurulmuştur. Daha fazla bilgi edinin.

Temel özellikler

ML Kit Üretken Yapay Zeka API'leri aşağıdaki özellikleri destekler:

  • İstem: Yalnızca metin içeren veya çok formatlı özel bir isteme dayalı olarak metin içeriği oluşturun.
  • Özetleme: Makaleleri veya görüşmeleri madde işaretli liste olarak özetleyin.
  • Gözden geçirme: Kısa sohbet mesajlarını gözden geçirin.
  • Yeniden yazma: Kısa sohbet mesajlarını farklı tonlarda veya stillerde yeniden yazın.
  • Resim Açıklaması: Belirli bir resmin kısa bir açıklamasını oluşturun.
  • Konuşma Tanıma: Seslendirilmiş içeriği metne dönüştürün.

AICore ile mimari

Sistem düzeyinde bir modül olan AICore'a, cihaz üzerinde çıkarım çalıştırmak için bir dizi API üzerinden erişirsiniz. Ayrıca AICore'da, güvenlik filtrelerimize karşı kapsamlı bir değerlendirme yapılmasını sağlayan çeşitli yerleşik güvenlik özellikleri bulunur. Aşağıdaki diyagramda, bir uygulamanın cihaz üzerinde Gemini Nano'yu çalıştırmak için AICore'a nasıl eriştiği özetlenmektedir.

Bir Android uygulamasının, Gemini Nano, LoRA ve güvenlik özelliklerinin yönetildiği ve donanım hızlandırıcılarında çalıştırıldığı AICore'a erişmek için Google AI Edge SDK'sını nasıl kullandığını gösteren bir diyagram.
Şekil 1. AICore, uygulamanız ile Gemini Nano modeli arasında arayüz görevi görerek model güncellemelerini ve güvenliği yönetirken cihaz üzerindeki donanımdan yararlanır.

Kullanıcı verilerini gizli ve güvende tutma

Cihaz üzerinde üretken yapay zeka, istemleri yerel olarak yürütür ve sunucu çağrılarını ortadan kaldırır. Bu işlem ağ gecikmesini ortadan kaldırsa da çıkarım hızı cihaz donanımına bağlıdır. Bu yaklaşım, hassas verileri cihazda tutarak gizliliği artırır, çevrimdışı işlevselliği etkinleştirir ve çıkarım maliyetlerini azaltır.

AICore, aşağıdaki temel özelliklerle Private Compute Core ilkelerine uyar:

  • Kısıtlanmış Paket Bağlama: AICore, belirli sistem paketleri için sınırlı istisnalar dışında diğer paketlerin çoğundan izole edilmiştir. Bu izin verilenler listesinde değişiklik yalnızca tam Android OTA güncellemesi sırasında yapılabilir.
  • Dolaylı İnternet Erişimi: AICore'un doğrudan internet erişimi yoktur. Model indirme işlemleri de dahil olmak üzere tüm internet istekleri, açık kaynaklı Private Compute Services yardımcı APK'sı üzerinden yönlendirilir. Private Compute Services'teki API'ler, gizlilik odaklı olduklarını açıkça göstermelidir.

Ayrıca, AICore her isteği izole edecek şekilde tasarlanmıştır ve kullanıcı gizliliğini korumak için giriş verilerinin veya işlendikten sonraki sonuçların kayıtlarını saklamaz. Daha fazla bilgi edinmek için Gemini Nano'da Gizlilik ve Güvenliğe Giriş başlıklı blog yayınını okuyun.

İstek akışını gösteren ayrıntılı bir AICore mimari şeması:
    API yüzeyi, güvenlik sinyalleriyle giriş işleme, özellik yapılandırması,
    model ağırlıkları ve LoRA'larla çalışma zamanı ve güvenlik sinyalleriyle çıkış işleme. Ayrıca, Private Compute Services üzerinden yapılan model indirmelerini de gösterir.
Şekil 2. AICore mimarisi, cihaz üzerinde yapay zeka için güvenli bir ortam sağlamak amacıyla giriş ve çıkış güvenliğini, istek işlemeyi ve model ağırlıklarını yönetir.

AICore ile yapay zeka temel modellerine erişmenin avantajları

AICore, Android OS'in yapay zeka temel modelleri sağlamasına ve yönetmesine olanak tanır. Bu, uygulamanızda bu büyük modellerin kullanım maliyetini önemli ölçüde azaltır. Bunun temel nedenleri şunlardır:

  • Kolay dağıtım: AICore, Gemini Nano'nun dağıtımını yönetir ve gelecekteki güncellemeleri ele alır. Ağ üzerinden büyük modelleri indirmeniz veya güncellemeniz gerekmez. Ayrıca uygulamanızın disk ve çalışma zamanı bellek bütçesi etkilenmez.
  • Hızlandırılmış çıkarım: AICore, çıkarımı hızlandırmak için cihaz üzerindeki donanımdan yararlanır. Uygulamanız her cihazda en iyi performansı gösterir ve temel donanım arayüzleri hakkında endişelenmenize gerek kalmaz.