Google AI Edge SDK'sı ile Gemini Nano

Desteklenen Android cihazlarda, ağ bağlantısına veya buluta veri göndermeye gerek kalmadan zengin üretken yapay zeka deneyimleri sunabilirsiniz. Cihaz üzerinde yapay zeka, düşük gecikmenin, düşük maliyetin ve gizlilik önlemlerinin birincil endişeleriniz olduğu kullanım alanları için mükemmel bir çözümdür.

Cihaz üzerinde kullanım alanları için Google'ın Gemini Nano temel modelinden yararlanabilirsiniz. Bulutta çıkarım yapan diğer Gemini modellerinden daha küçük olsa da Gemini Nano'yu, büyük modellerinin yanı sıra özel görevleri de gerçekleştirecek şekilde hassas ayarlayabilirsiniz. Gemini Nano, Android'in AICore sistem hizmetinde çalışır. Bu hizmet, düşük çıkarım gecikmesi sağlamak için cihaz donanımından yararlanır ve modeli güncel tutar.

Gemini Nano API'ye ve AICore'a erişim, Google AI Edge SDK tarafından sağlanır. Google AI Edge, cihaz üzerinde makine öğrenimi için kapsamlı bir araç paketidir. Google Yapay Zeka Edge hakkında daha fazla bilgi edinin.

Mimari

Sistem düzeyinde bir modül olarak, cihaz üzerinde çıkarım çalıştırmak için AICore'a bir dizi API üzerinden erişirsiniz. Ayrıca AICore, güvenlik filtrelerimize göre kapsamlı bir değerlendirme yapılmasını sağlayan çeşitli yerleşik güvenlik özelliklerine sahiptir. Aşağıdaki şemada, bir uygulamanın cihaz üzerinde Gemini Nano'yu çalıştırmak için AICore'a nasıl eriştiği özetlenmiştir.

Kullanıcı verilerini gizli ve güvende tutma

Cihaz üzerinde üretken yapay zeka, istemleri yerel olarak yürüterek sunucu çağrılarını ortadan kaldırır. Bu yaklaşım, hassas verileri cihazda tutarak gizliliği artırır, çevrimdışı işlevleri etkinleştirir ve çıkarım maliyetlerini azaltır.

AICore, aşağıdaki temel özelliklere sahip olarak Private Compute Core ilkelerine uyar:

Kısıtlanmış Paket Bağlama: AICore, belirli sistem paketleri için sınırlı istisnalar dışında diğer paketlerin çoğundan izole edilmiştir. Bu izin verilen listede yalnızca tam bir Android OTA güncellemesi sırasında değişiklik yapılabilir.

Dolaylı İnternet Erişimi: AICore'un doğrudan internet erişimi yoktur. Model indirmeleri dahil tüm internet istekleri, açık kaynak Private Compute Services tamamlayıcı APK'sı üzerinden yönlendirilir. Özel Compute Hizmetleri'ndeki API'ler, gizlilik odaklı yapılarını açıkça göstermelidir.

Ayrıca AICore, her isteği izole edecek şekilde tasarlanmıştır ve kullanıcı gizliliğini korumak için giriş verilerinin veya işlendikten sonra elde edilen çıktıların hiçbir kaydını saklamaz. Daha fazla bilgi edinmek için Gemini Nano için Gizlilik ve Güvenlik'e Giriş başlıklı blog yayınını okuyun.

AICore ile yapay zeka temel modellerine erişmenin avantajları

AICore, Android OS'in yapay zeka temel modelleri sağlamasına ve yönetmesine olanak tanır. Bu, uygulamanızda bu büyük modelleri kullanmanın maliyetini önemli ölçüde azaltır. Bunun başlıca nedenleri şunlardır:

Dağıtım kolaylığı: AICore, Gemini Nano'nun dağıtımını yönetir ve gelecekteki güncellemeleri yönetir. Ağ üzerinden büyük modelleri indirme veya güncelleme konusunda endişelenmenize gerek yoktur. Ayrıca uygulamanızın disk ve çalışma zamanı bellek bütçesini etkilemez.

Hızlandırılmış çıkarım: AICore, çıkarım işlemini hızlandırmak için cihaz üzerindeki donanımdan yararlanır. Uygulamanız her cihazda en iyi performansı elde eder ve temel donanım arayüzleri hakkında endişelenmenize gerek kalmaz.

Desteklenen işlevler

AICore aşağıdaki cihazları ve modülleri destekler:

• Desteklenen Cihazlar: AICore şu anda Pixel 9 serisi cihazlarda, Pixel 8¹ ve Pixel 8a² dahil olmak üzere Google Pixel 8 serisi cihazlarda, Samsung S24 serisi cihazlarda, Samsung Z Fold6, Samsung Z Flip6, Realme GT 6, Motorola Edge 50 Ultra, Motorola Razr 50 Ultra, Xiaomi 14T/Pro ve Xiaomi MIX Flip'te kullanılabilir.
• Desteklenen Modlar: AICore şu anda Gemini Nano için metin modunu desteklemektedir.

Ek cihaz ve modalite desteği, aktif yatırım alanlarımız arasındadır.

Kullanım örnekleri

Mobil cihazların bulut sunucularına kıyasla kaynak kısıtlamaları olması nedeniyle cihaz üzerinde üretken yapay zeka modelleri, verimlilik ve boyuta odaklanarak tasarlanmıştır. Bu optimizasyon, daha genel uygulamalara kıyasla belirli ve iyi tanımlanmış görevlere öncelik verir. Uygun kullanım alanları şunlardır:

• Metni farklı sözcüklerle yazma: Metnin üslubunu ve tarzını değiştirin (ör. gündelik yerine resmi).
• Akıllı Yanıt: Sohbet ileti dizisinde bağlama uygun yanıtlar oluşturun.
• İnce okuma: Yazım ve dil bilgisi hatalarını tespit edip düzeltin.
• Özetleme: Uzun dokümanları kısa özetlere (paragraf veya madde işaretleri) dönüştürün.

Optimum performans için istem stratejileri dokümanlarına bakın. Bu kullanım alanlarını ilk elden keşfetmek için örnek uygulamamızı indirin ve Gemini Nano ile denemeler yapmaya başlayın.

Gemini Nano, çeşitli Google uygulamaları tarafından kullanılır. Buna örnek olarak aşağıdakiler verilebilir:

• Talkback: Android'in erişilebilirlik uygulaması Talkback, görme engelli kullanıcılar için resim açıklamalarını iyileştirmek amacıyla Gemini Nano'nun çoklu giriş özelliklerinden yararlanır.
• Pixel Ses Kaydedici: Pixel Ses Kaydedici uygulaması, cihaz üzerinde özetleme özelliğini desteklemek için Gemini Nano ve AICore'u kullanır. Kaydedici ekibi, daha uzun kayıtları desteklemek ve daha yüksek kaliteli özetler sunmak için en son Gemini Nano modelini benimsedi.
• Gboard: Gboard Akıllı Yanıt, doğru akıllı yanıtlar sunmak için cihaz üzerinde AICore ile çalışan Gemini Nano'dan yararlanır.