Google AI Edge SDK'sı, Gemini Nano aracılığıyla cihaz üzerinde yapay zeka özellikleriyle uygulamalarının geliştirilmesini test etmek isteyen geliştiricilere deneysel erişim sağlar.
AICore aracılığıyla mimari
Sistem düzeyinde bir modül olarak, cihaz üzerinde çıkarım çalıştırmak için AICore'a bir dizi API üzerinden erişirsiniz. Ayrıca AICore, güvenlik filtrelerimize göre kapsamlı bir değerlendirme yapılmasını sağlayan çeşitli yerleşik güvenlik özelliklerine sahiptir. Aşağıdaki şemada, bir uygulamanın cihaz üzerinde Gemini Nano'yu çalıştırmak için AICore'a nasıl eriştiği özetlenmiştir.
Kullanıcı verilerini gizli ve güvende tutma
Cihaz üzerinde üretken yapay zeka, istemleri yerel olarak yürüterek sunucu çağrılarını ortadan kaldırır. Bu yaklaşım, hassas verileri cihazda tutarak gizliliği artırır, çevrimdışı işlevleri etkinleştirir ve çıkarım maliyetlerini azaltır.
AICore, aşağıdaki temel özelliklere sahip olarak Private Compute Core ilkelerine uyar:
- Kısıtlanmış Paket Bağlama: AICore, belirli sistem paketleri için sınırlı istisnalar dışında diğer paketlerin çoğundan izole edilmiştir. Bu izin verilen listede yalnızca tam bir Android OTA güncellemesi sırasında değişiklik yapılabilir.
- Dolaylı İnternet Erişimi: AICore'un doğrudan internet erişimi yoktur. Model indirmeleri dahil tüm internet istekleri, açık kaynak Private Compute Services tamamlayıcı APK'sı üzerinden yönlendirilir. Özel Compute Hizmetleri'ndeki API'ler, gizlilik odaklı yapılarını açıkça göstermelidir.
Ayrıca AICore, her isteği izole edecek şekilde tasarlanmıştır ve kullanıcı gizliliğini korumak için giriş verilerinin veya işlendikten sonra elde edilen çıktıların hiçbir kaydını saklamaz. Daha fazla bilgi edinmek için Gemini Nano için Gizlilik ve Güvenlik'e Giriş başlıklı blog yayınını okuyun.
AICore ile yapay zeka temel modellerine erişmenin avantajları
AICore, Android OS'in yapay zeka temel modelleri sağlamasına ve yönetmesine olanak tanır. Bu, uygulamanızda bu büyük modelleri kullanmanın maliyetini önemli ölçüde azaltır. Bunun başlıca nedenleri şunlardır:
- Dağıtım kolaylığı: AICore, Gemini Nano'nun dağıtımını yönetir ve gelecekteki güncellemeleri yönetir. Ağ üzerinden büyük modelleri indirme veya güncelleme konusunda endişelenmenize gerek yoktur. Ayrıca uygulamanızın disk ve çalışma zamanı bellek bütçesini etkilemez.
- Hızlandırılmış çıkarım: AICore, çıkarım işlemini hızlandırmak için cihaz üzerindeki donanımdan yararlanır. Uygulamanız her cihazda en iyi performansı elde eder ve temel donanım arayüzleri hakkında endişelenmenize gerek kalmaz.
Desteklenen işlevler
- Desteklenen Cihazlar: Google AI Edge SDK'sı ile Gemini Nano, Pixel 9 serisi cihazlarda denemeler için kullanılabilir.
- Desteklenen Modlar: AICore, Gemini Nano için metin modunu destekler.
Ek cihaz ve modalite desteği, aktif olarak yatırım yapılan alanlardır.
Kullanım örnekleri
Mobil cihazların bulut sunucularına kıyasla kaynak kısıtlamaları olması nedeniyle cihaz üzerinde üretken yapay zeka modelleri, verimlilik ve boyuta odaklanarak tasarlanır. Bu optimizasyon, daha genel uygulamalara kıyasla belirli ve iyi tanımlanmış görevlere öncelik verir. Uygun kullanım alanları şunlardır:
- Metni farklı sözcüklerle yazma: Metnin tonunu ve stilini değiştirin (ör. rahattan resmiye).
- Akıllı Yanıt: Sohbet ileti dizisinde bağlama uygun yanıtlar oluşturun.
- İnce okuma: Yazım ve dil bilgisi hatalarını tespit edip düzeltin.
- Özetleme: Uzun dokümanları kısa özetlere (paragraf veya madde işaretleri) dönüştürün.
Optimum performans için istem stratejileri dokümanlarına bakın. Bu kullanım alanlarını ilk elden keşfetmek için örnek uygulamamızı indirin ve Gemini Nano ile denemeler yapmaya başlayın.
Gemini Nano, çeşitli Google uygulamaları tarafından kullanılır. Buna örnek olarak aşağıdakiler verilebilir:
- Talkback: Android'in erişilebilirlik uygulaması Talkback, görme engelli kullanıcılar için resim açıklamalarını iyileştirmek amacıyla Gemini Nano'nun çoklu giriş özelliklerinden yararlanır.
- Pixel Ses Kaydedici: Pixel Ses Kaydedici uygulaması, cihaz üzerinde özetleme özelliğini desteklemek için Gemini Nano ve AICore'u kullanır. Kaydedici ekibi, daha uzun kayıtları desteklemek ve daha kaliteli özetler sunmak için en yeni Gemini Nano modelini benimsedi.
- Gboard: Gboard akıllı yanıt, doğru akıllı yanıtlar sunmak için cihaz üzerinde AICore ile çalışan Gemini Nano'dan yararlanır.