Google AI Edge SDK, uygulamalarını Gemini Nano aracılığıyla cihaz üzerinde yapay zeka özellikleriyle geliştirmeyi test etmek isteyen geliştiricilere deneysel erişim olanağı tanır.
AICore aracılığıyla mimari
Sistem düzeyinde bir modül olarak, cihaz üzerinde çıkarım çalıştırmak için bir dizi API üzerinden AICore'a erişirsiniz. Ayrıca AICore'da, güvenlik filtrelerimize karşı kapsamlı bir değerlendirme yapılmasını sağlayan çeşitli yerleşik güvenlik özellikleri bulunur. Aşağıdaki şemada, bir uygulamanın cihaz üzerinde Gemini Nano'yu çalıştırmak için AICore'a nasıl eriştiği özetlenmektedir.
Kullanıcı verilerini gizli ve güvende tutma
Cihaz üzerinde üretken yapay zeka, istemleri yerel olarak yürütür ve sunucu çağrılarını ortadan kaldırır. Bu yaklaşım, hassas verileri cihazda tutarak gizliliği artırır, çevrimdışı işlevselliği etkinleştirir ve çıkarım maliyetlerini azaltır.
AICore, aşağıdaki temel özelliklerle Private Compute Core ilkelerine uyar:
- Kısıtlanmış Paket Bağlama: AICore, belirli sistem paketleri için sınırlı istisnalar dışında diğer paketlerin çoğundan ayrıdır. Bu izin verilenler listesinde yalnızca tam Android OTA güncellemesi sırasında değişiklik yapılabilir.
- Dolaylı İnternet Erişimi: AICore'un doğrudan internet erişimi yoktur. Model indirme işlemleri de dahil olmak üzere tüm internet istekleri, açık kaynaklı Private Compute Services yardımcı APK'sı üzerinden yönlendirilir. Private Compute Services'teki API'ler, gizlilik odaklı olduklarını açıkça göstermelidir.
Ayrıca, AICore her isteği izole edecek şekilde tasarlanmıştır ve kullanıcı gizliliğini korumak için giriş verilerinin veya işlendikten sonraki sonuçların kayıtlarını saklamaz. Daha fazla bilgi edinmek için An Introduction to Privacy and Safety for Gemini Nano (Gemini Nano'da Gizlilik ve Güvenliğe Giriş) başlıklı blog yayınını okuyun.
AICore ile yapay zeka temel modellerine erişmenin avantajları
AICore, Android işletim sisteminin yapay zeka temel modelleri sağlamasına ve yönetmesine olanak tanır. Bu, uygulamanızda bu büyük modellerin kullanım maliyetini önemli ölçüde azaltır. Bunun temel nedenleri şunlardır:
- Kolay dağıtım: AICore, Gemini Nano'nun dağıtımını yönetir ve gelecekteki güncellemeleri ele alır. Ağ üzerinden büyük modelleri indirmeniz veya güncellemeniz gerekmez. Ayrıca uygulamanızın disk ve çalışma zamanı bellek bütçesi de etkilenmez.
- Hızlandırılmış çıkarım: AICore, çıkarımı hızlandırmak için cihaz üzerindeki donanımdan yararlanır. Uygulamanız her cihazda en iyi performansı gösterir ve temel donanım arayüzleri hakkında endişelenmenize gerek kalmaz.
Desteklenen işlevler
- Desteklenen Cihazlar: Google AI Edge SDK ile Gemini Nano, Pixel 9 serisi cihazlarda deneme amaçlı kullanılabilir.
- Desteklenen Modlar: AICore, Gemini Nano için metin modunu destekler.
Ek cihaz ve yöntem desteği, aktif yatırım alanlarımız arasındadır.
Kullanım örnekleri
Mobil cihazların kaynak kısıtlamaları, bulut sunucularına kıyasla daha fazladır. Bu nedenle, cihaz üzerinde üretken yapay zeka modelleri verimlilik ve boyut odaklı olarak tasarlanır. Bu optimizasyon, daha genel uygulamalara kıyasla belirli ve iyi tanımlanmış görevlere öncelik verir. Uygun kullanım alanları:
- Metni yeniden ifade etme: Metnin tonunu ve stilini değiştirin (ör. rahat bir üsluptan resmi bir üsluba geçme).
- Akıllı Yanıt: Bir sohbet dizisinde bağlama uygun yanıtlar oluşturun.
- Yazı denetimi: Yazım ve dil bilgisi hatalarını tespit edip düzeltin.
- Özetleme: Uzun dokümanları kısa özetlere (paragraf veya madde işaretli listeler) dönüştürün.
En iyi performans için istem stratejileri dokümanlarına bakın. Bu kullanım alanlarını doğrudan keşfetmek için örnek uygulamamızı indirin ve Gemini Nano ile denemeler yapmaya başlayın.
Gemini Nano, çeşitli Google uygulamaları tarafından kullanılır. Buna örnek olarak aşağıdakiler verilebilir:
- TalkBack: Android'in erişilebilirlik uygulaması TalkBack, görme engelli kullanıcılar için resim açıklamalarını iyileştirmek amacıyla Gemini Nano'nun çok formatlı giriş özelliklerinden yararlanır.
- Pixel Ses Kaydedici: Pixel Ses Kaydedici uygulaması, cihaz üzerinde özetleme özelliğini desteklemek için Gemini Nano ve AICore'u kullanır. Kaydedici ekibi, daha uzun kayıtları desteklemek ve daha yüksek kaliteli özetler sunmak için en yeni Gemini Nano modelini kullanmaya başladı.
- Gboard: Gboard'daki Akıllı Yanıt özelliği, doğru Akıllı Yanıtlar sunmak için AICore ile birlikte cihaz üzerinde çalışan Gemini Nano'dan yararlanır.