Otomatik İstem Optimizasyonu, ML Kit'in GenAI Prompt API'sinde Kalite Artışı Sağlıyor

Otomatik İstem Optimizasyonu (APO)

ML Kit Prompt API kullanım alanlarınızı üretime geçirmenize daha fazla yardımcı olmak için Vertex AI'da cihaz üzerinde modelleri hedefleyen Otomatik İstem Optimizasyonu'nu (APO) duyurmaktan heyecan duyuyoruz. Otomatik İstem Optimizasyonu, kullanım alanlarınız için en uygun istemi otomatik olarak bulmanıza yardımcı olan bir araçtır.

Cihaz üzerinde yapay zeka dönemi artık bir vaat değil, üretimde kullanılan bir gerçeklik. Gemini Nano v3'ün kullanıma sunulmasıyla birlikte, benzersiz dil anlama ve çok formatlı özellikler doğrudan kullanıcıların avuçlarına geliyor. Gemini Nano model ailesi sayesinde Android ekosistemindeki desteklenen cihazların büyük bir kısmında kapsamlı destek sunuyoruz. Ancak yeni nesil akıllı uygulamalar geliştiren geliştiriciler için güçlü bir modele erişim yalnızca ilk adımdır. Asıl zorluk özelleştirmede: Bir temel modeli, mobil donanımın kısıtlamalarını aşmadan özel kullanım alanınız için uzman düzeyinde performans gösterecek şekilde nasıl uyarlayabilirsiniz?

Sunucu tarafında, daha büyük LLM'ler genellikle son derece yeteneklidir ve daha az alan uyarlaması gerektirir. Gerekli olduğunda bile LoRA (Low-Rank Adaptation) ince ayarı gibi daha gelişmiş seçenekler uygulanabilir. Ancak Android AICore'un benzersiz mimarisi, paylaşılan ve bellek açısından verimli bir sistem modeline öncelik verir. Bu nedenle, her uygulama için özel LoRA bağdaştırıcıları dağıtmak, bu paylaşılan sistem hizmetlerinde zorluklara neden olur.

Ancak aynı derecede etkili olabilecek alternatif bir yol da var. Geliştiriciler, Vertex AI'da Otomatik İstem Optimizasyonu (APO)'ndan yararlanarak yerel Android yürütme ortamında sorunsuz bir şekilde çalışırken ince ayara yaklaşan bir kalite elde edebilir. APO, üstün sistem talimatına odaklanarak geliştiricilerin model davranışını geleneksel ince ayar çözümlerine kıyasla daha sağlam ve ölçeklenebilir bir şekilde özelleştirmesini sağlar.

Not: Gemini Nano V3, büyük beğeni toplayan Gemma 3N modelinin kalite açısından optimize edilmiş bir sürümüdür. Açık kaynak Gemma 3N modelinde yapılan tüm istem optimizasyonları Gemini Nano V3 için de geçerli olur. ML Kit GenAI API'leri, desteklenen cihazlarda Android geliştiricileri için kaliteyi en üst düzeye çıkarmak amacıyla nano-v3 modelini kullanır.

APO, istemi statik bir metin olarak değil, optimize edilebilen programlanabilir bir yüzey olarak ele alır. Sunucu tarafı modellerden (ör. Gemini Pro ve Flash) yararlanarak istemler önerir, varyasyonları değerlendirir ve göreviniz için en uygun olanı bulur. Bu süreçte, performansı en üst düzeye çıkarmak için üç teknik mekanizma kullanılır:

1. Otomatik hata analizi: APO, ilk istemdeki belirli zayıf noktaları otomatik olarak belirlemek için eğitim verilerindeki hata kalıplarını analiz eder.
2. Anlamsal Talimat Damıtma: Bir görevin "gerçek amacını" damıtmak için büyük eğitim örneklerini analiz ederek gerçek veri dağılımını daha doğru yansıtan talimatlar oluşturur.
3. Paralel aday testi: APO, her seferinde bir fikri test etmek yerine, kalite açısından genel maksimumu belirlemek için çok sayıda istem adayını paralel olarak oluşturur ve test eder.

Neden APO, ince ayar kalitesine yaklaşabilir?

İnce ayarın her zaman istemden daha iyi kalite sağladığına dair yaygın bir yanlış kanı vardır. Gemini Nano v3 gibi modern temel modellerde, istem mühendisliği tek başına etkili olabilir:

• Genel yetenekleri koruma: İnce ayar ( PEFT/LoRA), modelin ağırlıklarını belirli bir veri dağılımı üzerinde aşırı indekslemeye zorlar. Bu durum genellikle "felaket düzeyinde unutmaya" yol açar. Model, özel söz diziminizde daha iyi hale gelirken genel mantık ve güvenlik konusunda daha kötü hale gelir. APO, temel modelin özelliklerini koruyarak ağırlıklara dokunmaz.
• Talimat Takibi ve Strateji Keşfi: Gemini Nano v3, karmaşık sistem talimatlarını takip etmek için titizlikle eğitilmiştir. APO, modelin gizli özelliklerini ortaya çıkaran tam talimat yapısını bularak bu durumdan yararlanır ve genellikle insan mühendislerin bulmasının zor olabileceği stratejileri keşfeder. 

Bu yaklaşımı doğrulamak için çeşitli üretim iş yüklerinde APO'yu değerlendirdik. Doğrulama sürecimiz, çeşitli kullanım alanlarında tutarlı bir şekilde % 5-8 doğruluk artışı sağlandığını gösterdi.APO, cihaz üzerinde dağıtılan birden fazla özellikte önemli kalite artışları sağladı.

Sorunsuz, uçtan uca geliştirici iş akışı

İnce ayarın her zaman istemden daha iyi kalite sağladığı yaygın bir yanılgıdır. Gemini Nano v3 gibi modern temel modellerde istem mühendisliği tek başına etkili olabilir:

• Genel yetenekleri koruma: İnce ayar ( PEFT/LoRA), modelin ağırlıklarını belirli bir veri dağılımı üzerinde aşırı indekslemeye zorlar. Bu durum genellikle "felaket düzeyinde unutmaya" yol açar. Model, özel söz diziminizde daha iyi hale gelirken genel mantık ve güvenlik konusunda daha kötü hale gelir. APO, temel modelin özelliklerini koruyarak ağırlıklara dokunmaz.
• Talimat Takibi ve Strateji Keşfi: Gemini Nano v3, karmaşık sistem talimatlarını takip etmek için titizlikle eğitilmiştir. APO, modelin gizli özelliklerini ortaya çıkaran tam talimat yapısını bularak bu durumdan yararlanır ve genellikle insan mühendislerin bulmasının zor olabileceği stratejileri keşfeder. 

Bu yaklaşımı doğrulamak için APO'yu çeşitli üretim iş yüklerinde değerlendirdik. Doğrulama sürecimiz, çeşitli kullanım alanlarında tutarlı bir şekilde % 5-8 doğruluk artışı sağlandığını gösterdi.APO, cihaz üzerinde dağıtılan birden fazla özellikte önemli kalite artışları sağladı.

Sonuç

Otomatik İstem Optimizasyonu (APO), cihaz üzerinde üretken yapay zeka için bir dönüm noktasıdır. Temel modeller ile uzman düzeyindeki performans arasındaki boşluğu doldurarak geliştiricilere daha sağlam mobil uygulamalar oluşturmaları için gereken araçları sunuyoruz. İster Zero-Shot Optimization ile yeni başlıyor ister veriye dayalı hassaslaştırma ile üretime ölçeklendiriyor olun, cihaz üzerinde yüksek kaliteli zekaya giden yol artık daha net. ML Kit'in Prompt API'si ve Vertex AI'ın Otomatik İstem Optimizasyonu ile cihaz üzerinde kullanım alanlarınızı hemen kullanıma sunun. 

İlgili bağlantılar: 

• ML Kit Prompt API,
• Vertex AI Prompt Optimizer belgeleri
• Gemma 3N Duyurusu Blogu