Jak automatyczna optymalizacja promptów poprawia jakość interfejsu GenAI Prompt API w ML Kit

Automatyczna optymalizacja promptów (APO)

Aby jeszcze bardziej ułatwić wdrażanie przypadków użycia interfejsu Prompt API w ML Kit, z przyjemnością ogłaszamy wprowadzenie automatycznej optymalizacji promptów (APO) kierowanej na modele na urządzeniu w Vertex AI. Automatyczna optymalizacja promptów to narzędzie, które pomaga automatycznie znaleźć optymalny prompt do Twoich zastosowań.

Era AI na urządzeniu nie jest już tylko obietnicą – to rzeczywistość produkcyjna. Wraz z wprowadzeniem Gemini Nano v3 udostępniamy użytkownikom bezprecedensowe możliwości rozumienia języka i funkcje multimodalne. Dzięki rodzinie modeli Gemini Nano obsługujemy wiele urządzeń w ekosystemie Androida. Jednak dla deweloperów tworzących aplikacje inteligentne nowej generacji dostęp do zaawansowanego modelu to tylko pierwszy krok. Prawdziwym wyzwaniem jest dostosowanie: jak dostosować model podstawowy do poziomu eksperckiego w konkretnym przypadku użycia bez przekraczania ograniczeń sprzętu mobilnego?

W świecie po stronie serwera większe modele LLM są zwykle bardzo wydajne i wymagają mniejszego dostosowania do domeny. Nawet jeśli jest to konieczne, bardziej zaawansowane opcje, takie jak dostrajanie LoRA (adaptacja o niskim rzędzie), mogą być wykonalne. Jednak unikalna architektura Androida AICore priorytetowo traktuje współdzielony, oszczędzający pamięć model systemowy. Oznacza to, że wdrażanie niestandardowych adapterów LoRA dla każdej aplikacji wiąże się z wyzwaniami związanymi z tymi współdzielonymi usługami systemowymi.

Istnieje jednak alternatywna ścieżka, która może być równie skuteczna. Dzięki automatycznej optymalizacji promptów w Vertex AI deweloperzy mogą osiągnąć jakość zbliżoną do dostrajania, pracując jednocześnie w natywnym środowisku wykonawczym Androida. Dzięki skupieniu się na lepszych instrukcjach systemowych APO umożliwia deweloperom dostosowywanie zachowania modelu z większą niezawodnością i skalowalnością niż tradycyjne rozwiązania do dostrajania.

Uwaga:  Gemini Nano V3 to zoptymalizowana pod kątem jakości wersja wysoko ocenianego modelu Gemma 3N. Wszelkie optymalizacje promptów wprowadzone w modelu Gemma 3N open source będą miały zastosowanie również do Gemini Nano V3. Na obsługiwanych urządzeniach interfejsy API ML Kit GenAI wykorzystują model nano-v3, aby zapewnić deweloperom aplikacji na Androida najwyższą jakość.

APO traktuje prompt nie jako statyczny tekst, ale jako programowalną powierzchnię, którą można optymalizować. Wykorzystuje modele po stronie serwera (takie jak Gemini Pro i Flash), aby proponować prompty, oceniać ich odmiany i znajdować optymalne rozwiązanie dla konkretnego zadania. Ten proces wykorzystuje 3 konkretne mechanizmy techniczne, aby zmaksymalizować skuteczność:

1. Zautomatyzowana analiza błędów: APO analizuje wzorce błędów w danych treningowych, aby automatycznie identyfikować konkretne słabe punkty w początkowym prompcie.
2. Destylacja instrukcji semantycznych: analizuje ogromne ilości przykładów treningowych, aby wydobyć „prawdziwy cel” zadania, tworząc instrukcje, które dokładniej odzwierciedlają rzeczywisty rozkład danych.
3. Równoległe testowanie kandydatów: zamiast testować po jednym pomyśle, APO generuje i testuje równolegle wiele kandydatów na prompty, aby określić globalne maksimum jakości.

Dlaczego APO może zbliżyć się do jakości dostrajania

Często błędnie uważa się, że dostrajanie zawsze zapewnia lepszą jakość niż promptowanie. W przypadku nowoczesnych modeli podstawowych, takich jak Gemini Nano v3, inżynieria promptów może być skuteczna sama w sobie:

• Zachowanie ogólnych możliwości: dostrajanie ( PEFT/LoRA) wymusza na wagach modelu nadmierne indeksowanie w określonym rozkładzie danych. Często prowadzi to do „katastrofalnego zapominania”, gdy model staje się lepszy w zakresie konkretnej składni, ale gorszy w zakresie ogólnej logiki i bezpieczeństwa. APO nie zmienia wag, zachowując możliwości modelu podstawowego.
• Wykonywanie instrukcji i odkrywanie strategii: model Gemini Nano v3 został rygorystycznie przeszkolony w zakresie wykonywania złożonych instrukcji systemowych. APO wykorzystuje to, znajdując dokładną strukturę instrukcji, która odblokowuje ukryte możliwości modelu, często odkrywając strategie, które mogą być trudne do znalezienia dla inżynierów. 

Aby sprawdzić to podejście, oceniliśmy APO w różnych produkcyjnych zbiorach zadań. Nasza walidacja wykazała stały wzrost dokładności o 5–8% w różnych przypadkach użycia.W przypadku wielu wdrożonych funkcji na urządzeniu APO zapewniła znaczny wzrost jakości.

Płynny, kompleksowy przepływ pracy dla deweloperów

Często błędnie uważa się, że dostrajanie zawsze zapewnia lepszą jakość niż promptowanie. W przypadku nowoczesnych modeli podstawowych, takich jak Gemini Nano v3, inżynieria promptów może być skuteczna sama w sobie:

• Zachowanie ogólnych możliwości: dostrajanie ( PEFT/LoRA) wymusza na wagach modelu nadmierne indeksowanie w określonym rozkładzie danych. Często prowadzi to do „katastrofalnego zapominania”, gdy model staje się lepszy w zakresie konkretnej składni, ale gorszy w zakresie ogólnej logiki i bezpieczeństwa. APO nie zmienia wag, zachowując możliwości modelu podstawowego.
• Wykonywanie instrukcji i odkrywanie strategii: model Gemini Nano v3 został rygorystycznie przeszkolony w zakresie wykonywania złożonych instrukcji systemowych. APO wykorzystuje to, znajdując dokładną strukturę instrukcji, która odblokowuje ukryte możliwości modelu, często odkrywając strategie, które mogą być trudne do znalezienia dla inżynierów. 

Aby sprawdzić to podejście, oceniliśmy APO w różnych produkcyjnych zbiorach zadań. Nasza walidacja wykazała stały wzrost dokładności o 5–8% w różnych przypadkach użycia.W przypadku wielu wdrożonych funkcji na urządzeniu APO zapewniła znaczny wzrost jakości.

Podsumowanie

Wprowadzenie automatycznej optymalizacji promptów (APO) to przełomowy moment dla generatywnej AI na urządzeniu. Wypełniając lukę między modelami podstawowymi a wydajnością na poziomie eksperckim, dajemy deweloperom narzędzia do tworzenia bardziej niezawodnych aplikacji mobilnych. Niezależnie od tego, czy dopiero zaczynasz od optymalizacji typu zero-shot, czy skalujesz do wersji produkcyjnej z ulepszeniem opartym na danych, ścieżka do wysokiej jakości inteligencji na urządzeniu jest teraz bardziej przejrzysta. Już dziś zacznij wdrażać przypadki użycia na urządzeniu w środowisku produkcyjnym, korzystając z interfejsu Prompt API w ML Kit i automatycznej optymalizacji promptów w Vertex AI. 

Przydatne linki: 

• ML Kit Prompt API,
• Dokumentacja Vertex AI Prompt Optimizer
• Post na blogu z ogłoszeniem dotyczącym modelu Gemma 3N