Gemini Nano umożliwia korzystanie z funkcji generatywnej AI bez konieczności łączenia się z siecią ani wysyłania danych do chmury. AI na urządzeniu to świetne rozwiązanie w przypadkach, gdy najważniejsze są niskie opóźnienia, niskie koszty i zabezpieczenia dotyczące prywatności.
W przypadku zastosowań na urządzeniu możesz korzystać z modelu podstawowego Gemini Nano od Google. Gemini Nano działa w systemowej usłudze AICore, która wykorzystuje sprzęt urządzenia, aby zapewnić krótki czas oczekiwania na wnioskowanie i utrzymywać model na bieżąco.
Dostęp do Gemini Nano jest obecnie dostępny przez:
- interfejsy API generatywnej AI w pakiecie ML Kit, które zapewniają ogólny interfejs do takich funkcji, jak podsumowanie, korekta, przepisywanie i opisywanie obrazów;
- Pakiet SDK Google AI Edge, który zapewnia deweloperom dostęp do eksperymentalnego interfejsu API na potrzeby testowania ulepszonych funkcji aplikacji z wykorzystaniem AI na urządzeniu.
Architektura
Jako moduł na poziomie systemu uzyskujesz dostęp do AICore za pomocą serii interfejsów API, aby przeprowadzać wnioskowanie na urządzeniu. Ponadto AICore ma kilka wbudowanych funkcji bezpieczeństwa, które zapewniają dokładną ocenę pod kątem naszych filtrów bezpieczeństwa. Na poniższym diagramie pokazano, jak aplikacja uzyskuje dostęp do AICore, aby uruchomić Gemini Nano na urządzeniu.
Ochrona prywatności i bezpieczeństwo danych użytkownika
Generatywna AI na urządzeniu wykonuje prompty lokalnie, eliminując wywołania serwera. Takie podejście zwiększa prywatność, ponieważ dane wrażliwe są przechowywane na urządzeniu, umożliwia korzystanie z funkcji offline i obniża koszty wnioskowania.
AICore przestrzega zasad Private Compute Core i ma następujące kluczowe cechy:
Ograniczone wiązanie pakietów: AICore jest izolowany od większości innych pakietów, z niewielkimi wyjątkami w przypadku niektórych pakietów systemowych. Wszelkie modyfikacje tej listy dozwolonych mogą być wprowadzane tylko podczas pełnej aktualizacji OTA Androida.
Pośredni dostęp do internetu: AICore nie ma bezpośredniego dostępu do internetu. Wszystkie żądania internetowe, w tym pobieranie modeli, są kierowane przez towarzyszący APK Private Compute Services o źródle otwartym. Interfejsy API w usługach Private Compute Services muszą wyraźnie wskazywać, że ich działanie jest skoncentrowane na ochronie prywatności.
Dodatkowo AICore jest tak skonstruowany, aby izolować każde żądanie i nie przechowywać żadnych danych wejściowych ani wyników po przetworzeniu w celu ochrony prywatności użytkowników. Aby dowiedzieć się więcej, przeczytaj poście na blogu na temat ochrony prywatności i bezpieczeństwa w Gemini Nano.
Zalety korzystania z modeli podstawowych AI w usłudze AICore
AICore umożliwia systemowi operacyjnemu Android udostępnianie modeli podstawowych AI i zarządzanie nimi. Dzięki temu znacznie obniżysz koszty korzystania z tych dużych modeli w swojej aplikacji, głównie z tych powodów:
Łatwość wdrażania: AICore zarządza dystrybucją Gemini Nano i przeprowadza przyszłe aktualizacje. Nie musisz się martwić pobieraniem ani aktualizowaniem dużych modeli przez sieć ani wpływem na dysk i budżet pamięci aplikacji w czasie jej działania.
Akceleracja wnioskowania: AICore wykorzystuje sprzęt na urządzeniu do przyspieszania wnioskowania. Aplikacja osiąga najlepszą wydajność na każdym urządzeniu, a Ty nie musisz się martwić o podstawowe interfejsy sprzętowe.
Obsługiwane funkcje
- Obsługiwane urządzenia: Gemini Nano z Google AI Edge SDK jest obecnie dostępny do eksperymentowania na urządzeniach z serią Pixel 9.
- Obsługiwane tryby: AICore obsługuje obecnie tryb tekstowy w przypadku Gemini Nano.
Aktywnie inwestujemy w dodatkowe urządzenia i modalności.
Przypadki użycia
Ze względu na ograniczone zasoby urządzeń mobilnych w porównaniu z serwerami w chmurze modele generatywnej AI na urządzeniu są projektowane z uwzględnieniem wydajności i rozmiaru. Ta optymalizacja stawia na pierwszym miejscu konkretne, dobrze zdefiniowane zadania, a nie bardziej ogólne zastosowania. Odpowiedni przypadki użycia:
- Przeformułowanie tekstu: możesz zmienić ton i styl tekstu (np. z nieformalnego na formalny).
- Inteligentna odpowiedź: generuje odpowiedzi pasujące do kontekstu w wątku czatu.
- Korektura: wykrywanie i poprawianie błędów ortograficznych i gramatycznych.
- Streszczenie: przekształcanie długich dokumentów w zwięzłe podsumowania (akapity lub punkty).
Aby uzyskać optymalną skuteczność, zapoznaj się z dokumentacją dotyczącą strategii promptów. Aby zapoznać się z tymi zastosowaniami, pobierz przykładową aplikację i zacznij eksperymentować z Gemini Nano.
Gemini Nano jest używany przez kilka aplikacji Google. Oto kilka przykładów:
- TalkBack: aplikacja ułatwień dostępu na Androida TalkBack korzysta z możliwości multimodalnego wprowadzania danych przez Gemini Nano, aby poprawić opisy obrazów dla użytkowników niedowidzących.
- Dyktafon na Pixelu: aplikacja Dyktafon na Pixelu korzysta z Gemini Nano i AICore do obsługi funkcji podsumowywania na urządzeniu. Zespół odpowiedzialny za Narzędzie do nagrywania wprowadził najnowszy model Gemini Nano, aby obsługiwać dłuższe nagrania i zapewniać podsumowania o wyższej jakości.
- Gboard: inteligentna odpowiedź w Gboard korzysta z Gemini Nano na urządzeniu z AICore, aby dostarczać dokładne inteligentne odpowiedzi.