Pakiet Google AI Edge SDK umożliwia deweloperom eksperymentalny dostęp do testowania ulepszeń aplikacji za pomocą funkcji AI na urządzeniu dzięki Gemini Nano.
Architektura za pomocą AICore
Jako moduł na poziomie systemu możesz uzyskać dostęp do AICore za pomocą serii interfejsów API, aby przeprowadzać wnioskowanie na urządzeniu. Dodatkowo AICore ma kilka wbudowanych funkcji bezpieczeństwa, które zapewniają dokładną ocenę pod kątem naszych filtrów bezpieczeństwa. Poniższy diagram przedstawia, jak aplikacja uzyskuje dostęp do AICore, aby uruchomić Gemini Nano na urządzeniu.
Ochrona prywatności i bezpieczeństwo danych użytkownika
Generatywna AI na urządzeniu wykonuje prompty lokalnie, eliminując wywołania serwera. To podejście zwiększa prywatność, ponieważ dane wrażliwe są przechowywane na urządzeniu, umożliwia korzystanie z funkcji offline i obniża koszty wnioskowania.
AICore jest zgodny z zasadami Private Compute Core i ma te kluczowe cechy:
- Ograniczone powiązanie pakietów: AICore jest odizolowany od większości innych pakietów, z wyjątkiem niektórych pakietów systemowych. Wszelkie modyfikacje tej listy dozwolonych mogą być wprowadzane tylko podczas pełnej aktualizacji Androida OTA.
- Pośredni dostęp do internetu: AICore nie ma bezpośredniego dostępu do internetu. Wszystkie żądania internetowe, w tym pobieranie modeli, są kierowane przez towarzyszący pakiet APK Private Compute Services o otwartym kodzie źródłowym. Interfejsy API w ramach usług obliczeniowych prywatnych muszą wyraźnie wskazywać, że są zorientowane na ochronę prywatności.
Dodatkowo AICore jest tak skonstruowany, aby izolować każde żądanie. Po przetworzeniu danych wejściowych i uzyskanych danych wyjściowych nie przechowuje żadnych rekordów, aby chronić prywatność użytkowników. Więcej informacji znajdziesz w poście na blogu Wprowadzenie do prywatności i bezpieczeństwa w Gemini Nano.
Zalety dostępu do modeli podstawowych AI za pomocą AICore
AICore umożliwia systemowi operacyjnemu Android udostępnianie podstawowych modeli AI i zarządzanie nimi. Znacząco obniża to koszt korzystania z tych dużych modeli w aplikacji, głównie z tych powodów:
- Łatwość wdrażania: AICore zarządza dystrybucją Gemini Nano i przeprowadza przyszłe aktualizacje. Nie musisz się martwić pobieraniem ani aktualizowaniem dużych modeli przez sieć ani wpływem na budżet pamięci dyskowej i pamięci wykonawczej aplikacji.
- Przyspieszone wnioskowanie: AICore wykorzystuje sprzęt na urządzeniu do przyspieszania wnioskowania. Aplikacja uzyskuje najlepszą wydajność na każdym urządzeniu, a Ty nie musisz się martwić interfejsami sprzętowymi.
Obsługiwane funkcje
- Obsługiwane urządzenia: Gemini Nano z pakietem Google AI Edge SDK jest dostępny do eksperymentowania na urządzeniach z serii Pixel 9.
- Obsługiwane rodzaje danych: AICore obsługuje tekst w przypadku Gemini Nano.
Dodatkowe urządzenia i rodzaje obsługi to obszary, w które aktywnie inwestujemy.
Przypadki użycia
Ze względu na ograniczenia zasobów urządzeń mobilnych w porównaniu z serwerami w chmurze modele generatywnej AI na urządzeniach są projektowane z myślą o wydajności i rozmiarze. Ta optymalizacja nadaje priorytet konkretnym, dobrze zdefiniowanym zadaniom w porównaniu z bardziej ogólnymi zastosowaniami. Odpowiednie przypadki użycia:
- Zmiana stylu tekstu: modyfikowanie tonu i stylu tekstu (np. ze swobodnego na formalny).
- Inteligentna odpowiedź: generowanie odpowiedzi pasujących do kontekstu w wątku czatu.
- Korekta: identyfikowanie i poprawianie błędów ortograficznych i gramatycznych.
- Podsumowywanie: skracanie długich dokumentów do zwięzłych podsumowań (w postaci akapitów lub punktów).
Aby uzyskać optymalną skuteczność, zapoznaj się z dokumentacją dotyczącą strategii promptowania. Aby poznać te zastosowania, pobierz przykładową aplikację i zacznij eksperymentować z Gemini Nano.
Gemini Nano jest używany w kilku aplikacjach Google. Oto kilka przykładów:
- Talkback: aplikacja ułatwień dostępu na Androida Talkback wykorzystuje funkcje wprowadzania multimodalnego Gemini Nano, aby ulepszać opisy obrazów dla użytkowników niedowidzących.
- Dyktafon na Pixelu: aplikacja Dyktafon na Pixelu wykorzystuje Gemini Nano i AICore do obsługi funkcji podsumowywania na urządzeniu. Zespół Dyktafonu wdrożył najnowszy model Gemini Nano, aby obsługiwać dłuższe nagrania i zapewniać podsumowania o wyższej jakości.
- Gboard: inteligentne odpowiedzi na klawiaturze Gboard wykorzystują Gemini Nano na urządzeniu z AICore, aby generować dokładne inteligentne odpowiedzi.