Gemini Nano

Gemini Nano umożliwia korzystanie z zaawansowanych funkcji generatywnej AI bez połączenia z siecią i wysyłania danych do chmury. AI na urządzeniu to świetne rozwiązanie w przypadkach, gdy najważniejsze są niskie koszty i ochrona prywatności.

W przypadku zastosowań na urządzeniu możesz korzystać z modelu podstawowego Gemini Nano od Google. Gemini Nano działa w usłudze systemowej AICore w Androidzie, która wykorzystuje sprzęt urządzenia, aby zapewnić niskie opóźnienie wnioskowania i aktualność modelu.

Interfejsy API GenAI w ML Kit

Interfejsy API GenAI w ML Kit wykorzystują możliwości Gemini Nano, aby pomagać aplikacjom w wykonywaniu zadań. Dzięki interfejsowi wysokiego poziomu te interfejsy API zapewniają gotową jakość w popularnych przypadkach użycia. Interfejsy API GenAI w ML Kit są oparte na AICore, usłudze systemowej Androida, która umożliwia wykonywanie na urządzeniu modeli podstawowych GenAI. Ułatwia to korzystanie z funkcji takich jak ulepszona funkcjonalność aplikacji i większa prywatność użytkowników dzięki przetwarzaniu danych lokalnie. Więcej informacji.

Najważniejsze funkcje

Interfejsy API GenAI w ML Kit obsługują te funkcje:

  • Prompt: generowanie treści tekstowych na podstawie niestandardowego prompta tekstowego lub multimodalnego.
  • Podsumowywanie: podsumowywanie artykułów lub rozmów w formie listy punktowanej.
  • Korekta: sprawdzanie krótkich wiadomości na czacie.
  • Przepisywanie: przepisywanie krótkich wiadomości na czacie w różnych tonach lub stylach.
  • Opis obrazu: generowanie krótkiego opisu danego obrazu.
  • Rozpoznawanie mowy: transkrypcja tekstu mówionego na tekst.

Architektura przez AICore

AICore to moduł na poziomie systemu, do którego dostęp uzyskujesz za pomocą serii interfejsów API, aby uruchamiać wnioskowanie na urządzeniu. AICore ma też kilka wbudowanych funkcji bezpieczeństwa, które zapewniają dokładną ocenę pod kątem naszych filtrów bezpieczeństwa. Poniższy diagram pokazuje, jak aplikacja uzyskuje dostęp do AICore, aby uruchamiać Gemini Nano na urządzeniu.

Diagram pokazujący, jak aplikacja na Androida korzysta z pakietu Google AI Edge SDK, aby uzyskać dostęp do AICore, gdzie zarządzane są Gemini Nano, LoRA i funkcje bezpieczeństwa, a także uruchamiane na akceleratorach sprzętowych.
Rysunek 1. AICore pełni rolę interfejsu między aplikacją a modelem Gemini Nano, zarządzając aktualizacjami modelu i bezpieczeństwem, a jednocześnie wykorzystując sprzęt urządzenia.

Ochrona prywatności i bezpieczeństwa danych użytkowników

Generatywna AI na urządzeniu wykonuje prompty lokalnie, eliminując wywołania serwera. Chociaż eliminuje to opóźnienie sieci, szybkość wnioskowania zależy od sprzętu urządzenia. Takie podejście zwiększa prywatność, ponieważ wrażliwe dane pozostają na urządzeniu, umożliwia działanie offline i zmniejsza koszty wnioskowania.

AICore jest zgodny z zasadami Private Compute Core i ma te kluczowe cechy:

  • Ograniczone powiązanie pakietów: AICore jest odizolowany od większości innych pakietów, z wyjątkiem określonych pakietów systemowych. Wszelkie modyfikacje tej listy dozwolonych mogą być wprowadzane tylko podczas pełnej aktualizacji OTA Androida.
  • Pośredni dostęp do internetu: AICore nie ma bezpośredniego dostępu do internetu. Wszystkie żądania internetowe, w tym pobieranie modeli, są kierowane przez towarzyszącą aplikację APK Private Compute Services o otwartym kodzie źródłowym. Interfejsy API w Private Compute Services muszą wyraźnie wskazywać na ich charakter skoncentrowany na prywatności.

AICore jest też tak skonstruowany, aby izolować każde żądanie. Nie przechowuje żadnych danych wejściowych ani wyników po ich przetworzeniu, aby chronić prywatność użytkowników. Więcej informacji znajdziesz w poście na blogu Wprowadzenie do prywatności i bezpieczeństwa w Gemini Nano.

Szczegółowy schemat architektury AICore przedstawiający przepływ żądań: powierzchnia interfejsu API, przetwarzanie danych wejściowych z sygnałami bezpieczeństwa, konfiguracja funkcji, środowisko wykonawcze z wagami modelu i LoRA oraz przetwarzanie danych wyjściowych z sygnałami bezpieczeństwa. Wyświetla też pobieranie modeli za pomocą Private Compute Services.
Rysunek 2. Architektura AICore zarządza bezpieczeństwem danych wejściowych i wyjściowych, przetwarzaniem żądań oraz wagami modelu, aby zapewnić bezpieczne środowisko dla AI na urządzeniu.

Korzyści z dostępu do modeli podstawowych AI za pomocą AICore

AICore umożliwia systemowi operacyjnemu Android udostępnianie modeli podstawowych AI i zarządzanie nimi. Znacznie zmniejsza to koszt korzystania z tych dużych modeli w aplikacji, głównie z tych powodów:

  • Łatwość wdrażania: AICore zarządza dystrybucją Gemini Nano i przyszłymi aktualizacjami. Nie musisz się martwić pobieraniem ani aktualizowaniem dużych modeli przez sieć ani wpływem na budżet pamięci dyskowej i pamięci wykonawczej aplikacji.
  • Przyspieszone wnioskowanie: AICore wykorzystuje sprzęt na urządzeniu do przyspieszenia wnioskowania. Twoja aplikacja uzyskuje najlepszą wydajność na każdym urządzeniu, a Ty nie musisz się martwić interfejsami sprzętowymi.