Gemini Nano

Gemini Nano를 사용하면 네트워크 연결이나 클라우드로 데이터를 전송할 필요 없이 풍부한 생성형 AI 환경을 제공할 수 있습니다. 온디바이스 AI는 비용이 저렴하고 개인 정보 보호가 가장 중요한 사용 사례에 적합한 솔루션입니다.

온디바이스 사용 사례의 경우 Google의 Gemini Nano 파운데이션 모델을 활용할 수 있습니다. Gemini Nano는 기기 하드웨어를 활용하여 추론 지연 시간을 줄이고, 모델을 최신 상태로 유지하는 Android의 AICore 시스템 서비스에서 실행됩니다.

ML Kit 생성형 AI API

ML Kit의 생성형 AI API는 Gemini Nano의 기능을 활용하여 앱이 작업을 실행하도록 지원합니다. 이러한 API는 고급 인터페이스를 통해 인기 있는 사용 사례에 즉시 사용 가능한 품질을 제공합니다. ML Kit 생성형 AI API는 AICore를 기반으로 빌드됩니다. AICore는 생성형 AI 파운데이션 모델의 온디바이스 실행을 지원하는 Android 시스템 서비스로, 데이터를 로컬에서 처리하여 향상된 앱 기능 및 개선된 사용자 개인 정보 보호와 같은 기능을 지원합니다. 자세히 알아보기.

주요 특징

ML Kit 생성형 AI API는 다음 기능을 지원합니다.

  • 프롬프트: 맞춤 텍스트 전용 또는 멀티모달 프롬프트를 기반으로 텍스트 콘텐츠를 생성합니다.
  • 요약: 기사 또는 대화를 글머리 기호 목록으로 요약합니다.
  • 교정: 짧은 채팅 메시지를 교정합니다.
  • 다시 작성: 짧은 채팅 메시지를 다양한 어조 또는 스타일로 다시 작성합니다.
  • **이미지 설명**: 지정된 이미지에 대한 간단한 설명을 생성합니다.
  • 음성 인식: 음성 오디오를 텍스트로 변환합니다.

AICore를 통한 아키텍처

시스템 수준 모듈로 AICore는 온디바이스에서 추론을 실행하기 위해 일련의 API를 통해 액세스합니다. 또한 AICore에는 여러 가지 기본 제공 안전 기능이 있어 Google의 안전 필터에 대한 철저한 평가를 보장합니다. 다음 다이어그램은 앱이 AICore에 액세스하여 온디바이스에서 Gemini Nano를 실행하는 방법을 보여줍니다.

Android 앱이 Google AI Edge SDK를 사용하여 AICore에 액세스하는 방법을 보여주는 다이어그램입니다. AICore에서는 Gemini Nano, LoRA, 안전 기능이 하드웨어 가속기에서 관리되고 실행됩니다.
그림 1. AICore는 앱과 Gemini Nano 모델 간의 인터페이스 역할을 하며 온디바이스 하드웨어를 활용하면서 모델 업데이트와 안전을 관리합니다.

사용자 데이터를 비공개로 안전하게 유지

온디바이스 생성형 AI는 프롬프트를 로컬에서 실행하여 서버 호출을 없앱니다. 이렇게 하면 네트워크 지연 시간이 줄어들지만 추론 속도는 기기 하드웨어에 따라 달라집니다. 이 접근 방식은 민감한 정보를 기기에 보관하여 개인 정보 보호를 강화하고, 오프라인 기능을 지원하며, 추론 비용을 절감합니다.

AICore는 다음과 같은 주요 특징을 갖춘 프라이빗 컴퓨트 코어 원칙을 준수합니다.

  • 제한된 패키지 결합: AICore는 대부분의 다른 패키지와 격리되어 있으며, 특정 시스템 패키지에 대한 제한된 예외가 있습니다. 이 허용 목록의 수정은 전체 Android OTA 업데이트 중에만 발생할 수 있습니다.
  • 간접 인터넷 액세스: AICore는 직접 인터넷 액세스 권한이 없습니다. 모델 다운로드를 비롯한 모든 인터넷 요청은 오픈소스 프라이빗 컴퓨트 서비스 컴패니언 APK를 통해 라우팅됩니다. 프라이빗 컴퓨트 서비스 내의 API는 개인 정보 보호 중심의 특성을 명시적으로 보여줘야 합니다.

또한 AICore는 각 요청을 격리하도록 빌드되었으며 사용자 개인 정보 보호를 위해 입력 데이터 또는 처리 후 생성된 출력의 기록을 저장하지 않습니다. 자세한 내용은 Gemini Nano의 개인 정보 보호 및 안전 소개 블로그 게시물을 참고하세요.

요청 흐름을 보여주는 AICore의 상세한 아키텍처 다이어그램: API 노출 영역, 안전 신호를 사용한 입력 처리, 기능 구성, 모델 가중치 및 LoRA가 있는 런타임, 안전 신호를 사용한 출력 처리 프라이빗 컴퓨트 서비스를 통한 모델 다운로드도 표시됩니다.
그림 2. AICore 아키텍처는 입력 및 출력 안전, 요청 처리, 모델 가중치를 관리하여 온디바이스 AI를 위한 안전한 환경을 제공합니다.

AICore로 AI 파운데이션 모델에 액세스할 때의 이점

AICore를 사용하면 Android OS에서 AI 파운데이션 모델을 제공하고 관리할 수 있습니다. 이는 주로 다음과 같은 이유로 앱에서 이러한 대규모 모델을 사용하는 비용을 크게 절감합니다.

  • 간편한 배포: AICore는 Gemini Nano의 배포를 관리하고 향후 업데이트를 처리합니다. 네트워크를 통해 대규모 모델을 다운로드하거나 업데이트할 필요가 없으며 앱의 디스크 및 런타임 메모리 예산에 영향을 미치지 않습니다.
  • 추론 가속화: AICore는 온디바이스 하드웨어를 활용하여 추론을 가속화합니다. 앱은 각 기기에서 최고의 성능을 얻을 수 있으며 기본 하드웨어 인터페이스에 대해 걱정할 필요가 없습니다.