Gemini Nano

Gemini Nano를 사용하면 네트워크 연결이나 클라우드로 데이터를 전송하지 않고도 풍부한 생성형 AI 환경을 제공할 수 있습니다. 온디바이스 AI는 저렴한 비용과 개인 정보 보호 조치가 주요 관심사인 사용 사례에 적합한 솔루션입니다.

온디바이스 사용 사례의 경우 Google의 Gemini Nano 기본 모델을 활용할 수 있습니다. Gemini Nano는 Android의 AICore 시스템 서비스에서 실행되며, 이 서비스는 기기 하드웨어를 활용하여 추론 지연 시간을 줄이고 모델을 최신 상태로 유지합니다.

ML Kit 생성형 AI API

ML Kit의 GenAI API는 Gemini Nano의 기능을 활용하여 앱이 작업을 실행하도록 지원합니다. 이러한 API는 높은 수준의 인터페이스를 통해 인기 있는 사용 사례에 즉시 사용 가능한 품질을 제공합니다. ML Kit 생성형 AI API는 AICore를 기반으로 빌드됩니다. AICore는 Android 시스템 서비스로, 생성형 AI 기반 모델의 온디바이스 실행을 지원하여 로컬에서 데이터를 처리함으로써 향상된 앱 기능, 개선된 사용자 개인 정보 보호와 같은 기능을 지원합니다. 자세히 알아보기

주요 기능

ML Kit GenAI API는 다음 기능을 지원합니다.

  • 프롬프트: 맞춤 텍스트 전용 또는 멀티모달 프롬프트를 기반으로 텍스트 콘텐츠를 생성합니다.
  • 요약: 기사나 대화를 글머리 기호 목록으로 요약합니다.
  • 교정: 짧은 채팅 메시지를 교정합니다.
  • 재작성: 짧은 채팅 메시지를 다양한 어조나 스타일로 다시 작성합니다.
  • 이미지 설명: 주어진 이미지에 대한 간단한 설명을 생성합니다.
  • 음성 인식: 음성 오디오를 텍스트로 변환합니다.

AICore를 통한 아키텍처

시스템 수준 모듈로서 일련의 API를 통해 AICore에 액세스하여 온디바이스 추론을 실행합니다. 또한 AICore에는 여러 안전 기능이 내장되어 있어 Google의 안전 필터에 대한 철저한 평가가 가능합니다. 다음 다이어그램은 앱이 AICore에 액세스하여 Gemini Nano를 온디바이스로 실행하는 방법을 간략하게 보여줍니다.

Android 앱이 Google AI Edge SDK를 사용하여 AICore에 액세스하는 방법을 보여주는 다이어그램입니다. AICore에서는 Gemini Nano, LoRA, 안전 기능이 하드웨어 가속기에서 관리되고 실행됩니다.
그림 1. AICore는 앱과 Gemini Nano 모델 간의 인터페이스 역할을 하며, 온디바이스 하드웨어를 활용하면서 모델 업데이트와 안전을 관리합니다.

사용자 데이터를 비공개로 안전하게 유지

온디바이스 생성형 AI는 프롬프트를 로컬로 실행하여 서버 호출을 없앱니다. 이렇게 하면 네트워크 지연 시간이 제거되지만 추론 속도는 기기 하드웨어에 따라 달라집니다. 이 접근 방식은 민감한 데이터를 기기에 유지하여 개인 정보 보호를 강화하고, 오프라인 기능을 지원하며, 추론 비용을 절감합니다.

AICore는 다음 주요 특징과 함께 프라이빗 컴퓨트 코어 원칙을 준수합니다.

  • 제한된 패키지 바인딩: AICore는 대부분의 다른 패키지에서 격리되며 특정 시스템 패키지에 대해서만 제한된 예외가 있습니다. 이 허용 목록에 대한 수정은 전체 Android OTA 업데이트 중에만 발생할 수 있습니다.
  • 간접 인터넷 액세스: AICore는 인터넷에 직접 액세스할 수 없습니다. 모델 다운로드를 비롯한 모든 인터넷 요청은 오픈소스 프라이빗 컴퓨트 서비스 동반 APK를 통해 라우팅됩니다. 프라이빗 컴퓨트 서비스 내 API는 개인 정보 보호 중심적인 특성을 명시적으로 보여줘야 합니다.

또한 AICore는 각 요청을 격리하도록 설계되었으며 사용자 개인 정보를 보호하기 위해 입력 데이터 또는 처리 후의 결과 출력 기록을 저장하지 않습니다. 자세한 내용은 블로그 게시물 Gemini Nano의 개인 정보 보호 및 안전 소개를 참고하세요.

요청 흐름을 보여주는 AICore의 상세 아키텍처 다이어그램: API 표면, 안전 신호를 사용한 입력 처리, 기능 구성, 모델 가중치 및 LoRA가 있는 런타임, 안전 신호를 사용한 출력 처리 프라이빗 컴퓨트 서비스를 통한 모델 다운로드도 표시됩니다.
그림 2. AICore 아키텍처는 입력 및 출력 안전, 요청 처리, 모델 가중치를 관리하여 온디바이스 AI를 위한 안전한 환경을 제공합니다.

AICore로 AI 파운데이션 모델에 액세스할 때의 이점

AICore를 사용하면 Android OS가 AI 파운데이션 모델을 제공하고 관리할 수 있습니다. 이로 인해 앱에서 이러한 대규모 모델을 사용하는 비용이 크게 절감됩니다. 그 이유는 주로 다음과 같습니다.

  • 손쉬운 배포: AICore는 Gemini Nano의 배포를 관리하고 향후 업데이트를 처리합니다. 네트워크를 통해 대규모 모델을 다운로드하거나 업데이트할 필요가 없으며 앱의 디스크 및 런타임 메모리 예산에 미치는 영향도 없습니다.
  • 추론 가속화: AICore는 온디바이스 하드웨어를 활용하여 추론을 가속화합니다. 앱은 각 기기에서 최상의 성능을 얻으며 기본 하드웨어 인터페이스에 대해 걱정할 필요가 없습니다.