Google AI Edge SDK

Google AI Edge SDK를 사용하면 Gemini Nano를 통해 온디바이스 AI 기능으로 앱을 개선하려는 개발자가 실험적 액세스를 이용할 수 있습니다.

AICore를 통한 아키텍처

시스템 수준 모듈로서 일련의 API를 통해 AICore에 액세스하여 온디바이스 추론을 실행합니다. 또한 AICore에는 여러 내장 안전 기능이 있어 Google의 안전 필터에 대한 철저한 평가를 보장합니다. 다음 다이어그램은 앱이 AICore에 액세스하여 Gemini Nano를 온디바이스로 실행하는 방법을 간략하게 보여줍니다.

Google AI Edge SDK, AICore, Gemini Nano
그림 1. Google AI Edge SDK, AICore, Gemini Nano를 사용해 보세요.

사용자 데이터를 비공개로 안전하게 유지

온디바이스 생성형 AI는 프롬프트를 로컬로 실행하여 서버 호출을 없앱니다. 이 접근 방식은 민감한 데이터를 기기에 유지하여 개인 정보 보호를 강화하고, 오프라인 기능을 지원하며, 추론 비용을 절감합니다.

AICore는 다음 주요 특징과 함께 프라이빗 컴퓨트 코어 원칙을 준수합니다.

  • 제한된 패키지 바인딩: AICore는 대부분의 다른 패키지에서 격리되며 특정 시스템 패키지에 대한 제한된 예외가 있습니다. 이 허용 목록에 대한 수정은 전체 Android OTA 업데이트 중에만 발생할 수 있습니다.
  • 간접 인터넷 액세스: AICore에는 직접 인터넷 액세스 권한이 없습니다. 모델 다운로드를 비롯한 모든 인터넷 요청은 오픈소스 프라이빗 컴퓨트 서비스 동반자 APK를 통해 라우팅됩니다. 프라이빗 컴퓨트 서비스 내 API는 개인 정보 보호 중심적인 특성을 명시적으로 보여줘야 합니다.

또한 AICore는 각 요청을 격리하도록 설계되었으며 사용자 개인 정보를 보호하기 위해 입력 데이터 또는 처리 후의 결과 출력 기록을 저장하지 않습니다. 자세한 내용은 블로그 게시물 Gemini Nano의 개인 정보 보호 및 안전 소개를 참고하세요.

AICore 아키텍처 그림
그림 2. AICore 아키텍처

AICore로 AI 파운데이션 모델에 액세스할 때의 이점

AICore를 사용하면 Android OS가 AI 파운데이션 모델을 제공하고 관리할 수 있습니다. 이로 인해 앱에서 이러한 대형 모델을 사용하는 비용이 크게 절감됩니다. 그 이유는 주로 다음과 같습니다.

  • 간편한 배포: AICore는 Gemini Nano의 배포를 관리하고 향후 업데이트를 처리합니다. 네트워크를 통해 대규모 모델을 다운로드하거나 업데이트할 필요가 없으며 앱의 디스크 및 런타임 메모리 예산에 영향을 미치지 않습니다.
  • 추론 가속화: AICore는 온디바이스 하드웨어를 활용하여 추론을 가속화합니다. 앱은 각 기기에서 최상의 성능을 얻으며 기본 하드웨어 인터페이스에 대해 걱정할 필요가 없습니다.

지원되는 기능

  • 지원되는 기기: Google AI Edge SDK가 적용된 Gemini Nano는 Pixel 9 시리즈 기기에서 실험할 수 있습니다.
  • 지원되는 모달리티: AICore는 Gemini Nano의 텍스트 모달리티를 지원합니다.

추가 기기 및 모달리티 지원은 적극적으로 투자하고 있는 분야입니다.

사용 사례

클라우드 서버에 비해 휴대기기의 리소스 제약 조건으로 인해 온디바이스 생성형 AI 모델은 효율성과 크기에 중점을 두고 설계됩니다. 이 최적화는 더 일반화된 애플리케이션보다 구체적이고 잘 정의된 작업에 우선순위를 부여합니다. 적합한 사용 사례는 다음과 같습니다.

  • 텍스트 바꿔쓰기: 텍스트의 어조와 스타일을 수정합니다 (예: 캐주얼에서 격식으로).
  • 스마트 답장: 채팅 대화목록 내에서 상황에 맞는 응답을 생성합니다.
  • 교정: 맞춤법 및 문법 오류를 식별하고 수정합니다.
  • 요약: 긴 문서를 간결한 요약(단락 또는 글머리 기호)으로 압축합니다.

최적의 성능을 위해 프롬프트 작성 전략 문서를 참고하세요. 이러한 사용 사례를 직접 살펴보려면 샘플 앱을 다운로드하고 Gemini Nano를 실험해 보세요.

Gemini Nano는 여러 Google 앱에서 사용됩니다. 다음은 몇 가지 예입니다.

  • TalkBack: Android의 접근성 앱인 TalkBack은 Gemini Nano의 멀티모달 입력 기능을 활용하여 시각장애인 사용자를 위한 이미지 설명을 개선합니다.
  • Pixel 녹음기:Pixel 녹음기 앱은 Gemini Nano 및 AICore를 사용하여 온디바이스 요약 기능을 지원합니다. 녹음기팀은 더 긴 녹음을 지원하고 더 높은 품질의 요약을 제공하기 위해 최신 Gemini Nano 모델을 채택했습니다.
  • Gboard: Gboard 스마트 답장은 AICore가 탑재된 온디바이스 Gemini Nano를 활용하여 정확한 스마트 답장을 제공합니다.