지원되는 Android 기기에서는 네트워크에 연결하거나 데이터를 클라우드로 전송하지 않고도 풍부한 생성형 AI 환경을 제공할 수 있습니다. 온디바이스 AI는 지연 시간 단축, 비용 절감, 개인 정보 보호가 주요 관심사인 사용 사례에 적합한 솔루션입니다.
온디바이스 사용 사례의 경우 Google의 Gemini Nano 기반 모델을 활용할 수 있습니다. 클라우드에서 추론을 실행하는 다른 Gemini 모델보다 작지만 Gemini Nano를 미세 조정하여 대규모 모델과 마찬가지로 특수 작업을 실행할 수 있습니다. Gemini Nano는 Android의 AICore 시스템 서비스에서 실행됩니다. 이 서비스는 기기 하드웨어를 활용하여 추론 지연 시간을 줄이고 모델을 최신 상태로 유지합니다.
Gemini Nano API 및 AICore에 대한 액세스는 Google AI Edge SDK에서 제공합니다. Google AI Edge는 기기 내 ML을 위한 포괄적인 도구 모음입니다. Google AI Edge에 대해 자세히 알아보기
아키텍처
시스템 수준 모듈로서 온디바이스에서 추론을 실행하기 위해 일련의 API를 통해 AICore에 액세스합니다. 또한 AICore에는 여러 가지 안전 기능이 내장되어 있어 안전 필터에 대한 철저한 평가가 가능합니다. 다음 다이어그램은 앱이 AICore에 액세스하여 기기에서 Gemini Nano를 실행하는 방법을 보여줍니다.
사용자 데이터를 비공개로 안전하게 유지
기기 내 생성형 AI는 프롬프트를 로컬에서 실행하므로 서버 호출이 필요하지 않습니다. 이 접근 방식은 민감한 정보를 기기에 보관하여 개인 정보를 보호하고, 오프라인 기능을 사용 설정하며, 추론 비용을 줄입니다.
AICore는 다음과 같은 주요 특성을 갖춘 프라이빗 컴퓨트 코어 원칙을 준수합니다.
제한된 패키지 결합: AICore는 특정 시스템 패키지에 대한 제한적인 예외를 제외하고 대부분의 다른 패키지와 격리됩니다. 이 허용 목록은 전체 Android OTA 업데이트 중에만 수정할 수 있습니다.
간접 인터넷 액세스: AICore에 직접 인터넷 액세스 권한이 없습니다. 모델 다운로드를 비롯한 모든 인터넷 요청은 오픈소스 프라이빗 컴퓨트 서비스 호환 APK를 통해 라우팅됩니다. 프라이빗 컴퓨트 서비스 내의 API는 개인 정보 보호 중심의 특성을 명시적으로 보여줘야 합니다.
또한 AICore는 각 요청을 격리하도록 빌드되었으며 사용자 개인 정보를 보호하기 위해 입력 데이터의 레코드나 처리 후 결과 출력을 저장하지 않습니다. 자세한 내용은 Gemini Nano의 개인 정보 보호 및 안전 소개 블로그 게시물을 참고하세요.
AICore로 AI 기반 모델에 액세스하는 이점
AICore를 사용하면 Android OS에서 AI 기반 모델을 제공하고 관리할 수 있습니다. 이렇게 하면 주로 다음과 같은 이유로 앱에서 이러한 대규모 모델을 사용하는 데 드는 비용이 크게 줄어듭니다.
배포 용이성: AICore는 Gemini Nano의 배포를 관리하고 향후 업데이트를 처리합니다. 네트워크를 통해 대규모 모델을 다운로드하거나 업데이트하는 것에 대해 걱정하거나 앱의 디스크 및 런타임 메모리 예산에 미치는 영향을 고려할 필요가 없습니다.
가속된 추론: AICore는 기기 내 하드웨어를 활용하여 추론을 가속화합니다. 앱이 각 기기에서 최상의 성능을 얻고, 개발자는 기본 하드웨어 인터페이스에 관해 걱정할 필요가 없습니다.
지원되는 기능
AICore는 다음 기기와 모달을 지원합니다.
- 지원되는 기기: AICore는 현재 Pixel 9 시리즈 기기, Pixel 81 및 Pixel 8a2를 비롯한 Google Pixel 8 시리즈 기기, 삼성 S24 시리즈 기기, 삼성 Z Fold6, 삼성 Z Flip6, Realme GT 6, Motorola Edge 50 Ultra, Motorola Razr 50 Ultra, Xiaomi 14T/Pro, Xiaomi MIX Flip에서 사용할 수 있습니다.
- 지원되는 모달: AICore는 현재 Gemini Nano의 텍스트 모달을 지원합니다.
추가 기기 및 모달리티 지원은 Google에서 적극적으로 투자하는 분야입니다.
사용 사례
클라우드 서버에 비해 휴대기기의 리소스가 제한되어 있으므로 기기 내 생성형 AI 모델은 효율성과 크기에 중점을 두고 설계됩니다. 이 최적화는 더 일반화된 애플리케이션보다 잘 정의된 특정 태스크에 우선순위를 둡니다. 적합한 사용 사례는 다음과 같습니다.
- 텍스트 문구 변경: 텍스트의 어조와 스타일을 수정합니다 (예: 캐주얼에서 정중함으로).
- 스마트 답장: 채팅 대화목록 내에서 문맥과 관련된 응답을 생성합니다.
- 교정: 맞춤법 및 문법 오류를 식별하고 수정합니다.
- 요약: 긴 문서를 간결한 요약(단락 또는 글머리기호)으로 압축합니다.
최적의 성능을 위해 메시지 표시 전략 문서를 참고하세요. 이러한 사용 사례를 직접 살펴보려면 샘플 앱을 다운로드하고 Gemini Nano를 실험해 보세요.
Gemini Nano는 여러 Google 앱에서 사용됩니다. 다음은 몇 가지 예입니다.
- TalkBack: Android의 접근성 앱인 TalkBack은 Gemini Nano의 다중 모드 입력 기능을 활용하여 시각 장애가 있는 사용자를 위한 이미지 설명을 개선합니다.
- Pixel Voice Recorder: Pixel Voice Recorder 앱은 Gemini Nano 및 AICore를 사용하여 온디바이스 요약 기능을 지원합니다. 녹음기팀은 더 긴 녹음 파일을 지원하고 더 높은 품질의 요약을 제공하기 위해 최신 Gemini Nano 모델을 채택했습니다.
- Gboard: Gboard 스마트 답장은 AICore를 통해 온디바이스 Gemini Nano를 활용하여 정확한 스마트 답장을 제공합니다.