하이브리드 추론

Google은 클라우드 기반 추론과 기기 내 추론을 모두 지원하는 업계 최고의 AI 모델과 API를 다양하게 제공합니다. 하이브리드 추론을 사용하면 로컬 기기와 클라우드 간에 AI 워크로드를 원활하게 균형을 맞추어 성능, 비용, 가용성을 최적화할 수 있습니다.

하이브리드 추론은 Android 앱에 두 가지 주요 이점을 제공합니다.

  • 도달범위 극대화: 기기 하드웨어 또는 OS 제약으로 인해 Gemini Nano와 같은 온디바이스 모델을 사용할 수 없는 경우 클라우드 모델 서빙이 중요한 대체 수단이 됩니다. 이렇게 하면 최대한 다양한 사용자 기기에서 AI 기능이 계속 작동합니다.
  • 비용 및 오프라인 기능: 온디바이스 모델을 사용하면 사용자가 오프라인일 때 AI 기능이 원활하게 작동합니다. 또한 일상적인 작업을 로컬 기기로 오프로드하면 클라우드 추론 비용을 줄일 수 있습니다.

온디바이스 추론과 클라우드 추론의 이점은 각각 다음과 같습니다.

온디바이스 추론 클라우드 추론
오프라인으로 사용 가능 모든 기기와 호환
추론 비용 없음 고급 모델 기능

구현 옵션

다음 방법을 사용하여 하이브리드 추론을 구현할 수 있습니다.

Firebase AI Logic 하이브리드 API

Firebase AI Logic 하이브리드 API는 클라우드와 기기 내 모델 간의 추론 라우팅을 위한 단일 통합 인터페이스를 제공합니다.

  • 자동 전환: 가능한 경우 기기 내에서 AI 태스크를 실행하도록 앱을 구성할 수 있습니다. 즉, 앱의 기능이 오프라인으로 작동하고, 개인 정보 보호가 강화되며, 클라우드 추론 비용이 발생하지 않습니다. 온디바이스 모델을 사용할 수 없는 경우 SDK는 요청을 클라우드 호스팅 Gemini 모델로 자동 라우팅할 수 있습니다.
  • 악용 방지: 모바일 앱에서 Cloud API를 직접 호출하면 사용자 인증 정보가 노출되어 원치 않는 요금이 청구될 수 있습니다. 하지만 Firebase AI Logic을 사용하면 Firebase 앱 체크도 시행되므로 변조되지 않은 실제 앱만 클라우드 Gemini API에 액세스할 수 있는지 확인하여 악용을 방지할 수 있습니다.
  • 지출 한도: 클라우드 호스팅 모델로 요청을 라우팅할 때 지출 한도를 구성하여 클라우드 예산을 보호하고 예기치 않은 요금을 방지할 수 있습니다.

앱에서 onDeviceConfig 매개변수를 정의하여 추론 모드를 제어하고 라우팅을 관리합니다.

  • PREFER_ON_DEVICE: 온디바이스 모델을 사용하려고 시도합니다. 온디바이스 모델을 사용할 수 없거나 요청에 지원되지 않는 경우 클라우드 호스팅 모델로 자동 대체됩니다.

  • PREFER_IN_CLOUD: 기기가 온라인 상태이고 모델을 사용할 수 있는 경우 클라우드 호스팅 모델을 사용하려고 시도합니다. 기기가 오프라인 상태인 경우에만 온디바이스 모델로 대체됩니다.

  • ONLY_ON_DEVICE: 온디바이스 모델을 사용하려고 시도합니다. 온디바이스 모델을 사용할 수 없거나 요청에 지원되지 않는 경우 예외를 발생시킵니다.

  • ONLY_IN_CLOUD: 기기가 온라인 상태이고 모델을 사용할 수 있는 경우 클라우드 호스팅 모델을 사용하려고 시도합니다. 그 외의 모든 경우에는 예외를 발생시킵니다.

val model = Firebase.ai(backend = GenerativeBackend.Companion.googleAI())
    .generativeModel(
        modelName = "gemini-3.5-flash",
        onDeviceConfig = OnDeviceConfig(mode = InferenceMode.Companion.PREFER_ON_DEVICE)
    )

val response = model.generateContent("Write a story about a green robot.")
print(response.text)

구현 세부정보는 Firebase 문서를 검토하고 AI 카탈로그의 하이브리드 AI 샘플을 살펴보세요.

워크로드를 클라우드로 전환하면 클라우드 API 엔드포인트가 노출될 수 있습니다. Firebase AI Logic을 사용하면 Firebase 앱 체크를 적용하여 클라우드 기반 Gemini 모델에 클라이언트 측 앱에서 직접 안전하게 액세스할 수 있습니다. 이를 통해 클라우드 기반 추론이 무단 액세스 및 결제 악용으로부터 보호됩니다. 이렇게 하면 하이브리드 대체 메커니즘을 사용 가능하고 안전하게 유지할 수 있습니다.

커스텀 라우팅

앱에 특정 비즈니스 또는 UX 요구사항이 있는 경우 맞춤 라우팅 로직을 구현할 수도 있습니다. 이를 통해 다음과 같은 실시간 요소를 기반으로 추론 경로를 동적으로 결정할 수 있습니다.

  • 네트워크 지연 시간
  • 기기 시스템 상태 (예: 배터리 잔량 및 프로세서 부하)
  • 사용자 쿼리 복잡성

이 맞춤 하이브리드 추론 접근 방식은 자체 맞춤 라우팅을 구현하여 다음과 같은 안정적인 AI 환경을 제공하는 주요 앱에서 사용됩니다.

  • Gboard: Gboard는 맞춤 하이브리드 추론을 사용하여 교정 및 재작성과 같은 쓰기 도구를 지원합니다.

  • 카카오모빌리티: 카카오모빌리티는 택배 서비스에 맞춤 하이브리드 추론을 사용하여 주문 양식을 간소화하기 위해 자연어 메시지에서 수신자 이름, 주소, 전화번호를 자동으로 추출하는 엔티티 추출 도구를 구축했습니다.