이 가이드에서는 생성형 AI (GenAI)를 사용하여 Android 애플리케이션을 빌드하는 개발자에게 중요한 정보를 제공합니다. 생성형 AI 통합은 표준 소프트웨어 개발을 넘어선 고유한 문제를 야기합니다.
이 가이드는 새롭게 등장하고 진화하는 AI 위험을 반영하기 위해 지속적으로 업데이트됩니다. 이 콘텐츠를 사용하여 생성형 AI 기능을 앱에 통합하는 데 따른 심각한 위험을 이해하고 효과적인 완화 전략을 알아보세요.
프롬프트 인젝션
공격자는 모델이 보안 및 안전 정책을 우회하거나 의도하지 않은 작업을 수행하도록 속이기 위해 악의적인 입력 (프롬프트)을 만듭니다. 공격이 성공하면 모델이 민감한 정보를 공개하거나, 유해한 콘텐츠를 생성하거나, 의도하지 않은 작업을 실행하여 사용자 신뢰를 손상시킬 수 있습니다. 프롬프트 인젝션 공격을 완화하는 방법을 알아보세요.
민감한 정보 공개
생성형 AI 모델은 민감한 정보가 공개될 위험이 크며, LLM과 애플리케이션 컨텍스트 모두에 영향을 미치는 광범위한 데이터가 유출될 수 있습니다. 모델이 이 기밀 데이터를 다른 사용자에게 출력하거나, 서비스형 머신러닝 (MLaaS) 제공업체가 프롬프트를 안전하지 않게 저장하거나, 악의적인 행위자가 시스템을 악용하여 내부 로직을 공개하는 경우 유출이 발생할 수 있습니다. 지식 재산 침해 및 규제 처벌 (예: GDPR, CCPA)부터 사용자 신뢰의 완전한 상실 및 시스템 침해에 이르기까지 결과는 심각합니다. 민감한 정보 공개 위험을 완화하는 방법을 알아보세요.
에이전트에 과도한 권한 부여
LLM 에이전트를 함수 또는 도구와 통합하여 작업을 수행하면 보안 위험이 발생할 수 있습니다. 함수 호출을 악용하는 악성 프롬프트는 의도치 않은 데이터 손실을 초래할 수 있습니다. 개발자는 유해한 AI 작업을 방지하기 위해 안전 장치 (예: 사용자 동의, 유효성 검사, 액세스 제어)를 구현해야 합니다. 과도한 대행사 위험을 완화하는 방법을 알아보세요.
요약
생성형 AI 시스템을 보호하려면 개발 수명 주기, 사용자 및 시스템과의 상호작용과 같은 AI 모델이 제기하는 고유한 문제를 해결하기 위해 기존 사이버 보안 관행을 확장하는 다각적인 접근 방식이 필요합니다. 이 포괄적인 노력에는 사전 테스트, 지속적인 모니터링, 강력한 거버넌스, 진화하는 규제 프레임워크 준수가 포함됩니다. 이러한 원칙을 실천하는 좋은 방법은 SAIF 위험 자체 평가와 같은 업계 도구를 사용하여 위험을 더 잘 이해하고 완화하는 것입니다.