커뮤니티2

현재 수 많은 LLM 어플리케이션이 개발되고 있습니다.

플러스제로 또한 LLM을 데이터 분석, 마케팅, 챗봇 등에 활용하고 있는데요

어플리케이션을 개발하는데 있어서 보안이 중요해지고 있습니다.

OWASP Top 10 for LLM Applications(Version 1.1)를 참고해보면 아래와 같은 총 10가지의 보안 이슈에 대해 이야기하고 있습니다. 이 게시물을 통해 해당 이슈들에 대해 간단히 알아보도록 하겠습니다.

LLM01: Prompt Injection

-> 이는 우리가 흔히 알고있는 SQL Injection과 닮아있습니다. 보통 어플리케이션에서 우리는 사용자의 입력을 받게 되는데 이 과정에서 기존 필터링을 무시하거나 우회하여 LLM을 조작하는 행위입니다. 따라서 기존 제작된 프롬프트에 영향을 주지 않도록 설계해야합니다.

Risk: 데이터 유출, 미인가 접속, 의사 결정에 영향

LLM02: Insecure Output Handling

-> 유효성을 검사하지 않고 특정 어플리케이션에서 외부 입력을 처리할 때 발생하는 문제입니다. 가령 사용자의 입력으로 콘텐츠를 생성하는 어플리케이션이라고 했을 때 유해하거나 부적절한 콘텐츠를 생성할 수 있습니다. 혹은 사용자가 입력한 내용을 토대로 HTML을 만들어서 화면에 보여주는 경우 HTML 인젝션을 당해 개인정보 유출등의 사고가 발생할 수도 있습니다.

Risk: 데이터 유출, 특권 권한 상승, 원격 코드 실행 등

LLM03: Training Data Poisoning

-> 사전 훈련 데이터등을 조작, 손상시켜 취약성을 유발하는 위협입니다.

Risk: 모델 효율 저하, 모델 행동 패턴 변화 등

LLM04: Model Denial of Service

-> LLM에서 많은 리소스를 사용하도록 유도하여 성능을 저하시키거나 높은 비용을 발생시킵니다.

Risk: 성능 저하, 모델 효율성 저하, 자원 사용 증가 등

LLM05: Supply Chain Vulnerabilities

-> 학습 과정이나 모델 배포 과정에서 악성 소프트웨어를 포함하여 모델 편향을 유발하고 잘못된 정보를 제공하도록 하는 공격입니다.

Risk: 훈련 데이터 및 모델 무결성 침해, 보안 결점, 인프라 장애 등

LLM06: Sensitive Information Disclosure

-> 실수로 기밀 데이터를 응답에 공개해 무단 데이터 엑세스, 개인 정보 위반, 보안 침해로 이어집니다.

Risk: 개인정보 유출, 개인정보 보호 규정 위반 등

LLM07: Insecure Plugin Design

-> LLM의 플러그인이나 확장 기능이 안전하게 설계되지 않았을 때 발생하는 문제입니다.

Risk: 데이터 유출, 시스템 손상 등

LLM08: Excessive Agency

-> 모델의 자율성이지나치게 커질 때 생기는 문제로 모델이 독립적으로 너무 많은 결정을 내리거나 실행할 수 있을 때 발생하는 문제입니다.

Risk: 남용, 잘못된 결정, 개인정보 침해 등

LLM09: Overreliance

-> 지나치게 LLM에 의존하는 시스템이나 사람은 부정확하거나 부적절한 콘텐츠를 전달받을 수 있습니다. LLM의 세 가지 문제(할루시네이션, 지식단절(최신 정보), 도메인지식 부재)와도 연관된 이슈로 RAG등을 구성하여 사용하여야 합니다.

Risk: 잘못된 의사결정, 법적 문제 등

LLM10: Model Theft

-> 독점 LLM 모델에 대한 무단 액세스 문제입니다.

Risk: 경제적 손실, 경쟁 우위 훼손, 민간 정보에 대한 접근 등

위 문제들은 어플리케이션을 개발할 때 항상 염두해야 하며 프롬프트 혹은 시스템을 통해 예방할 수 있습니다.

OWASP에서 지속적으로 버전이 오를때 마다 업데이트 하고 있기 때문에 수시로 확인하는 것을 추천합니다.