16개의 주요 AI 모델과 1,760개의 코드베이스를 대상으로 테스트한 결과, 위험은 모델 및 프레임워크별로 예측 가능하다는 사실을 확인했습니다. 이를 통해 보안 책임자는 격차를 해소하는 데 필요한 데이터를 확보할 수 있습니다.
SCW AI 신뢰 지수(AI Trust Index)는 주요 AI 모델이 보안 취약점이 포함된 코드를 생성하는 빈도를 측정하는 실시간 벤치마크입니다. 한 번 발표하고 방치하는 것이 아니라, 새로운 모델이 출시될 때마다 업데이트됩니다.
취약점은 예측 가능한 패턴을 따릅니다. 1,760개의 코드베이스 전반에서 로깅 실패, 인젝션 결함, 잘못된 액세스 제어와 같은 동일한 유형의 취약점이 반복적으로 나타납니다. AI가 생성한 위험은 무작위가 아닌 반복적인 특성을 띱니다.
16개 모델 각각은 고유하고 반복적인 OWASP 카테고리 조합을 나타내므로, 팀은 특정 모델이 어디에서 위험을 초래할지 단순히 대응하는 것을 넘어 미리 예측할 수 있습니다.
보안 우위는 프레임워크에 따라 달라집니다. Java Enterprise API에서는 GPT-5.1이, Python Django에서는 Claude Opus 4.8이 앞서고 있습니다. 팀이 무엇을 개발하느냐에 따라 적합한 모델이 달라집니다.
테스트한 16개 모델 중 가장 비싼 모델(Claude Fable 5, 실행당 $174.94)은 전체 2위를 차지한 반면, 가장 저렴한 모델(Gemini 2.5 Flash, 실행당 $0.58)은 평균 이하의 점수를 기록했습니다. 가격은 보안 수준을 보장하지 않습니다.
데이터셋 전반에서 86개의 고유한 CWE가 식별되었습니다. 그중 3개가 전체 확인된 결과의 불균형적인 비중을 차지합니다.
| CWE ID | 이름 | 진양성 | 평균 위험도 |
|---|---|---|---|
| CWE-532 | 로그 파일 내 민감 정보 삽입 | 8,543 | 80.06 |
| CWE-79 | 웹 페이지 생성 시 입력값의 부적절한 중화 ('크로스 사이트 스크립팅') | 2,949 | 90.57 |
| CWE-798 | 하드코딩된 자격 증명 사용 | 1,348 | 68.5 |
정규화된 점수(0~100). 점수가 높을수록 다른 모델 대비 취약점이 적음을 의미하며, 100점은 이 데이터셋에서 가장 적은 취약점을 보유했다는 뜻이지 취약점이 전혀 없다는 의미는 아닙니다.
기존 6개 모델의 점수가 발표된 RMIT 연구와 다른 이유는 정규화 대상이 6개에서 16개 모델로 확대되었기 때문입니다. 점수는 항상 전체 코호트를 기준으로 상대적으로 산출됩니다.
모델의 종합 순위가 특정 스택에 가장 안전한 선택임을 보장하지는 않습니다.
| 프레임워크 | 선도 모델 |
|---|---|
| Java Enterprise API | GPT-5.1 |
| Java Spring | Claude Sonnet 4.5 |
| Python Django | Claude Opus 4.8 |
| C# (.NET) | GPT-5.5 |
| C | Claude Fable 5 |
16개의 AI 모델이 각각 인증, 파일 업로드, 결제, 데이터베이스 액세스 기능을 포함한 동일한 복잡도의 경비 관리 애플리케이션을 11개의 프레임워크에서 10회씩 반복 생성했습니다. 모든 코드베이스는 동일한 오픈소스 정적 분석 도구(Semgrep, Bearer, Bandit)로 스캔되었으며, 모든 발견 사례는 동일한 에이전트 프로세스를 통해 오탐 여부를 검증했습니다.
본 연구와 방법론은 RMIT 대학교와의 파트너십을 통해 처음 개발되었으며, 초기 6개 모델을 대상으로 테스트를 진행했습니다. Secure Code Warrior는 동일한 방법론을 사용하여 16개 모델까지 연구 범위를 독자적으로 확장했습니다.
연구 결과를 빠르고 간편하게 공유할 수 있는 시각적 요약본을 다운로드하거나, 모델, 프레임워크, 취약점 유형별로 구성된 전체 인터랙티브 데이터셋을 살펴보세요.
