16の主要AIモデルと1,760のコードベースを対象としたテストにより、リスクはモデルやフレームワークごとに予測可能であることが判明しました。これにより、セキュリティリーダーはギャップを埋めるためのデータを得ることができます。
SCW AI Trust Indexは、主要なAIモデルがどの程度の頻度でセキュリティ脆弱性を含むコードを生成するかを測定する、常に更新されるベンチマークです。一度公開して終わりではなく、新しいモデルがリリースされるたびに更新されます。
脆弱性には予測可能なパターンがあります。1,760のコードベースを調査した結果、ログ出力の不備、インジェクション攻撃、アクセス制御の不備といった同じ種類の脆弱性が繰り返し発生していることが判明しました。AIが生成するリスクはランダムではなく、再現性があるのです。
16の各モデルには、それぞれ特有のOWASPカテゴリの傾向があります。そのため、チームは特定のモデルがどこでリスクを生じさせる可能性が高いかを、事後対応ではなく予測することができます。
フレームワークによってセキュリティの優位性は異なります。Java Enterprise APIではGPT-5.1が、Python DjangoではClaude Opus 4.8がリードしています。最適なモデルは、チームが何を構築しているかによって決まります。
テストした16のモデルのうち、最も高価なモデル（Claude Fable 5、1実行あたり174.94ドル）は総合2位にランクインしましたが、最も安価なモデル（Gemini 2.5 Flash、1実行あたり0.58ドル）は平均を下回りました。価格はセキュリティの予測指標にはなりません。
データセット全体で86種類のCWEが特定されました。そのうち3つが、確認された全調査結果の不釣り合いな割合を占めています。
| CWE ID | 氏名 | 真陽性 | 中程度のリスク |
|---|---|---|---|
| CWE-532 | ログファイルへの機密情報の挿入 | 8,543 | 80.06 |
| CWE-79 | Webページ生成時における入力の不適切な無害化（クロスサイトスクリプティング） | 2,949 | 90.57 |
| CWE-798 | ハードコードされた認証情報の使用 | 1,348 | 68.5 |
正規化スコア（0～100）。数値が高いほど、他のモデルと比較して脆弱性が少ないことを示します。100というスコアは、このデータセット内で最も脆弱性が少ないことを意味し、脆弱性がゼロであることを示すものではありません。
当初の6モデルのスコアがRMITの公開研究と異なるのは、正規化対象のプールが6モデルから16モデルに拡大されたためです。スコアは常に全コホートに対する相対値となります。
モデルの総合順位は、特定のスタックにおいて最も安全な選択肢であることを保証するものではありません。
| フレームワーク | 主要モデル |
|---|---|
| Java Enterprise API | GPT-5.1 |
| Java Spring | Claude Sonnet 4.5 |
| Python Django | Claude Opus 4.8 |
| C# (.NET) | GPT-5.5 |
| C | Claude Fable 5 |
16種類のAIモデルが、認証、ファイルアップロード、決済、データベースアクセスといった複雑な経費管理アプリケーションを、11のフレームワークで、各組み合わせにつき10回ずつ生成しました。すべてのコードベースは同一のオープンソース静的解析ツール（Semgrep、Bearer、Bandit）でスキャンされ、すべての検出結果は同一のエージェントプロセスを用いて誤検知がないか検証されました。
当初の調査および手法はRMIT大学との提携により開発され、最初の6つのモデルを対象としていました。Secure Code Warriorは、同じ手法を用いて16のモデルまで独自に調査を拡大しました。
調査結果の概要を素早く共有できるビジュアルサマリーをダウンロードするか、モデル、フレームワーク、脆弱性タイプ別にインタラクティブなデータセット全体をご覧ください。
