LLMによるコード生成のセキュリティとコストにお悩みのCISOやエンジニアリングリーダーの皆様へ。

AIモデルを全面的に導入する前に、当社独自のLLMベンチマークデータである「SCW AI Trust Index」をご確認ください

サイバーセキュリティ業界は今、圧倒的な状況にあります。Anthropic社のMythos（および、リリース直後に制限がかけられたFable 5）のようなツールは、多くのセキュリティリーダーにとって、AI技術によってもたらされたコード生成量の増大や、攻撃速度の劇的な変化に対応するため、セキュリティプログラムを急速に強化するきっかけとなっています。

こうした状況下では、AIを活用した侵害リスクの急増に対抗するため、予防的（そして正直に言えば、事後的）なセキュリティ対策に飛びつきたくなるものです。しかし、現在すべてのCISOに影響を及ぼしている、より深刻な問題があります。それは、ソフトウェア開発環境におけるLLMモデルの選択です。シャドーAIがもたらす結果については広く知られていますが、これは懸念すべきリスクのほんの一部に過ぎません。私たちはコード生成にトークンを支払い、AIを使ってセキュアコーディングの問題を見つけるためにさらにトークンを支払い、そしてセキュリティ修正を生成・適用するために再びトークンを支払うべきではありません。すべてのAIモデルは、特にフレームワークやプログラミング言語間でパフォーマンスを比較した場合、脆弱性を生み出す可能性があり、その発生率は異なります。この点において、既存の技術スタック、言語、フレームワークをサポートするための適切なモデルを選択する必要がありますが、これまでそのための情報は入手困難でした。

Secure Code Warrior partnered with key researchers at RMIT University, and we’ve spent months asking a deceptively simple question: when you hand your codebase over to an AI model, exactly how much security risk are you inheriting? The answer, based on our empirical study of 1700+ complete application codebases generated across leading frontier and budget models and eleven language frameworks, is: more than you think, and in ways that will surprise you.

セキュリティプログラムをAI時代に適応させるにあたり、当社の調査レポートから得られる5つの重要なポイントをご紹介します。

1. コストはセキュリティの指標にはならない

コストをかければ、より安全なコードが生成されると想定したくなるものです。しかし、当社のデータは、現実はもっと複雑であることを示しています。GPT 5.1は、当初の調査において、1回あたりの平均コスト5.60ドルで、正規化されたセキュリティスコアで最高値となる79.6（100点満点中）を記録しました。一方、Claude Sonnet 4.5は、1回あたり43.99ドルという、はるかに高いコストをかけながら、スコアは71.2と大幅に低い結果となりました。つまり、8倍近いコストをかけて、より低いセキュリティ成果しか得られなかったのです。

このコストの差は、トークン単価だけで決まるものではありません。例えば、Anthropicのモデルはエージェント型のコーディングループ内でツール呼び出しを大幅に多く実行しており、Sonnet 4.5の実行では1億7600万トークンを出力したのに対し、GPT 5.1では4200万トークンでした。活動量が増え、トークン消費量が増え、コストが上がったからといって、セキュリティが向上するわけではありません。予算は品質の代わりにはならないため、測定の代用としないようにしてください。

2. すべてのモデルには「脆弱性の指紋」がある

1700以上のコードベースと16のモデルを調査した結果、検証済みの真陽性（True Positive）として83の固有のCWEカテゴリを特定しました。これらはランダムなものではなく、各モデルはフレームワークや言語に関係なく、一貫したパターンを示します。6つのモデルを対象とした当初の調査では、特定された87のCWEカテゴリのうち39がすべてのモデルで共通して発生しており、脆弱性の大部分はベンダー固有ではなく、モデルに依存しないものであることがわかりました。例えば、AnthropicのClaudeモデルはハードコードされた認証情報（CWE-798）を生成する傾向が繰り返し見られました。Gemini 2.5 Flashは、本番環境のビルドにデバッグコードを残す傾向が一貫して見られました（CWE-489）。

これらの「指紋」は、ランダムなノイズではなく、学習データやアライメントに起因するバイアスを示唆しています。この予測可能性は、実際には有用です。モデルの弱点さえ把握していれば、それに基づいたスキャンルールの設定や、生成後のチェックを構成できるからです。

3. 普遍的な脆弱性が存在し、テストしたすべてのモデルがそれを回避できていない

例えば、現在のライブインデックスにおいて最も蔓延している調査結果の一つがCWE-532（ログファイルへの機密情報の挿入）であり、真陽性として6,765回確認されています。

すべてのモデルは、セキュリティチェックリストや失敗を誘発するための簡略化されたプロンプトではなく、製品チームが日常的に作成するような、ごく一般的なアプリケーション仕様書に基づいて作業を行いました。これらの脆弱性の多くは、特殊なエッジケースではなく、ソースコード内に残された認証情報、過度に寛容なデフォルト設定、欠落した認可チェックなど、いわゆる「不作為による失敗」を示しています。これらは、明示的に指示すれば即座に修正されるような欠陥であり、モデルは一般的な仕様書から自律的にセキュリティを推論することはありません。唯一の例外は、最も多く見つかった「機密データのログ出力」です。これはモデルが忘れていたわけではなく、未熟な開発者が行うのと同じように、モデルが自発的に書き込んだものです。人間が明示的に指示したわけではなく、モデルが自らその動作を採用したのです。モデルはプロンプトに記述された内容を忠実に実装しますが、セキュリティ強化の観点から言及されていないすべての事項については、同様に忠実（かつ無防備）に処理してしまいます。

4. フレームワークのコンテキストがモデルのパフォーマンスを左右する

この発見は、組織がAI支援開発をどう捉えるべきかを再定義するはずです。調査により、モデルの強みは技術スタックによって異なることが明らかになりました。あるフレームワークで優れたパフォーマンスを発揮するモデルが、別のフレームワークでは期待を下回る可能性があるため、チームは実際に使用する環境でモデルを評価する必要があります。

現在のSCW AI Trust Indexでは、モデル間の差よりもフレームワーク間の差の方がはるかに大きいことがわかっています。テストした全13モデルで集計した「JavaScript Basic」の合計リスクスコアは6,770ですが、調査で最も安全だった「C#/.NET Basic」はわずか111でした。フレームワークの選択だけで、セキュリティリスクに61倍もの差が生じているのです。

当初の調査では、その理由も判明しています。ASP.NETの組み込みのアンチフォージェリトークンや、Java Springの宣言的セキュリティモデルなど、セキュリティのデフォルト設定が組み込まれたフレームワークでは、どのモデルが生成しても劇的に安全なコードが作成されました。逆に、JavaScript Basicのような生の環境では、モデルごとの差が壊滅的に増幅されます。可能であれば、組織内でフレームワークを選択する際は、セキュリティの意図を最優先してください。

5. すべてのタスクで優れたモデルは存在せず、モデルの選定にはフレームワークへの理解が不可欠です。

当初の調査では、GPT 5.1が全体で首位でしたが、Swift iOSでは最下位でした。Sonnet 4.5はJava Springコードにおいて調査全体で最も安全な結果を出しましたが、Java EE APIでは最下位となりました。Gemini 2.5 ProはPythonとSwiftで圧倒的な強さを見せた一方、Javaでは中程度の評価でした。万能で安全なモデルは存在しません。

複数の言語を使用する組織は、スタック全体にわたるモデル固有の死角を受け入れるか、各フレームワークのセキュリティプロファイルに最適なモデルを割り当てるルーティング戦略を採用する必要があります。どのモデルを選択するにせよ、セキュリティスキャンは必須です。調査したすべてのフレームワークにおいて、最も優れたモデルであっても検証済みの脆弱性が検出されました。

コストの圧力は今後も続きます。エージェント型ワークフローの拡大に伴い、ツール呼び出しの回数、再生成サイクル、タスクあたりのトークン数が増加し、コストも増大します。タスクおよびトークンあたりのコスト上昇により、支出を抑えるために旧世代や安価なモデルへの移行を検討する組織が増えるでしょう。しかし、私たちのデータは、この判断が直感ではなく根拠に基づくべきであることを示しています。GPT 5 Miniは調査で最も安価でしたが、同時に最もセキュリティが低いモデルでもありました。コストの課題は現実であり、推測ではなく測定に基づいて判断を下す必要があります。

重要なのはスキャンを行うかどうかではなく、セキュリティリーダーが適切なデータ、リスクシグナル、AIの可観測性を収集し、何をスキャンすべきかを把握することです。ここでAIガバナンスが重要な役割を果たします。私たちは、この不可欠な情報を提供する包括的なソリューションを今すぐ提供可能です。‍

‍

>>> 詳細はこちら: SCW Trust Agent: AI
>>> ダウンロード: 電子書籍
>>> 確認する: ベンチマーク特設サイト (調査レポート全文はこちら)