AIを活用したセキュアなソフトウェア開発における批判的思考の再構築

本記事はCybersecurity Insiders に掲載された記事を基に、最新情報を加えて再構成したものです。

‍

LLM（大規模言語モデル）によるコード生成から高度なエージェント型AIまで、AIアシスタントの導入はソフトウェア開発者に多大な恩恵をもたらしています。しかし、MITによる最新の研究は、AIへの過度な依存がユーザーの批判的思考力を低下させる可能性があると警鐘を鳴らしています。

AIの普及に伴い、関連するセキュリティリスクも増大している現状において、この認知能力の低下は破滅的な結果を招きかねません。開発者や組織にとって、ソフトウェア開発ライフサイクル（SDLC）の早期段階でセキュリティ脆弱性を特定、理解、軽減することは倫理的責務です。残念ながら多くの組織がこの責務を軽視しており、AIに起因するものを含むセキュリティ脅威の急増に直面しています。

AIの生産性と効率性は否定できないため、議論すべきは「使うかどうか」ではなく「いかに効果的に適用するか」です。セキュリティを確保しつつ成果を最大化するには、コードの生成元がどこであれ、自身のコードを深く理解するセキュリティスキルの高い開発者の存在が鍵となります。

AIへの過度な依存が招く認知能力の低下

6月初旬に発表されたMITメディアラボの研究では、ボストン近郊の5つの大学の学生54名を対象に、エッセイ執筆時の認知機能をテストしました。学生を「LLMを使用するグループ」「検索エンジンを使用するグループ」「外部ツールを使わず自力で執筆するグループ」の3つに分け、脳波計（EEG）を用いて脳活動と認知負荷を測定しました。その結果、自力で執筆したグループが最も広範囲かつ活発な脳活動を示し、検索エンジン使用グループがそれに続き、LLM（OpenAIのChatGPT-4）を使用したグループの脳活動が最も低いことが判明しました。

思考をツールに委ねれば、自身の思考量が減るのは当然の結果かもしれません。しかし、この研究ではLLMユーザーが執筆内容との結びつきが弱いことも明らかになりました。執筆直後であっても内容を思い出せない学生が83%にのぼり、正確な引用ができた学生は一人もいませんでした。他のグループと比較して、書き手としての主体性が欠如していたのです。自力で執筆したグループは主体性が最も高く、脳活動も活発で、最も独創的な論文を作成しました。一方、LLMグループの結果は画一的で、審査員からも容易にAIの作成物だと見抜かれました。

開発者にとって重要なのは、AI利用による批判的思考力の減退です。一度の利用でスキルが失われることはありませんが、継続的な利用は能力の衰退を招きます。研究は、AIに頼るのではなく「AIを補助として使う」ことで批判的思考を維持できる可能性を示唆しています。しかし何より重要なのは、開発者が安全なソフトウェアを構築するためのセキュリティスキルを習得し、それを日常業務の不可欠な一部として実践することです。

開発者教育：AI駆動型エコシステムにおける必須事項

MITの研究結果があっても、あらゆる分野で進むAIの導入が止まることはないでしょう。スタンフォード大学の2025年AIインデックスレポートによると、2024年にAIを利用していると回答した組織は78%に達し、2023年の55%から増加しました。この成長は今後も続くと予想されますが、利用の拡大はリスクの増大と表裏一体です。同レポートでは、AI関連のサイバーセキュリティインシデントが同期間に56%増加したことが報告されています。

スタンフォード大学のレポートは、AIガバナンスの改善が不可欠であることを強調しています。多くの組織がAIのリスクを認識しているものの、実際にセキュリティ対策を講じているのは3分の2未満であり、サイバー攻撃に対して脆弱な状態にあるだけでなく、厳格化する規制要件に違反するリスクも抱えています。

AIの利用を止めることが現実的でない以上、より安全かつセキュアに利用する方法を模索すべきです。MITの研究はそのヒントを与えてくれます。研究の第4セッションでは、LLMユーザーを「自力で書き始めてからChatGPTに助けを求めるグループ（Brain-to-LLM）」と「ChatGPTに初稿を作成させてから修正するグループ（LLM-to-Brain）」に分けました。自力で執筆した後にAIで推敲したBrain-to-LLMグループは、記憶の定着率や脳活動が高く、検索エンジン使用グループに近い結果を示しました。一方、AIに初稿を任せたLLM-to-Brainグループは、脳活動の連携が弱く、LLM特有の語彙に偏る傾向が見られました。

Brain-to-LLMのアプローチは脳の活性化に役立つ可能性がありますが、開発者には、セキュアなソフトウェアを記述し、AIが生成したコードの誤りやセキュリティリスクを批判的に評価するための専門知識も必要です。特に、プロンプトインジェクション攻撃のような脆弱性をAIが混入させる可能性など、AIの限界を理解しなければなりません。

そのためには、企業全体のセキュリティ文化として、開発者が効果的かつ柔軟な実践的トレーニングを継続的に受けられる「人間中心のSDLC」へと変革する必要があります。開発者は、AIが主導するソフトウェア開発環境において、急速に進化する高度な脅威に対応できるようスキルを磨き続けなければなりません。これにより、プロンプトインジェクションのような攻撃を防ぐことが可能になります。この保護を機能させるには、セキュアな設計パターンと脅威モデリングに重点を置いた、開発者主導の取り組みが不可欠です。

結論

LLMやエージェント型AIに作業を丸投げすると、ユーザーは受動的な傍観者になってしまいます。研究者らは、これが「批判的思考力の低下、内容への深い理解の欠如、長期記憶の形成不全」を招くと指摘しています。認知的な関与の低下は、意思決定能力の減退にもつながります。

サイバーセキュリティにおいて、批判的思考の欠如は許されません。分散型のクラウド環境におけるソフトウェアの脆弱性が攻撃の標的となる中、セキュリティの基本は、開発者が書いたコードであれAIが生成したコードであれ、セキュアなコードを確保することにあります。AIの能力がいかに優れていても、組織にはこれまで以上に高度な問題解決能力と批判的思考力が求められます。これらはAIにアウトソーシングできるものではありません。

SCW Trust Agentの新しいAI機能は、セキュリティを犠牲にすることなく、SDLCにおけるAI導入を自信を持って管理するために必要な深い可観測性と制御を提供します。詳細はこちら。