Recuperar el pensamiento crítico en el desarrollo de software seguro asistido por IA

Una versión de este artículo apareció en Cybersecurity Insiders. Ha sido actualizado y distribuido aquí.

‍

La adopción de asistentes de inteligencia artificial, desde creadores de código basados en modelos de lenguaje extensos (LLM) hasta sofisticados agentes de IA, ofrece a los desarrolladores de software una gran cantidad de beneficios. Sin embargo, hallazgos recientes, destacados por un nuevo estudio del MIT, lanzan una advertencia: una dependencia excesiva de la IA podría llevar a los usuarios a perder sus habilidades de pensamiento crítico.

En un panorama de software donde los riesgos de seguridad relacionados con la IA han crecido al mismo ritmo que su adopción, esta pérdida de aptitud cognitiva podría conducir a resultados catastróficos. Es un imperativo ético para los desarrolladores y las organizaciones identificar, comprender y mitigar de forma proactiva las vulnerabilidades de seguridad desde las primeras etapas del ciclo de vida de desarrollo de software (SDLC). Aquellos que descuiden este deber, lo cual, alarmantemente, describe a muchas organizaciones hoy en día, se enfrentan a un aumento igualmente pronunciado en las amenazas de seguridad potenciales, algunas de las cuales son directamente atribuibles a la IA.

El debate no es si usar IA, ya que los beneficios en productividad y eficiencia son demasiado grandes para descartarlos. En cambio, la verdadera pregunta es cómo aplicarla de la manera más efectiva: salvaguardando la seguridad mientras se maximiza el crecimiento de la producción. Y esto se logra mejor mediante desarrolladores expertos en seguridad que comprendan profundamente su código, sin importar dónde se haya originado.

La dependencia excesiva de la IA conlleva el riesgo de un deterioro cognitivo

El estudio del Media Lab del MIT, publicado a principios de junio, puso a prueba las funciones cognitivas de 54 estudiantes de cinco universidades del área de Boston mientras escribían un ensayo. Los estudiantes se dividieron en tres grupos: aquellos que usaban un modelo de lenguaje extenso (LLM), aquellos que usaban motores de búsqueda y aquellos que seguían el método tradicional sin ayuda externa. El equipo de investigación utilizó electroencefalografía (EEG) para registrar la actividad cerebral de los participantes y evaluar el compromiso y la carga cognitiva. El equipo descubrió que el grupo tradicional, que dependía solo de su cerebro, exhibió la actividad neuronal más fuerte y variada, mientras que los que usaron motores de búsqueda mostraron una actividad moderada, y los que usaron un LLM (en este caso, ChatGPT-4 de OpenAI) exhibieron la menor cantidad de actividad cerebral.

Esto puede no ser particularmente sorprendente; después de todo, cuando contratas una herramienta para que piense por ti, vas a pensar menos. Sin embargo, el estudio también reveló que los usuarios de LLM tenían una conexión más débil con sus trabajos: el 83% de los estudiantes tuvo dificultades para recordar el contenido de sus ensayos incluso minutos después de terminarlos, y ninguno de los participantes pudo proporcionar citas precisas. Faltaba un sentido de autoría en comparación con los otros grupos. Los participantes que trabajaron solo con su cerebro no solo tuvieron el mayor sentido de propiedad y mostraron la gama más amplia de actividad cerebral, sino que también produjeron los trabajos más originales. Los resultados del grupo de LLM fueron más homogéneos y, de hecho, fueron fácilmente identificados por los jueces como trabajo de IA.

Desde el punto de vista de los desarrolladores, el resultado clave es la disminución del pensamiento crítico derivada del uso de la IA. Un solo caso de dependencia de la IA puede no causar la pérdida de habilidades de pensamiento esenciales, por supuesto, pero el uso constante a lo largo del tiempo puede hacer que esas habilidades se atrofien. El estudio sugiere una forma de ayudar a mantener vivo el pensamiento crítico mientras se usa la IA —haciendo que la IA ayude al usuario en lugar de que el usuario ayude a la IA—, pero el énfasis real debe estar en garantizar que los desarrolladores tengan las habilidades de seguridad que necesitan para crear software seguro y que utilicen esas habilidades como una parte rutinaria y esencial de su trabajo.

Formación de desarrolladores: esencial para el ecosistema impulsado por la IA

Un estudio como el del MIT no detendrá la adopción de la IA, que avanza en todos los sectores. El Informe del Índice de IA 2025 de la Universidad de Stanford encontró que el 78% de las organizaciones informaron usar IA en 2024, en comparación con el 55% en 2023. Se espera que ese tipo de crecimiento continúe. Pero el mayor uso se refleja en un mayor riesgo: el informe encontró que los incidentes de ciberseguridad relacionados con la IA crecieron un 56% durante el mismo período.

El informe de Stanford subraya la necesidad vital de una mejor gobernanza de la IA, ya que también encontró que las organizaciones son laxas en la implementación de salvaguardas de seguridad. Aunque prácticamente todas las organizaciones reconocen los riesgos de la IA, menos de dos tercios están haciendo algo al respecto, lo que las deja vulnerables a una gran cantidad de amenazas de ciberseguridad y potencialmente en violación de requisitos de cumplimiento normativo cada vez más estrictos.

Si la respuesta no es dejar de usar la IA (lo cual nadie hará), debe ser usarla de manera más segura. El estudio del MIT ofrece una pista útil sobre cómo hacerlo. En una cuarta sesión del estudio, los investigadores dividieron a los usuarios de LLM en dos grupos: aquellos que comenzaron el ensayo por su cuenta antes de recurrir a ChatGPT en busca de ayuda, conocidos en el estudio como el grupo "Cerebro a LLM", y aquellos que hicieron que ChatGPT preparara un primer borrador antes de prestarle su atención personal, conocidos como el grupo "LLM a Cerebro". El grupo "Cerebro a LLM", que utilizó herramientas de IA para ayudar a reescribir un ensayo que ya habían redactado, mostró una mayor capacidad de recuerdo y actividad cerebral, con algunas áreas similares a las de los usuarios de motores de búsqueda. El grupo "LLM a Cerebro", que permitió que la IA iniciara el ensayo, exhibió una actividad neuronal menos coordinada y un sesgo hacia el uso del vocabulario del LLM.

Un enfoque de "Cerebro a LLM" puede ayudar a mantener el cerebro de los usuarios un poco más ágil, pero los desarrolladores también necesitan el conocimiento específico para escribir software de forma segura y para evaluar críticamente el código generado por IA en busca de errores y riesgos de seguridad. Necesitan comprender las limitaciones de la IA, incluida su propensión a introducir fallos de seguridad como vulnerabilidades a ataques de inyección de prompts.

Esto requiere una revisión de los programas de seguridad empresarial para garantizar un SDLC centrado en el ser humano, en el que los desarrolladores reciban una capacitación efectiva, flexible, práctica y continua como parte de una cultura de seguridad primero en toda la empresa. Los desarrolladores necesitan perfeccionar continuamente sus habilidades para mantenerse al tanto de las amenazas sofisticadas y en rápida evolución, particularmente aquellas impulsadas por el papel destacado de la IA en el desarrollo de software. Esto protege contra, por ejemplo, los ataques de inyección de prompts, cada vez más comunes. Pero para que esa protección funcione, las organizaciones necesitan una iniciativa impulsada por los desarrolladores que se centre en patrones de diseño seguro y modelado de amenazas.

Conclusión

Cuando los LLM o los agentes autónomos hacen el trabajo pesado, los usuarios se convierten en espectadores pasivos. Esto puede llevar, según los autores del estudio, a "habilidades de pensamiento crítico debilitadas, una comprensión menos profunda de los materiales y una menor formación de memoria a largo plazo". Un nivel más bajo de compromiso cognitivo también puede conducir a una reducción de las habilidades de toma de decisiones.

Las organizaciones no pueden permitirse una falta de pensamiento crítico cuando se trata de ciberseguridad. Y debido a que los fallos de software en entornos altamente distribuidos basados en la nube se han convertido en el principal objetivo de los ciberatacantes, la ciberseguridad comienza por garantizar un código seguro, ya sea creado por desarrolladores, asistentes de IA o agentes autónomos. Con todo el poder de la IA, las organizaciones necesitan más que nunca habilidades de resolución de problemas y pensamiento crítico altamente perfeccionadas. Y eso no se puede subcontratar a la IA.

Las nuevas capacidades de IA de SCW Trust Agent ofrecen la observabilidad y el control exhaustivos que necesita para gestionar con confianza la adopción de IA en su SDLC sin sacrificar la seguridad. Más información.