Cuando las buenas herramientas se estropean: el envenenamiento de las herramientas de la IA y cómo evitar que la IA actúe como un agente doble

El desarrollo asistido por IA (o, la versión más moderna, «codificación de vibraciones») está teniendo un efecto enorme y transformador en la creación de código. Los desarrolladores consolidados están adoptando estas herramientas en masa, y aquellos de nosotros que siempre hemos querido crear nuestro propio software pero carecíamos de la experiencia necesaria también las aprovechamos para crear activos que antes hubieran sido prohibitivos en términos de coste y tiempo. Si bien esta tecnología promete marcar el comienzo de una nueva era de innovación, introduce una serie de nuevas vulnerabilidades y perfiles de riesgo que los líderes de seguridad se esfuerzan por mitigar.

UN descubrimiento reciente de InvariantLabs descubrió una vulnerabilidad crítica en el Model Context Protocol (MCP), un marco similar a una API que permite a las potentes herramientas de inteligencia artificial interactuar de forma autónoma con otro software y bases de datos, lo que permite lo que se ha denominado «ataques de envenenamiento de herramientas», una nueva categoría de vulnerabilidad que podría resultar especialmente perjudicial para la empresa. Las principales herramientas de IA, como Windsurf y Cursor, no son inmunes, y con muchos millones de usuarios, la conciencia y las habilidades para gestionar este problema de seguridad emergente son primordiales.

Tal como están las cosas, el resultado de estas herramientas es no lo suficientemente seguros como para etiquetarlos como preparados para la empresa, como se indica en un trabajo de investigación reciente de los investigadores de seguridad de AWS e Intuit, Vineeth Sai Narajala e Idan Habler:»A medida que los sistemas de IA se vuelven más autónomos y comienzan a interactuar directamente con herramientas externas y datos en tiempo real a través de cosas como MCP, garantizar que esas interacciones sean seguras se vuelve absolutamente esencial».

Los sistemas de IA de agencia y el perfil de riesgo del protocolo Model Context

El Model Context Protocol es un software útil construido por Anthropic que permite una integración mejor y más fluida entre los agentes de IA del modelo de lenguaje grande (LLM) y otras herramientas. Se trata de un caso práctico poderoso que abre un mundo de posibilidades entre las aplicaciones propietarias y las herramientas SaaS fundamentales para la empresa, como GitHub, que interactúan con soluciones de IA de vanguardia. Simplemente escriba un servidor MCP y comience con la tarea de establecer las pautas sobre cómo quiere que funcione y con qué fin.

De hecho, las implicaciones de seguridad de la tecnología MCP son en su mayoría positivas. La promesa de una integración más directa entre las LLM y la tecnología que utilizan los profesionales de la seguridad es demasiado tentadora como para ignorarla, y representa la posibilidad de automatizar con precisión las tareas de seguridad a niveles que antes no eran posibles, al menos sin escribir e implementar código personalizado, normalmente para cada tarea. La interoperabilidad mejorada de las LLM que ofrece MCP es una perspectiva interesante para la seguridad empresarial, dado que la visibilidad y la conectividad de gran alcance entre los datos, las herramientas y el personal son fundamentales para una defensa y una planificación de la seguridad eficaces.

Sin embargo, el uso del MCP puede introducir otros posibles vectores de amenaza y ampliar significativamente la superficie de ataque empresarial, a menos que se gestione con cuidado. Como se señala en Laboratorios invariantes, Los ataques de intoxicación por herramientas representan una nueva categoría de vulnerabilidad que puede provocar la exfiltración de datos confidenciales y la adopción de medidas no autorizadas por parte de los modelos de IA y, a partir de ahí, las implicaciones de seguridad se vuelven muy oscuras y rápidamente.

InvariantLabs señala que un ataque de envenenamiento de herramientas es posible cuando se incluyen instrucciones malintencionadas en las descripciones de las herramientas de MCP que no son visibles para los usuarios, pero que los modelos de IA pueden leer (y ejecutar) en su totalidad. Esto engaña a la herramienta para que lleve a cabo malas acciones no autorizadas sin que el usuario lo sepa. El problema radica en la suposición del MCP de que hay que confiar en todas las descripciones de las herramientas, lo que no es más que música para los atacantes.

Señalan los siguientes posibles resultados de una herramienta comprometida:

• Dirigir a los modelos de IA para que accedan a archivos confidenciales (como claves SSH, archivos de configuración, bases de datos, etc.);
• Instruir a la IA para que extraiga y transmita estos datos, en un entorno en el que estas acciones maliciosas están intrínsecamente ocultas para el usuario inconsciente;
• Cree una desconexión entre lo que ve el usuario y lo que hace el modelo de IA ocultándose detrás de representaciones de interfaz de usuario engañosamente simples de los argumentos y resultados de las herramientas.

Esta es una categoría de vulnerabilidad emergente y preocupante, y es casi seguro que veremos con más frecuencia a medida que continúe el inevitable crecimiento del uso de MCP. Tomará medidas cuidadosas para detectar y mitigar esta amenaza a medida que evolucionen los programas de seguridad empresarial, por lo que es fundamental preparar adecuadamente a los desarrolladores para que formen parte de la solución.

Por qué solo los desarrolladores expertos en seguridad deberían aprovechar las herramientas de IA de las agencias

Las herramientas de codificación de IA de Agentic se consideran la próxima evolución de la codificación asistida por IA, lo que aumenta su capacidad para ofrecer una mayor eficiencia, productividad y flexibilidad en el desarrollo de software. Su mayor capacidad para comprender el contexto y la intención las hace especialmente útiles, pero no son inmunes a amenazas como la inyección rápida, las alucinaciones o la manipulación del comportamiento por parte de los atacantes.

Los desarrolladores son la línea defensiva entre las confirmaciones de código buenas y malas, y mantener las habilidades de seguridad y pensamiento crítico será fundamental en el futuro del desarrollo de software seguro.

Los resultados de la IA nunca deben implementarse con una confianza ciega, y son los desarrolladores expertos en seguridad que aplican un pensamiento crítico y contextual los que pueden aprovechar de manera segura las ganancias de productividad que ofrece esta tecnología. Sin embargo, debe ser en lo que equivale a un entorno de programación en pares, en el que el experto humano sea capaz de evaluar, modelar las amenazas y, en última instancia, aprobar el trabajo realizado por la herramienta.

Obtenga más información sobre cómo los desarrolladores pueden mejorar sus habilidades y aumentar su productividad con la IA aquí.

Técnicas prácticas de mitigación y lectura adicional en nuestro último artículo de investigación

Las herramientas de codificación de IA y la tecnología MCP van a ser un factor importante en el futuro de la ciberseguridad, pero es vital que no nos sumerjamos antes de revisar el agua.

Narajala y Habler's artículo detalla estrategias de mitigación integrales para implementar MCP a nivel empresarial y la gestión continua de sus riesgos. En última instancia, se centra en los principios de defensa en profundidad y de confianza cero, y se centra explícitamente en el perfil de riesgo único que este nuevo ecosistema aporta al entorno empresarial. En el caso específico de los desarrolladores, es fundamental cubrir las lagunas de conocimiento en las siguientes áreas:

• Autenticación y control de acceso: Las herramientas de IA de agencia funcionan para resolver problemas y tomar decisiones autónomas para cumplir los objetivos trazados para ellas, de la misma manera que un humano abordaría las tareas de ingeniería. Sin embargo, como hemos establecido, no se puede ignorar la supervisión humana cualificada de estos procesos, y los desarrolladores que utilizan estas herramientas en sus flujos de trabajo deben saber exactamente qué acceso tienen, qué datos recuperan o potencialmente exponen y dónde podrían compartirse.
• Detección y mitigación de amenazas generales: Como ocurre con la mayoría de los procesos de IA, para detectar posibles defectos e imprecisiones en el resultado de la herramienta, el usuario debe dominar la tarea por sí mismo. Los desarrolladores deben recibir una mejora continua de sus habilidades y una verificación de esas habilidades para revisar de manera efectiva los procesos de seguridad y revise el código generado por IA con precisión y autoridad en materia de seguridad.
• Alineación con la política de seguridad y la gobernanza de la IA: Los desarrolladores deben conocer las herramientas aprobadas y darles la oportunidad de mejorar sus habilidades y acceder a ellas. Tanto el desarrollador como la herramienta deben someterse a una evaluación comparativa de seguridad antes de que las confirmaciones sean confiables.

Recientemente lanzamos un trabajo de investigación sobre el surgimiento de la codificación de vibraciones y la codificación asistida por IA, y las medidas que las empresas deben tomar para mejorar la próxima generación de ingenieros de software impulsados por la IA. Compruébelo y póngase en contacto con nosotros para fortalecer su equipo de desarrollo hoy mismo.