Blog

Análisis profundo: cómo explorar las vulnerabilidades generadas por los asistentes de codificación de IA

December 11, 2023
Laura Verheyde

No importa dónde se mire, hay una obsesión continua con la tecnología de inteligencia artificial en casi todos los sectores verticales. Algunos lo han elogiado como la solución para crear funciones a toda velocidad en el desarrollo de software, pero el aumento de velocidad tiene un precio: la posibilidad de que se introduzcan graves errores de seguridad en las bases de código, gracias a la falta de conocimiento del contexto por parte de la propia herramienta, y a los bajos conocimientos de seguridad de los desarrolladores que confían en ella para aumentar la productividad y generar respuestas a los desafiantes escenarios de desarrollo.

La tecnología Large Language Model (LLM) representa un cambio radical en las herramientas de asistencia y, cuando se usa de manera segura, podría ser la compañera de programación que tanto desean los ingenieros de software. Sin embargo, se ha comprobado rápidamente que el uso descontrolado de las herramientas de desarrollo basadas en la IA puede tener un impacto negativo, si es así Estudio 2023 de la Universidad de Stanford, que revela que la confianza en los asistentes de IA probablemente dé como resultado un código más defectuoso e inseguro en general, además de un aumento de la confianza en que la salida es segura.

Si bien es válido suponer que las herramientas seguirán mejorando a medida que avance la carrera hacia la tecnología LLM perfecta, hay una serie de recomendaciones, que incluyen una nueva orden ejecutiva de la Administración de Biden, así como la Ley de Inteligencia Artificial de la UE, lo que hace que su uso sea un camino difícil en cualquier caso. Los desarrolladores pueden empezar con ventaja perfeccionando sus habilidades de seguridad a nivel de código, su conocimiento y su pensamiento crítico en torno a los resultados de las herramientas de inteligencia artificial y, a su vez, convertirse en ingenieros de mayor nivel.

¿Cómo introducen las vulnerabilidades los asistentes de codificación de IA? Juega nuestra NUEVA misión pública ¡y compruébalo tú mismo!

Ejemplo: secuencias de comandos entre sitios (XSS) en 'ChatterGPT'

Nuestra nueva misión pública revela la interfaz familiar de un LLM popular y utiliza un real fragmento de código generado a finales de noviembre de 2023. Los usuarios pueden interpretar este fragmento e investigar cualquier posible problema de seguridad si se utilizara para el propósito previsto.

Basado en el mensaje «¿Se puede escribir una función de JavaScript que cambie el contenido del elemento p HTML, donde el contenido se pasa a través de esa función?» el asistente de IA produce diligentemente un bloque de código, pero no todo es lo que parece.

¿Ya has jugado al desafío? Si no, pruébalo ahora antes de seguir leyendo.

... bien, ahora que lo ha completado, sabrá que el código en cuestión es vulnerable a las secuencias de comandos entre sitios (XSS).

XSS es posible gracias a la manipulación de la funcionalidad principal de los navegadores web. Puede ocurrir cuando una entrada que no es de confianza se representa como salida en una página, pero se malinterpreta como código ejecutable y seguro. Un atacante puede colocar un fragmento malintencionado (etiquetas HTML, JavaScript, etc.) dentro de un parámetro de entrada y, cuando lo devuelve al navegador, se ejecuta en lugar de mostrarse como datos.

Uso seguro de asistentes de codificación de IA en el desarrollo de software

UN encuesta reciente de los equipos de desarrollo en activo revelaron que casi todos ellos (el 96%) han empezado a utilizar asistentes de IA en su flujo de trabajo, y el 80% incluso ha eludido las políticas de seguridad para mantenerlos en su conjunto de herramientas. Además, más de la mitad reconoció que las herramientas generativas de inteligencia artificial suelen crear código inseguro, pero es evidente que esto no ralentizó su adopción.

Con esta nueva era de procesos de desarrollo de software, es poco probable que desalentar o prohibir el uso de estas herramientas funcione. Por el contrario, las organizaciones deben permitir que sus equipos de desarrollo aprovechen las mejoras de eficiencia y productividad sin sacrificar la seguridad ni la calidad del código. Esto requiere una formación precisa sobre las mejores prácticas de codificación segura y brindarles la oportunidad de ampliar sus habilidades de pensamiento crítico, garantizando que actúan con una mentalidad que priorice la seguridad, especialmente a la hora de evaluar la posible amenaza que representa la salida de código del asistente de inteligencia artificial.

Lectura adicional

Para XSS en general, consulta nuestra guía completa.

¿Desea obtener más información sobre cómo escribir código seguro y mitigar el riesgo? Prueba nuestro Desafío de inyección XSS gratis.

Si estás interesado en obtener más pautas de codificación gratuitas, consulta Entrenador de código seguro para ayudarlo a mantenerse al tanto de las mejores prácticas de codificación segura.

¿Quieres obtener más información? Descargar nuestro último libro blanco.
Lema

Govern AI-driven development before it ships

Measure AI-assisted risk, enforce secure coding policy at commit, and accelerate secure delivery across your SDLC.

book a demo
Lema

Explore more blogs

Lorem ipsum diam quis enim lobortis scelerisque fermentum dui faucibus in ornare quam viverra orci sagittis eu volutpat odio facilisis.

browse all
Case Study
Filter Label
This is some text inside of a div block.

Supercharged Security Awareness: How Tournaments are Inspiring Developers at Erste Group

Lorem ipsum dolor sit amet, consectetur adipiscing elit. Suspendisse varius enim in eros elementum tristique. Duis cursus, mi quis viverra ornare, eros dolor interdum nulla, ut commodo diam libero vitae erat. Aenean faucibus nibh et justo cursus id rutrum lorem imperdiet. Nunc ut sem vitae risus tristique posuere.

Learn More
Case Study
Filter Label
This is some text inside of a div block.

Security as culture: How Blue Prism cultivates world-class secure developers

Learn how Blue Prism, the global leader in intelligent automation for the enterprise, used Secure Code Warrior's agile learning platform to create a security-first culture with their developers, achieve their business goals, and ship secure code at speed

Learn More
Case Study
Filter Label
This is some text inside of a div block.

One Culture of Security: How Sage built their security champions program with agile secure code learning

Discover how Sage enhanced security with a flexible, relationship-focused approach, creating 200+ security champions and achieving measurable risk reduction.

Learn More
Blog
Filter Label
This is some text inside of a div block.

El futuro de la gobernanza de software de IA se construye sobre asociaciones sólidas

Descubra por qué Secure Code Warrior se está convirtiendo en una empresa centrada en el canal y cómo los socios de confianza ayudan a las organizaciones a adoptar la gobernanza de software de IA de forma segura y a escala.

Learn More
Blog
Filter Label
This is some text inside of a div block.

Citizen AI de Secure Code Warrior: Crea una fuerza laboral preparada para la IA

Programa de alfabetización en IA de Secure Code Warrior para empleados que no son desarrolladores.

Learn More
Blog
Filter Label
This is some text inside of a div block.

Por qué la mayoría de los CISO navegan a ciegas en la adopción de la IA (y cómo pueden quitarse la venda)

Hoy, Secure Code Warrior ha publicado un nuevo informe técnico que presenta un modelo prescriptivo y orientativo de adopción de IA, diseñado para que los líderes de seguridad puedan identificar su etapa de adopción y avanzar de forma efectiva en el control de los riesgos de seguridad relacionados con la IA en sus organizaciones.

Learn More

Secure AI-driven development before it ships

See developer risk, enforce policy, and prevent vulnerabilities across your software development lifecycle.

Book a demo