SCW Icons
hero bg no divider
Blog

Análisis profundo: cómo explorar las vulnerabilidades generadas por los asistentes de codificación de IA

Laura Verheyde
Published Dec 11, 2023
Last updated on Mar 06, 2026

No importa dónde se mire, hay una obsesión continua con la tecnología de inteligencia artificial en casi todos los sectores verticales. Algunos lo han elogiado como la solución para crear funciones a toda velocidad en el desarrollo de software, pero el aumento de velocidad tiene un precio: la posibilidad de que se introduzcan graves errores de seguridad en las bases de código, gracias a la falta de conocimiento del contexto por parte de la propia herramienta, y a los bajos conocimientos de seguridad de los desarrolladores que confían en ella para aumentar la productividad y generar respuestas a los desafiantes escenarios de desarrollo.

La tecnología Large Language Model (LLM) representa un cambio radical en las herramientas de asistencia y, cuando se usa de manera segura, podría ser la compañera de programación que tanto desean los ingenieros de software. Sin embargo, se ha comprobado rápidamente que el uso descontrolado de las herramientas de desarrollo basadas en la IA puede tener un impacto negativo, si es así Estudio 2023 de la Universidad de Stanford, que revela que la confianza en los asistentes de IA probablemente dé como resultado un código más defectuoso e inseguro en general, además de un aumento de la confianza en que la salida es segura.

Si bien es válido suponer que las herramientas seguirán mejorando a medida que avance la carrera hacia la tecnología LLM perfecta, hay una serie de recomendaciones, que incluyen una nueva orden ejecutiva de la Administración de Biden, así como la Ley de Inteligencia Artificial de la UE, lo que hace que su uso sea un camino difícil en cualquier caso. Los desarrolladores pueden empezar con ventaja perfeccionando sus habilidades de seguridad a nivel de código, su conocimiento y su pensamiento crítico en torno a los resultados de las herramientas de inteligencia artificial y, a su vez, convertirse en ingenieros de mayor nivel.

¿Cómo introducen las vulnerabilidades los asistentes de codificación de IA? Juega nuestra NUEVA misión pública ¡y compruébalo tú mismo!

Ejemplo: secuencias de comandos entre sitios (XSS) en 'ChatterGPT'

Nuestra nueva misión pública revela la interfaz familiar de un LLM popular y utiliza un real fragmento de código generado a finales de noviembre de 2023. Los usuarios pueden interpretar este fragmento e investigar cualquier posible problema de seguridad si se utilizara para el propósito previsto.

Basado en el mensaje «¿Se puede escribir una función de JavaScript que cambie el contenido del elemento p HTML, donde el contenido se pasa a través de esa función?» el asistente de IA produce diligentemente un bloque de código, pero no todo es lo que parece.

¿Ya has jugado al desafío? Si no, pruébalo ahora antes de seguir leyendo.

... bien, ahora que lo ha completado, sabrá que el código en cuestión es vulnerable a las secuencias de comandos entre sitios (XSS).

XSS es posible gracias a la manipulación de la funcionalidad principal de los navegadores web. Puede ocurrir cuando una entrada que no es de confianza se representa como salida en una página, pero se malinterpreta como código ejecutable y seguro. Un atacante puede colocar un fragmento malintencionado (etiquetas HTML, JavaScript, etc.) dentro de un parámetro de entrada y, cuando lo devuelve al navegador, se ejecuta en lugar de mostrarse como datos.

Uso seguro de asistentes de codificación de IA en el desarrollo de software

UN encuesta reciente de los equipos de desarrollo en activo revelaron que casi todos ellos (el 96%) han empezado a utilizar asistentes de IA en su flujo de trabajo, y el 80% incluso ha eludido las políticas de seguridad para mantenerlos en su conjunto de herramientas. Además, más de la mitad reconoció que las herramientas generativas de inteligencia artificial suelen crear código inseguro, pero es evidente que esto no ralentizó su adopción.

Con esta nueva era de procesos de desarrollo de software, es poco probable que desalentar o prohibir el uso de estas herramientas funcione. Por el contrario, las organizaciones deben permitir que sus equipos de desarrollo aprovechen las mejoras de eficiencia y productividad sin sacrificar la seguridad ni la calidad del código. Esto requiere una formación precisa sobre las mejores prácticas de codificación segura y brindarles la oportunidad de ampliar sus habilidades de pensamiento crítico, garantizando que actúan con una mentalidad que priorice la seguridad, especialmente a la hora de evaluar la posible amenaza que representa la salida de código del asistente de inteligencia artificial.

Lectura adicional

Para XSS en general, consulta nuestra guía completa.

¿Desea obtener más información sobre cómo escribir código seguro y mitigar el riesgo? Prueba nuestro Desafío de inyección XSS gratis.

Si estás interesado en obtener más pautas de codificación gratuitas, consulta Entrenador de código seguro para ayudarlo a mantenerse al tanto de las mejores prácticas de codificación segura.

¿Quieres obtener más información? Descargar nuestro último libro blanco.
Ver recurso
Ver recurso

Explore los riesgos de seguridad de la IA en el desarrollo de software y aprenda a superar estos desafíos de manera efectiva con Secure Code Warrior.

¿Interesado en más?

learn more

Secure Code Warrior está aquí para que su organización le ayude a proteger el código durante todo el ciclo de vida del desarrollo de software y a crear una cultura en la que la ciberseguridad sea una prioridad. Ya sea administrador de AppSec, desarrollador, CISO o cualquier persona relacionada con la seguridad, podemos ayudar a su organización a reducir los riesgos asociados con el código inseguro.

Reserva una demostración
Comparte en:
linkedin brandsSocialx logo
autor
Laura Verheyde
Published Dec 11, 2023

Laura Verheyde is a software developer at Secure Code Warrior focused on researching vulnerabilities and creating content for Missions and Coding labs.

Comparte en:
linkedin brandsSocialx logo

No importa dónde se mire, hay una obsesión continua con la tecnología de inteligencia artificial en casi todos los sectores verticales. Algunos lo han elogiado como la solución para crear funciones a toda velocidad en el desarrollo de software, pero el aumento de velocidad tiene un precio: la posibilidad de que se introduzcan graves errores de seguridad en las bases de código, gracias a la falta de conocimiento del contexto por parte de la propia herramienta, y a los bajos conocimientos de seguridad de los desarrolladores que confían en ella para aumentar la productividad y generar respuestas a los desafiantes escenarios de desarrollo.

La tecnología Large Language Model (LLM) representa un cambio radical en las herramientas de asistencia y, cuando se usa de manera segura, podría ser la compañera de programación que tanto desean los ingenieros de software. Sin embargo, se ha comprobado rápidamente que el uso descontrolado de las herramientas de desarrollo basadas en la IA puede tener un impacto negativo, si es así Estudio 2023 de la Universidad de Stanford, que revela que la confianza en los asistentes de IA probablemente dé como resultado un código más defectuoso e inseguro en general, además de un aumento de la confianza en que la salida es segura.

Si bien es válido suponer que las herramientas seguirán mejorando a medida que avance la carrera hacia la tecnología LLM perfecta, hay una serie de recomendaciones, que incluyen una nueva orden ejecutiva de la Administración de Biden, así como la Ley de Inteligencia Artificial de la UE, lo que hace que su uso sea un camino difícil en cualquier caso. Los desarrolladores pueden empezar con ventaja perfeccionando sus habilidades de seguridad a nivel de código, su conocimiento y su pensamiento crítico en torno a los resultados de las herramientas de inteligencia artificial y, a su vez, convertirse en ingenieros de mayor nivel.

¿Cómo introducen las vulnerabilidades los asistentes de codificación de IA? Juega nuestra NUEVA misión pública ¡y compruébalo tú mismo!

Ejemplo: secuencias de comandos entre sitios (XSS) en 'ChatterGPT'

Nuestra nueva misión pública revela la interfaz familiar de un LLM popular y utiliza un real fragmento de código generado a finales de noviembre de 2023. Los usuarios pueden interpretar este fragmento e investigar cualquier posible problema de seguridad si se utilizara para el propósito previsto.

Basado en el mensaje «¿Se puede escribir una función de JavaScript que cambie el contenido del elemento p HTML, donde el contenido se pasa a través de esa función?» el asistente de IA produce diligentemente un bloque de código, pero no todo es lo que parece.

¿Ya has jugado al desafío? Si no, pruébalo ahora antes de seguir leyendo.

... bien, ahora que lo ha completado, sabrá que el código en cuestión es vulnerable a las secuencias de comandos entre sitios (XSS).

XSS es posible gracias a la manipulación de la funcionalidad principal de los navegadores web. Puede ocurrir cuando una entrada que no es de confianza se representa como salida en una página, pero se malinterpreta como código ejecutable y seguro. Un atacante puede colocar un fragmento malintencionado (etiquetas HTML, JavaScript, etc.) dentro de un parámetro de entrada y, cuando lo devuelve al navegador, se ejecuta en lugar de mostrarse como datos.

Uso seguro de asistentes de codificación de IA en el desarrollo de software

UN encuesta reciente de los equipos de desarrollo en activo revelaron que casi todos ellos (el 96%) han empezado a utilizar asistentes de IA en su flujo de trabajo, y el 80% incluso ha eludido las políticas de seguridad para mantenerlos en su conjunto de herramientas. Además, más de la mitad reconoció que las herramientas generativas de inteligencia artificial suelen crear código inseguro, pero es evidente que esto no ralentizó su adopción.

Con esta nueva era de procesos de desarrollo de software, es poco probable que desalentar o prohibir el uso de estas herramientas funcione. Por el contrario, las organizaciones deben permitir que sus equipos de desarrollo aprovechen las mejoras de eficiencia y productividad sin sacrificar la seguridad ni la calidad del código. Esto requiere una formación precisa sobre las mejores prácticas de codificación segura y brindarles la oportunidad de ampliar sus habilidades de pensamiento crítico, garantizando que actúan con una mentalidad que priorice la seguridad, especialmente a la hora de evaluar la posible amenaza que representa la salida de código del asistente de inteligencia artificial.

Lectura adicional

Para XSS en general, consulta nuestra guía completa.

¿Desea obtener más información sobre cómo escribir código seguro y mitigar el riesgo? Prueba nuestro Desafío de inyección XSS gratis.

Si estás interesado en obtener más pautas de codificación gratuitas, consulta Entrenador de código seguro para ayudarlo a mantenerse al tanto de las mejores prácticas de codificación segura.

¿Quieres obtener más información? Descargar nuestro último libro blanco.
Ver recurso
Ver recurso

Rellene el siguiente formulario para descargar el informe

Nos gustaría recibir su permiso para enviarle información sobre nuestros productos o temas relacionados con la codificación segura. Siempre trataremos tus datos personales con el máximo cuidado y nunca los venderemos a otras empresas con fines de marketing.

Enviar
scw success icon
scw error icon
Para enviar el formulario, habilite las cookies de «análisis». No dudes en volver a desactivarlas una vez que hayas terminado.

No importa dónde se mire, hay una obsesión continua con la tecnología de inteligencia artificial en casi todos los sectores verticales. Algunos lo han elogiado como la solución para crear funciones a toda velocidad en el desarrollo de software, pero el aumento de velocidad tiene un precio: la posibilidad de que se introduzcan graves errores de seguridad en las bases de código, gracias a la falta de conocimiento del contexto por parte de la propia herramienta, y a los bajos conocimientos de seguridad de los desarrolladores que confían en ella para aumentar la productividad y generar respuestas a los desafiantes escenarios de desarrollo.

La tecnología Large Language Model (LLM) representa un cambio radical en las herramientas de asistencia y, cuando se usa de manera segura, podría ser la compañera de programación que tanto desean los ingenieros de software. Sin embargo, se ha comprobado rápidamente que el uso descontrolado de las herramientas de desarrollo basadas en la IA puede tener un impacto negativo, si es así Estudio 2023 de la Universidad de Stanford, que revela que la confianza en los asistentes de IA probablemente dé como resultado un código más defectuoso e inseguro en general, además de un aumento de la confianza en que la salida es segura.

Si bien es válido suponer que las herramientas seguirán mejorando a medida que avance la carrera hacia la tecnología LLM perfecta, hay una serie de recomendaciones, que incluyen una nueva orden ejecutiva de la Administración de Biden, así como la Ley de Inteligencia Artificial de la UE, lo que hace que su uso sea un camino difícil en cualquier caso. Los desarrolladores pueden empezar con ventaja perfeccionando sus habilidades de seguridad a nivel de código, su conocimiento y su pensamiento crítico en torno a los resultados de las herramientas de inteligencia artificial y, a su vez, convertirse en ingenieros de mayor nivel.

¿Cómo introducen las vulnerabilidades los asistentes de codificación de IA? Juega nuestra NUEVA misión pública ¡y compruébalo tú mismo!

Ejemplo: secuencias de comandos entre sitios (XSS) en 'ChatterGPT'

Nuestra nueva misión pública revela la interfaz familiar de un LLM popular y utiliza un real fragmento de código generado a finales de noviembre de 2023. Los usuarios pueden interpretar este fragmento e investigar cualquier posible problema de seguridad si se utilizara para el propósito previsto.

Basado en el mensaje «¿Se puede escribir una función de JavaScript que cambie el contenido del elemento p HTML, donde el contenido se pasa a través de esa función?» el asistente de IA produce diligentemente un bloque de código, pero no todo es lo que parece.

¿Ya has jugado al desafío? Si no, pruébalo ahora antes de seguir leyendo.

... bien, ahora que lo ha completado, sabrá que el código en cuestión es vulnerable a las secuencias de comandos entre sitios (XSS).

XSS es posible gracias a la manipulación de la funcionalidad principal de los navegadores web. Puede ocurrir cuando una entrada que no es de confianza se representa como salida en una página, pero se malinterpreta como código ejecutable y seguro. Un atacante puede colocar un fragmento malintencionado (etiquetas HTML, JavaScript, etc.) dentro de un parámetro de entrada y, cuando lo devuelve al navegador, se ejecuta en lugar de mostrarse como datos.

Uso seguro de asistentes de codificación de IA en el desarrollo de software

UN encuesta reciente de los equipos de desarrollo en activo revelaron que casi todos ellos (el 96%) han empezado a utilizar asistentes de IA en su flujo de trabajo, y el 80% incluso ha eludido las políticas de seguridad para mantenerlos en su conjunto de herramientas. Además, más de la mitad reconoció que las herramientas generativas de inteligencia artificial suelen crear código inseguro, pero es evidente que esto no ralentizó su adopción.

Con esta nueva era de procesos de desarrollo de software, es poco probable que desalentar o prohibir el uso de estas herramientas funcione. Por el contrario, las organizaciones deben permitir que sus equipos de desarrollo aprovechen las mejoras de eficiencia y productividad sin sacrificar la seguridad ni la calidad del código. Esto requiere una formación precisa sobre las mejores prácticas de codificación segura y brindarles la oportunidad de ampliar sus habilidades de pensamiento crítico, garantizando que actúan con una mentalidad que priorice la seguridad, especialmente a la hora de evaluar la posible amenaza que representa la salida de código del asistente de inteligencia artificial.

Lectura adicional

Para XSS en general, consulta nuestra guía completa.

¿Desea obtener más información sobre cómo escribir código seguro y mitigar el riesgo? Prueba nuestro Desafío de inyección XSS gratis.

Si estás interesado en obtener más pautas de codificación gratuitas, consulta Entrenador de código seguro para ayudarlo a mantenerse al tanto de las mejores prácticas de codificación segura.

¿Quieres obtener más información? Descargar nuestro último libro blanco.
Ver seminario web
Comenzar
learn more

Haga clic en el enlace de abajo y descargue el PDF de este recurso.

Secure Code Warrior está aquí para que su organización le ayude a proteger el código durante todo el ciclo de vida del desarrollo de software y a crear una cultura en la que la ciberseguridad sea una prioridad. Ya sea administrador de AppSec, desarrollador, CISO o cualquier persona relacionada con la seguridad, podemos ayudar a su organización a reducir los riesgos asociados con el código inseguro.

Ver informeReserva una demostración
Ver recurso
Comparte en:
linkedin brandsSocialx logo
¿Interesado en más?

¿Cómo introducen las vulnerabilidades los asistentes de codificación de IA? ¡Juega nuestra NUEVA misión pública y compruébalo por ti mismo! Esta misión revela la conocida interfaz de un popular LLM y utiliza un fragmento de código real generado a finales de noviembre de 2023. Los usuarios pueden interpretar este fragmento e investigar cualquier posible problema de seguridad si se utilizara para el propósito previsto.

Test the mission
Comparte en:
linkedin brandsSocialx logo
autor
Laura Verheyde
Published Dec 11, 2023

Laura Verheyde is a software developer at Secure Code Warrior focused on researching vulnerabilities and creating content for Missions and Coding labs.

Comparte en:
linkedin brandsSocialx logo

No importa dónde se mire, hay una obsesión continua con la tecnología de inteligencia artificial en casi todos los sectores verticales. Algunos lo han elogiado como la solución para crear funciones a toda velocidad en el desarrollo de software, pero el aumento de velocidad tiene un precio: la posibilidad de que se introduzcan graves errores de seguridad en las bases de código, gracias a la falta de conocimiento del contexto por parte de la propia herramienta, y a los bajos conocimientos de seguridad de los desarrolladores que confían en ella para aumentar la productividad y generar respuestas a los desafiantes escenarios de desarrollo.

La tecnología Large Language Model (LLM) representa un cambio radical en las herramientas de asistencia y, cuando se usa de manera segura, podría ser la compañera de programación que tanto desean los ingenieros de software. Sin embargo, se ha comprobado rápidamente que el uso descontrolado de las herramientas de desarrollo basadas en la IA puede tener un impacto negativo, si es así Estudio 2023 de la Universidad de Stanford, que revela que la confianza en los asistentes de IA probablemente dé como resultado un código más defectuoso e inseguro en general, además de un aumento de la confianza en que la salida es segura.

Si bien es válido suponer que las herramientas seguirán mejorando a medida que avance la carrera hacia la tecnología LLM perfecta, hay una serie de recomendaciones, que incluyen una nueva orden ejecutiva de la Administración de Biden, así como la Ley de Inteligencia Artificial de la UE, lo que hace que su uso sea un camino difícil en cualquier caso. Los desarrolladores pueden empezar con ventaja perfeccionando sus habilidades de seguridad a nivel de código, su conocimiento y su pensamiento crítico en torno a los resultados de las herramientas de inteligencia artificial y, a su vez, convertirse en ingenieros de mayor nivel.

¿Cómo introducen las vulnerabilidades los asistentes de codificación de IA? Juega nuestra NUEVA misión pública ¡y compruébalo tú mismo!

Ejemplo: secuencias de comandos entre sitios (XSS) en 'ChatterGPT'

Nuestra nueva misión pública revela la interfaz familiar de un LLM popular y utiliza un real fragmento de código generado a finales de noviembre de 2023. Los usuarios pueden interpretar este fragmento e investigar cualquier posible problema de seguridad si se utilizara para el propósito previsto.

Basado en el mensaje «¿Se puede escribir una función de JavaScript que cambie el contenido del elemento p HTML, donde el contenido se pasa a través de esa función?» el asistente de IA produce diligentemente un bloque de código, pero no todo es lo que parece.

¿Ya has jugado al desafío? Si no, pruébalo ahora antes de seguir leyendo.

... bien, ahora que lo ha completado, sabrá que el código en cuestión es vulnerable a las secuencias de comandos entre sitios (XSS).

XSS es posible gracias a la manipulación de la funcionalidad principal de los navegadores web. Puede ocurrir cuando una entrada que no es de confianza se representa como salida en una página, pero se malinterpreta como código ejecutable y seguro. Un atacante puede colocar un fragmento malintencionado (etiquetas HTML, JavaScript, etc.) dentro de un parámetro de entrada y, cuando lo devuelve al navegador, se ejecuta en lugar de mostrarse como datos.

Uso seguro de asistentes de codificación de IA en el desarrollo de software

UN encuesta reciente de los equipos de desarrollo en activo revelaron que casi todos ellos (el 96%) han empezado a utilizar asistentes de IA en su flujo de trabajo, y el 80% incluso ha eludido las políticas de seguridad para mantenerlos en su conjunto de herramientas. Además, más de la mitad reconoció que las herramientas generativas de inteligencia artificial suelen crear código inseguro, pero es evidente que esto no ralentizó su adopción.

Con esta nueva era de procesos de desarrollo de software, es poco probable que desalentar o prohibir el uso de estas herramientas funcione. Por el contrario, las organizaciones deben permitir que sus equipos de desarrollo aprovechen las mejoras de eficiencia y productividad sin sacrificar la seguridad ni la calidad del código. Esto requiere una formación precisa sobre las mejores prácticas de codificación segura y brindarles la oportunidad de ampliar sus habilidades de pensamiento crítico, garantizando que actúan con una mentalidad que priorice la seguridad, especialmente a la hora de evaluar la posible amenaza que representa la salida de código del asistente de inteligencia artificial.

Lectura adicional

Para XSS en general, consulta nuestra guía completa.

¿Desea obtener más información sobre cómo escribir código seguro y mitigar el riesgo? Prueba nuestro Desafío de inyección XSS gratis.

Si estás interesado en obtener más pautas de codificación gratuitas, consulta Entrenador de código seguro para ayudarlo a mantenerse al tanto de las mejores prácticas de codificación segura.

¿Quieres obtener más información? Descargar nuestro último libro blanco.

Tabla de contenido

Descargar PDF
Ver recurso
¿Interesado en más?

learn more

Secure Code Warrior está aquí para que su organización le ayude a proteger el código durante todo el ciclo de vida del desarrollo de software y a crear una cultura en la que la ciberseguridad sea una prioridad. Ya sea administrador de AppSec, desarrollador, CISO o cualquier persona relacionada con la seguridad, podemos ayudar a su organización a reducir los riesgos asociados con el código inseguro.

Reserva una demostraciónDescargar
Comparte en:
linkedin brandsSocialx logo
Centro de recursos

Recursos para empezar

Más publicaciones
Centro de recursos

Recursos para empezar

Más publicaciones