Aprovechar los beneficios de la innovación en IA depende de empezar con un código seguro

Los desarrolladores de software han demostrado estar listos y dispuestos a utilizar la inteligencia artificial (IA) generativa para escribir código, y por lo general han obtenido resultados favorables. Sin embargo, también hay muchas señales de que podrían estar jugando con fuego.

Según una encuesta reciente de GitHub, más del 90% de los desarrolladores en EE. UU. utilizan herramientas de programación con IA, citando ventajas como tiempos de finalización más rápidos, resolución ágil de incidentes y un entorno más colaborativo, algo que consideran importante. Trabajar con herramientas de IA permite a los desarrolladores delegar tareas rutinarias, lo que les deja tiempo para dedicarse a labores más creativas que benefician a sus empresas y, de paso, reduce las probabilidades de agotamiento laboral.

No obstante, los estudios también han demostrado que las herramientas de IA tienen tendencia a introducir fallos al escribir código. Una encuesta de Snyk reveló que, aunque el 75,8% de los encuestados afirmó que el código generado por IA es más seguro que el humano, el 56,4% admitió que la IA a veces introduce problemas de programación. Resulta alarmante que el 80% de los encuestados reconozca que omite las políticas de seguridad de código de IA durante el desarrollo.

Desde que ChatGPT de OpenAI debutó en noviembre de 2022, el uso de modelos de IA generativa se ha extendido a una velocidad vertiginosa por todo el proceso de desarrollo de código en los servicios financieros, al igual que en muchos otros campos. La rápida aparición de otros modelos, como GitHub Copilot, OpenAI Codex y una creciente lista de otros, sugiere que apenas hemos arañado la superficie de lo que la IA generativa puede hacer y el impacto que puede tener. Pero para que ese impacto sea positivo, debemos asegurarnos de que el código que genera sea seguro.

Los errores de programación pueden propagarse rápidamente

Ya sea creado por desarrolladores humanos o por modelos de IA, el código siempre contendrá errores. Con la IA ayudando a acelerar el desarrollo de código para satisfacer las demandas cada vez mayores en entornos de computación en la nube altamente distribuidos, las probabilidades de que un código defectuoso se propague ampliamente antes de ser detectado podrían aumentar.

Los modelos de IA entrenados para escribir código ingieren miles de ejemplos de código que realizan diversas tareas, y luego pueden recurrir a esos ejemplos para crear su propio código. Pero si las muestras con las que trabaja contienen fallos o vulnerabilidades —ya sean creadas originalmente por un humano o por otra IA—, el modelo podría trasladar esos fallos a un nuevo entorno.

Teniendo en cuenta que las investigaciones han demostrado que los modelos de IA no son capaces de reconocer de forma fiable los fallos en el código que utilizan, apenas existe una defensa integrada contra la propagación de errores y vulnerabilidades. La IA no solo cometerá errores al programar, sino que repetirá sus propios fallos y los de otras fuentes hasta que la vulnerabilidad sea identificada en algún punto del proceso, quizás en forma de una brecha exitosa en una empresa que utilice el software creado.

La verdadera defensa contra la proliferación de fallos de programación es que los humanos y los modelos de IA trabajen juntos. Los desarrolladores humanos deben supervisar la escritura de código de la IA y actuar como filtro contra prácticas de programación inseguras y código vulnerable. Pero para que esto suceda, los desarrolladores deben estar minuciosamente capacitados en las mejores prácticas de escritura de código seguro, de modo que puedan identificar los errores de programación que una IA podría cometer y corregirlos rápidamente.

Los desafíos de la creación y remediación de código mediante IA

La repentina explosión de los modelos de lenguaje extenso (LLM) como ChatGPT ha sido un arma de doble filo. Por un lado, las empresas y los usuarios cotidianos han experimentado enormes ganancias de productividad al utilizar la IA para gestionar tareas tediosas, pesadas o difíciles. Por otro lado, ha habido muchos ejemplos de lo que puede salir mal cuando se confía ciegamente en la IA para realizar el trabajo.

Los modelos de IA han cometido errores garrafales, han mostrado sesgos y han producido alucinaciones totales. En muchos casos, la raíz del problema fue un conjunto de datos de entrenamiento inadecuado o irresponsable. Cualquier modelo de IA es tan bueno como los datos con los que se entrena, por lo que es esencial que los datos de entrenamiento sean exhaustivos y estén cuidadosamente verificados. Aun así, se cometerán algunos errores.

El uso de la IA para la programación enfrenta muchos de los mismos obstáculos. Se ha demostrado que el código generado por IA contiene una serie de fallos, como vulnerabilidades de cross-site scripting e inyección de código, así como ataques específicos a la IA y al aprendizaje automático (ML), como la inyección de prompts. Los modelos de IA también operan en una caja negra porque sus procesos no son transparentes, lo que impide que un equipo de seguridad o desarrollo vea cómo la IA llega a sus conclusiones. Como resultado, el modelo puede repetir los mismos errores una y otra vez. Las mismas deficiencias que pueden afectar a la escritura de código también se trasladan al uso de la IA para la remediación de código y el cumplimiento de los requisitos normativos.

El potencial de que los modelos de IA creen o repitan fallos ha crecido hasta el punto de que los LLM ya tienen su propia lista de las diez principales vulnerabilidades del Open Web Application Security Project (OWASP).

Los desarrolladores y la IA pueden trabajar juntos para crear código seguro

Las preocupaciones sobre los posibles fallos en el código generado por IA podrían hacer que algunas organizaciones se detengan, aunque sea brevemente, antes de seguir adelante con esta tecnología. Pero los beneficios potenciales son demasiado grandes para ignorarlos, especialmente a medida que los desarrolladores de IA continúan innovando y mejorando sus modelos. Es poco probable que el sector de los servicios financieros, por ejemplo, vuelva a meter al genio en la lámpara. Los bancos y las empresas de servicios financieros ya están impulsados por la tecnología y operan en un campo donde siempre buscan una ventaja competitiva.

La clave reside en implementar modelos de IA de forma que se minimicen los riesgos. Esto implica contar con desarrolladores conscientes de la seguridad y formados a fondo en las mejores prácticas de codificación segura, para que puedan escribir código seguro y supervisar de cerca el que generan los modelos de IA. Al establecer una estrecha colaboración entre los motores de IA y los desarrolladores humanos, donde estos últimos tengan la última palabra, las empresas pueden obtener los beneficios de una mayor productividad y eficiencia, mejorando al mismo tiempo la seguridad, limitando los riesgos y garantizando el cumplimiento normativo.

Para obtener una visión general completa de cómo la codificación segura puede ayudar a garantizar el éxito, la seguridad y la rentabilidad de las empresas de servicios financieros, puede leer la guía recién publicada de Secure Code Warrior: La guía definitiva sobre las tendencias de seguridad en los servicios financieros.

‍

‍

Visite las páginas del blog de Secure Code Warrior para obtener más información sobre ciberseguridad, el panorama de amenazas cada vez más peligroso y aprender cómo puede emplear tecnología y formación innovadoras para proteger mejor a su organización y a sus clientes.

‍