lunes, 13 de abril de 2026

Asusta pensar que pueda haber código en sistemas críticos generado con IA

Está claro que estas herramientas ya han cambiado la forma en la que muchos trabajamos, pero da un poco de miedo pensar que estemos usándolas para lo que no están pensadas o para lo que no estén capacitadas.

Esto era cladude.ai con Sonet 4.6

Seguro que otros modelos no fallan en estas cosas, de acuerdo, pero el asunto no es qué tan bueno o no es un modelo.

El asunto es que son herramientas falibles para algunas tareas pero que aportan una sensación de seguridad que no se corresponde con la realidad.

Como el candado verde en los navegadores cuando visitas una página con un certificado SSL "de los buenos". Ah, bueno, tiene candado, es una página segura. Y resulta que la página tenía una vulnerabilidad SQL injection que le habían robado toda la base de datos. 

Pues con estas herramientas va empezando a calar la sensación y el discurso de "si lo ha escrito Gemini/Claude/ChatGPT/... estará bien".