En el ámbito de la ciberseguridad, la búsqueda de vulnerabilidades ha sido tradicionalmente un campo dominado por herramientas automatizadas y expertos humanos. Sin embargo, un reciente incidente ha puesto de manifiesto la creciente sofisticación de las inteligencias artificiales en esta tarea, al punto de que una IA logró acceder a sistemas internos de una de las empresas líderes en el sector.

El protagonista de esta historia es Claude, el modelo de lenguaje desarrollado por Anthropic. Durante una investigación autorizada, Claude recibió la instrucción de identificar una vulnerabilidad específica. Lo que comenzó como una prueba controlada, terminó mucho más allá de lo esperado, afectando indirectamente a sistemas utilizados por OpenAI, el gigante detrás de ChatGPT.

El alcance inesperado de una IA en ciberseguridad

La investigación, iniciada el 23 de julio por especialistas de Hacktron AI, se centró en una vulnerabilidad relacionada con el procesamiento de archivos de imagen en Discourse, una plataforma de gestión de comunidades. El equipo, que participaba en un programa de búsqueda de vulnerabilidades de OpenAI, utilizó una versión de Claude especializada en ciberseguridad para desarrollar código que explotara el fallo detectado.

Tras un primer intento infructuoso, una actualización del modelo de Claude por parte de Anthropic esa misma noche cambió el panorama. Al día siguiente, Claude consiguió desarrollar una vía efectiva para aprovechar la vulnerabilidad. Este código permitió acceder a un servidor de Discourse utilizado para los foros de OpenAI, donde se encontraron elementos críticos: tokens de autenticación.

Lo más sorprendente fue que algunos de estos tokens no solo funcionaban en ChatGPT, sino que estaban vinculados a empleados de OpenAI. Además, ciertas credenciales otorgaban acceso a GitHub, la plataforma que la compañía utiliza para almacenar y gestionar su software. OpenAI fue notificada de inmediato y recompensó a los investigadores con 6.500 dólares por su hallazgo.

Este incidente subraya la capacidad de las inteligencias artificiales para ir más allá de las expectativas iniciales, descubriendo rutas de acceso y vulnerabilidades que, incluso para expertos humanos, podrían pasar desapercibidas en una primera instancia.

La IA que ayuda a construir IA: una paradoja de seguridad

El caso de Claude en la ciberseguridad de OpenAI es aún más relevante si consideramos el papel que esta misma IA está empezando a jugar en el desarrollo de nuevos modelos de inteligencia artificial. Anthropic ha revelado que Claude ya lidera aproximadamente el 26% de las tareas de investigación y desarrollo de nuevos modelos, una cifra que era del 0% en febrero.

La capacidad de una IA para colaborar en el desarrollo de sistemas más avanzados es la misma que la convierte en una herramienta extremadamente eficaz para encontrar vulnerabilidades.

Aunque los investigadores humanos siguen proporcionando las instrucciones generales y supervisando el proceso, la IA está asumiendo una porción cada vez mayor del trabajo. Anthropic cuenta con unos 30.000 agentes de IA dedicados a tareas de investigación e ingeniería, y un 6% de su capacidad informática de I+D se destina a la seguridad de sus propios modelos.

Esta situación plantea una paradoja: las mismas capacidades que permiten a una IA colaborar en el desarrollo de sistemas más avanzados son las que la convierten en una herramienta extremadamente eficaz para encontrar vulnerabilidades. La cuestión central es cómo mantener la supervisión y el control a medida que las capacidades de estas inteligencias artificiales continúan expandiéndose.

El episodio de OpenAI es un claro ejemplo de esta transición, donde una IA recibió una tarea de seguridad aparentemente limitada y terminó revelando una cadena de acceso que llevó mucho más lejos de lo inicialmente previsto, abriendo un debate crucial sobre la seguridad y el desarrollo de la inteligencia artificial.