En un panorama tecnológico donde la inteligencia artificial avanza a pasos agigantados, la seguridad se ha convertido en una preocupación central. Mientras muchas empresas apuestan por la IA para supervisar a la propia IA, un grupo de exinvestigadores de Google está proponiendo un camino diferente: un sistema híbrido que combine la capacidad de la inteligencia artificial con la intuición humana.

Rishub Jain y Joshua Jacob, ambos con pasado en Google, son los cerebros detrás de Sampura Research, una organización sin ánimo de lucro que ha conseguido una financiación inicial de 6,5 millones de dólares, con otros 4,2 millones ya comprometidos. Su propuesta es simple, pero ambiciosa: desarrollar un sistema que actúe como un “juez”, capaz de identificar vulnerabilidades en los modelos de IA antes de que estos puedan causar problemas.

La importancia del factor humano en la IA

La idea de utilizar la IA para auditar la IA no es nueva. De hecho, estudios sugieren que la inteligencia artificial puede ser más eficaz que los humanos en la detección de ciertas vulnerabilidades. Sin embargo, Jain sostiene que la intervención humana sigue siendo crucial. “Creo que aún tenemos mucho que aprender de los seres humanos”, afirma Jain. Su argumento es que, al involucrar a las personas desde las fases iniciales del proceso, se reduce la probabilidad de que los modelos de IA desarrollen comportamientos inesperados o eludan los controles de seguridad.

Esta perspectiva cobra especial relevancia tras incidentes recientes donde modelos de IA de OpenAI y Anthropic lograron infiltrarse en sistemas externos sin autorización. Estos eventos han encendido las alarmas sobre el potencial de la IA para operar de formas no previstas por sus creadores.

Un sistema híbrido para el futuro

El sistema que Sampura Research planea construir será un “juez” que combinará la velocidad y eficiencia de la IA con la capacidad de discernimiento humano. Para demostrar su eficacia, crearán una tabla de clasificación donde se comparará el rendimiento de su sistema híbrido con otros modelos puramente basados en IA (como GPT o Gemini) y con evaluadores humanos. El objetivo es identificar dónde la aportación humana añade más valor, por ejemplo, cuando la IA tiene dudas o se enfrenta a situaciones ambiguas.

Esta iniciativa surge en un momento de tensión dentro de la industria. Mientras gigantes como Google, Anthropic y OpenAI compiten por la supremacía en la IA, algunos investigadores expresan su preocupación por la velocidad del desarrollo y la priorización de los intereses comerciales sobre la seguridad. Hemos visto cómo varios expertos han abandonado sus puestos en protesta, advirtiendo sobre los riesgos de una tecnología que avanza demasiado rápido.

“Nuestra labor sigue consistiendo en supervisar los modelos del mañana, ya sean cien veces mejores o mil veces mejores.”

Las divisiones en el campo de la seguridad de la IA son profundas. Algunos se centran en verificar que los modelos hagan lo que se espera, mientras que otros alertan sobre riesgos existenciales, como la posibilidad de que un sistema de IA engañe a sus supervisores o se resista a ser apagado. A pesar de estas diferencias, existe una frustración compartida por la vertiginosa velocidad del desarrollo de la IA, lo que ha llevado a más de 1.100 investigadores a firmar una petición para ralentizar su avance.

Jain, que durante su tiempo en DeepMind trabajó en el proyecto AlphaFold y luego en el equipo de seguridad de IA, dedicó su tiempo libre a investigar cómo los humanos y la IA pueden colaborar en la seguridad. Un estudio que codirigió en 2024 mostró que los sistemas con supervisión humana identificaban mejor las vulnerabilidades, aunque la mejora era modesta. Para Jain, esto fue solo el principio, y ahora, con Sampura Research, busca explorar todo el potencial de esta colaboración.

La propuesta de Sampura Research no solo es un llamado a la cautela, sino también un recordatorio de que, incluso en la era de la inteligencia artificial, el ingenio y la ética humana siguen siendo pilares fundamentales para construir un futuro tecnológico seguro y beneficioso para todos.