Un reciente estudio, denominado CivBench y publicado en arXiv por un equipo de investigadores de la Universidad de Oxford, Google DeepMind y el Instituto de Seguridad de la IA del Reino Unido, ha puesto de manifiesto las limitaciones actuales de los modelos de lenguaje grandes (LLM) en la gestión de estrategias complejas y sostenidas en el tiempo. El experimento consistió en enfrentar a cuatro prominentes inteligencias artificiales —Claude Opus 4.6, GPT-5.4, Gemini 3.1 Pro y Kimi K2.5— al videojuego Civilization VI, un título conocido por su exigencia estratégica y la multiplicidad de decisiones que requiere.
El experimento: IA contra un mundo de estrategia
La elección de Civilization VI no fue casual. Este juego de estrategia por turnos demanda la toma de decisiones variadas que abarcan desde el desarrollo urbano y la investigación tecnológica hasta la diplomacia y la guerra. Se puede alcanzar la victoria por múltiples vías, lo que obliga a los jugadores a formular y ejecutar planes a largo plazo, adaptándose constantemente a un entorno dinámico.
Los investigadores buscaban evaluar la capacidad de las IA para aplicar y adaptar sus propias estrategias en escenarios complejos que se extienden por cientos de turnos. Para ello, desarrollaron un sistema que permitía a los modelos interactuar con el juego mediante órdenes textuales, recibiendo información y devolviendo acciones específicas, como mover unidades o construir edificaciones. Se les proporcionaron 76 funciones para ejecutar acciones concretas, y el sistema está disponible en el repositorio del proyecto para su consulta.
Resultados desalentadores: 20 derrotas en 23 partidas
El balance del experimento fue contundente: las IA lograron solo tres victorias frente a veinte derrotas. Los fallos detectados no fueron menores, sino que se catalogaron como errores básicos para un jugador humano. Entre los problemas más recurrentes se observó una falta de atención al progreso de las civilizaciones rivales, a pesar de haber sido instruidas para verificar esta información cada veinte turnos. Además, los modelos a menudo dejaban de ejecutar sus propios planes, incluso cuando estos estaban documentados en un diario que podían consultar para recordar sus objetivos.
«Durante 110 turnos, una IA que dirigía Macedonia no construyó el campamento necesario para desarrollar su estrategia militar, aunque reconocía repetidamente que debía crear la infraestructura militar.»
Liam Wilkinson, coautor del estudio, compartió ejemplos ilustrativos de estas deficiencias. Una IA, a cargo de la civilización de Macedonia, planeó una estrategia militar que requería la construcción de un campamento, pero no lo hizo durante 110 turnos, a pesar de reconocer la necesidad de esa infraestructura. En otro caso, una IA insistía en su superioridad científica mientras los datos del juego mostraban que estaba rezagada respecto a sus oponentes.
Desatención y falta de persistencia
El estudio sugiere que uno de los problemas centrales radica en la forma en que los modelos distribuyen su atención. Las IA tendían a concentrarse en acciones inmediatas, descuidando la revisión periódica de la situación general del juego y la ejecución de tareas planificadas a largo plazo. A pesar de que la información estaba disponible, los modelos se demoraban en solicitarla o procesarla adecuadamente.
Aunque no se identifica una única causa ni se afirma que una mejor memoria sea la solución definitiva, los autores proponen que las futuras implementaciones de IA podrían beneficiarse de mecanismos como comprobaciones automáticas y listas de tareas actualizadas. Estos sistemas permitirían a las IA revisar de forma proactiva a sus rivales y retomar las tareas pendientes, mejorando así su capacidad para mantener estrategias complejas en el tiempo.
Este estudio subraya que, si bien los LLM han demostrado habilidades impresionantes en diversas áreas, aún enfrentan desafíos significativos en tareas que demandan planificación estratégica, persistencia y una gestión atenta de múltiples variables a lo largo de periodos prolongados. La capacidad de un modelo de IA para resolver problemas complejos no garantiza su éxito si no consulta la información necesaria o no ejecuta sus planes de manera consistente.
