En el vertiginoso mundo de la inteligencia artificial, la capacidad de los modelos para interactuar con el entorno y realizar tareas complejas está en constante evolución. Hemos sido testigos de cómo las capacidades de codificación y los agentes de IA han reescrito las reglas del juego, convirtiéndose en uno de los escenarios donde la IA genera valor comercial de forma más rápida. Sin embargo, a medida que estos agentes asumen tareas de cadena larga cada vez más sofisticadas, surge una pregunta crucial: ¿cómo pueden ver el mundo que les rodea?
La respuesta, según un creciente número de expertos y empresas líderes, reside en la multimodalidad nativa. Un investigador del campo multimodal lo explica claramente: "Si las tareas de cadena larga solo dependen de la retroalimentación a nivel de código, los errores pueden acumularse continuamente y el resultado final será muy pobre. La visión es una forma de retroalimentación más precisa y está más cerca de la intención del usuario".
¿Qué es la multimodalidad nativa y por qué es tan relevante?
La multimodalidad nativa implica que datos como imágenes y textos configuran conjuntamente el modelo principal desde la fase de preentrenamiento o preentrenamiento continuo. Estos modelos se optimizan posteriormente y, finalmente, participan en la percepción y toma de decisiones del agente. No se trata solo de procesar una imagen que el usuario sube, sino de que el modelo utilice la visión como retroalimentación para verificar su trabajo, encontrar errores y ajustar sus acciones.
Un ejemplo contundente de esta capacidad lo vimos en julio con el lanzamiento de Kimi K3 de Moonshot AI. Este modelo MoE (Mixture of Experts), con 2,8 billones de parámetros y soporte para un contexto de 1 millón de tokens, no solo destaca por sus habilidades de codificación y su capacidad como agente de largo alcance, sino también por su excelente capacidad multimodal nativa.
K3 ha demostrado su valía en el desarrollo web. En una prueba, la plataforma Puter creó cinco desviaciones visuales en una página web. K3, al comparar capturas de pantalla de la página objetivo y la página en ejecución, identificó todas las discrepancias sin falsos positivos. Esta habilidad le permite comprender los problemas visuales tras ejecutar el código y proporciona una base para la siguiente ronda de modificaciones. Kimi denomina a este método iterativo entre código y capturas de pantalla como "visión en el bucle": el modelo escribe el código, verifica la página y se ajusta según el resultado visual. Esto, sin una capacidad multimodal robusta, sería impensable.
La divergencia en la industria: ¿cuándo y cómo integrar la visión?
Aunque Moonshot AI, Alibaba y ByteDance están apostando fuerte por la ruta multimodal nativa, integrando la visión como una capacidad fundamental en sus modelos generales (como Qwen3.8-Max y Doubao-Seed-2.1), otros actores prominentes como DeepSeek, Zhipu AI y Tencent Hunyuan aún se centran principalmente en la entrada de texto.
Liang Wenfeng, fundador de DeepSeek, ha expresado que "para entrenar bien la IA, no se necesita un modelo mundial, ni siquiera multimodalidad", aunque también admitió que "la multimodalidad se implementará finalmente". Esta aparente contradicción subraya el debate actual: no hay una gran diferencia de opinión sobre el valor a largo plazo de la multimodalidad, pero sí la hay en el momento y el coste de su implementación.
En una etapa de rápida iteración de la codificación, la decisión de entrenar la visión de forma sincrónica y la cantidad de capacidad del modelo, datos y potencia computacional a invertir, están marcando las diferentes rutas técnicas de los modelos líderes.
¿Por qué los agentes necesitan "ojos"?
La necesidad de la multimodalidad nativa se vuelve más evidente a medida que las cadenas de tareas de los agentes se alargan. Un investigador de un equipo líder de modelos base prefiere las capturas de pantalla porque, aunque el texto podría transmitir la misma información, requeriría una gran cantidad de contexto para describir relaciones visuales. Esta conveniencia no se limita a desarrolladores; incluso usuarios no expertos en IA utilizan modelos para tareas como crear presentaciones, donde la visión es crucial.
Los modelos puramente textuales son inherentemente "ciegos". Aunque pueden usar herramientas externas como OCR o modelos de lenguaje visual (VLM) para convertir imágenes en texto o datos estructurados, esta solución modular tiene limitaciones. Un investigador multimodal explica que el canal de comunicación dentro de un modelo multimodal nativo es "más amplio", evitando la compresión de la imagen a texto antes de la evaluación. Esto es vital para tareas de cadena larga que requieren una visualización repetida de la pantalla, ya que el modelo multimodal nativo puede comprender directamente los cambios de la página y decidir qué hacer a continuación.
Ilya Sutskever, cofundador de OpenAI, argumenta que el texto es una "proyección del mundo" y que los modelos pueden comprender el mundo a través del lenguaje. Sin embargo, Yann LeCun de Meta sostiene que "la vasta mayoría del conocimiento humano no se expresa en texto" y que la comprensión de objetos y acciones requiere aprender de imágenes, vídeos e interacciones en el mundo real.
Si bien el texto ofrece información altamente resumida, las imágenes y los vídeos proporcionan señales más crudas y ricas. Estas señales contienen información que el texto no registra, pero requieren más datos, potencia computacional y paciencia para transformarse en conocimiento generalizable.
"La multimodalidad no es decisiva, pero es muy importante", afirma un investigador de modelos. Las tareas básicas de preguntas y respuestas con imágenes y vídeos ya están maduras, y el siguiente paso es integrar la multimodalidad en escenarios de producción reales, lo que representa un avance significativo en la forma en que los agentes de IA perciben y actúan en nuestro mundo digital.
