La comunidad de investigación en inteligencia artificial de Londres ha dado la bienvenida a una nueva iniciativa: AI Research Foundry London. Este foro, concebido como un espacio para el análisis exhaustivo de publicaciones científicas, busca reunir a expertos de la academia, grandes tecnológicas y startups para profundizar en la investigación compartida sobre IA.

El nacimiento de un espacio para el debate técnico

Fundada por Shubham Jain, científico principal de Machine Learning en Sense Street, AI Research Foundry London surge de la necesidad de un entorno donde los investigadores puedan ir más allá de las presentaciones superficiales y realmente desglosar los trabajos más relevantes del sector. La ciudad de Londres, reconocida por sus vibrantes comunidades de desarrolladores, carecía de un espacio similar enfocado en el análisis técnico profundo de la investigación en IA.

La sesión inaugural, titulada Data Is All You Need, se llevó a cabo en Pillar VC, King's Cross, y se centró en el papel fundamental de los datos de entrenamiento en el desarrollo de sistemas de inteligencia artificial. A pesar de ser un evento gratuito, la demanda superó las expectativas, agotando todas las plazas disponibles.

Colaboración entre gigantes y la academia

La primera discusión contó con la participación de destacados investigadores, aportando diversas perspectivas tanto del ámbito académico como del desarrollo comercial de la IA:

  • Joshua Placidi (Imperial College London): Presentó su investigación sobre la composición de secuencias en el preentrenamiento de modelos fundacionales de registros de salud electrónicos (EHR), explorando el escalado del aprendizaje auto-supervisado con datos médicos y modelos generativos.
  • Yash Bhalgat (Google DeepMind): Investigador senior que ha trabajado en Gemini Omni, incluyendo su rol como capitán principal para el preentrenamiento de Omni 1.5. Su intervención se centró en aspectos clave del desarrollo de modelos a gran escala.
  • Maximilian Croci (Microsoft AI): Compartió detalles sobre MAI-Thinking-1, un modelo en cuyo desarrollo ha contribuido, haciendo hincapié en la importancia de los datos de preentrenamiento, incluyendo material de matemáticas, ciencia y código obtenido de la web.
  • Pierre-Carl Langlais (Pleias): El cofundador y CTO del laboratorio franco-alemán Pleias, abordó un enfoque completamente sintético y de una sola etapa para el entrenamiento de grandes modelos de lenguaje (LLMs).

La importancia de los datos en el progreso de la IA

El enfoque inicial de la Foundry en los datos de entrenamiento se basó en un estudio de septiembre de Dwarkesh Patel y Jerry Han. Su investigación comparó las mejoras en los métodos de entrenamiento y conjuntos de datos disponibles públicamente entre 2019 y 2025.

Los experimentos revelaron que, con un presupuesto de cómputo de 10¹⁹ operaciones de punto flotante (FLOPs), las mejoras en los datos proporcionaron una ganancia de 12 veces en la eficiencia computacional, mientras que las mejoras en los modelos solo aportaron una ganancia de 3.7 veces. Esto sugiere que las ganancias atribuibles a los datos fueron 3.24 veces mayores en ese contexto experimental.

Los autores del estudio advierten que sus experimentos se realizaron a una escala relativamente pequeña, lo que podría no reflejar completamente la contribución de las mejoras en los modelos en la frontera de la investigación. Además, no exploraron si los datos sintéticos podrían expandir eficazmente los conjuntos de entrenamiento sin comprometer el rendimiento.

Este tema sirve como punto de partida para el formato de discusión de la Foundry, que comienza con un documento de investigación compartido y luego abre la conversación a preguntas y un examen más amplio. Se anima a los participantes a leer la investigación de antemano, y se proporcionan resúmenes antes de cada sesión.

AI Research Foundry London tiene previsto reunirse aproximadamente una vez al mes o cada seis semanas. Cada sesión se centrará en un tema de investigación y una selección de artículos, manteniendo la participación gratuita con plazas limitadas y asistencia curada.