La inteligencia artificial local está experimentando una transformación, alejándose de la necesidad de infraestructuras de servidores masivas y costosas. Geekom ha presentado una propuesta innovadora que conecta cuatro de sus mini PCs A9 Mega para formar un clúster de IA capaz de ejecutar el modelo DeepSeek V4 Flash, sin depender de servicios de IA basados en la nube.

Innovación en la distribución de carga de trabajo

La particularidad de esta iniciativa no reside únicamente en la ejecución de un modelo de IA en un entorno local, una práctica ya conocida. El verdadero avance se encuentra en la metodología de distribución del trabajo entre varios ordenadores compactos. Geekom opta por una conexión USB4 para enlazar los cuatro equipos, lo que permite repartir el modelo de IA de manera eficiente. Este enfoque elude la necesidad de conmutadores de red de alta velocidad o infraestructuras de servidor propietarias, presentando una solución más accesible y flexible para ciertos escenarios de IA privada.

Configuración técnica del clúster

  • Hardware: Cada Geekom A9 Mega está equipado con un procesador AMD Ryzen AI Max+ 395, que integra 16 núcleos de CPU Zen 5, gráficos Radeon 8060S y memoria unificada.
  • Software: El sistema opera bajo Ubuntu y utiliza ROCm y DwarfStar para la distribución optimizada de DeepSeek V4 Flash a través de los cuatro mini PCs.
  • Conectividad API: Las aplicaciones pueden interactuar con el clúster mediante una API compatible con OpenAI. Esta característica es crucial para empresas que ya han desarrollado herramientas sobre este tipo de interfaces, facilitando la transición de la infraestructura sin reconfigurar sus aplicaciones existentes.

Privacidad y control de datos como argumentos clave

La motivación principal para implementar un modelo de IA dentro de las instalaciones de una empresa es la privacidad de los datos. Al utilizar servicios de IA en la nube, la información confidencial y las consultas deben transitar fuera de la infraestructura interna, lo que puede generar riesgos de seguridad. Con un clúster de IA local, los datos sensibles —como contratos, código fuente, credenciales o documentación interna— permanecen protegidos dentro del entorno de la organización.

Geekom sugiere aplicaciones para este clúster que incluyen asistentes privados para consultas internas, revisión de documentos, análisis de repositorios de código, sistemas RAG (Retrieval-Augmented Generation) con información local, investigación multifuente y automatización mediante agentes.

Esta tendencia subraya un cambio en el enfoque de la IA, donde la discusión ya no se limita a la capacidad del modelo, sino que se expande a dónde se ejecuta y quién ejerce control sobre los datos.

Capacidad de procesamiento y escalabilidad

El sistema ha demostrado trabajar con contextos de hasta 250.000 tokens, lo que posibilita el manejo de documentos extensos, bases de código significativas y procesos complejos. En pruebas de una única solicitud concurrente, el clúster alcanzó aproximadamente 14,61 tokens por segundo, con un tiempo P95 hasta el primer token de 0,42 segundos en pruebas de 32 y 128 tokens. Es importante considerar que estas cifras son proporcionadas por Geekom y corresponden a su configuración y metodología.

Otro aspecto notable es la modularidad del sistema. Una organización puede iniciar con uno o dos mini PCs y expandir la instalación a cuatro equipos según sus necesidades. Esta flexibilidad permite que cada A9 Mega funcione de manera independiente o se integre en el procesamiento distribuido, ofreciendo una solución escalable para laboratorios o empresas con volúmenes de trabajo crecientes.

Este experimento de Geekom no busca reemplazar los centros de datos tradicionales, sino demostrar que ciertas cargas de trabajo de IA privada y local pueden gestionarse con hardware mucho más compacto de lo que se creía posible. La capacidad de los mini PCs para colaborar en la resolución de problemas complejos representa un avance significativo en la democratización de la inteligencia artificial.