DeepSeek ha presentado dos nuevas bibliotecas fundamentales para los aceleradores Ascend de Huawei: DeepGEMM-Ascend y DeepEP-Ascend. Estas herramientas están diseñadas para optimizar tareas específicas en el ámbito del aprendizaje automático, marcando un avance en la colaboración entre DeepSeek y Huawei. La primera se enfoca en la eficiencia de las operaciones de multiplicación de matrices, mientras que la segunda gestiona la comunicación de datos en el entrenamiento e inferencia de modelos complejos.

Funcionalidades específicas de cada biblioteca

DeepGEMM-Ascend se especializa en la ejecución de kernels de multiplicación de matrices, que son rutinas altamente optimizadas para operaciones matemáticas concretas. Esta biblioteca soporta diversos formatos de precisión, como BF16, FP8 y FP4, además de ser compatible con MQA logits y MegaMoE. Su interfaz de programación (API) está diseñada para integrarse con DeepGEMM, facilitando su adopción por parte de desarrolladores.

Por su parte, DeepEP-Ascend se encarga de la gestión del flujo de datos entre procesadores, una tarea crítica durante el entrenamiento y la inferencia de modelos de inteligencia artificial. Incluye operaciones de comunicación "todos contra todos" esenciales para el despacho y la combinación de expertos en arquitecturas de Modelos de Mezcla de Expertos (MoE), donde diferentes submodelos especializados se activan según la entrada.

Requisitos de hardware y software

Para aprovechar estas bibliotecas, es necesario contar con aceleradores Ascend específicos y una pila de software compatible. DeepGEMM-Ascend requiere un dispositivo de la serie Ascend 950. DeepEP-Ascend es más específico, demandando un Ascend 950 (A5) con conectividad UBMEM y canales UBC_CTP o URMA para la comunicación entre procesos.

Los requisitos no son intercambiables; cada biblioteca tiene sus propias condiciones de hardware y software, lo que subraya la necesidad de una configuración precisa para su correcto funcionamiento.

A continuación, se detalla una tabla con los requisitos:

  • DeepGEMM-Ascend:
    • Función: Kernels de multiplicación de matrices, MQA logits y MegaMoE.
    • Acelerador: Ascend 950 o serie 950.
    • Software: CANN 9.20, torch_npu, Python 3.10+, C++20.
  • DeepEP-Ascend:
    • Función: Comunicación para entrenamiento e inferencia, incluyendo despacho y combinación MoE.
    • Acelerador: Ascend 950 (A5), UBMEM, canales UBC_CTP o URMA.
    • Software: Linux, controladores y firmware compatibles, componentes CANN, Python 3.10+, PyTorch y torch_npu compatibles.

Rendimiento y mediciones publicadas

DeepGEMM-Ascend ha mostrado un rendimiento notable, alcanzando 431 TFLOPS en un kernel denso BF16×BF16, lo que representa el 99.8% del límite teórico de hardware de 432 TFLOPS en un Ascend 950DT. Es importante destacar que esta medición corresponde al rendimiento de un kernel específico bajo condiciones controladas, no a la velocidad de ejecución de un modelo completo.

Por otro lado, DeepEP-Ascend ha publicado resultados de ancho de banda para operaciones de despacho y combinación en un entorno de prueba de concepto (PoC) con Ascend 950DT. Las cifras varían entre 272 GB/s y 375 GB/s, dependiendo de la configuración. Estas mediciones se realizaron en un montaje específico y no incluyen comparaciones directas con otras plataformas como NVIDIA, sino que se enfocan en el rendimiento dentro del ecosistema Ascend.

Compatibilidad de API y desarrollo futuro

Ambas bibliotecas buscan facilitar la integración al alinear sus APIs con estándares existentes (DeepGEMM y DeepEP, respectivamente). Sin embargo, esto no implica una compatibilidad directa con aplicaciones diseñadas para otras arquitecturas como CUDA; el hardware y software específicos de Ascend siguen siendo indispensables.

DeepEP-Ascend aún tiene funcionalidades en desarrollo. Interfaces como el paralelismo de tubería (PP), Engram y Bucket se encuentran en fase experimental. Además, varias funciones como kernels de reducción, comunicación para balanceo de carga de expertos y almacenamiento Engram respaldado por CPU están incompletas o no son compatibles, lo que indica que la biblioteca continuará evolucionando para ofrecer un conjunto más completo de capacidades de comunicación.