Meta ha lanzado Muse Voice Transcribe, un modelo de percepción de audio en tiempo real diseñado para transformar conversaciones complejas en texto de manera instantánea. Esta herramienta integra el reconocimiento automático del habla con la identificación de participantes y la detección del momento en que una persona finaliza su intervención, ofreciendo además soporte multilingüe y la capacidad de alternar idiomas dentro de una misma frase. Este sistema, desarrollado por Meta Superintelligence Labs, promete optimizar la transcripción de audio en diversos escenarios.

Un modelo optimizado para la escucha en tiempo real

Muse Voice Transcribe, parte de la familia de modelos multimodales autorregresivos Muse Spark, procesa el audio en bloques de 80 milisegundos. Cada bloque se convierte en un token suave que el modelo utiliza para determinar su siguiente acción. Esto le permite decidir si necesita más audio antes de generar texto, insertando un token especial <|next_audio|> cuando requiere información adicional o <|empty_audio|> cuando el flujo de sonido concluye.

Este diseño posibilita un control dinámico sobre el contexto acústico necesario antes de transcribir una palabra, lo que Meta denomina “demora” o “delay”. La herramienta ajusta este tiempo de espera de forma adaptativa, buscando un equilibrio entre la precisión y la latencia. Este comportamiento se entrena mediante aprendizaje por refuerzo, ponderando la tasa de error por palabra y la demora para optimizar la experiencia del usuario.

Diarización avanzada para múltiples hablantes

Una de las funcionalidades clave de Muse Voice Transcribe es su capacidad de diarización, que permite identificar a cada hablante en una grabación. Meta asegura que el sistema puede gestionar más de 20 voces sin necesidad de procesamiento posterior, lo que lo hace ideal para reuniones, entrevistas o cualquier contexto con múltiples participantes.

El modelo utiliza tokens específicos como <|start_of_turn|> para señalar el inicio de una intervención y etiquetas como <|speaker_A|> para asociar fragmentos de audio a un hablante concreto. Esta característica es crucial para organizar diálogos con interrupciones y pausas, manteniendo la coherencia en la identificación de cada persona a lo largo de la conversación.

La demostración de lanzamiento mostró la capacidad del modelo para seguir voces superpuestas, interrupciones y acentos, transcribiendo en vivo en condiciones que suelen ser desafiantes para los sistemas de reconocimiento de voz tradicionales.

Además, Muse incorpora la función de endpointing, que detecta el inicio y el final del habla, permitiendo a las aplicaciones diferenciar entre una pausa y el cierre de una solicitud, lo cual es especialmente útil para asistentes virtuales que deben interactuar sin interrupciones.

Soporte multilingüe y contextual

Meta ha entrenado Muse Voice Transcribe con más de 70 idiomas, aunque inicialmente recomienda el uso de 25 idiomas que considera ampliamente verificados. El modelo también es capaz de procesar entradas de audio extensas, de más de una hora, diferenciándose de herramientas diseñadas para mensajes cortos.

Una característica destacada es su reconocimiento de code-switching, común entre hablantes bilingües que alternan idiomas dentro de una misma frase. La tecnología combina idiomas como el mandarín y el inglés con términos técnicos y expresiones cotidianas sin requerir cambios manuales de idioma por parte del usuario.

La precisión del sistema se mejora mediante el uso de sesgos de contexto, idioma y palabras clave. Esto permite que términos específicos, como nombres propios o de productos, reciban un tratamiento preferente cuando el contexto lo sugiere, aunque Meta advierte sobre la necesidad de controles para evitar distorsiones. La capacidad de manejar largos contextos de audio permite al modelo trabajar con conversaciones extensas y múltiples participantes sin una etapa de posprocesamiento adicional.

Disponibilidad y aplicaciones futuras

Muse Voice Transcribe está disponible a través de Meta Model API, Meta AI para Mac y Muse Code. Esta distribución abre la puerta a que desarrolladores y usuarios integren la transcripción en tiempo real, la identificación de hablantes y la detección de turnos en diversas aplicaciones. En Meta AI para Mac, la función se activa simplemente manteniendo presionada la tecla “Fn”, buscando reducir la fricción en la interacción.

Es importante destacar que las transcripciones son generadas por inteligencia artificial y pueden contener errores. Meta también aclara que el audio se procesa para producir texto y no se almacena, pero el uso de la herramienta requiere aceptar los Términos de Servicio de Meta y los Términos de Meta AI, además de confirmar que se cuenta con el permiso necesario para grabar el audio capturado. Este último punto es crucial, especialmente en contextos donde la privacidad y las regulaciones legales son un factor determinante.