Amazon Bedrock ha integrado Pegasus 1.5 de TwelveLabs, un modelo de lenguaje de video (VLM) diseñado para transformar videos de larga duración en metadatos estructurados y con marcas de tiempo. Esta herramienta te permite identificar y extraer segmentos específicos de interés, convirtiendo contenido audiovisual que tradicionalmente ha sido difícil de buscar en información procesable.

Anteriormente, la extracción de información útil de videos requería procesos manuales intensivos o el uso de múltiples herramientas. Pegasus 1.5 simplifica este proceso al analizar videos completos y devolver cada segmento que cumpla con tus criterios definidos en formato JSON. Esto incluye la capacidad de procesar videos directamente desde Amazon S3 o mediante una cadena base64, manteniendo tus datos dentro del entorno seguro de AWS.

Novedades destacadas de Pegasus 1.5

Pegasus 1.5 introduce varias mejoras significativas que amplían sus capacidades de análisis:

  • Generación de metadatos basada en el tiempo: Puedes definir segmentos, eventos o señales específicas relevantes para tu flujo de trabajo, como cambios de orador, jugadas deportivas o apariciones de marcas. El modelo devuelve cada segmento coincidente con sus tiempos de inicio y fin, y los campos solicitados.
  • Prompting multimodal: Ahora es posible combinar descripciones de texto con referencias visuales para localizar elementos específicos, como productos, logotipos o personas, y lo que están haciendo en pantalla.
  • Procesamiento “on-the-fly”: No necesitas una infraestructura de ingesta o un paso de preindexación. Los videos se envían directamente desde Amazon S3 y los resultados se reciben en la misma respuesta.
  • Capacidad de procesamiento extendida: Pegasus 1.5 puede analizar videos de hasta dos horas de duración en una sola solicitud, duplicando la capacidad de la versión anterior.

Además de estas novedades, Pegasus 1.5 mantiene y mejora sus funciones principales, incluyendo la generación de texto a partir de video, la comprensión visual granular de objetos y texto en pantalla, la identificación precisa de eventos temporales y el soporte multilingüe, con plena compatibilidad con el inglés y soporte parcial para otros idiomas como el español.

Cómo funciona Pegasus 1.5 en Amazon Bedrock

Para utilizar Pegasus 1.5, interactúas con el endpoint bedrock-runtime a través de la API InvokeModel o InvokeModelWithResponseStream. Puedes operar el modelo en dos modos de análisis:

  • Modo general (general): Envías una pregunta de texto y recibes una respuesta textual o JSON si proporcionas un esquema.
  • Modo de metadatos basados en el tiempo (time_based_metadata): Envías definiciones de segmentos y recibes una lista de segmentos con tiempos de inicio y fin, junto con los campos que solicitaste.

Puedes especificar la fuente del video mediante una ubicación en Amazon S3 (para videos largos) o como una cadena base64 (para clips cortos de hasta 25 MB). La integración con Amazon Bedrock asegura que tus datos permanezcan dentro de los límites de seguridad de AWS.

Primeros pasos con Pegasus 1.5

Para comenzar, necesitas una cuenta AWS activa con acceso a Amazon Bedrock, Python 3.10 o superior con Boto3 instalado, permisos IAM para bedrock:InvokeModel y bedrock:InvokeModelWithResponseStream, y acceso al modelo TwelveLabs Pegasus 1.5 habilitado en la consola de Amazon Bedrock. Tus videos deben estar almacenados en un bucket de Amazon S3 o ser clips cortos que puedas enviar directamente en línea.

La capacidad de transformar grandes volúmenes de contenido de video en datos estructurados y buscables representa un avance significativo para industrias que dependen del análisis de medios, como el marketing, la seguridad, el entretenimiento y la educación. Pegasus 1.5 te ofrece una herramienta poderosa para desbloquear el valor oculto en tus archivos de video.