Anthropic, una destacada empresa estadounidense de inteligencia artificial, ha intensificado sus esfuerzos para expandir las capacidades de sus modelos de IA mediante la adquisición masiva de material textual. En una operación denominada "Project Panama", la compañía ha comprado cientos de toneladas métricas de libros en idiomas coreano, japonés y taiwanés, lo que representa un esfuerzo considerable para diversificar y enriquecer los datos de entrenamiento de sus sistemas.
Adquisición masiva de contenido bibliográfico
Los datos revelan que Anthropic ha realizado adquisiciones significativas en la región asiática. En Corea del Sur, se compraron aproximadamente 165.69 toneladas métricas de libros, lo que equivale a unas 414,000 unidades. Esta cantidad es comparable a la totalidad de nuevos títulos publicados en el país durante un período de seis a siete años. Estas transacciones se realizaron a través de Woongjin Booxen, un distribuidor coreano, con envíos que llegaron a puertos en California y Washington.
De manera similar, en Japón, la subsidiaria Nippan IPS, parte del distribuidor Nippon Shuppan Hanbai (Nippan), exportó al menos 122.155 toneladas métricas de libros a Better World Books (BWB), el intermediario en estas compras para Anthropic. Además, se registraron otros envíos de 80.799 toneladas métricas con origen en Busan, aunque su naturaleza exacta no ha sido confirmada.
Taiwán también ha sido un punto clave en esta estrategia. United Distribution Co. (UDC) exportó 563.143 toneladas métricas de libros a BWB en 16 envíos, con material que partió de puertos como Taipéi, Kaohsiung y Keelung. Un aspecto intrigante de estas adquisiciones es la posible inclusión de libros en chino simplificado, lo que sugiere un intento de Anthropic de obtener contenido de China continental de manera indirecta, posiblemente debido a las tensiones geopolíticas.
"La escala de estas adquisiciones subraya la creciente demanda de datos textuales diversos y de alta calidad para el entrenamiento de modelos de lenguaje avanzados. Anthropic está invirtiendo considerablemente en expandir la base de conocimiento de sus IA con contenido culturalmente específico."
Estrategia de entrenamiento y evolución
La estrategia de Anthropic para el "Project Panama" se ha documentado en el litigio Bartz v. Anthropic, donde se detallan las negociaciones con distribuidores asiáticos. Estos documentos internos confirman la aprobación de acuerdos con Nippan y Woongjin Booxen, así como la planificación de futuros pedidos a UDC.
Expertos del sector sugieren que, tras haber procesado una vasta cantidad de libros recién publicados, las compañías de IA, incluida Anthropic, están ahora dirigiendo su atención hacia libros usados. Esto se evidencia por un aumento en las órdenes de compra de libros antiguos en librerías de segunda mano en Alemania, Japón y Corea del Sur. La hipótesis es que estos materiales más antiguos ofrecen una fuente adicional de datos históricos y lingüísticos que pueden enriquecer aún más los modelos de IA.
Kim Su-hyeon, director de Seoul Book Bogo, comentó: "Sospecho que las empresas de IA han terminado de entrenar sus modelos con libros nuevos y ahora han comenzado a buscar libros usados para entrenarlos con materiales más antiguos."
Precedentes y desafíos legales
Antes de estas adquisiciones de libros físicos, Anthropic ya había utilizado copias digitales obtenidas de sitios de piratería. En el caso Bartz v. Anthropic, se reveló que la empresa descargó aproximadamente 4 millones de libros digitales de plataformas como Library Genesis y Pirate Library Mirror entre 2020 y 2021. Un fallo judicial determinó que esta adquisición era ilegal y ordenó a Anthropic compensar a los titulares de derechos de autor por 482,460 obras elegibles.
Este precedente legal destaca los desafíos éticos y legales que enfrentan las empresas de IA en su búsqueda insaciable de datos para el entrenamiento de modelos. La adquisición de libros físicos, aunque costosa, podría ser una estrategia para asegurar fuentes de datos legítimas y evitar futuras disputas por derechos de autor, mientras se expande la diversidad lingüística y cultural de sus modelos de IA.
