Google DeepMind, en colaboración con investigadores de la Universidad de Massachusetts Amherst y la Universidad de Texas en Austin, ha publicado un estudio que propone un cambio radical en la arquitectura de los sistemas de clasificación de búsqueda. El nuevo modelo, denominado Autoregressive Ranking (ARR), busca sustituir los actuales sistemas de dos etapas por un único modelo de lenguaje grande (LLM), lo que podría tener implicaciones profundas para el SEO y la optimización de motores de búsqueda.

El desafío de los sistemas de ranking actuales

Para entender la magnitud de esta propuesta, primero hay que comprender cómo funcionan los sistemas de clasificación de búsqueda tradicionales. Generalmente, operan con una arquitectura de dos etapas:

  • Dual Encoder (DE): Esta primera etapa convierte las consultas y los documentos en vectores, lo que permite una recuperación rápida de documentos potencialmente relevantes. Los Dual Encoders son computacionalmente eficientes y rápidos, pero su capacidad para clasificar con precisión es limitada.
  • Cross Encoder (CE): Una vez que el Dual Encoder ha preseleccionado un conjunto de documentos, el Cross Encoder entra en acción. Esta segunda etapa revisa y clasifica las páginas candidatas con mayor precisión. Aunque los Cross Encoders son más potentes, también son mucho más costosos computacionalmente, por lo que se utilizan solo para refinar la clasificación de un subconjunto más pequeño de documentos.

El principal problema es que, si bien los Dual Encoders son rápidos, no son lo suficientemente precisos para una clasificación final. Y los Cross Encoders, aunque precisos, son demasiado lentos y caros para aplicarlos a gran escala. Aquí es donde ARR entra en juego, buscando cerrar esa brecha.

Autoregressive Ranking (ARR): un cambio de paradigma

La propuesta de los investigadores es reemplazar esta arquitectura de dos etapas con un sistema único basado en un LLM. El documento de investigación, titulado "Autoregressive Ranking: Bridging the Gap Between Dual and Cross Encoders", detalla cómo un LLM podría generar una lista clasificada de documentos de forma autoregresiva, es decir, prediciendo el siguiente elemento en la secuencia basándose en los anteriores.

Las implicaciones de un cambio así serían enormes. Si un único LLM pudiera manejar la clasificación de manera eficiente y precisa, la forma en que los motores de búsqueda interpretan y presentan los resultados cambiaría drásticamente, afectando directamente a cómo optimizamos el contenido para la búsqueda.

SToICaL: entrenando al LLM para clasificar

Para que un LLM pueda clasificar documentos, necesita un entrenamiento específico. Los investigadores desarrollaron un método llamado SToICaL (Simple Token-Item Calibrated Loss) para enseñar al LLM a discernir qué documentos deben ocupar posiciones más altas o más bajas en el ranking. Este entrenamiento se basa en dos principios clave:

  • Se asigna más peso a los documentos que deberían clasificarse más alto y menos peso a los que deberían clasificarse más bajo.
  • Los datos de entrenamiento se utilizan para aumentar la probabilidad de que el LLM elija "tokens" (unidades de información) que conduzcan a documentos mejor clasificados.

"Proponemos SToICaL (Simple Token-Item Calibrated Loss), una pérdida de entrenamiento generalizada sensible al ranking para el ajuste fino de LLM. Mediante la reponderación a nivel de ítem y la marginalización del árbol de prefijos, distribuimos la masa de probabilidad sobre los tokens de ID de documento válidos basándonos en su relevancia real."

El resultado es un LLM que aprende a identificar qué documentos son relevantes y a suprimir la clasificación de aquellos que no lo son.

Resultados prometedores, pero con matices

Las pruebas realizadas por los investigadores compararon ARR con los sistemas Dual Encoder y Cross Encoder en dos conjuntos de datos: WordNet y ESCI Shopping Queries. Los hallazgos fueron los siguientes:

  • SToICaL mejoró significativamente la capacidad de clasificación de ARR, superando las métricas de recuperación top-1.
  • El método SToICaL ayudó a ARR a clasificar con éxito los documentos irrelevantes por debajo de los relevantes, reduciendo drásticamente los errores de clasificación en los experimentos de WordNet.
  • En la comparación con WordNet, ARR mostró un rendimiento similar al del costoso Cross Encoder y fue significativamente superior al Dual Encoder.

Sin embargo, un área que requiere más investigación es que, en una de las pruebas de búsqueda de compras, una versión del método empeoró la clasificación del resultado más relevante en la primera posición, a pesar de mejorar la clasificación general de los resultados.

Conclusiones y el futuro del ranking

Los investigadores destacan una ventaja teórica crucial de ARR: a diferencia de los Dual Encoders, cuya dimensión de incrustación debe crecer linealmente con el número de documentos a clasificar, un modelo ARR puede clasificar un número arbitrario de documentos con una dimensión oculta constante. Esto ofrece una explicación formal de las ventajas de ARR, aunque reconocen que es un resultado teórico que necesita validación en sistemas de búsqueda reales.

"Proporcionamos una base teórica para la capacidad expresiva superior de ARR sobre los DE. Un análisis riguroso de la geometría de incrustación necesaria para la clasificación muestra que para que un DE logre cualquier ordenación de k documentos, su dimensión de incrustación debe crecer linealmente con k. Por el contrario, demostramos que un modelo ARR con dimensión oculta constante es teóricamente suficiente para clasificar un número arbitrario de documentos. Esto ofrece una explicación formal de las ventajas de ARR."

Aunque aún no hemos llegado al punto en que "todo ha cambiado" en la búsqueda, este estudio sugiere que Google está cada vez más cerca de un día en que la búsqueda se transforme de una manera profunda. Para los profesionales del SEO, mantenerse al tanto de estas innovaciones es crucial para anticipar los cambios en los algoritmos y adaptar sus estrategias.