¿Búsqueda en Tiempo de Inferencia: Nueva Ley de Escala de IA o un Truco?
El mundo de la IA está zumbando sobre una potencial nueva "ley de escala" llamada "búsqueda en tiempo de inferencia". Pero, ¿qué es y es realmente un cambio de juego? Profundicemos.
¿Qué es la Búsqueda en Tiempo de Inferencia?
Las leyes de escala de la IA describen cómo el rendimiento del modelo de IA mejora con el aumento del tamaño del conjunto de datos y la potencia computacional. Si bien el preentrenamiento fue una vez el enfoque dominante, la escala posterior al entrenamiento y la escala del tiempo de prueba han surgido. Ahora, investigadores de Google y UC Berkeley proponen la "búsqueda en tiempo de inferencia" como una posible cuarta ley.
La búsqueda en tiempo de inferencia implica generar múltiples respuestas posibles a una consulta y luego seleccionar la "mejor". Los investigadores afirman que este método puede aumentar significativamente el rendimiento de modelos como Gemini 1.5 Pro, incluso superando el o1-preview de OpenAI en ciertos benchmarks.
Eric Zhao, doctorando de Google y coautor del artículo, explicó en X que "simplemente muestreando aleatoriamente 200 respuestas y autoverificando, Gemini 1.5, un modelo antiguo de principios de 2024, supera al o1-preview y se acerca al o1". También señaló que la autoverificación se vuelve más fácil a escala.
Escepticismo de los Expertos
A pesar de la emoción inicial, algunos expertos siguen siendo escépticos sobre la aplicabilidad generalizada de la búsqueda en tiempo de inferencia.
Matthew Guzdial, investigador de IA de la Universidad de Alberta, señala que este enfoque funciona mejor cuando se dispone de una buena "función de evaluación", lo que significa que la mejor respuesta se puede identificar fácilmente. Sin embargo, muchas consultas del mundo real no tienen soluciones tan claras.
"[S]i no podemos escribir código para definir lo que queremos, no podemos usar la búsqueda [en tiempo de inferencia]", explica Guzdial. "Para algo como la interacción general del lenguaje, no podemos hacer esto [...] Generalmente no es un gran enfoque para resolver realmente la mayoría de los problemas."
Mike Cook, investigador del King's College London, se hace eco de este sentimiento, enfatizando que la búsqueda en tiempo de inferencia no mejora necesariamente el proceso de razonamiento del modelo. En cambio, es una solución para las limitaciones de la IA, que a veces puede hacer predicciones seguras pero incorrectas.
"[La búsqueda en tiempo de inferencia] no 'eleva el proceso de razonamiento' del modelo", dijo Cook. "[Es] solo una forma de evitar las limitaciones de una tecnología propensa a cometer errores apoyados con mucha confianza."
La Búsqueda Continúa
Las limitaciones de la búsqueda en tiempo de inferencia pueden decepcionar a aquellos que buscan formas más eficientes de escalar el "razonamiento" del modelo. Como reconocen los propios investigadores, los modelos de razonamiento actuales pueden ser increíblemente caros computacionalmente. Por lo tanto, la búsqueda de técnicas de escalado nuevas y eficaces sigue siendo una prioridad en el campo de la IA.
Source: TechCrunch