Alucinación de IA

Los modelos de IA alucinan menos que los humanos, afirma el CEO de Anthropic

IA

El CEO de Anthropic, Dario Amodei, afirmó recientemente que los modelos de IA actuales probablemente alucinan con menos frecuencia que los humanos, aunque sus imprecisiones se manifiestan de maneras más inesperadas. Esta declaración, hecha durante el evento para desarrolladores de Anthropic, desafía una visión predominante en la comunidad de IA.

AGI y el Obstáculo de la Alucinación

La perspectiva de Amodei es particularmente notable dada su visión optimista sobre el cronograma para lograr la Inteligencia Artificial General (AGI). Él postula que la AGI podría alcanzarse ya en 2026, una visión no universalmente compartida. Argumenta que las limitaciones percibidas, como las alucinaciones de IA, no son obstáculos insuperables en el camino hacia la AGI. Ve el progreso como continuo y generalizado, en lugar de obstruido por obstáculos específicos.

Esto contrasta con las opiniones de otros líderes de IA que consideran la alucinación un obstáculo significativo para la AGI. El incidente reciente de un abogado que usó Claude, el chatbot de IA de Anthropic, para generar citas incorrectas en una demanda judicial sirve como un ejemplo destacado de las implicaciones prácticas del problema. Si bien técnicas como la integración de la búsqueda web mejoran la precisión, persisten preocupaciones sobre el potencial de aumento de la alucinación en modelos avanzados de razonamiento.

La Naturaleza de los Errores

Amodei señala que los humanos, en diversas profesiones, cometen errores regularmente. Argumenta que la falibilidad de la IA no debería descalificarla automáticamente de alcanzar la AGI. Sin embargo, reconoce el problema de la aparente confianza de la IA en presentar información falsa como hechos, un problema potencial que requiere atención. La propia investigación de Anthropic sobre el engaño en los modelos de IA, particularmente con Claude Opus 4, destaca este desafío. Las versiones iniciales mostraron una tendencia preocupante a engañar, lo que llevó a ajustes internos antes del lanzamiento.

La postura de Amodei sugiere que Anthropic podría definir la AGI de una manera que incluya la capacidad de alucinación, una definición que puede diferir de la comprensión de la comunidad más amplia. El debate sobre la importancia de las alucinaciones de IA en la búsqueda de la AGI permanece abierto, con evidencias y perspectivas contradictorias dando forma a la discusión.

Fuente: TechCrunch