Seguridad AGI
Seguridad AGI

Informe de Seguridad de AGI de DeepMind: Predicción de Riesgos y Estrategias

Google DeepMind publicó recientemente un extenso documento que describe su enfoque de la seguridad de la Inteligencia Artificial General (AGI), definida como IA capaz de realizar cualquier tarea que pueda un humano. Este tema es controvertido, con algunos que descartan la AGI como un sueño lejano, mientras que otros, como Anthropic, advierten de su inminente llegada y su potencial de daños graves.

El documento de 145 páginas de DeepMind, coautorado por Shane Legg, estima que la AGI podría ser una realidad en 2030, lo que podría provocar "daños graves", incluidos "riesgos existenciales" que podrían "destruir permanentemente a la humanidad". El documento define una "AGI Excepcional" como un sistema que coincide con las capacidades del 1% superior de los adultos capacitados en diversas tareas, incluido el aprendizaje de nuevas habilidades.

Postura de DeepMind sobre la Seguridad de la AGI

El documento contrasta el enfoque de mitigación de riesgos de AGI de DeepMind con los de Anthropic y OpenAI. DeepMind sugiere que Anthropic podría no enfatizar lo suficiente el "entrenamiento robusto, la monitorización y la seguridad", mientras que OpenAI es demasiado optimista sobre la "automatización" de la investigación de seguridad de la IA. DeepMind también expresa escepticismo sobre la IA superinteligente, cuestionando su inminente llegada sin una "innovación arquitectónica significativa". Sin embargo, el documento reconoce la plausibilidad de la "mejora recursiva de la IA", donde la IA se mejora a sí misma, lo que podría conducir a resultados peligrosos.

DeepMind propone técnicas para evitar el acceso no autorizado a la AGI, mejorar la comprensión de las acciones de la IA y proteger los entornos de la IA. Si bien reconoce la etapa incipiente de estas técnicas, el documento enfatiza la importancia de abordar estos desafíos de seguridad de manera proactiva. "La naturaleza transformadora de la AGI tiene el potencial de generar beneficios increíbles y daños graves", afirman los autores, instando a los desarrolladores de IA a priorizar la mitigación de daños.

Opiniones de Expertos y Contraargumentos

No todos los expertos están de acuerdo con la evaluación de DeepMind. Heidy Khlaaf, del AI Now Institute, considera que el concepto de AGI es demasiado ambiguo para una evaluación científica. Matthew Guzdial, de la Universidad de Alberta, duda de la viabilidad de la mejora recursiva de la IA, mientras que Sandra Wachter, de Oxford, destaca el peligro de que la IA se refuerce a sí misma con resultados inexactos, particularmente con la proliferación de la IA generativa.

Wachter argumenta que los chatbots, utilizados para la búsqueda y el descubrimiento de la verdad, corren el riesgo de alimentar a los usuarios con "verdades a medias" presentadas de forma convincente. A pesar de su exhaustividad, es poco probable que el documento de DeepMind resuelva los debates en curso en torno al realismo de la AGI y las áreas más apremiantes de la seguridad de la IA.

Fuente: TechCrunch