El nuevo modelo de DeepSeek reduce los costos de inferencia de la IA
DeepSeek acaba de lanzar algo interesante: un nuevo modelo experimental, el V3.2-exp, que, según dicen, podría reducir seriamente los costos de inferencia. Quiero decir, ¿quién no quiere ahorrar dinero, verdad? Especialmente cuando hablamos de los altos costos de servidor para ejecutar modelos de IA.
La verdadera magia detrás de este modelo es algo que llaman DeepSeek Sparse Attention. Ahora, no te aburriré con todos los detalles técnicos, pero la idea principal es que está diseñado para priorizar las partes más importantes de la ventana de contexto. Piénsalo así: imagina leer un libro largo, pero solo concentrándote en los párrafos clave que impulsan la historia. Eso es esencialmente lo que hace este sistema, lo que permite manejar contextos largos sin sobrecargar el servidor.
Lo que es realmente emocionante es el potencial ahorro de costos. Las pruebas preliminares de DeepSeek sugieren que una simple llamada a la API podría costar hasta la mitad del precio en situaciones de contexto largo. ¡Eso es muy importante! Por supuesto, necesitaremos más pruebas para confirmar estas afirmaciones, pero el hecho de que el modelo sea de código abierto y esté disponible en Hugging Face significa que investigadores independientes pueden intervenir y experimentar.
Es interesante ver a DeepSeek, una empresa con sede en China, seguir superando los límites de la eficiencia de la IA. Si bien su modelo R1 anterior no desencadenó exactamente una revolución, este nuevo enfoque de atención dispersa podría ofrecer información valiosa para mantener los costos de inferencia bajo control. Y, seamos honestos, eso es algo que beneficia a todos en el espacio de la IA.
1 Imagen del DeepSeek V3.2-exp:
Fuente: TechCrunch