DeepSeek DeepInfer: código abierto SOTA inferencia ejecuta 155T toks/día/clúster y gana 22 millones de dólares/día con un margen de ~80 % para un reembolso de 81 días
DeepSeek ha abierto el código fuente de DeepInfer y ha demostrado unos márgenes brutos y una capacidad de rendimiento extremadamente altos, lo que significa que la inferencia de modelos de lenguaje de gran tamaño está pasando de depender de pilas comerciales de código cerrado a competir en infraestructuras de alto rendimiento de código abierto. La optimización de ingeniería extrema está rompiendo las restricciones tradicionales de los costes de inferencia, obligando a toda la industria a redefinir el modelo económico de las API.
- OpenAIDeepSeek's breakthroughs in prompt caching duration and inference costs directly challenge the pricing power and technological lead of proprietary APIs.
- DesarrolladoresOpen-source high-performance inference implementations could significantly reduce deployment and invocation costs, broadening AI application use cases.
- AI InfraThe open-sourcing of DeepInfer redefines production inference standards, forcing third-party inference providers to accelerate architectural upgrades.