Noticias sobre MoEZip
1 artículos relacionados
MoEZip: Compresión de caché KV con reconocimiento de enrutamiento para una mezcla dispersa de expertos LLMs
MoEZip: Routing-Aware KV Cache Compression for Sparse Mixture-of-Experts LLMs
AI InsightCuando el método tradicional de compresión de caché KV se aplica al modelo de lenguaje grande disperso mixto experto (MoE), la calidad de generación a menudo se reduce debido al descuido del mecanismo de enrutamiento experto. MoEZip implementa la compresión de caché KV con reconocimiento de ruta mediante la introducción de indicadores de evaluación de sensibilidad de enrutamiento basados en la matriz de información de Fisher, teniendo en cuenta la optimización de la memoria y la precisión del modelo de la inferencia de texto largo.