Noticias sobre KVLearn
1 artículos relacionados
Conservar o no conservar: aprendizaje de la retención de caché de KV en sistemas de servicio LLM desagregados
To Keep or Not to Keep: Learning KV Cache Retention in Disaggregated LLM Serving Systems
AI InsightLa inferencia de modelos de lenguaje grande separados separa la computación y el almacenamiento a través de la red, por lo que las estrategias de almacenamiento en caché deben considerar los costos de memoria y ancho de banda. KVLearn optimiza la retención de caché KV a través de un marco de aprendizaje, lo que significa que la optimización de grandes sistemas de inferencia de modelos de lenguaje está pasando de la aceleración de un solo modelo a la programación de recursos distribuidos con colaboración de software y hardware.