Noticias sobre Transformers

Hugging Face ha lanzado TorchTPU, un backend de PyTorch compatible con TPU. Esto significa que los desarrolladores de PyTorch ahora pueden desplegar modelos en TPU con mayor facilidad. De hecho, Transformers, Diffusers y Kernels ahora se pueden ejecutar directamente en TPU.

Se lanza la versión occidentalizada del modelo Qwen, orientada a usuarios empresariales estadounidenses. Este modelo es una variante de Image-Text-to-Text Transformers que utiliza tecnologías Safetensors y Mixture of Experts, y cuenta con la característica de desacoplamiento conductual (behavioral-unlearning).

Dust ha propuesto un método para preentrenar modelos de lenguaje de gran tamaño basados en Transformer sin utilizar retropropagación, lo que indica que el paradigma de entrenamiento de los modelos de lenguaje de gran tamaño podría estar explorando un nuevo camino para superar las restricciones de la diferenciación automática tradicional. Si este método demuestra su viabilidad a gran escala, traerá consigo una transformación fundamental para las arquitecturas de entrenamiento distribuido y la eficiencia en el uso de hardware.