关于 Transformers 的报道

Hugging Face 推出了 TorchTPU，一个支持 TPU 的 PyTorch 后端。这意味着 PyTorch 开发者现在可以更轻松地在 TPU 上部署模型。事实上，Transformers、Diffusers 和 Kernels 现在可以直接运行在 TPU 上。

Qwen 模型的 Westernized 版本发布，适用于美国企业用户。该模型是 Image-Text-to-Text Transformers 的一种，采用了 Safetensors 和 Mixture of Experts 技术，并且具有行为性解耦（behavioral-unlearning）的特点。

Dust 提出了一种在无反向传播情况下预训练 Transformer 大语言模型的方法，意味着大语言模型的训练范式可能正在探索突破传统自动微分约束的新路径。若该方法在大规模场景下验证可行，将为分布式训练架构与硬件利用率带来根本性变革。