Hugging Face Blog·· 2022-07-27AI 评分40
Hugging Face:用 TensorFlow 和 XLA 加速文本生成,最高快 100 倍
Faster Text Generation with TensorFlow and XLA
AI 导读
Hugging Face 的 transformers 库现在可用 XLA 编译 TensorFlow 文本生成,速度最高提升 100 倍,甚至快于 PyTorch。该功能需 transformers >= 4.21.0,支持 GPT-2 等模型的采样、贪心解码与 Beam Search,并可通过 temperature、max_new_tokens、num_beams 等参数控制输出。
来源:Hugging Face Blog · huggingface.co