跳到正文
Hugging Face Blog·· 2022-07-27AI 评分40

Hugging Face:用 TensorFlow 和 XLA 加速文本生成,最高快 100 倍

Faster Text Generation with TensorFlow and XLA

AI 导读

Hugging Face 的 transformers 库现在可用 XLA 编译 TensorFlow 文本生成,速度最高提升 100 倍,甚至快于 PyTorch。该功能需 transformers >= 4.21.0,支持 GPT-2 等模型的采样、贪心解码与 Beam Search,并可通过 temperature、max_new_tokens、num_beams 等参数控制输出。

来源:Hugging Face Blog · huggingface.co