跳到正文
Hugging Face Blog·· 2023-04-27AI 评分34

用 🤗 Transformers 结合 TensorFlow 和 TPU 从零训练语言模型

Training a language model with 🤗 Transformers using TensorFlow and TPUs

AI 导读

Hugging Face 发布教程,演示如何用 🤗 Transformers 结合 TensorFlow 和 TPU 从零训练一个 RoBERTa base 模型,涵盖训练 tokenizer、在 WikiText v1 上分词并转为 TFRecord 存入 Google Cloud Storage,再到模型训练与上传的完整流程。

来源:Hugging Face Blog · huggingface.co