Hugging Face Blog·· 2021-07-15精选AI 评分62
Hugging Face 提出 DeDLOC：40 名志愿者协作预训练孟加拉语模型 sahajBERT
Deep Learning over the Internet: Training Language Models Collaboratively
AI 导读
Hugging Face 博客介绍 DeDLOC 协作分布式训练方法，通过自适应梯度聚合适应参与者的网络与硬件差异，并用 40 名志愿者预训练出孟加拉语模型 sahajBERT。
推荐理由
DeDLOC 用 40 名志愿者在互联网上预训练出孟加拉语模型，为算力受限的社区提供了一条可复现的协作训练路径。
来源：Hugging Face Blog · huggingface.co