Hugging Face 将流式数据集效率提升 100 倍

Hugging Face 改进 datasets 库的流式加载，load_dataset(streaming=True) 的启动请求最多减少 100 倍、数据文件解析快 10 倍、流式速度最多快 2 倍，256 并发 worker 下无崩溃。