Hugging Face Blog·· 2021-10-25AI 评分50
Hugging Face 用 10 亿句对训练句嵌入模型
Train a Sentence Embedding Model with 1B Training Pairs
AI 导读
Hugging Face 在社区周期间用 10 亿句对训练出 SOTA 句嵌入模型,硬件为 7 块 TPU v3-8,并获 Google Flax、JAX 与 Cloud 团队指导。训练采用对比学习与 in-batch negatives(InfoNCE/NTXentLoss),通过增大 batch、引入 hard negatives 和跨数据集批次提升质量。所有模型与数据集已在模型卡中公开。
来源:Hugging Face Blog · huggingface.co