Hugging Face Blog·· 2024-09-18AI 评分58
Hugging Face 将 Llama3 8B 微调到 1.58bit 的实践
Fine-tuning LLMs to 1.58bit: extreme quantization made easy
AI 导读
Hugging Face 团队探索出把已有模型微调到 1.58bit 的方法，用 BitNet 的三值权重（-1、0、1）架构微调 Llama3 8B，并在 HF1BitLLM 组织下开源了三个模型。
来源：Hugging Face Blog · huggingface.co