Hugging Face Blog·· 2023-12-11精选AI 评分85
Mistral 发布 Mixtral 8x7B，Hugging Face 全面接入
Welcome Mixtral - a SOTA Mixture of Experts on Hugging Face
AI 导读
Mistral 发布 Mixtral 8x7B，采用 MoE 架构，含基础版与 Instruct 版，支持 32k token 上下文，以 Apache 2.0 许可开放商用。
推荐理由
Hugging Face 官方给出 Mixtral 的架构说明、基准对比与量化部署路径，可据此判断 MoE 开源模型的落地成本。
来源：Hugging Face Blog · huggingface.co