凡人小北· @frxiaobei · X·· 29 分钟前AI 评分60
AI 导读
百度开源文心 5.5 Flash Base(ERNIE-5.5-Flash-Base)基座模型,权重已放出,开发者和机构可继续训练与定制。作者称在同尺寸基座模型对照中,文心 5.5 在知识与推理测试上得 78.4 分,另外三个模型最高 69.2 分。百度还联合 vLLM、SGLang 等社区提供开源生态支持,并称该模型在长文读取、专家调用和生成网络训练上做了调整。
正文
文心 5.5 Flash Base(ERNIE-5.5-Flash-Base)SOTA基座模型开源了。
先看一个数字:同尺寸基座模型对照里,文心5.5在知识与推理测试上拿了78.4分,另外三个模型最高是69.2分。
差了将近10分,在Base模型这个层面,算是拉开了距离。
ERNIE 5.5 Flash Base 已经完成预训练,具备通用能力,开发者和机构可以拿去继续训练、做定制。
而且这次不是只发个报告:权重已经放出来了,百度也联合了vLLM、SGLang等社区提供开源生态支持,拿到手就能直接跑。
百度给它的定位是“基座模型即SOTA”,意思是单看Base模型,它在同尺寸里就已经是领先水平。
我看下来,这次文心主要改了三个地方:
1. 读长文时少花一些算力,但细节不丢;
2. 专家每次只调用一部分,关键是要选得准;
3. 负责生成的网络,训练时多练一步,预测更后面的内容。
来源:凡人小北 · x.com