智东西· 王涵·· 5 小时前AI 评分66
StartLux 开源决策模型推理引擎 Prism，单卡推理最高快 5.3 倍
DeepSeek之后，StartLux再来：开源首个决策模型推理引擎，推理快至5.3倍
AI 导读
StartLux（原点星辉）开源自研决策模型推理引擎 Prism，在单张 H200 上处理单个短问题比原 vLLM 方案快 2.8 倍，同一材料连问三题最快提速 5.3 倍。
来源：智东西 · mp.weixin.qq.com
StartLux 开源决策模型推理引擎 Prism，单卡推理最高快 5.3 倍