发布本地LLM分类缓存工具shad0w

2026年10月12日，用户 gauravc2796 在 r/MachineLearning 发布小型查表工具 shad0w，用于缓存本地 LLM 的分类结果。据该报道，shad0w 位于任意 OpenAI 兼容服务之前，Ollama 开箱可用（llm="ollama/llama3.1"，或运行 shad0w proxy --upstream http://localhost:11434/v1）；它记录模型回答，累计约 1,000 条后编译出一张小表，在 CPU 上以微秒级响应重复问题。该表只在留出样本上与模型一致率达 95% 以上时才作答，其余问题仍交给模型处理。项目以 Apache-2.0 许可开源，使用 Python/JS/C 编写。目前进展仅限发布与上述功能说明，尚无后续跟进报道。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。