Hugging Face Blog·· 2025-12-11精选AI 评分60
llama.cpp 新增模型管理功能:router 模式支持动态加载与切换模型
New in llama.cpp: Model Management
AI 导读
llama.cpp server 新增 router 模式,可在不重启服务的情况下动态加载、卸载和切换多个模型。该模式采用多进程架构,每个模型独立运行,单个模型崩溃不影响其他模型;支持自动发现缓存或 --models-dir 目录中的 GGUF 文件、按需加载、LRU 淘汰(默认 --models-max 为 4)以及按请求中的 model 字段路由。
推荐理由
llama.cpp 新增 router 模式,可在不重启服务的前提下动态加载、卸载和切换多个模型,适合本地多模型部署场景。
来源:Hugging Face Blog · huggingface.co