Hugging Face Blog·· 2022-05-10AI 评分36
Hugging Face Optimum 1.2 支持 Transformers pipelines 加速推理
Accelerated Inference with Optimum and Transformers Pipelines
AI 导读
Hugging Face 发布 Optimum 1.2,新增对 Transformers pipelines 的推理支持,首批接入 ONNX Runtime。用户可将 AutoModelForXxx 替换为对应的 ORTModelForXxx,并配合 ORTQuantizer、ORTOptimizer 完成量化与优化。
来源:Hugging Face Blog · huggingface.co