跳到正文
Hugging Face Blog·· 2022-05-10AI 评分36

Hugging Face Optimum 1.2 支持 Transformers pipelines 加速推理

Accelerated Inference with Optimum and Transformers Pipelines

AI 导读

Hugging Face 发布 Optimum 1.2,新增对 Transformers pipelines 的推理支持,首批接入 ONNX Runtime。用户可将 AutoModelForXxx 替换为对应的 ORTModelForXxx,并配合 ORTQuantizer、ORTOptimizer 完成量化与优化。

来源:Hugging Face Blog · huggingface.co