Hugging Face Blog·· 2024-02-01AI 评分44
Hugging Face Text Generation Inference 正式登陆 AWS Inferentia2 与 Amazon SageMaker
Hugging Face Text Generation Inference available for AWS Inferentia2
AI 导读
Hugging Face 宣布 Text Generation Inference (TGI) 正式在 AWS Inferentia2 和 Amazon SageMaker 上可用，为生产级 LLM 部署提供 GPU 之外的可行替代方案。
来源：Hugging Face Blog · huggingface.co