Hugging Face Blog·· 2022-01-11AI 评分44
用 Hugging Face Transformers 和 Amazon SageMaker 部署 GPT-J 6B 推理
Deploy GPT-J 6B for inference using Hugging Face Transformers and Amazon SageMaker
AI 导读
Hugging Face 介绍如何用 Hugging Face Inference Toolkit 和 Amazon SageMaker 部署 EleutherAI 的 GPT-J 6B（6 billion 参数开源模型）做实时推理，用普通 NVIDIA T4 GPU 实例（约 500$/m）几行代码即可完成。
来源：Hugging Face Blog · huggingface.co