如何在单张 AMD GPU 上用 ROCm 运行类 ChatGPT 聊天机器人

Hugging Face 给出教程，展示如何在单张 AMD GPU 上通过 ROCm 运行开源聊天机器人 Vicuna 13B。Vicuna 由 UC Berkeley、CMU、Stanford、UC San Diego 团队基于 LLAMA 微调约 70K 条 ShareGPT 对话而成，以 GPT-4 为参照质量达 ChatGPT 的 90% 以上，训练成本约 $300。