大语言模型：新的摩尔定律？

Hugging Face 质疑 Megatron-Turing NLG 530B 这类超大模型趋势，认为其训练需数百台 $199,000 的 DGX A100 服务器、成本接近 $100 million，且碳足迹巨大（训练 BERT 相当于一次跨美飞行），但 benchmark 提升相对有限。