OpenAI 开源 block-sparse GPU kernels
OpenAI 发布针对 block-sparse 权重神经网络的高性能 GPU kernels,根据所选稀疏度,速度可比 cuBLAS 或 cuSPARSE 快 orders of magnitude。OpenAI 已用其在文本情感分析以及文本和图像生成建模上取得 state-of-the-art 结果。
OpenAI 发布针对 block-sparse 权重神经网络的高性能 GPU kernels,根据所选稀疏度,速度可比 cuBLAS 或 cuSPARSE 快 orders of magnitude。OpenAI 已用其在文本情感分析以及文本和图像生成建模上取得 state-of-the-art 结果。
OpenAI 指出深度学习是一门实证科学,团队基础设施的质量是研究进展的乘数。文章认为,如今的开源生态让任何人都能搭建出色的深度学习基础设施。