Stas Bekman 详解将 fairseq WMT19 翻译系统移植到 transformers 的全过程
Stas Bekman 撰写客座博文，详细记录了如何把 Facebook FAIR 的 fairseq WMT19 翻译系统移植到 transformers，最终产出 FSMT 模型并合入 PR。
#Hugging Face
Hugging Face BlogAI 评分5757
Hugging Face BlogAI 评分3838 Hugging Face Transformers 与 Ray Tune 集成实现超参数搜索
Hugging Face Transformers 3.1 版本与 Ray Tune 集成，通过 `trainer.hyperparameter_search` 几行代码即可调用 HyperBand、Bayesian Optimization、Population-Based Training 等算法做超参数搜索。
Hugging Face BlogAI 评分4444 Transformer-based Encoder-Decoder 模型详解
Hugging Face 博客详细讲解了 Transformer-based encoder-decoder 架构如何建模 sequence-to-sequence 问题，聚焦其数学模型与推理用法，并拆解 encoder 和 decoder 两部分，配合大量插图建立理论与 🤗Transformers 实际推理的联系。
Hugging Face BlogAI 评分3838 Hugging Face 开源 pytorch_block_sparse：让语言模型更小更快
Hugging Face 发布 pytorch_block_sparse 扩展库，基于 NVIDIA CUTLASS 实现块稀疏矩阵乘法，可作为 torch.nn.Linear 的直接替代，让神经网络更小更快。75% 稀疏度下速度约为稠密矩阵的 2 倍，内存占用降至 1/4；当前稀疏实现比 cuBLAS 优化的稠密版本慢约 2 倍，但已比 PyTorch 原生稀疏实现快一个数量级。
Hugging Face BlogAI 评分4545 Reformer：用不到 8GB 内存训练 50 万 token 长序列
Hugging Face 深入解析了 Reformer 模型，它能用不到 8GB 内存一次处理多达 50 万 token，而 bert-base-uncased 只能处理 512 token。
Hugging Face BlogAI 评分5656 Hugging Face 教你用 Transformers 和 Tokenizers 从零训练语言模型
Hugging Face 官方博客演示如何用 transformers 和 tokenizers 库从零训练一个 84M 参数（6 层、768 hidden size。