DeepSeek-V4 发布:1M token 上下文面向智能体任务优化
DeepSeek 发布 DeepSeek-V4,两个 MoE 检查点上线 Hub:DeepSeek-V4-Pro 为 1.6T 总参数 / 49B 激活,DeepSeek-V4-Flash 为 284B 总参数 / 13B 激活,均支持 1M token 上下文窗口。
推荐理由:文章拆解了长上下文推理成本与智能体后训练设计,读者可据此理解它为何适合长时程智能体任务。
DeepSeek 发布 DeepSeek-V4,两个 MoE 检查点上线 Hub:DeepSeek-V4-Pro 为 1.6T 总参数 / 49B 激活,DeepSeek-V4-Flash 为 284B 总参数 / 13B 激活,均支持 1M token 上下文窗口。
推荐理由:文章拆解了长上下文推理成本与智能体后训练设计,读者可据此理解它为何适合长时程智能体任务。
Hugging Face 博文分析了全球 AI 算力格局的变化:美国出口管制与中国国产芯片发展相互关联,近几个月中国高性能开源模型的推理已开始由华为 Ascend、Cambricon 等国产芯片承载,部分模型也开始用国产芯片训练。
推荐理由:梳理了美国出口管制与中国国产芯片、开源模型发展之间的相互作用,可帮助读者理解全球算力格局变化的来龙去脉。
DeepSeek-V3 0324 上周悄然登陆 Hugging Face Hub,它是 R1 推理模型底层基座 DeepSeek-V3 的更新版本,架构与原版相同并改用 MIT 许可证。
推荐理由:文章梳理了新模型的基准提升与部署方式,并给出开源模型下载和使用的安全注意事项。
Hugging Face Open R1 项目发布 OlympicCoder-7B 和 OlympicCoder-32B 两个微调代码模型,在 IOI 问题上超过 Claude 3.7 Sonnet 等闭源前沿模型,OlympicCoder-32B 在 50 次提交限制下还超过 o1-mini 和 DeepSeek-R1。
推荐理由:文中给出的五条训练经验可直接迁移到用推理轨迹微调代码模型的实践中。
Hugging Face 用 Math-Verify 替换 Open LLM Leaderboard 上的旧数学评测器,重新评估了提交过的全部 3,751 个模型。
推荐理由:原文给出旧评测器的三类解析缺陷与修复后分数变化,读者可据此理解评测口径对排行榜的实际影响。
Hugging Face 的 Open R1 项目发布首个大规模数学推理数据集 OpenR1-Math-220k,用 512 张 H100 本地跑 DeepSeek R1 生成 800k 条推理轨迹,经 Math Verify 与 Llama3.3-70B-Instruct 判分过滤后保留 220k 道题的正确轨迹。
推荐理由:原文公开了数据生成与过滤的完整流水线和训练对照结果,读者可据此复现或迁移到其他领域。
Hugging Face 发布 Open-R1 项目首周更新,称已在 MATH-500 Benchmark 上基本复现 DeepSeek-R1 蒸馏模型的报告分数,并上线了公开评测 leaderboard。
推荐理由:汇总了复现进度、训练管线细节和社区数据集,读者可据此评估开源复现 DeepSeek-R1 的可行性与路径。
Hugging Face 博客用 GRPO 和 Countdown Game 在 4x NVIDIA H100 上复现 DeepSeek R1 的 aha moment,训练 Qwen2.5-3B-Instruct 学会自我验证与搜索。
推荐理由:教程给出可复现的 GRPO 训练配置与超参调整过程,读者可据此在自有硬件上复现类似实验。
Hugging Face 发布 Open-R1 项目,旨在系统性重建 DeepSeek-R1 的数据与训练管线、验证其技术报告中的主张,并推动开源推理模型的发展。
推荐理由:原文拆解了 DeepSeek-R1 训练配方中尚未公开的部分,并给出 Open-R1 的三步复现路线,便于读者理解开源社区如何补齐这些环节。
Numina 与 Hugging Face 合作的 NuminaMath 7B TIR 赢得首届 AIMO Progress Prize,在私有测试集 50 题中解出 29 题。
推荐理由:详细拆解了从数据构造到解码算法的完整配方,可迁移方法多。