跳到正文
2025年4月16日周三
2025年4月5日周六
  1. Hugging Face Blog88

    Hugging Face 迎来 Meta Llama 4 Maverick 与 Scout 模型

    Hugging Face 官方博客宣布 Meta 新一代 Llama 4 模型上线 Hub:Maverick 约 400B 总参数、128 专家,Scout 约 109B 总参数、16 专家,均为 17B 激活参数的 MoE 架构,支持文本与图像输入,训练数据最多 40 万亿 token、覆盖 200 种语言。

    推荐理由:原文拆解了 NoPE、分块注意力等架构选择,读者可理解超长上下文如何实现。

2025年4月2日周三
2025年3月27日周四
2025年3月12日周三
  1. Hugging Face Blog72

    Hugging Face Open R1 发布 OlympicCoder 代码模型与 IOI 基准

    Hugging Face Open R1 项目发布 OlympicCoder-7B 和 OlympicCoder-32B 两个微调代码模型,在 IOI 问题上超过 Claude 3.7 Sonnet 等闭源前沿模型,OlympicCoder-32B 在 50 次提交限制下还超过 o1-mini 和 DeepSeek-R1。

    推荐理由:文中给出的五条训练经验可直接迁移到用推理轨迹微调代码模型的实践中。

2025年3月10日周一
2025年2月27日周四
2025年2月13日周四
2025年2月11日周二
  1. Hugging Face Blog61

    Hugging Face Open R1 发布 OpenR1-Math-220k 数学推理数据集

    Hugging Face 的 Open R1 项目发布首个大规模数学推理数据集 OpenR1-Math-220k,用 512 张 H100 本地跑 DeepSeek R1 生成 800k 条推理轨迹,经 Math Verify 与 Llama3.3-70B-Instruct 判分过滤后保留 220k 道题的正确轨迹。

    推荐理由:原文公开了数据生成与过滤的完整流水线和训练对照结果,读者可据此复现或迁移到其他领域。

2025年2月4日周二
2025年2月2日周日
2025年1月31日周五
2025年1月30日周四
2025年1月28日周二
  1. Hugging Face Blog72

    Hugging Face 发起 Open-R1 项目,系统复现 DeepSeek-R1 的数据与训练流程

    Hugging Face 发布 Open-R1 项目,旨在系统性重建 DeepSeek-R1 的数据与训练管线、验证其技术报告中的主张,并推动开源推理模型的发展。

    推荐理由:原文拆解了 DeepSeek-R1 训练配方中尚未公开的部分,并给出 Open-R1 的三步复现路线,便于读者理解开源社区如何补齐这些环节。

2025年1月22日周三
2024年12月20日周五
2024年12月17日周二
2024年10月29日周二
2024年10月17日周四
2024年10月8日周二
2024年9月12日周四
2024年8月14日周三
2024年8月12日周一
  1. Hugging Face Blog66

    Hugging Face 发布 Falcon Mamba 7B:首个强性能无注意力 7B 模型

    Hugging Face 与阿布扎比 TII 联合发布 Falcon Mamba 7B,基于 Mamba 架构并加入额外 RMS 归一化层,以约 5500GT 数据训练,可处理任意长度序列且生成每个 token 耗时恒定,能装进单张 A10 24GB GPU。

    推荐理由:原文对比了 SSM 与 Transformer 在长序列上的内存与吞吐差异,读者可据此理解无注意力架构的适用边界。

2024年7月24日周三
2024年7月23日周二
  1. Hugging Face Blog93

    Hugging Face 官方介绍 Llama 3.1 系列模型及生态集成

    Hugging Face 与 Meta 合作将 Llama 3.1 系列集成到其生态,Hub 上提供 8 个开放权重模型(3 个 base 和 5 个微调版本),涵盖 8B、70B、405B 三种尺寸,均支持 128K 上下文窗口和 8 种语言,并新增工具调用能力与更宽松的许可(允许用模型输出改进其他 LLM)。

    推荐理由:详细列出三种尺寸的显存需求与量化方案,读者可据此判断自己硬件能否跑起来。

2024年7月16日周二
2024年7月11日周四
2024年6月20日周四
2024年6月4日周二
2024年5月16日周四