Meta 发布开源多模态 MoE 模型 Muse Spark Open
Meta 发布开源权重多模态模型 Muse Spark Open,约 816B 总参数、每 token 约 42B 激活参数,上下文窗口达 1M tokens,支持文本、图像、音频、视频输入与文本输出,面向 agentic coding 场景。
推荐理由:原文给出完整架构参数与多框架部署配方,读者可据此评估自托管该模型的资源门槛与可行路径。
Meta 发布开源权重多模态模型 Muse Spark Open,约 816B 总参数、每 token 约 42B 激活参数,上下文窗口达 1M tokens,支持文本、图像、音频、视频输入与文本输出,面向 agentic coding 场景。
推荐理由:原文给出完整架构参数与多框架部署配方,读者可据此评估自托管该模型的资源门槛与可行路径。
Meta 的编码优化开源权重模型 Muse Spark Open 现已在 Amazon SageMaker JumpStart 提供,可部署到自己 AWS 账号的 SageMaker AI 端点。
NVIDIA 在 OCP 全球峰会上向 OCP 贡献 Vera Rubin 机架与计算托盘设计,并通过开放的 MGX 架构为系统厂商提供共同基础。MGX 1.2 规范扩展了机架级盲插液冷、可互操作互连、5,000A 液冷母线以及最高 250kW 的机架部署支持,同时新增 Vera CPU 机架设计规范以支持智能体场景。
Meta 发布 Muse Glimmer-30B,一款从 Muse 蒸馏至 30B 参数、采用 Apache 2.0 许可的多模态模型,面向本地智能体用例,适用于编码、文档分析、个人助手等注重隐私的场景。
推荐理由:原文给出架构细节与部署入口,读者可据此判断本地智能体场景下的落地成本与可行性。
Hugging Face 宣布 OpenEnv 转由委员会协调,成员包括 Meta-PyTorch、Reflection、Unsloth、Modal、Prime Intellect、Nvidia、Microsoft 等,项目迁至 huggingface/OpenEnv。
Hugging Face 与 Meta 的开源框架 OpenEnv 让智能体在真实系统而非模拟环境中接受评估,Turing 为此贡献了生产级 Calendar Gym 日历环境,包含访问控制、跨用户可见性受限和多步工作流等约束。
Meta-PyTorch 与 Hugging Face 合作推出 OpenEnv Hub,一个用于构建、分享和探索 OpenEnv 兼容智能体环境的开放社区中心,同时发布 OpenEnv 0.1 Spec (RFC) 征集反馈。
推荐理由:原文说明了智能体环境要解决的工具暴露问题和与RL训练栈的对接方式,读者可据此判断它在现有工作流中的位置。
Meta 发布 Llama Guard 4,一个 12B 稠密多模态安全模型,以及两款新的 Llama Prompt Guard 2 分类器(86M 和 22M 参数)。
推荐理由:原文给出了从 Llama 4 Scout 剪枝为稠密模型的架构细节和与上一代的对比数据,便于判断其部署成本与效果取舍。
Hugging Face 官方博客宣布 Meta 新一代 Llama 4 模型上线 Hub:Maverick 约 400B 总参数、128 专家,Scout 约 109B 总参数、16 专家,均为 17B 激活参数的 MoE 架构,支持文本与图像输入,训练数据最多 40 万亿 token、覆盖 200 种语言。
推荐理由:原文拆解了 NoPE、分块注意力等架构选择,读者可理解超长上下文如何实现。
Hugging Face 对 Open LLM Leaderboard 上 2,742 个模型的推理 CO₂ 排放进行了分析,发现社区微调或合并模型通常比其官方基座模型更省碳。
Hugging Face 与 Atla 联合推出 Judge Arena,让任何人并排对比模型作为评判者的表现:系统随机生成或自定义样本,两个 LLM 评判者分别打分并给出理由,用户投票选出更符合自己判断的一方,投票后才揭示模型名以避免偏差。
Keras 从第一天起就支持 Llama 3.2,可通过 keras_hub 直接加载 `hf://meta-llama/Llama-3.2-1B-Instruct` 等 Hugging Face safetensors checkpoint,需要转换时会自动完成。
Meta 与 Hugging Face 合作发布 Llama 3.2 系列,共 10 个开放权重模型上线 Hub,包括 5 个多模态模型和 5 个纯文本模型。
推荐理由:原文给出各尺寸模型的显存需求与本地运行方式,读者可据此判断能否在自己的设备上跑起来。
Hugging Face 教你在 Google Cloud Vertex AI 上部署 Meta Llama 3.1 405B:用 Text Generation Inference (TGI) 和 Hugging Face Deep Learning Containers。
Hugging Face 与 Meta 合作将 Llama 3.1 系列集成到其生态,Hub 上提供 8 个开放权重模型(3 个 base 和 5 个微调版本),涵盖 8B、70B、405B 三种尺寸,均支持 128K 上下文窗口和 8 种语言,并新增工具调用能力与更宽松的许可(允许用模型输出改进其他 LLM)。
推荐理由:详细列出三种尺寸的显存需求与量化方案,读者可据此判断自己硬件能否跑起来。
Meta 发布开源 Llama 3 系列,包含 8B 和 70B 两种参数规模的 base 与 instruct 共 4 个模型,以及基于 Llama 3 8B 微调的 Llama Guard 2,全部已上线 Hugging Face Hub。
推荐理由:原文梳理了 Llama 3 的技术变化与生态集成入口,读者可据此判断如何在自己的工作流中使用它。
Hugging Face 展示了如何用 Optimum Habana 的自定义 GaudiTextGenerationPipeline 在 Intel® Gaudi® 2 上以几行代码运行 Llama 2(7b、13b、70b)文本生成,涵盖预处理与后处理。
Hugging Face 在 Intel 第 4 代 Xeon 上通过 8bit/4bit 量化与投机解码(assisted generation)将 StarCoder-15B 推理加速 7 倍以上。
Hugging Face 测试了 Llama 2 7B、13B、70B 在 Amazon SageMaker 上 60 多种部署配置的延迟与吞吐表现,覆盖 g5.2xlarge、g5.12xlarge、g5.48xlarge、p4d.24xlarge 四种实例与 1、5、10、20 并发请求。
Hugging Face 官方博客给出用 PyTorch FSDP、Transformers、Accelerate 和 TRL 在多机多卡环境微调 Llama 2 70B 的完整实践,训练约 13.5 小时完成。
Hugging Face 宣布在自身生态中集成 Meta 的 Code Llama 模型家族,包含 7B、13B、34B 三种参数规模,以及 Python 专精版和指令微调版,采用与 Llama 2 相同的宽松社区许可并可商用。
推荐理由:原文给出模型规格、上下文窗口扩展方法和多语言榜单成绩,便于评估其在代码任务上的定位。
Meta 发布 Llama 2 系列开放大语言模型,Hugging Face 完成生态集成,Hub 上提供 12 个开放模型(3 个基础模型与 3 个微调模型及对应 transformers 版本),采用宽松社区许可并支持商用。
推荐理由:文章给出从推理部署到单卡微调的完整路径,可直接迁移用于自己的 Llama 2 实践。
Hugging Face 盘点了其开源文本生成与 LLM 生态,涵盖 Llama 2、MPT-30B、XGen、Falcon、FLAN-T5、BLOOM 和 StarCoder 等模型。
Hugging Face 与 Meta AI 合作,将 fastText 的官方镜像托管到 Hub,包括全部 157 种语言的词向量和最新的语言识别模型,用户可用几条命令下载使用。
Hugging Face 介绍了在 🤗 Transformers 中利用 Wav2Vec2 的 CTC 架构特性,实现超长文件乃至实时流式自动语音识别(ASR)的方法。