跳到正文
2024年9月12日周四
2024年8月20日周二
2024年8月12日周一
  1. Hugging Face Blog66

    Hugging Face 发布 Falcon Mamba 7B:首个强性能无注意力 7B 模型

    Hugging Face 与阿布扎比 TII 联合发布 Falcon Mamba 7B,基于 Mamba 架构并加入额外 RMS 归一化层,以约 5500GT 数据训练,可处理任意长度序列且生成每个 token 耗时恒定,能装进单张 A10 24GB GPU。

    推荐理由:原文对比了 SSM 与 Transformer 在长序列上的内存与吞吐差异,读者可据此理解无注意力架构的适用边界。

2024年8月8日周四
2024年7月31日周三
2024年7月24日周三
2024年7月23日周二
  1. Hugging Face Blog93

    Hugging Face 官方介绍 Llama 3.1 系列模型及生态集成

    Hugging Face 与 Meta 合作将 Llama 3.1 系列集成到其生态,Hub 上提供 8 个开放权重模型(3 个 base 和 5 个微调版本),涵盖 8B、70B、405B 三种尺寸,均支持 128K 上下文窗口和 8 种语言,并新增工具调用能力与更宽松的许可(允许用模型输出改进其他 LLM)。

    推荐理由:详细列出三种尺寸的显存需求与量化方案,读者可据此判断自己硬件能否跑起来。

2024年7月18日周四
  1. Mistral AI73

    Mistral AI 与 NVIDIA 合作发布 12B 模型 Mistral NeMo

    Mistral AI 与 NVIDIA 合作发布 12B 模型 Mistral NeMo,上下文窗口达 128k tokens,采用标准架构,可作为 Mistral 7B 的直接替代,已以 Apache 2.0 许可发布预训练 base 和指令微调 checkpoints。

    推荐理由:原文给出了架构兼容性与量化训练细节,读者可据此评估它替换 Mistral 7B 的迁移成本。

2024年7月16日周二
2024年6月27日周四
  1. Hugging Face Blog78

    Hugging Face 介绍 Google 新开放模型 Gemma 2 的技术细节与生态集成

    Google 发布 Gemma 2 系列开放 LLM,Hugging Face 与 Google 合作完成生态集成,Hub 上提供 4 个开放权重模型(9B 与 27B 各含 base 和指令微调版本),上下文长度 8192 tokens,27B 版本训练数据达 13 trillion tokens、9B 版本 8 trillion tokens。

    推荐理由:详细拆解了滑动窗口注意力、软上限、知识蒸馏和模型合并等技术细节,便于读者理解其性能提升来源。

2024年6月20日周四
2024年5月29日周三
  1. Mistral AI67

    Mistral AI 发布首个代码模型 Codestral

    Mistral AI 发布首个代码模型 Codestral,这是一个 22B 开源权重模型,专为代码生成任务设计,支持 80+ 编程语言,具备 fill-in-the-middle 补全机制和 32k 上下文窗口,在 RepoBench 等基准上取得领先表现。

    推荐理由:原文给出模型规格、评测基准和开放入口,读者可据此判断它在编码工作流中的可用性。

  2. Mistral AI60

    Mistral AI 推出 MNPL 非生产许可证并以该协议发布 Codestral

    Mistral AI 宣布推出 Mistral AI 非生产许可证(MNPL),允许开发者将技术用于非商业目的并支持研究工作,同时确保基于其成果构建业务的一方以对各方公平可持续的方式进行。Codestral 于今日在这一新许可证下发布。Mistral AI 表示将继续以 Apache 2.0 发布模型和代码,并逐步整合分别基于 Apache 2.0 和 MNPL 的两类产品。

    推荐理由:原文说明了新许可证的适用边界与 Apache 2.0 的保留安排,读者可据此判断其模型的商用条件变化。

2024年5月24日周五
2024年5月14日周二
  1. Hugging Face Blog65

    Hugging Face 介绍 Google PaliGemma 开源视觉语言模型系列

    Hugging Face 博客介绍 Google 发布的 PaliGemma 视觉语言模型家族,其架构由 SigLIP-So400m 图像编码器与 Gemma-2B 文本解码器经线性适配器组合而成,可接收图像与文本并输出文本。

    推荐理由:详细拆解了三类检查点的用途差异与分辨率取舍,可帮助读者按任务选型并直接上手微调。

2024年5月13日周一
2024年4月29日周一
2024年4月18日周四
2024年4月17日周三
2024年4月15日周一
  1. Hugging Face Blog63

    Hugging Face 发布 8B 多模态模型 Idefics2

    Hugging Face 发布 Idefics2,一个 8B 参数的通用多模态模型,采用 Apache 2.0 开源许可,可接受任意文本与图像序列输入并生成文本回答,具备图像问答、文档信息抽取和基础算术等能力。

    推荐理由:给出了模型能力、基准对比和训练数据构成,读者可据此判断 8B 规模开源多模态模型的可用水平。

2024年4月14日周日
2024年4月9日周二
2024年3月29日周五
2024年2月28日周三
2024年2月26日周一
  1. Mistral AI78

    Mistral AI 发布旗舰模型 Mistral Large 与低延迟模型 Mistral Small

    Mistral AI 发布旗舰语言模型 Mistral Large,称其为通过 API 普遍可用的全球第二强模型(仅次于 GPT-4),具备 32K tokens 上下文窗口、五种语言原生流利、原生 function calling 与精确指令遵循能力。

    推荐理由:原文给出基准对比与三种接入方式,读者可据此评估其相对 GPT-4 的定位和部署选择。

2024年2月21日周三
2024年2月15日周四
  1. OpenAI News82

    OpenAI 发布视频生成模型 Sora,探索世界模拟器路线

    OpenAI 发布视频生成模型 Sora,可在文本条件下生成一分钟高保真视频。该模型基于在视频与图像潜码的时空 patch 上运行的 Transformer 架构,对不同时长、分辨率和宽高比的视频与图像联合训练,其结果表明扩大视频生成模型规模是构建物理世界通用模拟器的可行路径。

    推荐理由:原文点明扩大视频生成规模是通向物理世界通用模拟器的路径,提供了技术路线的关键判断。

2024年1月4日周四
2023年12月11日周一
  1. Mistral AI88

    Mistral AI 开源发布 Mixtral 8x7B 稀疏专家模型

    Mistral AI 发布 Mixtral 8x7B,一款采用 Apache 2.0 许可的稀疏混合专家(SMoE)模型,开放权重。它在多数基准上匹配或超过 Llama 2 70B 与 GPT3.5,推理速度提升 6x,支持 32k tokens 上下文和五种语言。

    推荐理由:原文给出了架构细节与部署路径,读者可据此评估稀疏 MoE 在成本与性能上的取舍。

  2. Hugging Face Blog78

    Hugging Face 完整集成 Mixtral 8x7B 模型

    Mistral 发布开源大模型 Mixtral 8x7B,Hugging Face 完成生态集成,包括 Hub 模型卡、Transformers、Inference Endpoints 与 Text Generation Inference 支持。

    推荐理由:文章解释了 MoE 架构如何让 45B 参数模型以 12B 密集模型速度解码,并给出量化与微调的实操路径。

2023年11月6日周一
2023年9月27日周三