Hugging Face 与 KerasHub 达成模型格式互通,KerasHub 可直接加载 300K+ Transformers 模型
Hugging Face 与 KerasHub 宣布 Transformers 与 KerasHub 共享模型保存格式,KerasHub 用户现在可以用一行代码直接加载 Hugging Face Hub 上 300K+ 的 Transformers 模型,首批支持 Gemma 1 和 2、Llama 3、PaliGemma。
Hugging Face 与 KerasHub 宣布 Transformers 与 KerasHub 共享模型保存格式,KerasHub 用户现在可以用一行代码直接加载 Hugging Face Hub 上 300K+ 的 Transformers 模型,首批支持 Gemma 1 和 2、Llama 3、PaliGemma。
Banque des Territoires(CDC Group)、Polyconseil 与 Hugging Face 合作,为法国 EduRénov 学校生态改造项目开发基于 RAG 的主权数据方案,首期已于近日完成。
Hugging Face 用基于 Transformers Agents 库构建的 ReactCodeAgent 参加 GAIA 基准,验证集取得 44.2%,在公开榜总榜排名第一,比第二名高 4 个百分点;测试集取得 33.3%,排名第二,超过 Microsoft Autogen 的提交,并在最难的 Level 3 问题上取得最佳平均分。
Google 发布 Gemma 2 系列开放 LLM,Hugging Face 与 Google 合作完成生态集成,Hub 上提供 4 个开放权重模型(9B 与 27B 各含 base 和指令微调版本),上下文长度 8192 tokens,27B 版本训练数据达 13 trillion tokens、9B 版本 8 trillion tokens。
推荐理由:详细拆解了滑动窗口注意力、软上限、知识蒸馏和模型合并等技术细节,便于读者理解其性能提升来源。
XLSCOUT 推出面向专利与 IP 的专有 Embedding 模型 ParaEmbed 2.0,准确率较 2023 年 10 月发布的 ParaEmbed 1.0 提升 23%。
Hugging Face 与 Argilla 联合开源社区推进的 Data Is Better Together 计划,已发布 DIBT/10k_prompts_ranked 数据集(10K prompts,385 人参与),并基于其中 500 条 prompt 启动多语言评测项目 MPEP,荷兰语、俄语、西班牙语翻译已完成。
Hugging Face 在 TRL 中引入 RLOO(REINFORCE Leave One-Out)Trainer,作为 PPO 之外更易实现的在线 RLHF 训练算法。
Hugging Face 宣布将重新设计 Transformers 文档,以解决其因多年增量式堆叠新内容而变得割裂、难导航且过时的问题。新版文档将转向以代码和解决方案为导向,面向开发者而非仅面向机器学习工程师,并用灵活的结构取代僵化的 Diátaxis 分类,让内容自然生长与整合。
Mistral AI 在 la Plateforme 推出模型定制功能,提供三条微调入口:开源微调 SDK mistral-finetune(基于 LoRA,可在自有基础设施上微调其开源模型)、la Plateforme 上的 serverless 托管微调服务,以及面向部分客户的定制训练服务(含持续预训练)。
Hugging Face 官方披露其 Spaces 平台遭未授权访问,部分 Spaces secrets 可能被读取,已撤销其中一批 HF token 并向相关用户发送邮件通知。
Mistral AI 发布首个代码模型 Codestral,这是一个 22B 开源权重模型,专为代码生成任务设计,支持 80+ 编程语言,具备 fill-in-the-middle 补全机制和 32k 上下文窗口,在 RepoBench 等基准上取得领先表现。
推荐理由:原文给出模型规格、评测基准和开放入口,读者可据此判断它在编码工作流中的可用性。
TII 发布 Falcon 2 系列首批模型 Falcon2-11B,包括 11B 参数的 LLM 和具备图像理解能力的 VLM,基于超过 5,000 GT tokens 的 RefinedWeb 数据经四阶段训练,上下文长度扩展至 8192 tokens。
Hugging Face 宣布 Inference Endpoints 新增 Inferentia2 实例,用户可在 Hub 上几次点击即可部署模型,同时将 SageMaker 上的 Inferentia2 部署扩展到超过 100,000 个公开模型,新增 14 种模型架构和 6 类任务。
Hugging Face Spaces 推出 Dev Mode(目前处于 beta,面向 PRO 订阅用户),支持一键连接 VS Code 或 SSH 直接编辑 Space 中的代码,无需再用 git 推送本地改动。修改后点击 Refresh 即可测试,满意后再 commit 和 merge 持久化更改。社区已创建超过 500,000 个 Spaces。
Hugging Face 推出 Dell Enterprise Hub,让用户在 Dell 平台上轻松本地训练和部署 Llama 3、Mixtral、Gemma 等开源模型,将数周的工程工作缩短至几分钟。
Hugging Face 宣布与 AMD 合作,将 AMD Instinct MI300 集成进其平台,transformers 和 text-generation-inference 已在 MI250 与 MI300 上定期测试。
Hugging Face 在 Microsoft Build 上宣布与 Microsoft 深化战略合作,覆盖云、开源科学、开源库与开发者体验四条线。
Hugging Face 发布 Transformers Agents 2.0,在原有智能体之外新增两种能基于过往观察迭代的智能体(ReactCodeAgent 与 ReactJsonAgent),并加入社区分享功能。
推荐理由:原文给出组件设计与基准结果,读者可据此评估开源智能体框架的实际竞争力。
Hugging Face 发布 StarCoder2-15B-Instruct-v0.1,一个完全用自生成数据、无需 GPT-4 等闭源教师模型蒸馏的指令微调代码模型,HumanEval 得分 72.6,超过 CodeLlama-70B-Instruct 的 72.0。
Hugging Face 发布 Jack of All Trades(JAT)项目,包含 JAT 模型、JAT 数据集和一批专家 RL 智能体,JAT 是基于 Transformer 的多用途智能体,可在 Atari、BabyAI、Meta-World、MuJoCo 等 157 个训练任务上用单一网络完成游戏、机器人控制和导航等决策任务。
Meta 发布开源 Llama 3 系列,包含 8B 和 70B 两种参数规模的 base 与 instruct 共 4 个模型,以及基于 Llama 3 8B 微调的 Llama Guard 2,全部已上线 Hugging Face Hub。
推荐理由:原文梳理了 Llama 3 的技术变化与生态集成入口,读者可据此判断如何在自己的工作流中使用它。
Mistral AI 发布最新开源模型 Mixtral 8x22B,采用稀疏 MoE 架构,141B 总参数中仅激活 39B,以 Apache 2.0 许可开放。
推荐理由:原文给出了参数规模、激活量与基准分数,读者可据此评估其性价比定位。
Zama 在 Hugging Face 上提供预编译的 Concrete ML 模型,用户可通过 Hugging Face Endpoints 和 custom inference handlers 一键部署全同态加密(FHE)隐私保护推理。
Ryght 正式推出面向医疗与生命科学领域的生成式 AI 平台 Ryght Preview,现已向所有用户公开可用。
Gradio 的 reload mode 让开发者用 `gradio app.py` 启动应用后,源码改动即时生效、无需重启服务器,UI 更新瞬间可见。相比 uvicorn 自带的自动重载,它支持选择性重载,可用 `if gr.NO_RELOAD:` 标记不需重载的代码(如已加载的 AI 模型或 InferenceClient),避免每次改动都重新加载模型。
Hugging Face 发布 Idefics2,一个 8B 参数的通用多模态模型,采用 Apache 2.0 开源许可,可接受任意文本与图像序列输入并生成文本回答,具备图像问答、文档信息抽取和基础算术等能力。
推荐理由:给出了模型能力、基准对比和训练数据构成,读者可据此判断 8B 规模开源多模态模型的可用水平。
Hugging Face 官方博客介绍视觉语言模型的构成、开源模型概览、选型与评测方式,并给出用 transformers 推理和用 TRL SFTTrainer 微调的完整代码。
Hugging Face 推出 Deploy on Google Cloud 集成,支持将数千个基础模型通过 Vertex AI 或 GKE 一键部署为 API Endpoint,推理由 Text Generation Inference 提供支持。
Hugging Face 与 Google 合作发布开源代码模型 CodeGemma,基于 2B 和 7B Gemma 检查点,在 500 billion tokens 的英语数据、数学和代码上继续训练,提供 2B base、7B base 和 7B Instruct 三个版本,上下文窗口均为 8K token。
Hugging Face 宣布与云安全公司 Wiz 合作,Wiz 研究团队通过 pickle 在其沙箱计算环境中执行任意代码,发现平台安全缺陷,Hugging Face 表示已修复相关漏洞。
Hugging Face 展示了如何用 🤗 Optimum Intel 将 SetFit 模型在 Intel Xeon CPU 上的推理速度提升 7.8 倍,通过 Intel Neural Compressor 对模型主体做 post-training static quantization(PTQ)即可实现。
Hugging Face 与 Cloudflare 联合推出 Deploy on Cloudflare Workers AI 集成,让开发者无需管理 GPU 基础设施即可通过 serverless API 调用热门开源模型,按请求付费。
Hugging Face 发布了一篇面向零基础读者的 Hugging Face Transformers 入门教程,通过在 Hugging Face Spaces 上部署 JupyterLab notebook 并运行 Microsoft 的 Phi-2 LLM 的完整示例,讲解 Transformers 库、Hub、Spaces 等核心概念。
Hugging Face 发布 Cosmopedia,一个用 Mixtral-8x7B-Instruct-v0.1 生成、含超 3000 万文件和 25 billion tokens 的合成数据集,用于从零预训练大语言模型,目标是复现 Phi-1.5 的训练数据。
推荐理由:原文拆解了从几千到千万级样本的提示词工程方法,可迁移给要做大规模预训练数据的团队。
Hugging Face 官方博客介绍 GaLore 如何利用梯度的低秩结构和投影技术,把优化器状态显存降低超过 82.5%,从而在 NVIDIA RTX 4090 这类消费级 GPU 上训练最多 70 亿参数的 Llama 架构模型。
Argilla 与 Hugging Face 联合发起 Data is Better Together 实验,几天内吸引 350 名社区贡献者标注出超过 11,000 条 prompt 评分,并发布数据集 10k_prompts_ranked(含 10,000 条带用户评分的 prompt)。
Hugging Face 展示了如何用 Optimum Habana 的自定义 GaudiTextGenerationPipeline 在 Intel® Gaudi® 2 上以几行代码运行 Llama 2(7b、13b、70b)文本生成,涵盖预处理与后处理。
Hugging Face 推出 TTS Arena,一个让用户提交文本、盲听两个 TTS 模型合成语音并投票的众包评测平台,结果将汇总为排行榜。该平台采用类似 LMSys Chatbot Arena 的 Elo 评分系统,投票前不显示模型名以防偏见。首发模型包括 ElevenLabs、MetaVoice、OpenVoice、Pheme、WhisperSpeech 和 XTTS,涵盖开源与闭源。
Hugging Face 发布博客介绍 AI 生成内容的水印技术,涵盖生成时嵌入与生成后添加两种方式,并讨论开放与闭源水印的权衡。
Hugging Face 官方博客介绍如何用 Transformers 和 PEFT 库在 GPU 与 Cloud TPU 上对 Gemma 模型做参数高效微调(PEFT)。