Hugging Face Embedding Container for Amazon SageMaker 正式可用(GA)
Hugging Face Embedding Container for Amazon SageMaker 正式可用(GA),AWS 客户可在 SageMaker 上部署开源 Embedding 模型构建 RAG 等生成式 AI 应用。
Hugging Face Embedding Container for Amazon SageMaker 正式可用(GA),AWS 客户可在 SageMaker 上部署开源 Embedding 模型构建 RAG 等生成式 AI 应用。
Hugging Face 上线 Artificial Analysis Text to Image Leaderboard 与 Arena,基于 45,000 次人类图像偏好投票计算 ELO 分数,覆盖 Midjourney、DALL·E、Stable Diffusion、Playground 等主流开源与闭源模型。
Hugging Face 联合 Cubzh 和 Gigax 推出 NPC-Playground,一个可在浏览器中直接运行的 3D 演示,让玩家与 LLM 驱动的 NPC 互动,并通过几行 Lua 脚本教 NPC 新技能。
Hugging Face 将 assisted generation(基于 Speculative Sampling)适配并优化到 Intel Gaudi 处理器,现已集成进 Optimum Habana。
Hugging Face 官方披露其 Spaces 平台遭未授权访问,部分 Spaces secrets 可能被读取,已撤销其中一批 HF token 并向相关用户发送邮件通知。
Hugging Face 推出 TGI Benchmarking 工具,用于剖析 Text Generation Inference(TGI)部署的吞吐与延迟权衡,帮助用户按需调优。
Hugging Face 官方博客给出使用 Sentence Transformers 微调或从零训练 Embedding 模型的完整教程,覆盖数据集、损失函数、训练参数、评估器与 Trainer 各组件。
Hugging Face 宣布 Inference Endpoints 新增 Inferentia2 实例,用户可在 Hub 上几次点击即可部署模型,同时将 SageMaker 上的 Inferentia2 部署扩展到超过 100,000 个公开模型,新增 14 种模型架构和 6 类任务。
Hugging Face Spaces 推出 Dev Mode(目前处于 beta,面向 PRO 订阅用户),支持一键连接 VS Code 或 SSH 直接编辑 Space 中的代码,无需再用 git 推送本地改动。修改后点击 Refresh 即可测试,满意后再 commit 和 merge 持久化更改。社区已创建超过 500,000 个 Spaces。
Hugging Face 推出 Dell Enterprise Hub,让用户在 Dell 平台上轻松本地训练和部署 Llama 3、Mixtral、Gemma 等开源模型,将数周的工程工作缩短至几分钟。
Hugging Face 宣布与 AMD 合作,将 AMD Instinct MI300 集成进其平台,transformers 和 text-generation-inference 已在 MI250 与 MI300 上定期测试。
Hugging Face 在 Microsoft Build 上宣布与 Microsoft 深化战略合作,覆盖云、开源科学、开源库与开发者体验四条线。
Hugging Face 在 Transformers 中推出 KV Cache Quantization 功能,通过降低 KV cache 数值精度显著减少长上下文生成的内存占用,支持更长生成而不易耗尽显存。
Hugging Face 与 LangChain 联合推出并共同维护 Python 包 langchain_huggingface,通过 `pip install langchain-huggingface` 安装,旨在缩短 Hugging Face 生态新功能进入 LangChain 的时间。
Hugging Face 博客介绍 Google 发布的 PaliGemma 视觉语言模型家族,其架构由 SigLIP-So400m 图像编码器与 Gemma-2B 文本解码器经线性适配器组合而成,可接收图像与文本并输出文本。
推荐理由:详细拆解了三类检查点的用途差异与分辨率取舍,可帮助读者按任务选型并直接上手微调。
Hugging Face 推出 Open Arabic LLM Leaderboard(OALL),专门用于评估和比较阿拉伯语大语言模型,服务全球超过 3.8 亿阿拉伯语使用者。
Hugging Face 发布 Transformers Agents 2.0,在原有智能体之外新增两种能基于过往观察迭代的智能体(ReactCodeAgent 与 ReactJsonAgent),并加入社区分享功能。
推荐理由:原文给出组件设计与基准结果,读者可据此评估开源智能体框架的实际竞争力。
Hugging Face Enterprise Hub 现已支持通过 AWS 账号在 AWS Marketplace 完成订阅,账单由 AWS 账户直接管理,定价与 Hugging Face 公开定价一致。
Hugging Face 与 Intel 演示了如何基于 OPEA 平台,用 Intel Gaudi 2 加速器和 Xeon CPU 构建高性价比的企业级 RAG 应用。
Hugging Face 推出首个专门评估希伯来语大语言模型的开放排行榜,包含 Hebrew Question Answering、Sentiment Accuracy、Winograd Schema Challenge、Translation 四项基准,均采用 few-shot prompt 格式。
Artificial Analysis 的 LLM Performance Leaderboard 上线 Hugging Face,覆盖超过 100 个 serverless LLM API 端点,把质量、价格、速度(延迟与吞吐)三项指标汇总到一处供工程师选型。
Hugging Face 官方博客介绍如何用自定义 inference handler 在 Inference Endpoints 上部署 Whisper ASR、Pyannote 说话人分离与投机解码的组合管线,代码拆分为 handler.py、diarization_utils.py 和 config.py 三个文件。
Hugging Face Leaderboards and Evals 团队与 Dottxt 合作研究发现,MMLU 上仅改变 prompt 格式就能让模型分数波动约 10 个点,Qwen1.5-7B 在不同格式下准确率从 51.2% 跌至 22.9%,few-shot 顺序变化也可带来最多 3 分差异,且模型排名会随之改变。
Hugging Face 推出 Open CoT Leaderboard,通过对比模型在有无思维链(CoT)提示下的准确率差值(accuracy gain Δ),衡量 LLM 生成有效推理轨迹的能力,而非绝对准确率。该榜单使用 LogiQA、LSAT 等逻辑推理任务,已实现 Classic 和 Reflect 两种提示策略,旨在更稳健地评估模型推理能力并规避训练数据污染问题。
Hugging Face 发布 Jack of All Trades(JAT)项目,包含 JAT 模型、JAT 数据集和一批专家 RL 智能体,JAT 是基于 Transformer 的多用途智能体,可在 Atari、BabyAI、Meta-World、MuJoCo 等 157 个训练任务上用单一网络完成游戏、机器人控制和导航等决策任务。
Hugging Face 与 Open Life Science AI 推出 Open Medical-LLM Leaderboard,用 MedQA、MedMCQA、PubMedQA 及 MMLU 医学与生物学子集等数据集,以准确率为主要指标对比各模型的医疗问答能力。
Meta 发布开源 Llama 3 系列,包含 8B 和 70B 两种参数规模的 base 与 instruct 共 4 个模型,以及基于 Llama 3 8B 微调的 Llama Guard 2,全部已上线 Hugging Face Hub。
推荐理由:原文梳理了 Llama 3 的技术变化与生态集成入口,读者可据此判断如何在自己的工作流中使用它。
Zama 在 Hugging Face 上提供预编译的 Concrete ML 模型,用户可通过 Hugging Face Endpoints 和 custom inference handlers 一键部署全同态加密(FHE)隐私保护推理。
Ryght 正式推出面向医疗与生命科学领域的生成式 AI 平台 Ryght Preview,现已向所有用户公开可用。
Gradio 的 reload mode 让开发者用 `gradio app.py` 启动应用后,源码改动即时生效、无需重启服务器,UI 更新瞬间可见。相比 uvicorn 自带的自动重载,它支持选择性重载,可用 `if gr.NO_RELOAD:` 标记不需重载的代码(如已加载的 AI 模型或 InferenceClient),避免每次改动都重新加载模型。
Hugging Face 发布 Idefics2,一个 8B 参数的通用多模态模型,采用 Apache 2.0 开源许可,可接受任意文本与图像序列输入并生成文本回答,具备图像问答、文档信息抽取和基础算术等能力。
推荐理由:给出了模型能力、基准对比和训练数据构成,读者可据此判断 8B 规模开源多模态模型的可用水平。
Hugging Face 官方博客介绍视觉语言模型的构成、开源模型概览、选型与评测方式,并给出用 transformers 推理和用 TRL SFTTrainer 微调的完整代码。
Hugging Face 推出 Deploy on Google Cloud 集成,支持将数千个基础模型通过 Vertex AI 或 GKE 一键部署为 API Endpoint,推理由 Text Generation Inference 提供支持。
Hugging Face 与 Google 合作发布开源代码模型 CodeGemma,基于 2B 和 7B Gemma 检查点,在 500 billion tokens 的英语数据、数学和代码上继续训练,提供 2B base、7B base 和 7B Instruct 三个版本,上下文窗口均为 8K token。
Hugging Face 宣布与云安全公司 Wiz 合作,Wiz 研究团队通过 pickle 在其沙箱计算环境中执行任意代码,发现平台安全缺陷,Hugging Face 表示已修复相关漏洞。
DuckDB-NSQL-7B-v0.1 是 MotherDuck 和 Numbers Station 基于 Llama-2-7b 微调的 DuckDB SQL 专用 LLM,可将自然语言转为有效 DuckDB SQL。
Hugging Face 展示了如何用 🤗 Optimum Intel 将 SetFit 模型在 Intel Xeon CPU 上的推理速度提升 7.8 倍,通过 Intel Neural Compressor 对模型主体做 post-training static quantization(PTQ)即可实现。
Hugging Face 与 Cloudflare 联合推出 Deploy on Cloudflare Workers AI 集成,让开发者无需管理 GPU 基础设施即可通过 serverless API 调用热门开源模型,按请求付费。
Hugging Face 博客介绍嵌入向量的二值(binary)与标量(int8)量化方法,可在保持大部分检索性能的同时大幅降低内存、磁盘与成本。
Hugging Face 发布了一篇面向零基础读者的 Hugging Face Transformers 入门教程,通过在 Hugging Face Spaces 上部署 JupyterLab notebook 并运行 Microsoft 的 Phi-2 LLM 的完整示例,讲解 Transformers 库、Hub、Spaces 等核心概念。