Hugging Face 推出 NVIDIA NIM API(serverless)无服务器推理服务
Hugging Face 推出 NVIDIA NIM API(serverless)无服务器推理服务,面向 Enterprise Hub 组织,基于 NVIDIA DGX Cloud 提供 Llama、Mistral 等开源模型的推理 API,兼容 OpenAI SDK,按计算时间计费(H100 GPU $8.25/小时)。
Hugging Face 推出 NVIDIA NIM API(serverless)无服务器推理服务,面向 Enterprise Hub 组织,基于 NVIDIA DGX Cloud 提供 Llama、Mistral 等开源模型的推理 API,兼容 OpenAI SDK,按计算时间计费(H100 GPU $8.25/小时)。
OpenAI 宣布正在测试 SearchGPT,这是一个临时原型,提供快速及时的答案,并附带清晰、相关的来源。
Hugging Face 官方博客宣布 TGI 新增 Multi-LoRA serving 功能,可在单次部署一个基座模型(如 mistralai/Mistral-7B-v0.1)后,根据请求携带的 adapter_id 动态选择对应 LoRA adapter,实现一次部署服务多个微调模型。
Hugging Face 发布 Docmatix 数据集,包含 240 万张图像、950 万组问答对,来自 130 万份 PDF 文档,规模是此前 DocVQA 数据集的 240 倍。
OpenAI 为 ChatGPT Enterprise 推出新的合规与管理工具,包括 Compliance API 集成、SCIM 和 GPT 控制项,用于支持企业的合规计划、数据安全与大规模用户访问管理。
Hugging Face 在 Dataset Hub 上试验新功能,用开源 PII 检测工具 Presidio 为数据集生成 PII 存在情况的估算报告,帮助 ML 从业者在训练前判断数据集是否含敏感个人信息。
Hugging Face 与 KerasHub 宣布 Transformers 与 KerasHub 共享模型保存格式,KerasHub 用户现在可以用一行代码直接加载 Hugging Face Hub 上 300K+ 的 Transformers 模型,首批支持 Gemma 1 和 2、Llama 3、PaliGemma。
Hugging Face 宣布 Inference Endpoints 和 Spaces 自当日起支持 Google TPU v5e,用户可在 us-west1 区域选择三档配置。
Hugging Face 为 Dataset Hub 上的 Dataset Search 推出四项新功能:按数据模态(Text/Image/Audio/Tabular/Time-Series/3D/Video/Geospatial)。
XLSCOUT 推出面向专利与 IP 的专有 Embedding 模型 ParaEmbed 2.0,准确率较 2023 年 10 月发布的 ParaEmbed 1.0 提升 23%。
Paf 在全公司部署 ChatGPT Enterprise,工程师每天使用自定义 GPT 加速常规开发任务,并将其集成进 grit:lab 编程学院(gritlab.ax)用于培养新一代软件开发者。Paf 有 70% 的员工在财务、HR、市场和客服等业务团队中活跃使用 ChatGPT Enterprise。
Color Health 与 OpenAI 合作推出 Cancer Copilot 应用,用 GPT-4o 识别缺失的诊断信息并生成定制化检查计划,帮助医疗提供者就癌症筛查与治疗做出循证决策,从而加快癌症患者获得治疗的速度。
Stability AI 的 Stable Diffusion 3 Medium(2B 参数)现已在 Hugging Face Hub 上线并支持 🧨 Diffusers,同时提供 SD3 Dreambooth 和 LoRA 训练脚本。
推荐理由:原文给出显存与速度的实测对照表,读者可据此选择适合自己硬件的运行方案。
Hugging Face 在 TRL 中引入 RLOO(REINFORCE Leave One-Out)Trainer,作为 PPO 之外更易实现的在线 RLHF 训练算法。
OpenAI 探索其文本转语音模型 Voice Engine 背后的技术原理与安全研究。文章介绍了该模型如何将文本合成为语音,并阐述了 OpenAI 围绕 Voice Engine 展开的安全性探索工作。
Hugging Face Embedding Container for Amazon SageMaker 正式可用(GA),AWS 客户可在 SageMaker 上部署开源 Embedding 模型构建 RAG 等生成式 AI 应用。
Hugging Face 上线 Artificial Analysis Text to Image Leaderboard 与 Arena,基于 45,000 次人类图像偏好投票计算 ELO 分数,覆盖 Midjourney、DALL·E、Stable Diffusion、Playground 等主流开源与闭源模型。
Mistral AI 在 la Plateforme 推出模型定制功能,提供三条微调入口:开源微调 SDK mistral-finetune(基于 LoRA,可在自有基础设施上微调其开源模型)、la Plateforme 上的 serverless 托管微调服务,以及面向部分客户的定制训练服务(含持续预训练)。
Mistral AI 宣布举办 Mistral Fine-tuning 黑客松,赛期为 6 月 5 日至 30 日,参赛项目须使用 Mistral 的 fine-tuning API。
Hugging Face 联合 Cubzh 和 Gigax 推出 NPC-Playground,一个可在浏览器中直接运行的 3D 演示,让玩家与 LLM 驱动的 NPC 互动,并通过几行 Lua 脚本教 NPC 新技能。
Hugging Face 将 assisted generation(基于 Speculative Sampling)适配并优化到 Intel Gaudi 处理器,现已集成进 Optimum Habana。
OpenAI 推出 OpenAI for Nonprofits 新计划,旨在提升其工具对非营利组织的可及性,包括为 ChatGPT Team 和 ChatGPT Enterprise 提供折扣价格。
OpenAI 推出 OpenAI for Education,为大学提供可负担的方案,帮助高校负责任地将 AI 引入校园。
MavenAGI 推出基于 GPT-4 构建的 AI 客服智能体,Tripadvisor、Clickup 和 Rho 等公司已在使用,以节省时间并更好地服务客户。
Hugging Face 宣布 Inference Endpoints 新增 Inferentia2 实例,用户可在 Hub 上几次点击即可部署模型,同时将 SageMaker 上的 Inferentia2 部署扩展到超过 100,000 个公开模型,新增 14 种模型架构和 6 类任务。
Hugging Face Spaces 推出 Dev Mode(目前处于 beta,面向 PRO 订阅用户),支持一键连接 VS Code 或 SSH 直接编辑 Space 中的代码,无需再用 git 推送本地改动。修改后点击 Refresh 即可测试,满意后再 commit 和 merge 持久化更改。社区已创建超过 500,000 个 Spaces。
Hugging Face 推出 Dell Enterprise Hub,让用户在 Dell 平台上轻松本地训练和部署 Llama 3、Mixtral、Gemma 等开源模型,将数周的工程工作缩短至几分钟。
Hugging Face 宣布与 AMD 合作,将 AMD Instinct MI300 集成进其平台,transformers 和 text-generation-inference 已在 MI250 与 MI300 上定期测试。
Hugging Face 在 Microsoft Build 上宣布与 Microsoft 深化战略合作,覆盖云、开源科学、开源库与开发者体验四条线。
OpenAI 与行业领先的选角和导演专业人士合作,从 400 多份投稿中筛选,最终为 ChatGPT 语音功能选定 5 个声音。
ChatGPT 改进数据分析功能,支持直接与表格和图表交互,并可从 Google Drive 和 Microsoft OneDrive 添加文件。
Canva 推出 AI 驱动的 Magic Studio,面向每月超 1.75 亿用户的视觉沟通平台。该平台结合易用界面、海量素材库与省时工具,让缺乏设计训练的知识工作者也能创作出视觉内容。
Hugging Face 在 Transformers 中推出 KV Cache Quantization 功能,通过降低 KV cache 数值精度显著减少长上下文生成的内存占用,支持更长生成而不易耗尽显存。
Hugging Face 与 LangChain 联合推出并共同维护 Python 包 langchain_huggingface,通过 `pip install langchain-huggingface` 安装,旨在缩短 Hugging Face 生态新功能进入 LangChain 的时间。
Hugging Face 发布 Transformers Agents 2.0,在原有智能体之外新增两种能基于过往观察迭代的智能体(ReactCodeAgent 与 ReactJsonAgent),并加入社区分享功能。
推荐理由:原文给出组件设计与基准结果,读者可据此评估开源智能体框架的实际竞争力。
Hugging Face Enterprise Hub 现已支持通过 AWS 账号在 AWS Marketplace 完成订阅,账单由 AWS 账户直接管理,定价与 Hugging Face 公开定价一致。
OpenAI 推出新技术,帮助研究人员识别由其工具生成的内容,并加入 Coalition for Content Provenance and Authenticity(C2PA)指导委员会以推动行业标准。
Stack Overflow 和 OpenAI 宣布达成新的 API 合作,将 Stack Overflow 的技术内容知识平台与 OpenAI 的 LLM 模型能力结合,为开发者提供支持。
Hugging Face 推出首个专门评估希伯来语大语言模型的开放排行榜,包含 Hebrew Question Answering、Sentiment Accuracy、Winograd Schema Challenge、Translation 四项基准,均采用 few-shot prompt 格式。
Artificial Analysis 的 LLM Performance Leaderboard 上线 Hugging Face,覆盖超过 100 个 serverless LLM API 端点,把质量、价格、速度(延迟与吞吐)三项指标汇总到一处供工程师选型。