Hugging Face 为 TGI 引入多后端架构,支持 TRT-LLM 与 vLLM
Hugging Face 官方宣布为 Text Generation Inference (TGI) 引入多后端架构,通过统一的前端层集成 vLLM、llama.cpp、TensorRT-LLM 等推理方案,让用户按模型、硬件和性能需求切换后端。
Hugging Face 官方宣布为 Text Generation Inference (TGI) 引入多后端架构,通过统一的前端层集成 vLLM、llama.cpp、TensorRT-LLM 等推理方案,让用户按模型、硬件和性能需求切换后端。
Hugging Face 发布两款静态嵌入模型 sentence-transformers/static-retrieval-mrl-en-v1(英文检索)和 static-similarity-mrl-multilingual-v1(多语言相似度)。
Hugging Face 发布 smolagents,一个让语言模型获得智能体能力的简洁库,核心特点是让智能体以代码形式编写动作而非 JSON 片段。库的逻辑约数千行代码,支持 E2B 沙箱执行、通过 Hub 分享加载工具,并经 LiteLLM 集成支持 OpenAI、Anthropic 等 100+ 云端模型,是 transformers.agents 的继任者。
推荐理由:原文对比了代码动作与 JSON 工具调用的取舍依据,读者可据此判断何时该用智能体。
OpenAI 宣布其视频生成模型 Sora 现已在 sora.com 开放使用,用户可生成最高 1080p 分辨率、最长 20 秒、支持宽屏、竖屏或方形比例的视频。用户既可以纯文本生成全新内容,也可以上传自有素材进行扩展、混剪和融合。
电影制作二人组 Vallée Duhamel 讲解了如何用 Sora 构建新世界。
跨学科艺术家 Minne Atairu 分享了 Sora 如何帮助她实现创作愿景。文章以访谈形式呈现,聚焦 Sora 在艺术创作中的实际应用。
OpenAI 发布 Sora System Card,介绍其视频生成模型 Sora:可接受文本、图像和视频输入并生成新视频,构建于 DALL-E 和 GPT 模型的经验之上,旨在为用户提供更丰富的叙事与创意表达工具。
电影制作人 Lyndon Barrois 讲述了如何把 Sora 作为叙事工具来使用,用它创造新的世界。
OpenAI 发布面向产品团队的 AI 应用指南,介绍如何将 AI 融入产品团队的日常工作流程。内容围绕产品团队如何借助 AI 提升协作与产出效率展开。
OpenAI 发布 ChatGPT Pro,定位为拓展前沿 AI 使用范围的订阅方案,官方页面主题为 Broadening usage of frontier AI。
Morgan Stanley 正在使用 AI evals 来塑造金融服务的未来。
OpenAI 发布文章介绍如何结合人与 AI 推进红队测试(red teaming),以提升模型安全评估能力。文章来自 OpenAI News,聚焦红队测试方法的演进方向。
OpenAI 介绍如何通过 GPT-4o vision fine-tuning(视觉微调)来构建更智能的地图应用。文章围绕 GPT-4o 的视觉微调能力展开,说明其在地图场景中的应用方式。
Rox 结合商业经验与 LLM 专业知识,全面采用 OpenAI 的模型,让每位销售都成为前 1% 的顶尖销售。
Hugging Face 与 Atla 联合推出 Judge Arena,让任何人并排对比模型作为评判者的表现:系统随机生成或自定义样本,两个 LLM 评判者分别打分并给出理由,用户投票选出更符合自己判断的一方,投票后才揭示模型名以避免偏差。
Mistral AI 为免费生成式 AI 助手 le Chat 推出一批 beta 新功能,包括带引用的 Web 搜索、用于协作创作与就地编辑的 Canvas、由 Pixtral Large 驱动的文档与图像理解、由 Black Forest Labs Flux Pro 驱动的图像生成,以及可复用提示词的 Agents。
推荐理由:原文逐项对比了与 ChatGPT、Perplexity、Claude 的功能差异,读者可据此判断其免费 beta 策略的切入点。
雅诗兰黛(The Estée Lauder Companies)使用 ChatGPT Enterprise 和 custom GPTs 分析消费者数据、挖掘洞察,加速美妆创新。
Mistral AI 在 La Plateforme 上线 Batch API,批量处理 Mistral 模型请求的成本比同步 API 调用低 50%,适用于优先数据量而非实时响应的场景。
Mistral AI 发布新的内容审核 API,即驱动 Le Chat 审核服务的同一接口,向用户开放以便按自身应用和安全标准定制。该模型是 LLM 分类器,将文本输入分为 9 类,提供原始文本和对话内容两个端点,对话端点在上下文中对最后一条消息进行分类。
Hugging Face 官方博客介绍其与 PyCharm 的集成,开发者可在代码中右键选择 Insert HF Model,按 image-text-to-text 等类别筛选并查看 Model Card 示例代码,直接粘贴运行,例如选用 microsoft/Phi-3.5-vision-instruct 实现图文对话。
Argilla 2.4 新增无代码功能,用户可在 Argilla UI 中直接从 Hugging Face Hub 导入数据集、定义问题并收集人工反馈,无需编写代码。
OpenAI 官方宣布推出 ChatGPT search,让用户在 ChatGPT 中获得快速、及时的答案,并附带相关网络来源的链接。
Promega 自上而下推动 ChatGPT 在公司内部的采用,加速了制造、销售与营销环节的效率提升。
OpenAI 发布面向营销团队的 AI 应用方案,帮助营销团队将 AI 投入实际工作。原文仅提供标题与主题,未披露具体功能、模型版本或性能数据。
Decagon 与 OpenAI 合作,以 OpenAI 模型为支撑,规模化交付高性能、全自动化的客户支持服务。该方案将客户支持流程完全自动化,帮助企业在大规模场景下实现高效响应。
Hugging Face 与 Intel Labs 联合推出 Universal Assisted Generation(UAG),让 assisted generation(投机解码)不再要求目标模型与助手模型来自同一模型族、共享同一 tokenizer,可为任意 decoder 或 MoE 模型带来 1.5x-2.0x 推理加速且几乎零开销。
Hugging Face 推出 Hugging Face Generative AI Services(HUGS),一套基于 Text Generation Inference(TGI)的零配置推理微服务,可在自有基础设施上部署开源模型,提供 OpenAI 兼容 API,支持 NVIDIA、AMD GPU,AWS Inferentia 和 Google TPU 即将支持。
Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 中推出 SynthID Text,可通过 logits processor 为 AI 生成文本添加水印并用分类器检测。
推荐理由:原文给出了配置参数、检测器训练流程和局限,读者可据此评估如何在自己的模型上落地水印方案。
Hugging Face 宣布与 Protect AI 合作,将其安全扫描工具 Guardian 集成到 Hub 的扫描套件中,所有公开模型仓库在推送文件后会被 Guardian 自动扫描。
Hugging Face 与 dottxt 合作发布 outlines-core,即 outlines 结构化生成核心算法的 Rust 移植版本,0.1.0 版 Python 绑定已发布并集成进 outlines。
Stable Diffusion 3.5 已上线 Hugging Face Hub 并可用 Diffusers 调用,提供 8B 参数版和 timestep-distilled 少步推理版两个 checkpoint。
推荐理由:文章给出了量化推理和 LoRA 训练的具体配置,读者可直接迁移到自己的消费级显卡上跑 SD3.5 Large。
Hugging Face 官方发布 Transformers.js v3,加入 WebGPU 支持,性能最高可达 WASM 的 100 倍,可通过设置 device: 'webgpu' 启用。
推荐理由:原文列出了 WebGPU 加速与 dtype 量化参数的具体用法,读者可据此判断浏览器端模型部署的性能与体积取舍。
OpenAI 分析了 ChatGPT 如何根据用户姓名作出回应,并使用 AI 研究助手来保护用户隐私。
Hugging Face 邀请网络安全公司 Trail of Bits 对 Gradio 代码库进行独立安全审计,发现的问题已在 Gradio 5.0 发布前全部修复并经对方验证。
Hugging Face 宣布 Gradio 5 稳定版发布,用几行 Python 即可构建高性能、可扩展、符合 Web 安全最佳实践的机器学习应用,升级命令为 pip install --upgrade gradio。
推荐理由:原文逐条对应开发者痛点给出改进方案,读者可据此评估升级到 Gradio 5 的收益与迁移成本。
Hugging Face 与 Intel labs 合作开发的动态推测解码已集成进 Transformers 4.45.0,成为 assisted generation 的默认模式,最高可带来 2.7x 加速。
Hugging Face 推出 Open FinLLM Leaderboard(OFLL),一个面向金融领域的大语言模型零样本评测框架,覆盖信息抽取、文本分析、问答、文本生成、风险管理、预测、决策七大任务类别,使用 Accuracy、F1 Score、ROUGE Score、MCC 等指标,数据集取自真实金融场景,用于评估模型在金融任务上的实际可用性。
OpenAI 官方宣布为 ChatGPT 推出 canvas,一种新的写作与编程交互方式。当前 feed 仅提供标题,未包含更多功能细节。
OpenAI 推出 Realtime API,开发者现在可以在自己的应用中构建快速的语音到语音(speech-to-speech)体验。
OpenAI 宣布开发者现在可以使用图像和文本微调 GPT-4o,以提升模型的视觉能力。
推荐理由:官方宣布开放图像微调入口,读者可据此判断视觉能力定制是否进入可落地阶段。