Hugging Face Hub 推出 BERTopic 集成
Hugging Face Hub 推出 BERTopic 集成,可直接在 Hub 上对模型和数据集进行主题建模。集成后可自动聚类并生成主题标签,例如 dialogue(14247)、speech asr(1833)、tuning(1369)等,覆盖问答、摘要、情感分析等常见 NLP 任务。
Hugging Face Hub 推出 BERTopic 集成,可直接在 Hub 上对模型和数据集进行主题建模。集成后可自动聚类并生成主题标签,例如 dialogue(14247)、speech asr(1833)、tuning(1369)等,覆盖问答、摘要、情感分析等常见 NLP 任务。
Hugging Face 与 bitsandbytes 再次合作,在 transformers 中支持以 4-bit 精度运行大部分 HF 模型(含文本、视觉、多模态),并可基于 4bit 模型训练适配器,对应 Dettmers 等人当天发布的 QLoRA 论文。
推荐理由:原文给出 4bit 加载的具体参数配置与显存实测对照,读者可据此在消费级显卡上复现微调方案。
Hugging Face 与 Microsoft 合作,在 Azure Machine Learning Studio 内原生上线 Hugging Face Model Catalog,收录 Hugging Face Hub 上数千个热门 Transformers 模型,用户只需几次点击即可在托管端点上完成部署。
Hugging Face 宣布与 IBM 合作,为其新一代企业 AI studio watsonx.ai 提供支持。
Hugging Face 联合 EleutherAI 和 Stability AI 委托 Trail of Bits 对 safetensors 库进行外部安全审计,结果显示未发现可导致任意代码执行的严重漏洞,仅修复了规范不精确和缺失校验导致的 polyglot 文件问题。
OpenAI 发布 ChatGPT iOS 应用,官方介绍该应用可同步对话、支持语音输入,并把最新的模型改进带到移动端。
推荐理由:官方点明了同步、语音输入和最新模型三项能力,读者可据此判断移动端与网页端的差异。
Hugging Face 与 Intel 推出 Q8-Chat,基于 SmoothQuant 8-bit 量化技术让 LLM 在 Intel CPU 上高效运行,模型体积缩小约 2 倍且精度基本无损。
Hugging Face 官方博客宣布 RWKV 架构已通过 Pull Request 集成进 transformers 库,可通过源码安装或 main 分支使用,支持 pipeline 文本生成与 alpaca 风格的 RWKV-4 Raven 聊天模型调用,并提供 convert_rwkv_checkpoint_to_hf.py 脚本转换原始权重。
推荐理由:原文对比了 RWKV 与 Transformer、RNN 的取舍并给出可直接运行的代码,便于读者判断其适用场景。
Hugging Face 在 🤗 Transformers 的 .generate() 中推出新解码方法 assisted generation,用小模型生成候选 token、再由目标模型一次前向验证,在普通硬件上最高可将延迟降低 10x。
推荐理由:原文拆解了延迟瓶颈并给出可复现的加速数字,读者可据此判断该方法是否适配自己的部署场景。
Databricks 向 Hugging Face 代码库提交首个官方 commit,在 Datasets 中新增 `from_spark` 函数,可直接把 Spark dataframe 转成 Hugging Face dataset。
ChatGPT 用户现在可以关闭聊天历史,从而选择哪些对话可用于训练 OpenAI 的模型。
Hugging Face 与 AWS 合作,将 Hugging Face Transformers 针对 AWS Inferentia2 推理加速器进行优化,通过 optimum-neuron 一行代码即可编译模型,无需切分或修改。
Snorkel AI 与 Hugging Face 合作,通过 Hugging Face Inference Endpoint 服务让 Snorkel Flow 平台接入超过 150,000 个开源模型,帮助企业适配基础模型。
OpenAI 官方宣布已在 ChatGPT 中实现插件的初始支持。这些插件是专为大语言模型设计的工具,以安全为核心原则,可帮助 ChatGPT 获取最新信息、运行计算或调用第三方服务。
推荐理由:官方说明了插件的设计出发点,读者可据此理解 ChatGPT 如何接入实时信息与外部服务。
Hugging Face 宣布为 Hub 上托管的 Jupyter notebook 增加渲染支持,原本以 JSON 格式存储的 ipynb 文件现在会以人类可读的形式展示。
OpenAI 介绍了冰岛如何使用 GPT-4 来保存其语言。文章聚焦于 GPT-4 在冰岛语保护中的应用方式。
Be My Eyes 使用 GPT-4 改变视觉无障碍体验。
Stripe 利用 GPT-4 优化用户体验并打击欺诈。通过接入 GPT-4,Stripe 旨在简化用户使用流程,同时提升反欺诈能力。
GPT-4 深化了 Duolingo 上的对话体验,帮助填补语言学习中的关键空白。
Khan Academy 正在一项有限的试点项目中探索 GPT-4 用于虚拟教育的潜力。该项目聚焦 GPT-4 在课堂教学场景中的应用,目前处于小范围测试阶段。
Hugging Face 官方正式发布 trl 与 peft 的集成,让大语言模型的 RLHF 微调在消费级硬件上更易实现。文中给出三步流程:用 8-bit 精度加载活跃模型、通过 peft 添加可训练的低秩适配器、利用 disable_adapters 复用同一模型同时得到参考与活跃 logits,从而省去两份模型副本。
推荐理由:原文拆解了 8-bit 加载、LoRA 适配器与复用同一模型的三步流程,读者可直接迁移到自己的显存受限训练场景。
Hugging Face 与 Kakao Brain 联合开源 COYO 图文数据集(700M 对)以及在其上训练的 ViT 和 ALIGN 模型,这是 ALIGN 首次免费开源,也是首个附带训练数据的 ViT 与 ALIGN 发布。
Hugging Face 在 Diffusers 中集成 ControlNet,发布 StableDiffusionControlNetPipeline,支持用深度图、分割图、涂鸦、关键点等空间条件控制 Stable Diffusion 生成,论文提出的 8 种条件模型全部支持。
推荐理由:原文给出完整可复现的代码与性能数字,读者可直接照搬这套省显存的 ControlNet 推理配置。
Hugging Face 官方 Mac 应用 Swift Diffusers 1.1 上架 Mac App Store,将社区贡献的 SoTA 文生图模型转换为 Core ML 运行,文生图速度最高可提升至两倍,并自动为当前机型选择最佳加速器。
Hugging Face 推出 🤗 PEFT 库,与 🤗 Transformers 和 🤗 Accelerate 无缝集成,目前支持 LoRA、Prefix Tuning、P-Tuning v2、Prompt Tuning、P-Tuning 等方法。
推荐理由:原文给出了在消费级硬件上微调大模型的具体配置与产出体积对比,可直接迁移复用。
Hugging Face 宣布 SpeechT5 现已加入开源库 Transformers,官方 checkpoint 已在 Hub 上提供,并配有 TTS、语音转换和 ASR 的 Spaces 演示。
Hugging Face 推出开源工具 ⚔️ AI vs. AI ⚔️,通过让强化学习模型在多智能体对战中相互比拼,用 ELO 评分系统给出相对实力排名。该系统由 Spaces 上的匹配算法、存储比赛结果的 Dataset 和展示 ELO 的 Leaderboard 组成,新模型起始分为 1200。
OpenAI 宣布推出 ChatGPT 的试点订阅计划 ChatGPT Plus。ChatGPT 是一款对话式 AI,可以与用户聊天、回答后续问题并质疑不正确的假设。
OpenAI 推出一个经过训练的分类器,用于区分 AI 撰写的文本与人类撰写的文本。
Hugging Face transformers 开源库现已集成 Mask2Former 和 OneFormer 两个通用图像分割模型,可用统一架构完成实例、语义和全景分割三类任务。
百度开源深度学习平台 PaddlePaddle 正式加入 Hugging Face Hub,其模型库将逐步与 Hub 集成,Hub 上已有超过 75 个 PaddlePaddle 模型,可通过 PaddlePaddle 库标签筛选。
OpenAI 用 GPT-3 从客户反馈中快速提取细致洞察,帮助企业更快理解用户意见。
OpenAI 通过微调 GPT-3 来驱动并规模化"一站式"视频创作服务。
OpenAI 用 GPT-3 打造新一代 AI 驱动角色。原文仅简要说明以 GPT-3 为基础创建下一代 AI 角色,未给出更多技术细节或数据。
Hugging Face 推出 Model Card Creator Tool 和 Model Card Guide Book,前者提供图形界面,无需编程即可协作创建模型卡。同时更新了 huggingface_hub 库中的模型卡模板,提供默认提示文本,并附带带注释模板、Hugging Face 用户研究及 ML 文档现状的文献综述。
Hugging Face 通过纯 Elixir 实现的 Bumblebee 库,将 GPT2 到 Stable Diffusion 等神经网络模型带入 Elixir 社区。
Hugging Face 与 arXiv 合作,Hugging Face Spaces 通过 arXivLabs 的 Demo 标签页集成到论文摘要页,用户可直接打开社区或作者构建的开源 demo。
Hugging Face 取消 Inference API 的付费层,该服务将对所有人免费开放,同时推出面向企业级推理的新服务 Inference Endpoints,并为 Spaces 增加硬件升级。
Hugging Face 宣布 Contrastive Search 现已在 transformers 库中可用,支持 PyTorch 和 TensorFlow,并提供与 beam search、top-k sampling、nucleus sampling 对比的 demo。
DALL·E API 今日起开启公开测试,开发者可以开始用它构建应用。