Hugging Face Diffusers 集成 Stable Diffusion 3 Medium
Stability AI 的 Stable Diffusion 3 Medium(2B 参数)现已在 Hugging Face Hub 上线并支持 🧨 Diffusers,同时提供 SD3 Dreambooth 和 LoRA 训练脚本。
推荐理由:原文给出显存与速度的实测对照表,读者可据此选择适合自己硬件的运行方案。
Stability AI 的 Stable Diffusion 3 Medium(2B 参数)现已在 Hugging Face Hub 上线并支持 🧨 Diffusers,同时提供 SD3 Dreambooth 和 LoRA 训练脚本。
推荐理由:原文给出显存与速度的实测对照表,读者可据此选择适合自己硬件的运行方案。
Hugging Face 联合 Cubzh 和 Gigax 推出 NPC-Playground,一个可在浏览器中直接运行的 3D 演示,让玩家与 LLM 驱动的 NPC 互动,并通过几行 Lua 脚本教 NPC 新技能。
Mistral AI 宣布推出 Mistral AI 非生产许可证(MNPL),允许开发者将技术用于非商业目的并支持研究工作,同时确保基于其成果构建业务的一方以对各方公平可持续的方式进行。Codestral 于今日在这一新许可证下发布。Mistral AI 表示将继续以 Apache 2.0 发布模型和代码,并逐步整合分别基于 Apache 2.0 和 MNPL 的两类产品。
推荐理由:原文说明了新许可证的适用边界与 Apache 2.0 的保留安排,读者可据此判断其模型的商用条件变化。
Hugging Face 与 LangChain 联合推出并共同维护 Python 包 langchain_huggingface,通过 `pip install langchain-huggingface` 安装,旨在缩短 Hugging Face 生态新功能进入 LangChain 的时间。
Hugging Face 博客介绍 Google 发布的 PaliGemma 视觉语言模型家族,其架构由 SigLIP-So400m 图像编码器与 Gemma-2B 文本解码器经线性适配器组合而成,可接收图像与文本并输出文本。
推荐理由:详细拆解了三类检查点的用途差异与分辨率取舍,可帮助读者按任务选型并直接上手微调。
Hugging Face 推出 Open Arabic LLM Leaderboard(OALL),专门用于评估和比较阿拉伯语大语言模型,服务全球超过 3.8 亿阿拉伯语使用者。
Hugging Face 推出基于 LiveCodeBench 的代码 LLM 排行榜,该基准由 UC Berkeley、MIT 和 Cornell 研究者开发,题目取自 LeetCode、AtCoder 和 CodeForces 并标注发布时间,可按时间窗口评测以检测和防止数据污染。
DuckDB-NSQL-7B-v0.1 是 MotherDuck 和 Numbers Station 基于 Llama-2-7b 微调的 DuckDB SQL 专用 LLM,可将自然语言转为有效 DuckDB SQL。
Pollen Robotics 开源了 pollen-vision 库,为机器人提供零样本视觉模型的统一接口,首版聚焦 3D 物体检测,输出物体在 3D 空间的 (x, y, z) 坐标,无需训练即可开箱使用。
Hugging Face 发布 WebSight-v0.2 数据集,用于训练将网页截图转换为 HTML 代码的 AI 系统,规模扩展至 200 万组截图/HTML 对,截图改用真实图片并切换到 Tailwind CSS。
BigCode 发布开源代码大模型 StarCoder2,含 3B、7B、15B 三个尺寸,全部基于新数据集 The Stack v2 训练,模型、数据集及训练代码均开放。
推荐理由:原文列出了三个尺寸的训练规模与数据集对比,读者可据此判断小模型能否替代更大模型。
Hugging Face 在 🤗 PEFT 中发布了面向 LoRA 适配器的新合并方法,包括 cat、linear、svd、ties、dare、magnitude_prune 等多种 combination_type,可通过 add_weighted_adapter() 调用。
Segmind 发布 SegMoE 框架,用于从零构建 Mixture-of-Experts 扩散模型,并已集成进 Hugging Face 生态、支持 diffusers。
Hugging Face 推出 Hallucinations Leaderboard,一个通过 in-context learning 评测大语言模型幻觉的开放持续项目,已发布 arXiv 论文。
IBM Research 与 Hugging Face 合作,将轻量级时序模型 PatchTSMixer 开源并集成进 Transformers 库,支持在 patches、通道和隐藏特征上进行轻量混合,以及 gated attention 到 self-attention 等多种注意力机制。
Vectara 基于 Hugging Face 开源的 leaderboard template 上线了 HHEM 幻觉排行榜,用于评估 GPT-4、Google Gemini、Meta Llama 2 等 LLM 生成文档摘要时的幻觉频率。
Intel Labs 与 Hugging Face 推出 SetFitABSA,一个用于少样本训练领域专用方面级情感分析(ABSA)模型的框架,在少样本场景下表现可与 Llama2、T5 等生成式模型竞争甚至超越。
Renumics Spotlight 支持用一行代码 `spotlight.show(ds)` 对 Hugging Face datasets 库中的数据集(如 speech_commands、CIFAR-100)生成交互式可视化,无需复制或预处理数据。
Hugging Face 发布 Würstchen 扩散模型,其文本条件组件在高度压缩的图像潜在空间中工作,实现 42x 空间压缩,通过 Stage A(VQGAN)、Stage B(Diffusion Autoencoder)与 Stage C(Prior)三阶段设计,训练与推理成本大幅降低。
Hugging Face 推出实验性 AI WebTV,用开源模型自动生成并直播视频流。流水线以 ChatGPT 生成分镜提示词,经 Zeroscope V2(zeroscope_v2_576 生成 576x320、zeroscope_v2_XL 升采样至 1024x576)出片,再用 FILM 插帧并配 MusicGen 音乐,最终由 FFmpeg 推流至 RTMP。
Hugging Face 与 Panel 达成合作,在 Hugging Face Spaces 中集成了 Panel 模板,帮助用户快速上手构建并部署 Panel 应用。
Hugging Face 通过对比实验表明,Autoformer 在 Traffic、Exchange-Rate、Electricity 三个数据集上的 MASE 分数(0.910、1.087、0.751)均优于 AAAI 2023 论文所称更优的线性模型 DLinear(0.965、1.690、0.831)。
Hugging Face 与 Meta AI 合作,将 fastText 的官方镜像托管到 Hub,包括全部 157 种语言的词向量和最新的语言识别模型,用户可用几条命令下载使用。
Hugging Face Hub 推出 BERTopic 集成,可直接在 Hub 上对模型和数据集进行主题建模。集成后可自动聚类并生成主题标签,例如 dialogue(14247)、speech asr(1833)、tuning(1369)等,覆盖问答、摘要、情感分析等常见 NLP 任务。
Hugging Face 官方博客系统梳理了文生视频模型的过去、现在与未来,对比其与文生图任务的差异,指出计算成本高、高质量数据集稀缺、视频描述模糊等核心挑战。
Hugging Face Unity API 让开发者在 Unity 项目中通过 Inference API 调用 Hugging Face 模型,安装时在 Package Manager 中添加 git URL 并在 API Wizard 填入 API key 即可。
Databricks 向 Hugging Face 代码库提交首个官方 commit,在 Datasets 中新增 `from_spark` 函数,可直接把 Spark dataframe 转成 Hugging Face dataset。
Hugging Face 与开源联邦学习框架 Substra 合作推出一个演示空间,展示联邦学习如何在数据不出本地的前提下训练模型。联邦学习只在服务器间传输模型权重,数据保留在本地,可在医疗等敏感领域打破数据孤岛,同时满足 HIPAA 等隐私法规。演示中可调整数据分布,观察联邦学习模型在验证集上通常优于单源数据训练的模型。
Snorkel AI 与 Hugging Face 合作,通过 Hugging Face Inference Endpoint 服务让 Snorkel Flow 平台接入超过 150,000 个开源模型,帮助企业适配基础模型。
Hugging Face 发布教程,演示如何用 Flower 框架对 Hugging Face 预训练 Transformer 模型 distilBERT 进行联邦学习式微调,在 IMDB 影评数据集上完成正负面情感的序列分类。
Hugging Face 在 Diffusers 中集成 ControlNet,发布 StableDiffusionControlNetPipeline,支持用深度图、分割图、涂鸦、关键点等空间条件控制 Stable Diffusion 生成,论文提出的 8 种条件模型全部支持。
推荐理由:原文给出完整可复现的代码与性能数字,读者可直接照搬这套省显存的 ControlNet 推理配置。
Hugging Face 推出开源工具 ⚔️ AI vs. AI ⚔️,通过让强化学习模型在多智能体对战中相互比拼,用 ELO 评分系统给出相对实力排名。该系统由 Spaces 上的匹配算法、存储比赛结果的 Dataset 和展示 ELO 的 Leaderboard 组成,新模型起始分为 1200。
百度开源深度学习平台 PaddlePaddle 正式加入 Hugging Face Hub,其模型库将逐步与 Hub 集成,Hub 上已有超过 75 个 PaddlePaddle 模型,可通过 PaddlePaddle 库标签筛选。
Hugging Face 官方博客介绍如何用 🤗 transformers 调用 CLIPSeg 零样本分割模型,通过文本提示词和图像提示词(visual prompting)生成粗分割掩码。
Hugging Face 通过纯 Elixir 实现的 Bumblebee 库,将 GPT2 到 Stable Diffusion 等神经网络模型带入 Elixir 社区。
Hugging Face 与 arXiv 合作,Hugging Face Spaces 通过 arXivLabs 的 Demo 标签页集成到论文摘要页,用户可直接打开社区或作者构建的开源 demo。
Hugging Face 发布教程,手把手演示如何用 🤗 Transformers 在 Google Colab 上微调 Whisper small(244M 参数)做多语言 ASR。
rinna Co., Ltd. 基于 Stable Diffusion 微调推出日语专用文生图模型 Japanese Stable Diffusion,可直接接受日语提示词,理解日语特有词汇、拟声词与专有名词,生成反映日语文化语境的图像。
Hugging Face 推出新库 Skops,可将 scikit-learn 模型托管到 Hugging Face Hub,并自动生成 model card 文档。
Nyströmformer 通过 Nyström 方法将标准自注意力的 O(n²) 复杂度降至 O(n),在多项 NLP 与 CV 任务上保持与标准自注意力相当的性能。