Hugging Face 推出新定价方案:Inference API 免费化,新增 Inference Endpoints
Hugging Face 取消 Inference API 的付费层,该服务将对所有人免费开放,同时推出面向企业级推理的新服务 Inference Endpoints,并为 Spaces 增加硬件升级。
Hugging Face 取消 Inference API 的付费层,该服务将对所有人免费开放,同时推出面向企业级推理的新服务 Inference Endpoints,并为 Spaces 增加硬件升级。
Hugging Face 宣布 Contrastive Search 现已在 transformers 库中可用,支持 PyTorch 和 TensorFlow,并提供与 beam search、top-k sampling、nucleus sampling 对比的 demo。
Hugging Face 在 Diffusers 博客中分享用 Dreambooth 微调 Stable Diffusion 的实验结论与推荐设置:低学习率配合逐步增加训练步数,人脸训练在 batch size 2、LR 1e-6 下 800-1200 步效果较好,且人脸训练需要 prior preservation。
Hugging Face 发布教程,手把手演示如何用 🤗 Transformers 在 Google Colab 上微调 Whisper small(244M 参数)做多语言 ASR。
Hugging Face 宣布在 Optimum Intel 中加入 Intel OpenVINO,可直接用 OpenVINO Runtime 在各类 Intel 处理器上运行 Transformers 模型推理,并通过 NNCF 量化压缩模型体积与延迟。
Hugging Face 在 🤗 Evaluate 库中新增偏差度量,支持用 Toxicity、Polarity、Hurtfulness 三个基于提示词的任务评估 GPT-2、BLOOM 等因果语言模型的偏差。
Hugging Face 教程以 MNIST 训练为例,分三个抽象层级讲解多 GPU 分布式训练:原生 PyTorch DDP(`pytorch.distributed` 模块)。
Hugging Face 推出 MTEB 文本嵌入基准,涵盖 8 类任务、56 个数据集,榜单已汇总超过 2000 条结果,支持最多 112 种语言。
Hugging Face 推出 Inference Endpoints,可从 Hugging Face hub 通过几次点击将模型部署到所选云厂商的托管基础设施上。
Hugging Face Diffusers 自 0.5.1 版本起支持 Flax,可在 Google TPU 上运行 Stable Diffusion 推理,教程演示了在 Colab 等环境用 8 个 TPU 加速器并行生成 8 张图片。模型权重以 bf16 版本提供,采用 CreativeML OpenRAIL-M 开放许可,允许再分发与商用,但需向用户附带相同使用限制。
Hugging Face 分享了为 BLOOM(176B 参数、352GB bf16)构建高效推理服务器的完整过程,数周内实现延迟降低 5 倍、吞吐提升 50 倍。
Hugging Face 在 Hub 上线 DOI 生成功能,注册用户可在 repo settings 中为模型或数据集申请 DOI,其他人点击页面上的 "Cite this model/dataset" 即可引用。
rinna Co., Ltd. 基于 Stable Diffusion 微调推出日语专用文生图模型 Japanese Stable Diffusion,可直接接受日语提示词,理解日语特有词汇、拟声词与专有名词,生成反映日语文化语境的图像。
Hugging Face 在 Hub 上推出 Evaluation on the Hub 零样本评测功能,由 AutoTrain 驱动,无需写代码即可评测任意因果语言模型,且升级后大模型可免费评测,目前支持最高 66 billion 参数模型。
Hugging Face AutoTrain 新增图像分类(Image Classification)任务,成为其首个计算机视觉能力,用户无需写代码即可上传数据、选择任务并自动训练模型。
Hugging Face 官方博客讲解 Accelerate 如何借助 PyTorch 让超大模型在免费 Colab 等消费级硬件上完成加载与推理。文章先指出传统加载流程的内存瓶颈:OPT-6.7B 仅创建模型就需约 26.8GB RAM,BLOOM 或 OPT-176B 这类 176B 参数模型按传统方式需 1.4TB CPU RAM。
Hugging Face 与 Intel Labs、UKP Lab 合作推出 SetFit,一个面向 Sentence Transformer 的高效少样本微调框架,无需提示词即可在少量标注数据上取得高准确率,例如在 Customer Reviews 情感数据集上每类仅 8 个标注样本即可与在 3k 全量样本上微调 RoBERTa Large 相竞争。
Hugging Face 推出首期《伦理与社会》通讯,由公司内部跨部门的“Ethics and Society regulars”小组每季度在春分、秋分时发布,分享其在 AI 伦理落地方面的思考与实践。
Hugging Face Blog 在 8x80GB A100 节点上对比了 Accelerate、DeepSpeed-Inference 和 DeepSpeed ZeRO 三套 BLOOM 176B 推理方案的加载时间与逐 token 吞吐。
Hugging Face 官方博客介绍 diffusers 0.3 版本的新功能,包括 Image to Image pipeline、Textual Inversion。
Hugging Face 发布教程,教你在 Google Colab 上从零训练一个离线 Decision Transformer 模型,让 mujoco halfcheetah 环境中的半猎豹跑起来。教程使用 🤗 Trainer 和自定义 Data Collator,基于 hub 上的 halfcheetah-expert-v2 数据集完成训练,代码已开源在 Colab notebook 中。
Hugging Face 介绍如何在 Spaces 中用 3Dmol.js 和 Gradio 的 HTML block 集成蛋白质结构可视化,支持输入 4 位 PDB code 或上传 PDB 文件,从 RCSB Protein Databank 拉取结构并渲染。
Hugging Face 发布教程,讲解如何在 AWS 的 Habana Gaudi DL1 实例上,用 Hugging Face Transformers、Optimum Habana 和 Datasets 库从零预训练 BERT-base 模型。
Hugging Face 官方博客介绍如何用 🧨 Diffusers 库运行 Stable Diffusion,涵盖安装 diffusers==0.10.2、用 StableDiffusionPipeline 生成图像、fp16 省显存、seed 与 guidance_scale、num_inference_steps、批量生成与非方形分辨率等用法。
Hugging Face 演示了如何用 google-cloud-aiplatform Python SDK 将 🤗 Transformers 的 ViT B/16 TensorFlow 模型部署到 Vertex AI,相比 Kubernetes 部署代码量显著更少且同样具备可扩展性。
Hugging Face 与 Graphcore 联合发布教程,展示如何在 Graphcore IPU 上用 Hugging Face Optimum 库微调 Vision Transformer(ViT)模型。
Hugging Face 官方博客介绍 LLM.int8() 8-bit 矩阵乘法技术及其在 transformers 和 accelerate 库中的集成,可将大模型显存占用降至约 1/4 而不损失性能。
推荐理由:从数据类型基础讲到量化原理与集成细节,读者可据此理解大模型显存占用的成因与 8-bit 推理的落地方式。
Hugging Face 阐述了 transformers 库在 TensorFlow 上的设计哲学:所有 TensorFlow 模型均为 Keras Model 对象、所有层均为 Keras Layer 对象,用户可直接调用 fit()、compile() 和 predict()。
Hugging Face 推出新库 Skops,可将 scikit-learn 模型托管到 Hugging Face Hub,并自动生成 model card 文档。
Hugging Face 教程讲解如何用 Docker 和 Kubernetes 将上一篇的 ViT 本地部署扩展到生产环境,支持多用户访问。
Hugging Face 发布教程,讲解如何从零构建或微调 Sentence Transformers 模型,涵盖数据集四种格式、损失函数选择、训练与分享至 Hugging Face Hub。
Hugging Face 推出 Private Hub(PH),为机器学习开发提供从研究到生产的一体化工具集,以安全合规的方式加速 ML 生命周期各环节。Hugging Face Hub 提供超过 60K 模型、6K 数据集和 6K ML demo 应用,模型覆盖 180 种语言、支持最多 25 个 ML 库。
Hugging Face 向白宫科技政策办公室和国家科学基金会提交了对 NAIRR 中期报告实施路线图的回应,提出五项建议。
Hugging Face 为 🤗 Datasets 新增音频与图像数据集文档,Quickstart 更新了多模态端到端示例,并推出 to_tf_dataset 函数,可将数据集直接转为 tf.data.Dataset。
Hugging Face transformers 库的文本生成现已支持用 XLA 编译 TensorFlow,速度最高提升 100x,甚至超过 PyTorch。
Hugging Face 介绍了如何用 TensorFlow Serving (TF Serving) 本地部署 Transformers 中的 Vision Transformer (ViT) 图像分类模型,将其暴露为 REST 或 gRPC 端点。
Hugging Face 以 MNIST 手写数字识别为例,演示如何通过 🤗 Spaces 动态收集对抗数据并迭代训练模型:用户在画布上手写数字骗过模型,flag 后存入数据集并重新训练,循环多轮提升鲁棒性。
Hugging Face 官方博客详细解析了 176B 参数多语言模型 BLOOM 的训练技术,硬件为 384 张 A100 80GB GPU,软件栈为 Megatron-DeepSpeed,数据为 59 种语言的 350B tokens,训练耗时约 3.5 个月(约 1M compute hours)。
作者用 Sentence Transformers 和 Gradio Blocks 构建了一个歌单生成器,通过语义搜索将文本提示词匹配为歌曲。项目选用 msmarco-MiniLM-L-6-v3 模型,因 512 word pieces 上限将歌词按段落切分后生成嵌入向量,设 top_k=20 可稳定得到至少 9 首不同歌曲,应用托管在 Hugging Face Spaces。
Hugging Face 发布 BLOOM,这是首个完全透明训练的多语言大语言模型,拥有 176B 参数,可生成 46 种自然语言和 13 种编程语言的文本。该项目由 70+ 国家、250+ 机构的 1000 多名研究人员协作完成,在法国巴黎南部的 Jean Zay 超算上训练 117 天(3 月 11 日至 7 月 6 日),算力资助价值约 €3M。
推荐理由:原文交代了训练协作规模与开放许可细节,读者可据此理解大模型研究门槛如何被降低。