Hugging Face 推出 Hub 零样本评测功能,支持最高 660 亿参数模型
Hugging Face 在 Hub 上推出 Evaluation on the Hub 零样本评测功能,由 AutoTrain 驱动,无需写代码即可评测任意因果语言模型,且升级后大模型可免费评测,目前支持最高 66 billion 参数模型。
Hugging Face 在 Hub 上推出 Evaluation on the Hub 零样本评测功能,由 AutoTrain 驱动,无需写代码即可评测任意因果语言模型,且升级后大模型可免费评测,目前支持最高 66 billion 参数模型。
Hugging Face AutoTrain 新增图像分类(Image Classification)任务,成为其首个计算机视觉能力,用户无需写代码即可上传数据、选择任务并自动训练模型。
Hugging Face 官方博客讲解 Accelerate 如何借助 PyTorch 让超大模型在免费 Colab 等消费级硬件上完成加载与推理。文章先指出传统加载流程的内存瓶颈:OPT-6.7B 仅创建模型就需约 26.8GB RAM,BLOOM 或 OPT-176B 这类 176B 参数模型按传统方式需 1.4TB CPU RAM。
Hugging Face 与 Intel Labs、UKP Lab 合作推出 SetFit,一个面向 Sentence Transformer 的高效少样本微调框架,无需提示词即可在少量标注数据上取得高准确率,例如在 Customer Reviews 情感数据集上每类仅 8 个标注样本即可与在 3k 全量样本上微调 RoBERTa Large 相竞争。
Hugging Face 推出首期《伦理与社会》通讯,由公司内部跨部门的“Ethics and Society regulars”小组每季度在春分、秋分时发布,分享其在 AI 伦理落地方面的思考与实践。
Hugging Face Blog 在 8x80GB A100 节点上对比了 Accelerate、DeepSpeed-Inference 和 DeepSpeed ZeRO 三套 BLOOM 176B 推理方案的加载时间与逐 token 吞吐。
Hugging Face 官方博客介绍 diffusers 0.3 版本的新功能,包括 Image to Image pipeline、Textual Inversion。
Hugging Face 发布教程,教你在 Google Colab 上从零训练一个离线 Decision Transformer 模型,让 mujoco halfcheetah 环境中的半猎豹跑起来。教程使用 🤗 Trainer 和自定义 Data Collator,基于 hub 上的 halfcheetah-expert-v2 数据集完成训练,代码已开源在 Colab notebook 中。
Hugging Face 介绍如何在 Spaces 中用 3Dmol.js 和 Gradio 的 HTML block 集成蛋白质结构可视化,支持输入 4 位 PDB code 或上传 PDB 文件,从 RCSB Protein Databank 拉取结构并渲染。
Hugging Face 发布教程,讲解如何在 AWS 的 Habana Gaudi DL1 实例上,用 Hugging Face Transformers、Optimum Habana 和 Datasets 库从零预训练 BERT-base 模型。
Hugging Face 官方博客介绍如何用 🧨 Diffusers 库运行 Stable Diffusion,涵盖安装 diffusers==0.10.2、用 StableDiffusionPipeline 生成图像、fp16 省显存、seed 与 guidance_scale、num_inference_steps、批量生成与非方形分辨率等用法。
Hugging Face 演示了如何用 google-cloud-aiplatform Python SDK 将 🤗 Transformers 的 ViT B/16 TensorFlow 模型部署到 Vertex AI,相比 Kubernetes 部署代码量显著更少且同样具备可扩展性。
Hugging Face 与 Graphcore 联合发布教程,展示如何在 Graphcore IPU 上用 Hugging Face Optimum 库微调 Vision Transformer(ViT)模型。
Hugging Face 官方博客介绍 LLM.int8() 8-bit 矩阵乘法技术及其在 transformers 和 accelerate 库中的集成,可将大模型显存占用降至约 1/4 而不损失性能。
推荐理由:从数据类型基础讲到量化原理与集成细节,读者可据此理解大模型显存占用的成因与 8-bit 推理的落地方式。
Hugging Face 阐述了 transformers 库在 TensorFlow 上的设计哲学:所有 TensorFlow 模型均为 Keras Model 对象、所有层均为 Keras Layer 对象,用户可直接调用 fit()、compile() 和 predict()。
Hugging Face 推出新库 Skops,可将 scikit-learn 模型托管到 Hugging Face Hub,并自动生成 model card 文档。
Hugging Face 教程讲解如何用 Docker 和 Kubernetes 将上一篇的 ViT 本地部署扩展到生产环境,支持多用户访问。
Hugging Face 发布教程,讲解如何从零构建或微调 Sentence Transformers 模型,涵盖数据集四种格式、损失函数选择、训练与分享至 Hugging Face Hub。
Hugging Face 推出 Private Hub(PH),为机器学习开发提供从研究到生产的一体化工具集,以安全合规的方式加速 ML 生命周期各环节。Hugging Face Hub 提供超过 60K 模型、6K 数据集和 6K ML demo 应用,模型覆盖 180 种语言、支持最多 25 个 ML 库。
Hugging Face 向白宫科技政策办公室和国家科学基金会提交了对 NAIRR 中期报告实施路线图的回应,提出五项建议。
Hugging Face 为 🤗 Datasets 新增音频与图像数据集文档,Quickstart 更新了多模态端到端示例,并推出 to_tf_dataset 函数,可将数据集直接转为 tf.data.Dataset。
Hugging Face transformers 库的文本生成现已支持用 XLA 编译 TensorFlow,速度最高提升 100x,甚至超过 PyTorch。
Hugging Face 介绍了如何用 TensorFlow Serving (TF Serving) 本地部署 Transformers 中的 Vision Transformer (ViT) 图像分类模型,将其暴露为 REST 或 gRPC 端点。
Hugging Face 以 MNIST 手写数字识别为例,演示如何通过 🤗 Spaces 动态收集对抗数据并迭代训练模型:用户在画布上手写数字骗过模型,flag 后存入数据集并重新训练,循环多轮提升鲁棒性。
Hugging Face 官方博客详细解析了 176B 参数多语言模型 BLOOM 的训练技术,硬件为 384 张 A100 80GB GPU,软件栈为 Megatron-DeepSpeed,数据为 59 种语言的 350B tokens,训练耗时约 3.5 个月(约 1M compute hours)。
作者用 Sentence Transformers 和 Gradio Blocks 构建了一个歌单生成器,通过语义搜索将文本提示词匹配为歌曲。项目选用 msmarco-MiniLM-L-6-v3 模型,因 512 word pieces 上限将歌词按段落切分后生成嵌入向量,设 top_k=20 可稳定得到至少 9 首不同歌曲,应用托管在 Hugging Face Spaces。
Hugging Face 发布 BLOOM,这是首个完全透明训练的多语言大语言模型,拥有 176B 参数,可生成 46 种自然语言和 13 种编程语言的文本。该项目由 70+ 国家、250+ 机构的 1000 多名研究人员协作完成,在法国巴黎南部的 Jean Zay 超算上训练 117 天(3 月 11 日至 7 月 6 日),算力资助价值约 €3M。
推荐理由:原文交代了训练协作规模与开放许可细节,读者可据此理解大模型研究门槛如何被降低。
Hugging Face 博客以 Sentence Transformers(ST)为例,讲解如何从零开始规划并完成第一个机器学习项目。ST 可将句子、段落和图像转为向量嵌入,通过内置的 util.cos_sim 计算 -1 到 1 的余弦相似度分数,实现语义搜索,其 GitHub 已获近 8,000 stars、超过 3,000 个项目和包依赖它。
Hugging Face 官方博客介绍如何用 Accelerate 库调用 DeepSpeed ZeRO 来训练大模型,无需改代码即可通过 accelerate config 启用 ZeRO Stage-2。
Hugging Face 发布由 AutoTrain 驱动的 Evaluation on the Hub,让用户无需写代码即可在 Hub 上对任意模型、任意数据集、任意指标进行评测。
Hugging Face 发布嵌入向量(embeddings)入门教程,演示如何用开源库 Sentence Transformers 的 "sentence-transformers/all-MiniLM-L6-v2" 模型。
Hugging Face 介绍了将 Transformers 模型转换为 ONNX 的三种方法,以 distilbert-base-uncased-finetuned-sst-2-english 为例。
Intel 正式加入 Hugging Face 的 Hardware Partner Program,双方基于 Optimum 开源库合作打造 Transformer 模型的训练、微调与推理硬件加速。
Hugging Face 深度强化学习课程第 3 单元讲解 Deep Q-Learning,用神经网络近似 Q 值替代 Q-table,以解决 Atari 环境状态空间过大(256^100800)导致表格方法失效的问题。
Graphcore 与 Hugging Face 将 Hugging Face Optimum 中可在 IPU 上运行的 Transformer 模型扩展至 10 个,覆盖 NLP、语音和计算机视觉,包括 ViT、GPT-2、RoBERTa、DeBERTa、BART、LXMERT、T5、HuBERT 和 Wav2Vec2。
Hugging Face 宣布在 Hub 上推出 Pull Requests 和 Discussions 两项协作功能,面向所有仓库类型(models、datasets、Spaces)的 Community 标签页开放,任何社区成员都可创建和参与。
TAPEX 通过在合成语料上学习神经 SQL 执行器来完成表格预训练,无需真实数据,在 WikiSQL、WikiTableQuestions、SQA、TabFact 四个 benchmark 上全部刷新 SOTA。
Sempre Health 通过 Hugging Face 的 Expert Acceleration Program 部署了新的 NLP pipeline,自动分类并回复患者短信,上线后约 20% 的 incoming messages 被系统自动处理。
Hugging Face 多模态学习团队发布了一份项目伦理宪章,将伦理原则前置到机器学习研究生命周期的核心。宪章由伦理落地、数据治理和隐私专家共同参与制定,明确了透明、开放可复现、公平、自我批判、致谢五项价值观,并列出禁止暴力歧视、侵犯隐私版权、生成虚假信息及在医疗法律等高风险领域滥用等六类内容政策。文档标注为 2022 年 5 月的阶段性成果,更新将通过 GitHub 追踪。
Hugging Face 深度强化学习课程第 2 单元第一部分讲解基于价值的方法,介绍状态价值函数、动作价值函数、Bellman 方程,以及 Monte Carlo 与 Temporal Difference Learning 的区别。该单元是后续学习 Deep Q-Learning 的基础,第二部分将实现 Q-Learning 智能体并在 Frozen-Lake-v1 等环境中训练。