Hugging Face:如何用 Sentence Transformers 开启你的第一个 ML 项目
Hugging Face 博客以 Sentence Transformers(ST)为例,讲解如何从零开始规划并完成第一个机器学习项目。ST 可将句子、段落和图像转为向量嵌入,通过内置的 util.cos_sim 计算 -1 到 1 的余弦相似度分数,实现语义搜索,其 GitHub 已获近 8,000 stars、超过 3,000 个项目和包依赖它。
Hugging Face 博客以 Sentence Transformers(ST)为例,讲解如何从零开始规划并完成第一个机器学习项目。ST 可将句子、段落和图像转为向量嵌入,通过内置的 util.cos_sim 计算 -1 到 1 的余弦相似度分数,实现语义搜索,其 GitHub 已获近 8,000 stars、超过 3,000 个项目和包依赖它。
Hugging Face 官方博客介绍如何用 Accelerate 库调用 DeepSpeed ZeRO 来训练大模型,无需改代码即可通过 accelerate config 启用 ZeRO Stage-2。
Hugging Face 发布由 AutoTrain 驱动的 Evaluation on the Hub,让用户无需写代码即可在 Hub 上对任意模型、任意数据集、任意指标进行评测。
Hugging Face 发布嵌入向量(embeddings)入门教程,演示如何用开源库 Sentence Transformers 的 "sentence-transformers/all-MiniLM-L6-v2" 模型。
Hugging Face 介绍了将 Transformers 模型转换为 ONNX 的三种方法,以 distilbert-base-uncased-finetuned-sst-2-english 为例。
Intel 正式加入 Hugging Face 的 Hardware Partner Program,双方基于 Optimum 开源库合作打造 Transformer 模型的训练、微调与推理硬件加速。
Hugging Face 深度强化学习课程第 3 单元讲解 Deep Q-Learning,用神经网络近似 Q 值替代 Q-table,以解决 Atari 环境状态空间过大(256^100800)导致表格方法失效的问题。
Graphcore 与 Hugging Face 将 Hugging Face Optimum 中可在 IPU 上运行的 Transformer 模型扩展至 10 个,覆盖 NLP、语音和计算机视觉,包括 ViT、GPT-2、RoBERTa、DeBERTa、BART、LXMERT、T5、HuBERT 和 Wav2Vec2。
Hugging Face 宣布在 Hub 上推出 Pull Requests 和 Discussions 两项协作功能,面向所有仓库类型(models、datasets、Spaces)的 Community 标签页开放,任何社区成员都可创建和参与。
TAPEX 通过在合成语料上学习神经 SQL 执行器来完成表格预训练,无需真实数据,在 WikiSQL、WikiTableQuestions、SQA、TabFact 四个 benchmark 上全部刷新 SOTA。
Sempre Health 通过 Hugging Face 的 Expert Acceleration Program 部署了新的 NLP pipeline,自动分类并回复患者短信,上线后约 20% 的 incoming messages 被系统自动处理。
Hugging Face 多模态学习团队发布了一份项目伦理宪章,将伦理原则前置到机器学习研究生命周期的核心。宪章由伦理落地、数据治理和隐私专家共同参与制定,明确了透明、开放可复现、公平、自我批判、致谢五项价值观,并列出禁止暴力歧视、侵犯隐私版权、生成虚假信息及在医疗法律等高风险领域滥用等六类内容政策。文档标注为 2022 年 5 月的阶段性成果,更新将通过 GitHub 追踪。
Hugging Face 深度强化学习课程第 2 单元第一部分讲解基于价值的方法,介绍状态价值函数、动作价值函数、Bellman 方程,以及 Monte Carlo 与 Temporal Difference Learning 的区别。该单元是后续学习 Deep Q-Learning 的基础,第二部分将实现 Q-Learning 智能体并在 Frozen-Lake-v1 等环境中训练。
Hugging Face 播客 Machine Learning Experts 本期嘉宾为 Hugging Face 研究科学家 Sasha Luccioni,她负责研究机器学习模型与数据集的伦理和社会影响,并担任 Big Science Workshop 碳足迹工作组联合主席。
Hugging Face 推出 Fellowship 计划,通过提供计算资源、周边礼品和官方认可等方式,支持为开源机器学习生态做出贡献的关键贡献者。首批 Fellow 包括 María Grandury、Manuel Romero 等 8 人,提名由 Hugging Face 团队成员或现任 Fellow 发起,无申请截止日期。
Gradio 官方宣布 Gradio 3.0 发布,这是对该库的彻底重设计,此前已有超过 600,000 个 ML demo 用 Gradio 构建。新版前端改用 Svelte 等现代技术,页面体积更小、加载更快,Dataframe 支持拖拽 CSV,新增 Gallery 组件和 TabbedInterface 类。
Hugging Face 开放首届 Student Ambassador Program 申请,截止日期为 June 13,项目于 June 30 启动、December 31 结束。
Hugging Face 发布 Optimum 1.2,新增对 Transformers pipelines 的推理支持,用户只需把 AutoModelForXxx 替换为 ORTModelForXxx 即可调用 ONNX Runtime 等加速运行时,代码与 Transformers API 完全兼容。
Hugging Face 宣布完成 1 亿美元 C 轮融资,由 Lux Capital 领投,Sequoia、Coatue 等参投。其 Hub 已托管 100,000 个预训练模型与 10,000 个数据集,超过 10,000 家公司在用其产品构建机器学习应用。资金将用于加大研究、开源与产品投入,并推进 BigScience 项目训练世界最大的开源多语言语言模型。
Hugging Face 宣布 fastai 实践者现在可以用一行 Python 将模型分享到 Hugging Face Hub,通过 `push_to_hub_fastai` 上传 Learner、`from_pretrained_fastai` 加载模型。
Hugging Face 免费深度强化学习课程第一章讲解强化学习基础,涵盖 RL 过程、奖励假设、马尔可夫性质、动作与状态空间、探索/利用权衡,以及基于策略和基于价值两大方法。
文章演示如何结合 Kili 数据标注平台与 HuggingFace AutoTrain,对 Google Play 上约 40130 条 Medium 评论构建主动学习文本分类流水线,定义 Subscription、Content、Interface、User Experience 四个类别并进行标注。
Hugging Face 与 Habana Labs 合作,可在 AWS EC2 DL1 实例(8 颗 Habana Gaudi 处理器)上用 Optimum Habana 微调 BERT 模型。在 GLUE MRPC 任务上训练 3 个 epoch 耗时 2 分 12 秒,F1 达 0.9181。Spot 实例将成本从 $13.11/小时降至 $3.93/小时,节省 70%。
Hugging Face 推出面向大众、初学者和教师的教育计划,目标在 2023 年底前教会 500 万人机器学习。此前其 ML demo.cratization tour 已于 2022 年 3 月启动,为 16 个国家 1000 多名学生授课。
Hugging Face 发布教程,演示如何用其生态的机器学习工具构建客服消息情感分类系统,自动筛选出不满客户的反馈优先回复。文章将用例定义为五级情感的文本分类任务,并对比 Glue、Amazon polarity、Tweet eval、Yelp review full、Amazon reviews multi 等数据集,最终推荐 Amazon reviews multi 作为训练数据。
Hugging Face 通过 huggingface_hub 的 emissions_thresholds 参数和 transformers 的 codecarbon 集成,帮助用户追踪、报告并按碳排放筛选模型。
Hugging Face 播客 Machine Learning Experts 本期嘉宾为 Hugging Face 机器学习工程师 Lewis Tunstall。
Habana Labs 与 Hugging Face 宣布合作,将 Habana 的 SynapseAI 软件套件与 Hugging Face Optimum 开源库集成,让用户只需几行代码即可在 Habana 处理器上加速 Transformer 训练任务。
Hugging Face Transformers 库有意不遵循 DRY 原则,转而采用“单模型文件策略”,即模型 forward 所需的全部代码只放在一个 modeling 文件中。该设计便于开源社区贡献者独立修复 bug 和提交新模型,也利于读者理解与修改代码。文章还指出机器学习领域演进极快,难以定义通用的标准组件,而模型发布后通常保持静态。
Hugging Face 宣布将离线强化学习方法 Decision Transformer 集成进 🤗 transformers 库和 Hugging Face Hub,并提供 9 个 Gym 环境连续控制任务的预训练模型 checkpoint。
Hugging Face 播客 Machine Learning Experts 本期嘉宾为 Margaret Mitchell,她曾创立并共同领导 Google 的 Ethical AI Team,发表 50 多篇论文,现于 Hugging Face 负责制定伦理 AI 研究协议、包容性招聘与文化建设。
Hugging Face 宣布推出 🤗 AI Research Residency Program,一个为期 9 个月的全职机器学习研究驻留项目,申请截止日期为 4 月 3 日。
这篇 Hugging Face 教程演示如何用自定义数据集微调 SegFormer 语义分割模型,目标是让披萨配送机器人识别人行道与障碍物。
Hugging Face 教程演示如何用 🤗 datasets 结合 sentence_transformers 和 faiss 构建图像搜索应用,使用 British Library 数字化书籍中提取的 10000 张 "embellishments" 图像数据集。
Hugging Face 发布端到端教程,演示如何用 Hugging Face Transformers、Amazon SageMaker 和 AWS Inferentia 加速 BERT 文本分类推理。
Hugging Face 在 🤗 Transformers 中推出 constrained beam search(约束束搜索)功能,通过 `model.generate()` 的 `force_words_ids` 参数在生成阶段强制输出包含指定词或词组,无需事后过滤。
BERT 是 Google AI Language 于 2018 年开发的 NLP 模型,可解决 11+ 项常见语言任务,自 2020 年 11 月起帮助 Google 改善几乎所有英文搜索结果。
这篇教程演示如何用 🤗 datasets 加载 beans 数据集,并用 🤗 transformers 微调预训练的 google/vit-base-patch16-224-in21k 模型进行图像分类。流程包括用 ViTImageProcessor 对图像做归一化和 resize 到 224 等预处理,再将像素值送入模型训练。
Hugging Face 发布指南,教你用 Python 完成情感分析:从概念、调用预训练模型、自建模型到分析推文。Hugging Face Hub 上有超过 27,000 个模型、215+ 个情感分析模型,用 5 行代码即可调用 pipeline 完成预测,还推荐了 Twitter-roberta-base-sentiment 等微调模型。
Hugging Face 介绍了在 🤗 Transformers 中利用 Wav2Vec2 的 CTC 架构特性,实现超长文件乃至实时流式自动语音识别(ASR)的方法。