Machine Learning Experts 播客:Hugging Face 研究员 Sasha Luccioni 谈 ML 模型的伦理与碳足迹
Hugging Face 播客 Machine Learning Experts 本期嘉宾为 Hugging Face 研究科学家 Sasha Luccioni,她负责研究机器学习模型与数据集的伦理和社会影响,并担任 Big Science Workshop 碳足迹工作组联合主席。
Hugging Face 播客 Machine Learning Experts 本期嘉宾为 Hugging Face 研究科学家 Sasha Luccioni,她负责研究机器学习模型与数据集的伦理和社会影响,并担任 Big Science Workshop 碳足迹工作组联合主席。
Hugging Face 推出 Fellowship 计划,通过提供计算资源、周边礼品和官方认可等方式,支持为开源机器学习生态做出贡献的关键贡献者。首批 Fellow 包括 María Grandury、Manuel Romero 等 8 人,提名由 Hugging Face 团队成员或现任 Fellow 发起,无申请截止日期。
Gradio 官方宣布 Gradio 3.0 发布,这是对该库的彻底重设计,此前已有超过 600,000 个 ML demo 用 Gradio 构建。新版前端改用 Svelte 等现代技术,页面体积更小、加载更快,Dataframe 支持拖拽 CSV,新增 Gallery 组件和 TabbedInterface 类。
Hugging Face 开放首届 Student Ambassador Program 申请,截止日期为 June 13,项目于 June 30 启动、December 31 结束。
Hugging Face 发布 Optimum 1.2,新增对 Transformers pipelines 的推理支持,用户只需把 AutoModelForXxx 替换为 ORTModelForXxx 即可调用 ONNX Runtime 等加速运行时,代码与 Transformers API 完全兼容。
Hugging Face 宣布完成 1 亿美元 C 轮融资,由 Lux Capital 领投,Sequoia、Coatue 等参投。其 Hub 已托管 100,000 个预训练模型与 10,000 个数据集,超过 10,000 家公司在用其产品构建机器学习应用。资金将用于加大研究、开源与产品投入,并推进 BigScience 项目训练世界最大的开源多语言语言模型。
Hugging Face 宣布 fastai 实践者现在可以用一行 Python 将模型分享到 Hugging Face Hub,通过 `push_to_hub_fastai` 上传 Learner、`from_pretrained_fastai` 加载模型。
Hugging Face 免费深度强化学习课程第一章讲解强化学习基础,涵盖 RL 过程、奖励假设、马尔可夫性质、动作与状态空间、探索/利用权衡,以及基于策略和基于价值两大方法。
文章演示如何结合 Kili 数据标注平台与 HuggingFace AutoTrain,对 Google Play 上约 40130 条 Medium 评论构建主动学习文本分类流水线,定义 Subscription、Content、Interface、User Experience 四个类别并进行标注。
Hugging Face 与 Habana Labs 合作,可在 AWS EC2 DL1 实例(8 颗 Habana Gaudi 处理器)上用 Optimum Habana 微调 BERT 模型。在 GLUE MRPC 任务上训练 3 个 epoch 耗时 2 分 12 秒,F1 达 0.9181。Spot 实例将成本从 $13.11/小时降至 $3.93/小时,节省 70%。
Hugging Face 推出面向大众、初学者和教师的教育计划,目标在 2023 年底前教会 500 万人机器学习。此前其 ML demo.cratization tour 已于 2022 年 3 月启动,为 16 个国家 1000 多名学生授课。
Hugging Face 发布教程,演示如何用其生态的机器学习工具构建客服消息情感分类系统,自动筛选出不满客户的反馈优先回复。文章将用例定义为五级情感的文本分类任务,并对比 Glue、Amazon polarity、Tweet eval、Yelp review full、Amazon reviews multi 等数据集,最终推荐 Amazon reviews multi 作为训练数据。
Hugging Face 通过 huggingface_hub 的 emissions_thresholds 参数和 transformers 的 codecarbon 集成,帮助用户追踪、报告并按碳排放筛选模型。
Hugging Face 播客 Machine Learning Experts 本期嘉宾为 Hugging Face 机器学习工程师 Lewis Tunstall。
Habana Labs 与 Hugging Face 宣布合作,将 Habana 的 SynapseAI 软件套件与 Hugging Face Optimum 开源库集成,让用户只需几行代码即可在 Habana 处理器上加速 Transformer 训练任务。
Hugging Face Transformers 库有意不遵循 DRY 原则,转而采用“单模型文件策略”,即模型 forward 所需的全部代码只放在一个 modeling 文件中。该设计便于开源社区贡献者独立修复 bug 和提交新模型,也利于读者理解与修改代码。文章还指出机器学习领域演进极快,难以定义通用的标准组件,而模型发布后通常保持静态。
Hugging Face 宣布将离线强化学习方法 Decision Transformer 集成进 🤗 transformers 库和 Hugging Face Hub,并提供 9 个 Gym 环境连续控制任务的预训练模型 checkpoint。
Hugging Face 播客 Machine Learning Experts 本期嘉宾为 Margaret Mitchell,她曾创立并共同领导 Google 的 Ethical AI Team,发表 50 多篇论文,现于 Hugging Face 负责制定伦理 AI 研究协议、包容性招聘与文化建设。
Hugging Face 宣布推出 🤗 AI Research Residency Program,一个为期 9 个月的全职机器学习研究驻留项目,申请截止日期为 4 月 3 日。
这篇 Hugging Face 教程演示如何用自定义数据集微调 SegFormer 语义分割模型,目标是让披萨配送机器人识别人行道与障碍物。
Hugging Face 教程演示如何用 🤗 datasets 结合 sentence_transformers 和 faiss 构建图像搜索应用,使用 British Library 数字化书籍中提取的 10000 张 "embellishments" 图像数据集。
Hugging Face 发布端到端教程,演示如何用 Hugging Face Transformers、Amazon SageMaker 和 AWS Inferentia 加速 BERT 文本分类推理。
Hugging Face 在 🤗 Transformers 中推出 constrained beam search(约束束搜索)功能,通过 `model.generate()` 的 `force_words_ids` 参数在生成阶段强制输出包含指定词或词组,无需事后过滤。
BERT 是 Google AI Language 于 2018 年开发的 NLP 模型,可解决 11+ 项常见语言任务,自 2020 年 11 月起帮助 Google 改善几乎所有英文搜索结果。
这篇教程演示如何用 🤗 datasets 加载 beans 数据集,并用 🤗 transformers 微调预训练的 google/vit-base-patch16-224-in21k 模型进行图像分类。流程包括用 ViTImageProcessor 对图像做归一化和 resize 到 224 等预处理,再将像素值送入模型训练。
Hugging Face 发布指南,教你用 Python 完成情感分析:从概念、调用预训练模型、自建模型到分析推文。Hugging Face Hub 上有超过 27,000 个模型、215+ 个情感分析模型,用 5 行代码即可调用 pipeline 完成预测,还推荐了 Twitter-roberta-base-sentiment 等微调模型。
Hugging Face 介绍了在 🤗 Transformers 中利用 Wav2Vec2 的 CTC 架构特性,实现超长文件乃至实时流式自动语音识别(ASR)的方法。
huggingface_hub 新增 ModelSearchArguments 和 ModelFilter 两个类,让用户在 Jupyter 或 Python 环境中无需离开 IDE 即可搜索 Hub 上的模型与数据集。
Hugging Face 宣布将深度强化学习库 Stable-Baselines3 集成到 Hugging Face Hub,用户可通过 `huggingface_hub` 和 `huggingface_sb3` 两个库上传保存的模型并从社区加载模型。
Hugging Face Infinity 在 Amazon EC2 C6i(第 3 代 Intel Xeon)上运行 DistilBERT 序列分类任务,相比 cascade-lake 实例延迟与吞吐最高提升 34%,相比 ice-lake 上的 vanilla transformers 最高提升 800%。
Hugging Face 介绍如何用 Hugging Face Inference Toolkit 和 Amazon SageMaker 部署 EleutherAI 的 GPT-J 6B(6 billion 参数开源模型)做实时推理,用普通 NVIDIA T4 GPU 实例(约 500$/m)几行代码即可完成。
Hugging Face 介绍了如何用 AutoNLP 和 Prodigy 搭建主动学习流水线:先用 Prodigy 对 BBC News Classification 数据集标注 NER 标签(PERSON、ORG、PRODUCT、LOCATION),再将标注数据转换为 AutoNLP 格式训练模型。
Hugging Face 宣布收购机器学习初创公司 Gradio,Gradio 创始人表示双方将合作让机器学习对任何有网络和浏览器的人都可及。Gradio 于 2019 年由斯坦福博士生发起,用于让非技术用户测试和分享模型,至今已有超过 300,000 个 demo 用其构建;文中开头的收购通稿段落由基于 Gradio 构建的 Acquisition Post Generator 演示生成。
Hugging Face 发布教程,讲解如何从零训练用于 Python 代码补全的 GPT-2 模型 CodeParrot。
Hugging Face 发布首个基于 Unity ML-Agents 的自定义深度强化学习环境 Snowball Fight 1vs1,玩家可在线与深度强化学习 agent 对战,游戏托管于 Hugging Face Spaces。
Hugging Face 与 Graphcore 合作推出首个 IPU 优化模型 BERT,开发者可通过开源库 Optimum 在 Graphcore IPU 上加速 Transformer 模型的训练、微调与推理。
Hugging Face 发布开源 Python 库与无代码界面 Data Measurements Tool(DMT),基于 Dataset 和 Spaces Hubs 配合 Streamlit 构建,可在线构建、度量和比较数据集。
Hugging Face 与 Intel 合作介绍在 Intel Xeon Ice Lake CPU 上用软件优化 BERT 类模型推理的方法,Ice Lake 相比上一代 Cascade Lake 在多种 NLP 任务上推理最高快 75%。
Hugging Face 宣布课程第二部分将于 11 月 15 日发布,并同步举办为期两天的社区活动,涵盖 token 分类、语言建模、翻译、摘要和问答等 NLP 任务及 🤗 Datasets、🤗 Tokenizers 生态工具。
Hugging Face 在 JAX/Flax 社区周期间,用 7 台 TPU v3-8 和多达 10 亿句对的语料训练出 SOTA 句子嵌入模型。训练采用 Multiple Negative Ranking Loss 对比学习,通过增大 batch size、加入 hard negatives 和跨数据集组 batch 提升质量,相似度缩放因子 C=20。