Hugging Face 推出无提示词少样本微调框架 SetFit
Hugging Face 与 Intel Labs、UKP Lab 合作推出 SetFit,一个面向 Sentence Transformer 的高效少样本微调框架,无需提示词即可在少量标注数据上取得高准确率,例如在 Customer Reviews 情感数据集上每类仅 8 个标注样本即可与在 3k 全量样本上微调 RoBERTa Large 相竞争。
Hugging Face 与 Intel Labs、UKP Lab 合作推出 SetFit,一个面向 Sentence Transformer 的高效少样本微调框架,无需提示词即可在少量标注数据上取得高准确率,例如在 Customer Reviews 情感数据集上每类仅 8 个标注样本即可与在 3k 全量样本上微调 RoBERTa Large 相竞争。
Hugging Face 发布教程,讲解如何从零构建或微调 Sentence Transformers 模型,涵盖数据集四种格式、损失函数选择、训练与分享至 Hugging Face Hub。
作者用 Sentence Transformers 和 Gradio Blocks 构建了一个歌单生成器,通过语义搜索将文本提示词匹配为歌曲。项目选用 msmarco-MiniLM-L-6-v3 模型,因 512 word pieces 上限将歌词按段落切分后生成嵌入向量,设 top_k=20 可稳定得到至少 9 首不同歌曲,应用托管在 Hugging Face Spaces。
Hugging Face 发布了一份 Twitter 情感分析入门指南,面向有代码和无代码两类用户。有代码的用户可用 Tweepy 抓取推文,再调用 Inference API 用几行代码完成情感分析并用 Matplotlib 可视化;无代码用户可用 Zapier 结合 Inference API 抓取推文、分析后把结果发送到 Google Sheets。
Hugging Face 博客以 Sentence Transformers(ST)为例,讲解如何从零开始规划并完成第一个机器学习项目。ST 可将句子、段落和图像转为向量嵌入,通过内置的 util.cos_sim 计算 -1 到 1 的余弦相似度分数,实现语义搜索,其 GitHub 已获近 8,000 stars、超过 3,000 个项目和包依赖它。
Hugging Face 发布嵌入向量(embeddings)入门教程,演示如何用开源库 Sentence Transformers 的 "sentence-transformers/all-MiniLM-L6-v2" 模型。
TAPEX 通过在合成语料上学习神经 SQL 执行器来完成表格预训练,无需真实数据,在 WikiSQL、WikiTableQuestions、SQA、TabFact 四个 benchmark 上全部刷新 SOTA。
Sempre Health 通过 Hugging Face 的 Expert Acceleration Program 部署了新的 NLP pipeline,自动分类并回复患者短信,上线后约 20% 的 incoming messages 被系统自动处理。
文章演示如何结合 Kili 数据标注平台与 HuggingFace AutoTrain,对 Google Play 上约 40130 条 Medium 评论构建主动学习文本分类流水线,定义 Subscription、Content、Interface、User Experience 四个类别并进行标注。
Hugging Face 发布教程,演示如何用其生态的机器学习工具构建客服消息情感分类系统,自动筛选出不满客户的反馈优先回复。文章将用例定义为五级情感的文本分类任务,并对比 Glue、Amazon polarity、Tweet eval、Yelp review full、Amazon reviews multi 等数据集,最终推荐 Amazon reviews multi 作为训练数据。
Hugging Face 教程演示如何用 🤗 datasets 结合 sentence_transformers 和 faiss 构建图像搜索应用,使用 British Library 数字化书籍中提取的 10000 张 "embellishments" 图像数据集。
OpenAI 在 API 中推出 embeddings 新端点,支持对自然语言和代码执行语义搜索、聚类、主题建模与分类等任务。该端点面向文本与代码两类数据,可直接通过 OpenAI API 调用。
Hugging Face 在 JAX/Flax 社区周期间,用 7 台 TPU v3-8 和多达 10 亿句对的语料训练出 SOTA 句子嵌入模型。训练采用 Multiple Negative Ranking Loss 对比学习,通过增大 batch size、加入 hard negatives 和跨数据集组 batch 提升质量,相似度缩放因子 C=20。
Hugging Face Hub 集成 Sentence Transformers 框架,随 Sentence Transformers v2 发布新增 feature-extraction 和 sentence similarity 两个 widget,并提供 Inference API 端点供程序化调用。
社区成员 Maxence Dominici 分享了将 transformers 情感分析 pipeline 部署为 Google Cloud 无服务器微服务的实践,用于自动判断 Discord 客户评论正负面。
Hugging Face Transformers 的 RAG 模型引入 Ray 实现分布式文档检索,单次检索调用较 torch.distributed 提速 2x。