Mistral AI:用 LLM as a Judge 评估 RAG 系统
Mistral AI 介绍了用 LLM as a Judge 评估 RAG 系统的方法:由一个 judge LLM 按数值、二元或定性量表给 generator LLM 的答案打分,并在评测数据集上取平均得到总分。
Mistral AI 介绍了用 LLM as a Judge 评估 RAG 系统的方法:由一个 judge LLM 按数值、二元或定性量表给 generator LLM 的答案打分,并在评测数据集上取平均得到总分。
Hugging Face 官方博客给出用 Sentence Transformers 微调 reranker(Cross Encoder)模型的完整教程,覆盖数据集、硬负例挖掘、损失函数、训练参数、评估器与 CrossEncoderTrainer 各组件,并附完整训练脚本。
推荐理由:教程给出可复用的训练配方和评测对照,读者可据此判断在自有数据上微调 reranker 能带来多大提升。
Mistral AI 发布 OCR API Mistral OCR,可输入图像和 PDF,按顺序交错提取文本与图像,适合与 RAG 系统配合处理多模态文档。
推荐理由:原文给出基准对比与定价,读者可据此评估它在文档理解任务上替代现有 OCR 方案的空间。
Hugging Face 博客给出一套测算大规模分类与嵌入推理成本和延迟的方法,覆盖硬件选择、部署、负载测试与推理服务四个环节,并开源了代码 https://github.com/datavistics/encoder-analysis。
Mistral AI 宣布与法新社(AFP)达成全球合作,其 AI 助手 Le Chat 将接入 AFP 的新闻专线内容,使回答基于可靠、及时的信息。Le Chat 将利用 AFP 每日以法语、英语、西班牙语、葡萄牙语、德语和阿拉伯语 6 种语言发布的 2,300 条电讯稿,以及其全球 1,700 名记者的报道。该集成将在未来几周内向所有 Le Chat 用户推出。
Hugging Face 发布两款静态嵌入模型 sentence-transformers/static-retrieval-mrl-en-v1(英文检索)和 static-similarity-mrl-multilingual-v1(多语言相似度)。
Hugging Face 与 LlamaIndex 合作发布 vdr-2b-multi-v1 多语言视觉文档检索嵌入模型,可将文档页面截图编码为单向量表示,无需 OCR 或分块即可检索多语言文档,同时开源英文版 vdr-2b-v1 和含 500k 样本的 vdr-multilingual-train 训练数据集。
Digital Green 在 Hugging Face Expert Support 项目支持下,为面向小农户的 RAG 聊天机器人 Farmer.chat 搭建了 LLM-as-a-judge 评估体系,覆盖提示词清晰度、问题类型、已回答比例和 RAG 准确性等指标,其中 RAG 准确性用二元打分提示词(灵感来自 RAGAS 库)在约 360 道题上与人工评估高度相关。
HuggingChat 发布 Community Tools,可把 Hugging Face 上的任意公开 Space 变成模型可直接调用的工具,同时扩展了图像理解、视频生成和文本转语音等模态。文中给出把 Space 转成工具的字段填写方法、用 Gradio 自建骰子工具的示例、在助手中最多添加 3 个工具的用法,以及一个可复制的 RAG 工具;该功能目前仍处实验阶段。
Hugging Face 官方博客以一个自动更新的语义搜索应用为例,介绍 Hub 上五个常被忽视的工具:ZeroGPU、多进程 Docker、Gradio API、Webhooks 和 Nomic Atlas。
Rakuten 将自有数据与 OpenAI 的 API 结合,挖掘客户洞察并释放商业价值。文章介绍了这一数据与 AI 配对的做法如何帮助 Rakuten 更好地理解客户需求、提升客户价值。
Hugging Face 用 LAVE(LLM-Assisted VQA Evaluation)指标对 Docmatix 约 200 张测试图做零样本评测,基线模型 MPLUGDocOwl1.5(在 DocVQA 测试子集上 ANLS 84%)的 LAVE 得分为 0.58,而 CIDER、BLEU、ANLS 分别只有 0.1411、0.0032、0.002。
Hugging Face 展示了如何用 distilabel 从 Argilla 2.0 技术文档生成合成数据,微调领域专用 embedding 模型,并结合向量数据库与 Gradio 构建可对话的文档 Chatbot。
Banque des Territoires(CDC Group)、Polyconseil 与 Hugging Face 合作,为法国 EduRénov 学校生态改造项目开发基于 RAG 的主权数据方案,首期已于近日完成。
XLSCOUT 推出面向专利与 IP 的专有 Embedding 模型 ParaEmbed 2.0,准确率较 2023 年 10 月发布的 ParaEmbed 1.0 提升 23%。
OpenAI 官方宣布收购 Rockset。
Prezi 加入 Hugging Face Expert Support Program,将开源 re-ranker 模型引入其 Prezi AI 系统的资产搜索管线,以更低成本、更快速度和更好效果筛选图片与文本。
Hugging Face Embedding Container for Amazon SageMaker 正式可用(GA),AWS 客户可在 SageMaker 上部署开源 Embedding 模型构建 RAG 等生成式 AI 应用。
Hugging Face 推出 TGI Benchmarking 工具,用于剖析 Text Generation Inference(TGI)部署的吞吐与延迟权衡,帮助用户按需调优。
Hugging Face 官方博客给出使用 Sentence Transformers 微调或从零训练 Embedding 模型的完整教程,覆盖数据集、损失函数、训练参数、评估器与 Trainer 各组件。
Hugging Face 与 LangChain 联合推出并共同维护 Python 包 langchain_huggingface,通过 `pip install langchain-huggingface` 安装,旨在缩短 Hugging Face 生态新功能进入 LangChain 的时间。
Hugging Face 与 Intel 演示了如何基于 OPEA 平台,用 Intel Gaudi 2 加速器和 Xeon CPU 构建高性价比的企业级 RAG 应用。
DuckDB-NSQL-7B-v0.1 是 MotherDuck 和 Numbers Station 基于 Llama-2-7b 微调的 DuckDB SQL 专用 LLM,可将自然语言转为有效 DuckDB SQL。
Hugging Face 博客介绍嵌入向量的二值(binary)与标量(int8)量化方法,可在保持大部分检索性能的同时大幅降低内存、磁盘与成本。
Hugging Face 官方博客展示了如何用 Optimum Intel、Intel Neural Compressor 和 IPEX 对 BGE small/base/large(45M/110M/355M 参数)做 int8 静态量化。
Hugging Face 博客介绍 Matryoshka 嵌入模型的概念、训练方法与使用方式,并给出与普通嵌入模型的对比。
Hugging Face 为 Text Generation Inference(TGI)1.4.0 和 Inference Endpoints 推出 Messages API。
Mistral AI 宣布开放其首个平台服务 la Plateforme 的 beta 访问,提供 mistral-tiny、mistral-small、mistral-medium 三个文本生成端点和 Mistral-embed embedding 端点。
Hugging Face 介绍如何用 Text Embedding Inference(TEI)把开源 Embedding 模型部署到 Inference Endpoints,TEI 支持 MTEB 排行榜前 10 的模型,含 FlagEmbedding、GTE、E5 等。
Rocket Money 用 BERT 系列模型替换正则表达式系统,对 4000+ 类别的交易字符串做文本分类,并选择 Hugging Face Inference API 托管模型。
Hugging Face 官方博客复盘了 2023 年 2 月土耳其地震后志愿者团队如何用机器学习构建救援应用 afetharita 的实践。
推荐理由:复盘了灾后救援中从数据标注到模型部署的完整 MLOps 流程,可迁移方法具体。
Hugging Face 专家加速计划帮助 Witty Works 用 Sentence Transformers 和 SetFit 构建了上下文相关的非包容性词汇分类器,解决了基础方法在 85% 词汇上有效但对上下文依赖词失效的问题。
Hugging Face 发布教程,讲解如何用 🤗 Transformers 和 🤗 datasets 库构建图像相似度系统,通过计算图像 embeddings 并用余弦相似度衡量查询图与候选图的相似程度。
Hugging Face 发布教程,演示如何用 Concrete-ML 库在全同态加密(FHE)数据上构建情感分析模型,无需密码学知识。
Hugging Face 推出 MTEB 文本嵌入基准,涵盖 8 类任务、56 个数据集,榜单已汇总超过 2000 条结果,支持最多 112 种语言。
Hugging Face 与 Intel Labs、UKP Lab 合作推出 SetFit,一个面向 Sentence Transformer 的高效少样本微调框架,无需提示词即可在少量标注数据上取得高准确率,例如在 Customer Reviews 情感数据集上每类仅 8 个标注样本即可与在 3k 全量样本上微调 RoBERTa Large 相竞争。
Hugging Face 发布教程,讲解如何从零构建或微调 Sentence Transformers 模型,涵盖数据集四种格式、损失函数选择、训练与分享至 Hugging Face Hub。
作者用 Sentence Transformers 和 Gradio Blocks 构建了一个歌单生成器,通过语义搜索将文本提示词匹配为歌曲。项目选用 msmarco-MiniLM-L-6-v3 模型,因 512 word pieces 上限将歌词按段落切分后生成嵌入向量,设 top_k=20 可稳定得到至少 9 首不同歌曲,应用托管在 Hugging Face Spaces。
Hugging Face 发布了一份 Twitter 情感分析入门指南,面向有代码和无代码两类用户。有代码的用户可用 Tweepy 抓取推文,再调用 Inference API 用几行代码完成情感分析并用 Matplotlib 可视化;无代码用户可用 Zapier 结合 Inference API 抓取推文、分析后把结果发送到 Google Sheets。
Hugging Face 博客以 Sentence Transformers(ST)为例,讲解如何从零开始规划并完成第一个机器学习项目。ST 可将句子、段落和图像转为向量嵌入,通过内置的 util.cos_sim 计算 -1 到 1 的余弦相似度分数,实现语义搜索,其 GitHub 已获近 8,000 stars、超过 3,000 个项目和包依赖它。