跳到正文
Hugging Face Blog·· 2024-10-28AI 评分50

Hugging Face 案例:用 LLM-as-a-Judge 评估农业 RAG 应用 Farmer.chat

Expert Support case study: Bolstering a RAG app with LLM-as-a-Judge

AI 导读

Digital Green 在 Hugging Face Expert Support 项目支持下,为面向小农户的 RAG 聊天机器人 Farmer.chat 搭建了 LLM-as-a-judge 评估体系,覆盖提示词清晰度、问题类型、已回答比例和 RAG 准确性等指标,其中 RAG 准确性用二元打分提示词(灵感来自 RAGAS 库)在约 360 道题上与人工评估高度相关。

来源:Hugging Face Blog · huggingface.co