Hugging Face Blog·· 2024-05-24AI 评分57
CyberSecEval 2 发布:评估 LLM 网络安全风险与能力的综合基准
CyberSecEval 2 - A Comprehensive Evaluation Framework for Cybersecurity Risks and Capabilities of Large Language Models
AI 导读
CyberSecEval 2 是评估 LLM 网络安全风险的开源评测框架,涵盖不安全代码生成、提示词注入、协助网络攻击的顺从度、代码解释器滥用和自动化攻击能力五类测试。自 2023 年 12 月首版以来,LLM 平均协助网络攻击请求的顺从率从 52% 降至 28%;提示词注入防护仍未解决,代码专用模型与通用模型的安全差距在缩小,模型端到端漏洞利用能力仍有限。
来源:Hugging Face Blog · huggingface.co