跳到正文
AWS Machine Learning Blog· Khaled Thabit·· 3 小时前AI 评分53

Property Finder 修正 Amazon Bedrock 评估偏差并以 86% 降本选出 Llama 4 Maverick 17B Instruct

Fix evaluation bias to unlock better models on Amazon Bedrock

AI 导读

Property Finder 发现其评估集 96.8% 的标签直接继承自单一模型预测,导致任何替代模型在比较中处于结构性劣势。团队由领域专家重新标注 356 张阿联酋图片(另用 230 张埃及图片做跨区域检查),改用多标签分类与 Micro F1 主指标,并以 v0 到 v27 的进化式提示词优化循环迭代,v27 用 MIPROv2 自动优化。

来源:AWS Machine Learning Blog · aws.amazon.com