【第745期】Harness-IF：评估编程智能体的指令遵循能力

今天的这篇的主题是： Harness-IF: Evaluating Instruction Following Across Instruction Surfaces in Coding Agents

Seventy3 是一档借助 NotebookLM 解读前沿论文的播客——不是念摘要，也不是泛泛而谈，而是让 AI 帮你把论文掰开揉碎，说人话。我们蹲在人工智能、大模型、机器人算法、crypto 这几个领域，每期挑一篇值得关注的工作，用对话的方式聊给你听。你可以在通勤路上听，做实验的时候听，也可以当背景音放着，让新知识自然地长进脑子里。

如果你正在做有意思的研究，想让更多人看到——不管你是博士生、独立研究者还是实验室的博士后——把论文发给我们，我们帮你用 AI 做一期深度解读，让你的工作被更多同路人发现。

联系小助手微信：eccstartup（加群/投稿论文）

Summary

当编程 Agent 遵循一条规则时，它可能原本就打算这么做。现有的指令遵循基准测试无法区分这其中的差别：它们将规则集中在用户回合（user turn），而编程 Agent 的基准测试则侧重于任务的最终成功。

我们推出了 Harness-IF，它通过执行证据对操作规则进行逐一打分：包含来自 642 条规则库的 60 个真实的多回合编程项目、其中 256 条规则获得了裁决，这些规则被布置在部署后的 Agent 所读取的五个可配置表面（configurable surfaces）上。为了将“遵从”（compliance）与“巧合”（coincidence）区分开来，我们引入了反先验准确率（Against-Prior Accuracy, AP-Acc），该指标仅对标记为“反对未提示默认行为”的规则进行评分——这些规则是通过在九个探测版本中扣留该规则并重新运行任务观察到的，其余部分则经过人工精选。

在 12 个前沿模型中，准确率跨越 72.1% 至 85.9%，而反先验准确率（AP-Acc）为 66.1% 至 78.6%；每个模型在反先验规则上的表现都更差，低了 3.6 到 7.4 个百分点（平均 5.81 个百分点），并且在包含项目聚类区间（item-clustered intervals）的共同支撑分析（common-support analysis）中，这一趋势依然成立。

因此，综合得分会以因模型而异的幅度高估遵从度：先验控制保持了顶级版本的排名不变，但交换了三对相邻的排名。在九个独立版本上进行的对冲冲突试验（counterbalanced conflict pilot）得出了第二个结果：汇总的优先级并不遵循提示词深度（prompt depth），其中系统提示词、项目文件和用户指令排在工具和技能描述的前面。

原文链接：https://arxiv.org/abs/2608.11727

前往小宇宙评论区与主播互动