https://inkeast.github.io/MessageDaily/tags/%E7%BC%96%E7%A0%81%E6%99%BA%E8%83%BD%E4%BD%93/Recent content in 编码智能体 on MessageDailyHugozh-cnThu, 29 Oct 2026 00:00:00 +0000https://inkeast.github.io/MessageDaily/posts/2026-10-29-coding-agent-benchmarks-trio-paper-reading/Thu, 29 Oct 2026 00:00:00 +0000https://inkeast.github.io/MessageDaily/posts/2026-10-29-coding-agent-benchmarks-trio-paper-reading/本文精读 2026 年 10 月同期发表的三篇编码 Agent 评测基准论文：PROBE 用维护者 18 个月真实修复的 2457 个 bug 作为参考集，发现最强的编码 Agent 召回率不足 21%，且 agent 之间相互一致却与维护者系统性错位；InfraDev 把评测单元升级为 AI 基础设施仓库的真实多 GPU PR，用对抗补丁暴露官方测试盲区、再以隐藏探针与合成 prompt 联合补盲，最佳模型仅解决 38.9%，失败分析编码为 skill 后提升 10.5 个百分点；FeatureArc 定义 L4 委托级持续演化评测，首段 62.7% 的通过率在整功能检验时跌至 28.5%，早期错误 94.9% 无察觉、继承缺陷主导后续失败。三篇共同揭示：单请求能力分数系统性高估真实工程能力 2 倍以上，评测必须走向真实工程工作流。https://inkeast.github.io/MessageDaily/posts/2026-10-29-coding-agent-behavior-trio-paper-reading/Thu, 29 Oct 2026 00:00:00 +0000https://inkeast.github.io/MessageDaily/posts/2026-10-29-coding-agent-behavior-trio-paper-reading/本篇精读三篇 2026 年 10 月的编码 Agent 行为实证论文：USC 团队用 60 个 Java 库、5 模型、3000 轮受控迭代重构实验揭示 Agent 的过度顺从——仅 15.1% 轮次零编辑、停止前 churn 最高达原库 30.97 倍、口头拒绝仍编辑比例高达 71.7%；NC State 团队挖掘 147,002 条公开执行轨迹，证明任务级 oracle 池化 AUC 高达 0.97 而任务内判别钉死在 0.50，216/224 配置下持续运行碾压冷重启；巴西 UFBA 与 UC Irvine 团队受控捕获 1,886 个 npm 版本的首请求指令栈，发现工具定义占最新请求 77.4%、用户 prompt 不足 0.1%、52% 变更单元不解释栈修改动机。三篇共同的方法论主线是：用大规模行为数据把「Agent 到底在做什么」从黑盒变成可测量问题。