AWS那边的AI实验室, 它和马里兰大学一块儿, 发布了名为ANTE的这个框架, 那个办法是让搞AI编程的智能体, 每当要开始干活动手之前, 非得先去把这个可能预测的结果写下来, 然后再把真的日志拿出来对账查错, 一个只有7B参数的模型, 也就是它仅仅多花了差不多三成的推理成本而已, 就换来了成功率的明显提升和提升, 所以现在那种先计算好逻辑再动手做的做法, 它正在改写智能体训练的那个整体范式。

01黑箱困境与信念状态

过去人们在处理智能体修复代码的事情的时候, 必须要经历几十步循环的这样的过程。这个具体包括读代码、调工具、看结果、再循环这一些步骤。假设说四十步轨迹最终测试失败这件事发生了, 那么系统就只能笼统地告知这一次不行的这样一个情况。

系统是完全无法定位到底是第三步还是第三十七步里面埋了雷的这个状况的。当进行监督微调模仿人类轨迹的时候, 以及使用强化学习只看终局成败的时候, 中间每步判断精度全部丢失的这个问题就出现了。

ANTE把信念状态这个机制给引进来了, 这样一来, 智能体在执行每一次操作之前, 都必须老老实实地写下三样东西出来, 这三样东西具体是什么?

第一样是一句话的总结, 说的是当前的进展怎么样, 第二样是对下一步会产生的结果做出一个非常具体的预测, 第三样, 是对自己刚才那个预测的置信度进行一个评估, 这一整个结构化的声明方式, 就让系统的每一步操作都可以被拆开来单独地进行验证和打分, 而不像是以前那样, 是把长长的一条整体轨迹都放在一起, 然后共享一个大大咧咧、模模糊糊的最终的奖励分数。

02真实日志充当裁判

AI改代码总埋雷?修复过程黑盒,测试失败难找错在一步(图1)

ANTE这个系统的验证器是不靠模型自己去进行评估的, 它做的操作是直接去读那些真实的执行日志, 然后把每一步给出的结果都拆解清楚, 看看是属于通过、失败还是不适用状态, 最后还得叠加一下看这个命令是不是能够干净地利索地退出了。

这篇论文里特别强调了一个叫做verified的单词, 它的核心逻辑就是说预测这件事是不能自己跟自己说话的, 不是自说自话的那种, 必须是拿真实世界里的反馈来去做对账这种操作的。

配套训练语料BeliefTraj的标注方式印证了这一点, 每一步预测结果的标注方法是从真实执行日志倒推而来的, 而不是由收集模型自己去生成, 这样可以确保用来训练的信号是干净整洁而且可靠的, 同时也避免了虚假信用污染到模型学习这件事。

03BAPO强化学习校准

在第二阶段, ANTE-RL方法引入了BAPO。模型开始在真实的环境里运行, 允许它犯错误, 并且依据产生的反馈来调整自己的预测结果。

BAPO的具体作用是把那些预测结果一样的步骤划分到同一个信念决策小组中去进行比较。通过这种方式, 系统会单独评估一个情况: 那就是当预测通过时选择信任的性价比, 是否真的要高过选择弃权。

AI改代码总埋雷?修复过程黑盒,测试失败难找错在一步(图2)

为了防止出现小样本数据带来的那种抖动情况, 小组内部会把信念更强的那些组的数据混进去一点点, 把它当作一个稳定的基准来看待。

有一个在最初设计中可能没有被给予足够重视的细节需要被特别关注起来, 那就是当自信度高的预测出错的时候且确实出错了这个情形, 应该去给它一个正面的奖励信号才对, 而不是反过来对它进行惩罚处理, 这样做是为了避免出现模型因为害怕犯错所以根本不敢随意下说法或者干脆就一直选择弃权退让的恶劣后果, 从而确保模型的预测结果能够获得一种比较长期且可靠的校准效果。

04推理阶段省下执行成本

模型在经过训练之后依然能够在推理阶段发挥出预判作用,ANTE-TTO这个方法会让模型在信念状态里面写出针对多个候选方案的预测内容, 系统会直接根据预测分数的高低来进行排序, 然后仅仅执行得分最高的那个方案, 那些余下的备选方案全部都停止运行, 不再进行试错操作, 这样就把本来需要耗费大量时间和资源的试错开销给节省掉了。

对比那些常见的best-of-n方法, 那些方法需要把每一个候选情况都完整执行一遍, 然后再来进行比较, ANTE-TTO这个方案就不需要这么做, 它在7B规模大小的模型上面, 仅仅多花费了大约31%的推理所使用的token数量, 就这样子就换来了任务成功率提升了, 在推理成本还有效果之间, 这个性价比优势是相当明显的。

05跨域迁移与行业热议

AI改代码总埋雷?修复过程黑盒,测试失败难找错在一步(图3)

这项论文工作进行了剥离实验, 具体的做法是去掉BAPO记账机制, 仅仅只保留信念状态格式。在这种情况下, 单独让模型说出预测这一动作, 仍然能够带来可以被测量到的性能提升。

跨领域迁移实验的结果暗示了一个事实, 那就是先进行预测, 再进行验证, 最后使用真实结果来进行对账, 这是一种通用的、谨慎的推理习惯, 这种习惯并不专门归属于代码调试这个特定的场景。

这个框架发布之后, m.hyjdxg.com网站里面的开发者社区里开始出现大家讨论的情况。有些人觉得每一步都要做出表态的操作方式, 可能会导致在需要快速反应的场景里, 响应速度变得比较慢。

另外一部分人则更希望能够在实际的生产运营环境当中, 看到关于延迟表现以及成本花费的真实测试数据, 而不只是满足于只在学术论文报告里面提到的那些离线状态下的指标数据。

阜新市自然资源事务服务中心

在你所在的团队使用人工智能来辅助编程工作的时候, 大家最担心的、会出现一种情况, 那就是某个环节被悄悄搞砸了, 但是却没有被任何人发觉, 这种情况是不是经常发生? 欢迎你在这里留下你的看法和经历进行分享, 并且把点赞以及转发的动作都动起来, 让身边的更多同行都能看到这条新出现的解题思路。