智能体没有传统意义上的「编译通过」。资料改了、提示改了、工具改了,原来能答对的问题可能突然答错。所以 AI Agent测试 要像回归测试一样,有一组固定问题,每次发布前重跑。苏州青枫浦网络科技有限公司 把这组问题称为评测集。
评测集来自真实问法,而不是开发者自己想的标准句。从上线前的客服记录、销售群和 EFCMS 表单留言里抽。每条保留原话、期望要点、是否必须转人工。原话越口语,越有用。
规模不必上千。一个场景先做三十到五十条,覆盖常见、边界和明确不能答的问题。数量稳定比数量大更重要,因为您要的是每次比较,不是一次表演。
期望不要写成固定标准答案。写成必须包含的事实、必须避免的承诺、应该调用的工具或应该转人工。例如必须提到「以页面参数为准」,禁止给出未发布的折扣。
坏案例是已经出过的错。每一次误承诺交期、查错订单、引用过期价格,都收成一条,写上正确处理。坏案例只增不删,除非产品规则本身变了,那时改的是期望,并注明日期。
对话质检 分发布前和发布后。发布前跑评测集;发布后每周抽真实对话。两边的问题分类用同一套:事实错、不该承诺、该转人工没转、语气不当、工具失败。分类稳定,月与月才能比。
发布门槛写数字,但数字要诚实。例如:评测集中事实类错误为零才可发布;转人工判断允许少量偏差,但必须列出来给人看。不要写一个永远达不到的满分,然后每次都口头放行。
谁有权放行要明确。业务主人看事实和承诺,开发看工具是否异常。任一方认为触及禁止项,就停。不要只有开发在深夜独自发布提示词。
提示词、资料版本、工具版本绑在同一次发布记录里。出了问题才能回到上一组,而不是只记得「好像改过一句」。译枫CMS 项目里,这三条版本号出现在同一张发布单上。
资料更新也要触发回归。新价格表入库后,至少重跑涉及价格的子集。只测提示词、不测新资料,等于没测到最容易错的部分。
工具用假数据和录好的返回做自动化部分,用少量真实只读查询做联调。写入类工具在测试环境跑,禁止对生产订单执行评测。
对比的是要点是否满足,不是字面是否一样。回答换一种顺序可以说,但数字、型号、是否转人工不能飘。自动比较可以先看禁止词和关键字段,其余由人抽查。
禁止词清单包括未授权折扣、绝对化疗效或收益承诺、其他客户的名称。清单由业务维护。命中就判失败,即使整段话读起来很顺。
多轮对话要有脚本:用户先问得含糊,再补充订单号。评测不能只有单轮。很多错误发生在第二轮把两个客户的信息揉在一起。
转人工用例专门做一组。用户要投诉、要改合同、问题超出资料时,必须给出转接而不是继续编。转接用例失败的优先级高于文案好坏。
回归失败的处理顺序:先看是不是资料过期,再看是不是工具返回错,最后才改提示词。颠倒顺序会把提示词改得越来越长,仍然压不住错误事实。
保留每次跑测的摘要:日期、版本、通过条数、失败条目编号。摘要给业务看。失败条目进入修复,修完只重跑失败项和相关项,发布前再全量跑一次。
不要用线上用户当成全部测试。灰度可以发现新问题,但不能替代发布门槛。灰度是门槛之后的事。
评测集本身会过时。每季度删掉已经下架的产品问题,补上新问题。删除要经过主人同意,避免把难做的坏案例悄悄拿掉。
标注人需要指南。两个人对「是否该转人工」理解不同,分数就会晃动。指南用例子说明,有分歧时由业务负责人定一条,写回指南。
成本控制:全量评测不必每小时跑。资料和提示词发布前跑,每周固定跑一次防止漂移。每日只看线上抽检。
线上抽检的样本从差评、转人工、用户点「无用」里优先抽,再随机补足。只看随机,会漏掉已经疼的问题。
修复要验证没有把旁边的问题改坏。所以评测集要有相邻问题:一个允许回答的参数题,一个必须拒绝的价格题,放在一起跑。
报告给管理层只保留:本周失败类型、是否达到发布门槛、未关闭坏案例数。不要展示一堆无法比较的分数。
供应商交接时,评测集和坏案例属于交付物。没有这组问题,下一任维护者只能靠感觉。译枫CMS 验收清单里包含它。
和功能测试的关系:订单创建、权限、表单仍按软件测试做。智能体回归不替代这些。它只覆盖「说什么、何时调工具、何时交给人」。
环境隔离:预发评测用预发资料。用生产资料在预发上跑也可以,但写入和发送必须关掉。搞混环境是评测事故里最贵的一种。
用户原话里的个人信息在入库前打码。评测集不是第二份客户数据库。订单号可以用构造的测试号,场景保持真实。
当业务规则变更,先改期望和资料,再要求模型跟上。用旧期望卡新规则,会把正确回答判成失败,团队就会开始忽视报告。
语气类问题单独统计,不和事实错误混成一个通过率。事实错误一票否决;语气问题进入文案迭代。混在一起会让人分不清能不能发布。
多入口分别有子集:官网、小程序、内部助手。内部助手允许更详细,官网子集必须更保守。用同一套宽松标准去测对外入口,会漏掉承诺风险。
发布窗口避开活动开始前的最后一小时。活动话术若必须改,只跑活动相关子集,并有人值守。全量改写放到活动后。
失败复盘写「为什么评测没抓住」。如果是新问法,就补进集里。评测集是活的,它的价值在于吸收线上的错。
不要把通过率目标定成竞争指标去惩罚标注人员。否则标注会变松,门槛变成装饰。目标是阻止已知错误再次发布。
可读的失败展示:问题、实际回答、违反了哪条期望。维护的人能看懂,才修得动。只给一个红色百分比,没人知道下一步。
与监控配合:线上新出现的高频问题,第二天要决定是否加入评测集。监控负责发现,评测集负责记住。
培训业务抽检的人如何记录,用统一表格,避免每个人一种写法。表格字段:原话、问题类型、是否可接受、应补的资料。
小团队可以手工跑。把问题放在表格里,逐条提问,把结果写在旁边。手工不可耻,没有固定问题才危险。等条目稳定再考虑自动化。
自动化之后仍保留人工抽查,因为禁止词抓不住「语气很肯定但事实来自错误段落」这种错。机器缩小范围,人做最后判断。
验收问句:现在能否指出上一次发布的评测结果和对应版本?不能指出,就还没有回归机制。
评测题写上「最后核对日期」。超过一个季度没人看过的题,发布前先让业务扫一眼是否还符合现行政策。过期的题会把对的回答判错,团队就会开始忽略报告。
失败条目修复后,在发布单上写下改的是资料、工具还是提示词。下次同类失败能更快判断该动哪一层,而不是三层一起改。
把评测集放在双方都能打开的表格里,并限制编辑权限。谁都能改期望,门槛就会随版本漂移。变更期望需要业务负责人备注原因。
发布单上除了通过条数,还写本轮新增的坏案例编号。没有新增也可以写「无」。这样空窗期不会被误认为没人在做质检。
门槛不因赶工临时取消。要延期就延期,不要带着失败用例发布。
总结:对话质检 靠的是固定问题、坏案例和有人负责的发布门槛。译枫CMS 把这套检查放进 AI Agent测试,而不是上线后才开始收集错误。欢迎访问 efcms.cn,苏州青枫浦网络科技有限公司 可按您的客服记录帮您列第一批评测题。