用真题考它

演示不算成绩

数字员工和人一样：上岗前要考试，上岗后要考核。一件事能不能放心交给它，看的是考试记录，不是现场演示。

这和测试普通软件不一样。软件跑通一次就算过；数字员工的回答每次可能不同，同一道题今天答对，明天未必。所以考试不是上线前走一遍的手续，而是跟着它整个任职期的管理制度。

演示展示的是发挥最好的一次，考试衡量的是平均水平和最差的情况。调用次数、对话量、生成字数也不算成绩：用得多，不等于做得对。

演示再惊艳也不算成绩，证据说了算。

出一套真题

考题要考这家公司的真实业务，而不是通用题库。按下面四步出题：

1. 从真实业务里取题

   题目来自本部门真实遇到的问题和材料，敏感信息先做脱敏。部署时，业务部门通常会提供 20 到 50 个真实问题作为原料。

2. 至少十道，常见与难点都要有

   覆盖最常见的情况，也覆盖已知容易出错的边界情况。每道题配好标准答案，写明依据哪份文件。

3. 写清怎么判对错

   有标准答案的，按答案或规则判；写作类的，由人阅卷或抽检。

4. 每道题跑三次

   同一道题，每次回答可能不同。一次答对可能是运气，三次稳定才是能力。

合起来，就是一套完整的考卷：考题、标准答案、判卷方式，考完出一张成绩单，写明通过率和错题分布。出题和判卷都离不开业务部门：题目由他们提供，写作类的答案也要懂业务的人来判。

好的考题有明确的标准答案，能对着制度核对；泛泛的问题没法判对错。对比一下：

前一道只能看它会不会复述；后一道要它找到对的条款、说出该找谁审批，这才是实际工作里会被问到的样子。

过线才上岗，错题回到题库

上线门槛按风险分级。越接近对外动作和审批流，门槛越高，就像写内部草稿的实习生和对外签字的负责人，考核标准本来就不一样：

高的两档还有附加要求：写入文件的，每种出错情况都要有兜底办法；触发对外动作的，必须保留人工复核，并先小范围运行两周。

上线之后考试不停。人工复核里发现的错题，每月收进题库；换模型，要把整套题重考一遍；每次考试都留档：版本、模型、通过率、错在哪里。

部署期还有一次真题大考：各部门的真实问题批量测评，逐个部门出通过率。同时从真实使用里抓出答不上、答错的问题，列成缺口清单，逐条修复后再复测。

没过线，就回到训练循环：先找出错在哪一类，改完再考。晋级也一样，凭的是考试记录，不是印象或演示。