如何评估企业 AI 智能体？

评估企业 AI 智能体，应检查它是否完成了指定工作，执行时有没有违反规则，以及人员为复核和纠错花了多少时间。创建采购申请，就查申请单；生成销售月报，就核对数据和结论。任务成功率、人工接管率和单项任务成本需要一起记录，才能判断是否适合日常使用。

如果员工要求创建一张采购申请，模型回复“已经完成”尚不能作为验收依据。评测应检查申请单是否存在、关键字段是否正确、有没有重复提交，以及必要审批是否保留。这些事实来自目标系统。

Anthropic 在 Demystifying evals for AI agents 中区分了执行记录和最终环境状态。这个区别适用于企业智能体：过程记录有助于解释问题，最终状态用于判断任务是否达成。

每条测试任务，都要明确成功是什么

每条测试都应提供明确输入，限定可以使用的资料和工具，并记录业务系统在执行前的状态。随后写清合格结果是什么，哪些操作必须经过人工确认。这样才能在同样条件下比较不同版本。

例如，测试采购申请生成时，应提供指定报价文件、预算编码和申请模板。成功条件可以是字段匹配、附件正确、草稿保存成功。若此次任务只授权保存草稿，擅自正式提交即使字段正确，也不能算通过。

资料缺失的测试任务则需要另一种标准：准确指出缺失信息并暂停，可能就是合格行为。应把这类任务归入“澄清或拒绝处理”，与完整交付任务分别报告，避免系统通过频繁拒绝提高总体得分。

测试集要覆盖高频任务，也要保留低频但后果较大的例外。业务人员可以依据真实失败记录补充样本。合成样本适合补充边界情况，但应标明来源，不能把它的表现直接当作真实业务表现。

成功率必须说明分母和人工参与方式

同样写“成功率 97%”，可能代表第一次就完成，也可能包含系统多次重试和大量人工纠错。报告需要把这些情况拆开。

下面是一组假设的测试结果，用于解释口径：100 个完整交付任务中，84 个首次完成，8 个经过系统重试后完成，5 个由人员纠错后完成，3 个未完成。

这组数字不能单独证明系统适合上线。如果人工纠错的五项任务耗时很长，或者未完成的三项都属于关键业务，仍然需要调整方案。对外公布指标时，应同时说明测试范围、样本量、时间窗口和运行版本。

到统计截止时间尚未完成的任务，需要单列等待或超时状态。不能随意删除这些记录，再用剩下的任务计算更高的成功率。

结果检查如何分工

确定性规则适合检查金额、日期、字段完整性以及系统状态。模型评分适合辅助判断报告是否覆盖要求、表达是否清楚、证据是否支持结论。专业人员负责确定标准，复核重要分歧，并校准模型评分。

执行模型和评估逻辑应分开设计。即便使用另一次模型调用评分，也不能假设评估天然独立可靠。模型可能偏好更长的答案，也可能遗漏领域错误，因此需要用人员已经判定的样本检查评分一致性。

对于合同审查，误报率和漏报率应分别观察。把所有条款都标为风险，可能减少漏报，却给法务增加大量核查工作。评测标准需要反映两类错误的实际后果。

排查错误时，应能看到智能体使用了哪份资料，向工具传了什么参数，工具返回了什么。再对照中间文件和人工修改，判断问题出现在哪一步。这些记录可以用于评测和审计，无需记录模型隐藏的内部推理。

在灵搭的 Workflow 2.0 中，单节点调试可以单独检查输入和输出。例如，报价计算错了，可以先检查文件解析结果，再核对单位换算。Agentic 节点出现偏差时，还需要检查它选了哪个工具，返回信息是否足够，以及下一步选择是否合理。节点调试帮助定位问题，整项任务的验收仍以最终结果为准。

用相同条件比较版本，再检查是否退步

版本对比需要尽量保持任务集、数据快照、权限、工具版本和重试预算一致。一次同时更换模型、知识库和工具权限，难以判断改进来自哪里。

智能体的输出可能随运行变化。对重要任务，可以重复测试并报告波动范围；对存在写入的任务，应在隔离环境中恢复初始状态，防止第一次创建的记录影响第二次结果。

测试集也要区分开发调试和最终验收。反复根据同一批答案调参后，再用这批样本宣称效果提升，容易高估泛化能力。应保留未用于调试的样本，并逐步加入新的真实任务。

每次发布除了检查新能力，还需重新运行已经通过的任务。调整知识库解析方式或工具参数，可能影响原本正常的结果。任务类型占比不同的两轮测试，应分类型比较，避免简单均值掩盖退步。

比较执行策略也应使用相同样本。以供应商报价为例，可以比较固定的解析流程和由 Agentic 节点选择工具的方案，观察哪种方式少漏字段、少用工具、少请求人工纠错。企业级 AI 智能体平台的改进，需要落实到这些具体差异上。

成本和异常，也要进入评测报告

单位成功任务成本，可以按同一批次的模型与工具费用、运行资源和人工处理成本之和，除以合格完成任务数计算。失败任务产生的费用也应计入分子。实施投入可以另外按约定周期摊销。

交付时长最好同时记录典型水平和较慢任务的表现。人工审批等候时间与系统实际处理时间分开，才容易识别瓶颈。异常记录则应区分数据缺失、检索错误、工具故障和业务判断偏差。

未来式智能将真实任务中的执行记录和人工修正用于研究具体场景的处理方法。例如，多次比价任务都因包装单位出错，可以补充换算规则，调整 Workflow 2.0 的检查步骤，再把验证有效的方法整理为岗位 Skill。更换模型时，也用同一批报价检查这套方法是否仍然适用。

袋袋中的数字专家同样可以按交付物评估。创作者为报告编制专家更新 Skill 后，应检查它能否正确使用资料，是否回答了任务问题，以及用户需要修改多少内容。专业方法经过反复校对，才能成为其他用户可以复用的专家服务。

一份可用于发布决策的评测报告，应说明哪些任务达到要求，哪些仍需要人员介入，以及新版本节省了多少工作。团队据此决定扩大使用范围，或先修正尚未通过的任务。

常见问题

智能体成功率达到多少才能上线？

没有通用门槛。应按任务类型和错误后果设置标准，高风险错误可以单独作为阻断条件。有限测试中未发现风险，也不代表长期运行风险为零。

可以全部交给另一个大模型评分吗？

模型评分可以提高检查覆盖度，但需要人工校准。金额和业务状态等可直接检查的事实，应优先使用确定性规则或目标系统结果，不必绕到模型判断。

延伸阅读：数字劳动力首期验证怎么选场景？ · 企业知识库与 RAG 质量评估

了解未来式智能及灵搭