AI 智能体是什么：工具、工作流与评估

AI 智能体是使用模型选择动作、观察执行结果，并决定下一步行动的系统。工具让它能够检索文档、进行计算或修改文件。判断一个系统是否具有智能体特征，应关注它怎样做决定，而不是产品名称里有没有 Agent。

智能体、工作流和聊天机器人

聊天机器人可以只生成回答，不执行外部动作。工作流可以在多个步骤调用语言模型，但执行顺序主要由应用代码控制。智能体则把更多下一步决策交给模型。这些形式并不互斥：固定工作流可以包含智能体，智能体也可以调用预定义工作流。

Anthropic 的 Building effective agents 也区分预定义工作流和由模型主导工具调用的系统。这是有用的设计参考，不意味着智能体总是更合适。步骤明确的任务，通常可以先尝试更容易评估和运维的工作流。

例如，研究助手要比较两篇论文，可能先寻找原文，检查评估部分，提取数据集，再比较结论。输出一段流畅文字不足以证明完成了任务：引用要能找到，数字要与原文一致，比较也要说明实验设置的差异。

评估集应来自你真正要完成的工作，包括普通案例、含糊指令、缺失资料和工具报错。保留不参与调试的测试集，避免反复调整提示词后，测试变成了针对已知样例的练习。

比较多个系统时，任务集、工具权限、最大时长和尝试次数应尽量一致。增加采样次数或工具预算可能提高成绩，但不一定代表底层模型更强。这些条件应该与分数一起公布。

工具权限让错误产生实际后果。只读文档检索和能够发消息、修改生产数据的智能体，需要不同控制。区分读取与写入能力，验证输入，把外部文档与应用指令隔离，并为重要操作设置适当授权。

运行记录应能说明每个动作依据了什么证据，同时避免无必要地保留密钥与私人数据。加入取消、时间和费用限制，为部分完成提供恢复路径。多智能体协作会增加协调成本，并不会消除这些要求。

测试了哪些任务？工具是真实的还是模拟的？成功由程序、人类还是另一个模型判断？允许尝试几次？测试集是否早已公开？按照披露的模型与工具，能否复现结果？这些问题能帮助你评估演示背后的实际能力。

可以继续阅读智能体专题，或用AI 论文阅读清单核对基准测试背后的证据。

本文解释架构选择和评估问题，不提供厂商排名，也不声称进行过独立基准测试。反馈更正或推荐资料。