你的同事用Agent整理报表,一路顺畅。你用同样的模型、工具和流程,换成自己的文件,却开始反复试读、频繁返工。
文件位置不同、数据格式混杂、模板约束变化,都可能让原本有效的方法失效。模型提供推理能力,Harness组织执行流程,但Agent仍需判断: 这里的环境是什么样的,过去的经验还适不适用?
这也揭示了Agent持续自我改进过程中一个容易被忽视的问题: Agent不仅要从任务中学会“怎么做”,还要判断这些经验在什么环境下仍然有效。
在RSI(Recursive Self-Improvement,递归自我改进)的持续优化过程中,Agent可以通过任务反馈改进执行方法、积累可复用经验。但如果环境认知没有同步更新,过去有效的经验也可能成为新的障碍:接口条件变了,还在重试旧调用;数据格式变了,还在沿用旧规则。
1983年,认知科学家John R. Anderson在ACT-R相关理论研究中,系统讨论了人类知识中的两类重要形式:
随后,Larry Squire等研究者从神经心理学上确认了这种分离有 生物学基础 ——两类知识由不同脑区负责,学习速率和提取方式都不同。
将这一视角引入Agent,就能看到: 认识环境与掌握做法,彼此关联,却需要不同的验证与更新方式。 环境判断要核对是否符合现场事实,行动方法要检验在相应条件下是否有效。混淆两者,就可能把偶然成功的操作当成稳定规律,或在环境变化后继续沿用失效的方法。
沿着这一思路,openJiuwen在 RSI 方向的持续探索中,进一步提出 TTSE(Two-Track Self-Evolution,双轨自演进) 。
在此前发布的双维度RSI框架介绍中,openJiuwen已通过 Harness+Artifacts双维度优化 ,让Agent能够基于真实任务反馈,持续改进工作方法与交付成果。而TTSE则进一步聚焦 经验本身的可靠性与可复用性, 不仅让Agent积累有效的执行方法,还要持续校正对环境的认识,避免经验在环境变化后失效。
为此,TTSE借鉴认知科学中对陈述性知识与程序性知识的区分,将任务中获得的经验分为两条轨道:
分清经验的类型,只是第一步。 如何让Agent从任务反馈中持续学习,并将有效经验转化为下一轮执行的改进?
这也是RSI的核心思路:通过真实任务反馈驱动改进,并在后续执行中不断验证和优化。TTSE将这一思路落实到经验管理层面,通过分批执行任务,让已有经验持续接受新证据的检验,判断哪些经验值得保留、哪些需要修正或退役,再将更新后的经验用于下一轮任务。
FACT用于描述环境本身的属性与规律,强调可直接验证,以及在适用场景下的跨任务稳定性;TIP用于描述特定任务条件下的执行方法,采用“ 在什么条件下,执行什么操作 ”的形式表达。
两类知识分别维护 独立编号、呈现方式与证据追踪机制 。这使每条经验都能被单独引用、核对和更新,也便于在执行出现问题时,追溯具体是哪条事实判断或操作建议产生了影响。
分类时,框架结合经验所描述的主体与作用进行判断(展开如何进行分类根据mechanism);难以确定的内容默认归入TIP,降低将未经充分验证的操作经验误当成环境事实的风险。
TTSE从空规则库出发,由Agent执行首批任务(chunk 0),再根据执行轨迹分别归纳FACT与TIP,建立初始双轨经验库。
这一阶段以归纳为主。由于尚无历史规则参与执行,因此不进行旧规则的归责与退役,而是为后续演进建立第一批有任务证据支撑的经验。
后续任务按批次推进。每一轮,Agent加载上一轮的FACT与TIP,利用已有经验执行当前批次任务,再根据执行轨迹和评估结果,依次完成四个环节:
Blame→Retire→Contradict/Synthesize→Induce 在多个任务批次间循环运行,使经验持续接受新证据的检验:既更新对环境的认识,也调整相应条件下的执行方法。
经过多轮增量演进,框架输出最终的FACT与TIP经验库,并在测试任务中评估其对准确率或任务表现的影响。
这套机制的核心,是让 环境事实与执行方法分别沉淀、各自可追溯,并在持续执行中得到检验与修正 。Agent每完成一批任务,都能将新的交互证据转化为下一轮可使用的经验,逐步形成从环境交互到知识更新、再到行动改进的闭环。
“但一个关键问题仍待回答:将环境事实与行动技巧分开演进,是否真的比传统的单轨经验管理更有效?”
TTSE的方法论与实验结果已在论文A Two-Track Online Self-Evolution Framework for LLM Agents中展开研究。
为了验证双轨经验机制是否真正有效,研究团队在 ALFWorld、ScienceWorld、GDPevo、SOPBench和PinchBench五个基准 上进行了评测,每项实验均进行三次独立重复,以考察方法的实际收益与运行稳定性。
这些结果覆盖具身交互、科学推理、企业运营、工业流程及真实世界端到端任务,表明TTSE的价值并不局限于某个特定模型或单一场景。
GDPevo的消融实验提供了更直接的证据: 完整双轨方案优于只记录事实或只记录技巧的单轨方案。
原因在于,环境认知与行动策略承担着不同的职责。只有FACT,智能体可能知道环境的约束,却缺少合适的行动方法;只有TIP,智能体可能掌握操作技巧,却无法准确识别这些技巧成立的条件。只有将两者结合,才能同时回答「环境是什么样」和「在当前条件下应该怎么做」。
因此,双轨设计并非简单地将经验库拆成两部分,而是让不同类型的知识,按照各自的语义和适用条件进行归纳、验证与复用。
从跨模型、跨任务到真实世界评测,实验结果不仅验证了TTSE双轨经验机制的有效性,也进一步展示了RSI在经验学习层面的应用潜力: Agent可以在不改变模型参数的情况下,通过持续积累、验证与更新任务经验,逐步改善后续任务表现。
TTSE不仅在论文实验中验证了有效性,也已正式落地openJiuwen的WorkSwarm蜂群办公智能体。
想亲自体验TTSE? 只需安装并启动 WorkSwarm 0.2.7及以上版本 ,在设置中开启 TTSE自演进开关 ,即可体验经验积累与复用带来的效率提升。
接下来,通过两个真实办公任务,一起来看看TTSE如何让Agent在实际执行中变得更快、更高效。
在日常办公中,Agent已广泛应用于 数据清洗与分析、文档编辑与整理、报表生成、信息提取及格式转换 等任务。然而,面对不同的文件结构、数据格式和业务要求,Agent往往需要反复探索环境、尝试工具调用,并重新摸索任务的执行路径。
为了直观展示TTSE的实际效果,团队选取了Excel数据清洗和文档与表格整理两个典型办公场景,对比Agent在首次执行与注入经验后的表现。
这些提升并非来自模型能力的变化,而是在所展示的对比任务中,Agent能够利用历史执行经验,更快识别环境约束并选择合适的处理方式。
这类任务的难点不只是清洗数据,还包括定位输入文件、识别隐藏的数据格式问题,以及确定符合业务要求的去重规则。
首次执行时,Agent没有可复用的任务经验,需要自行探索输入文件位置、判断数据格式,并推导重复记录的处理规则。整个过程共发生 57次工具调用,其中3次失败;总耗时6分22秒 。
任务结束后,TTSE从真实执行轨迹中提炼出可复用的任务经验。它们不再只是对过去操作的记录,而是能够直接影响下一次执行的决策依据:
再次执行相似任务时,这些经验直接参与工具选择与处理决策。工具调用降至 20次,失败调用降至1次,总耗时缩短至1分48秒 。
与Excel数据清洗不同,这类任务的主要难点在于文件位置未知、CSV编码与分隔符不明确,以及Word模板结构复杂。首次执行时,Agent需要逐步探索文件、识别格式,并确定合适的模板处理方式。
Loading comments…