相较9月发布的首版,V2进一步加入在线强化学习后训练实验,并扩展了仿真评测和真机部署的覆盖范围。
报告显示, 在仿真侧 ,14种策略接入同一套LIBERO闭环评测,在RoboCasa GR-1、RoboTwin与RoboDojo上各有8种策略的接入结果。
在推理端 ,针对8组模型与设备组合的实测显示,优化后的模型推理路径频率提升至2.31–9.64倍。
而在ALOHA、Rebot、双臂Franka以及逐际动力自研的全尺寸人形机器人LimX Oli等多款真实硬件平台上,报告也完整验证了从模型checkpoint直达真机闭环执行的部署链路。
以SmolVLA为例,在两组配对实验中,经过在线强化学习后,其在LIBERO-10和RoboTwin Clean十项任务上的成功率分别提升10.0和15.4个百分点。
自今年4月8日开源以来,FluxVLA Engine陆续扩展模型支持、评测配方和真机部署能力。
用逐际动力自己的话来说,FluxVLA Engine就是 让底层工程能力真正可复用,把宝贵的研发人力从无休止的“配环境、改接口”中解放出来,让先进的模型真正有路可走、有地可落。
FluxVLA Engine首要目标就是把这种作坊式的重复搭建,升级成标准化的工业流水线—— 逐际动力创始人兼CEO张巍就将FluxVLA Engine比作模型的生产线。
Hugging Face:https://huggingface.co/limxdynamics/FluxVLAEngine
踩着这些密集的脚印,这个底座的能力边界一路从最初的“能训练、能评测”,扎实生长到了如今的“能上真机、能数据回流”。
拥有FluxVLA Engine,研发团队就像拥有了一支在背后帮你持续升级基建、不断拓宽边界的外援工程铁军。
今天火的是扩散策略,明天可能就是流匹配或者世界动作模型。要我说,倘若每换一条技术路线,过往的工程沉淀就要全部推倒重来的话,再大的公司也得轻则脱层皮。
FluxVLA Engine就是这样一个开源工程底座。它打通“训、评、部署”全链路,保障已有的工程积累不归零。
在数据层面, 来自不同机器人、不同仿真环境的原始轨迹,会先做显式转换、标准化清洗,整理成兼容LeRobot规范的结构 (包含Parquet文件、视频以及配套元数据) 。
处理之后的这批数据,可以放到同一条管线里混训,也支持按分组保留各自独有的预处理、归一化规则。不管是训练还是推理,都会通过独立的数据入口,遵循同一套模型输入、动作处理语义。
平台目前已深度集成Qwen-VL、GR00T、π系列以及DreamZero等主流VLM、VLA和WAM架构。
紧凑型VLA、流匹配策略、模块化VLM+动作头、世界动作模型,甚至还包括完全不需要本地权重、直接通过API裸调的GPT-6 Astra。
在项目报告的各自配置下,13个本地checkpoint策略中有11个在LIBERO上的平均成功率超过95% (如DiT4DiT达98.65%,π 0.5 达97.95%) 。
光靠模仿学习 (SFT) 喂出来的模型,就像只会背题库的学生,一遇到没见过的突发状况就容易懵。
不过,因为在线强化学习需要把环境交互、策略更新和分布式训练串起来,工程复杂度会瞬间呈指数级爆炸,很多优秀团队都望而却步。
通过集成RLinf,FluxVLA Engine让兼容的流匹配策略可以直接拎包入住,进入在线交互训练流程,免去了重新适配模型和数据管线的痛苦。
在仿真配对实验中,每个基准的各任务均从同一SmolVLA SFT checkpoint出发,分别进行任务专用的PPO后训练。
经过40个外层迭代,LIBERO-10的任务平均成功率从66.2%提升至76.2%;RoboTwin Clean十项任务从45.9%提升至61.3%,分别提高10.0和15.4个百分点。
可以看到,平台实质性跑通了从“模仿学习起点”迈向“在线交互提分”的工程捷径, 哪怕是小参数模型,也能在闭环试错中榨出惊人的潜力。
过去这套评测机制特别不友好。你没法看清模型到底是怎么跑的,最后就一个冷冰冰的成功率数字摆在那儿。
前者通过比较两种设置中的表现,可观察模型对相应环境变化的适应情况;后者除了看最终成败,还实时记录任务进度条,并从泛化、记忆、精度、长程任务和开放指令五个维度画出“能力雷达图”。
比如一个叠衣服或抓积木的任务失败了,它其实可能已经完美走完了前三个阶段,只是在最后一步“放进盒子”时手抖了。
这时候将“阶段进度”与“最终成功率”放在一起看,就能快速发现模型究竟是眼神不好 (视觉感知) 、脑子不够用 (长程规划) 还是手脚不协调 (精细控制) 。
因为知道病根在哪,所以下药精准度up up,盲目加数据、盲目烧算力的无效返工自然就减少了。
具身模型通常会一次预测一段动作,再由机器人逐步执行。在这个过程中,模型推理可能需要较长时间,机器人控制回路却仍在持续运行。
如果上一段动作尚未执行完毕,下一段预测就已经生成,两段动作之间便可能出现不连续。即使模型输出的动作在数值上合理,也还需要满足机器人对速度、加速度和轨迹平滑性的要求。
为了治好真机部署的“卡顿”与“抽搐”,FluxVLA Engine放出了一套硬核的系统工程组合拳。
在不改动模型任何权重的前提下,FluxVLA Engine针对GR00T、π 0.5 等模型进行了深度的底层推理重构,把冗余计算和内核调度开销砍到了极致。
针对GR00T动作头的数值对齐测试表明,加速后的动作输出与原版相比,余弦相似度超过0.99999,最大绝对误差仅约0.02。
简单来说,就是利用上一段动作还没做完的尾巴,去约束下一段新预测动作的开头,像拉链一样把两段动作平滑地咬合在一起,消除突变。
后续由轨迹后处理模块执行平滑滤波与运动学约束,保证下发至电机的动作指令满足物理边界、输出平稳。
推理优化解决动作生成效率问题,RTC和轨迹后处理则负责衔接预测与执行, 这三板斧劈下去,把前沿算法上真机的工程门槛削平了一大半,保护了昂贵的机器人硬件,更让模型表现出了类人的丝滑感。
在真机部署环节 ,FluxVLA Engine巧妙地设计了双层解耦接口:管大脑的 Runner 和管身体的 Operator。
具体来说,runner负责模型推理、动作调度和执行过程中的状态管理,operator则负责传感器数据采集、机器人通信与控制指令传输。
有了这套万用插座,不同机器人本体只需适配各自的operator接口,就能接入同一套部署流程,迁移成本大幅降低。
Loading comments…