国产算力的成熟,把具身竞争维度从「芯片有多强」,拉入了一个比拼训练效率、数据规模、部署成本和场景落地速度的多维战场。

在RoboTwin 2.0和LIBERO-Pro 2.0两项具身智能评测中,它的平均成功率都排第一。

别家机器人团队想教这个模型干个新活儿,不用从零搭训练链路,拿到现成代码,接上自家数据就能直接上手调试验证!

而且这次,华为云没有停留在「把模型迁移到昇腾芯片上跑通」这一步,而是 从模型架构、训练框架到核心算子、推理部署,围绕具身模型的特点做软硬件协同优化。

在 RoboTwin 2.0和LIBERO-Pro 2.0 上,分别跑出88.98%和81.73%, 双双拿下第一 。

在第三方独立测试中,5种机器人本体上阵,考了13项操作任务。从转旋钮、双臂连续交接到玩具入篮,模型的平均成功率比第二名高出23个百分点。

有个小细节挺有意思。 机器人将插头插入后意外滑脱,CloudRobo-WM1.2可以根据新观测画面动态调整动作,重试插接。

不过,听了华为云在最近举办的具身世界模型CloudRobo发布会上的介绍,我又感觉它能取得SOTA表现,不算意外了。

首先,CloudRobo-WM1.2在 「让机器人更懂物理世界」 这件事上,下了一些功夫。

一旦涉及物理交互——比如机器人向前推动杯子,杯子会滑动还是倾倒?这类问题普通模型很难精准预判;在物体遮挡、视角变化、物体动态运动的场景下,误差会更加明显。

华为云采用PPA(Perceive-Predict-Act)多模态世界表征架构, 针对的就是这个问题,它把感知、预测和动作放在同一阶段联合训练,同步接入RGB视频、DINO语义特征、深度和三维点云多类信号。

所以,机器人不光会知道杯子是什么、在哪儿,还能理解它的空间结构、运动状态,以及预判动作带来的物理结果。

模型能学的信息多了,具身数据里的动作标注、深度和相机视角却经常凑不齐。少了一项,剩下的还能拿来训吗?

华为云 在预训练时用多粒度监督掩码,把缺失或无效的部分从损失计算里划掉。 哪部分信息可靠,模型就学哪部分。

这就像做一道综合大题,如果其中某一小问的条件残缺读不通,我们不会直接放弃整道大题,而是先用其他清晰可用的条件继续推导求解。

它的实际意义不在于「容忍脏数据」,而在于 让大量不够完美的异构数据进入训练,避免因为局部信息缺失直接丢弃整条样本。

真机采集数据成本高达500元~1000元/时,存量有效数据仅百万小时级别。而头部厂商判断的 需求是亿小时级 。

一条是action expert动作专家分支,负责直接生成动作,速度更快,适合对响应速度要求更高的任务;

另一条依托世界模型骨干world generator,在理解场景的同时预测未来状态,精度更高,适合精细、复杂、需要考虑物理变化的任务。

不同机器人本体差异巨大:单臂、双臂、轮式机器人结构各不相同,好比不同车型,操控逻辑各有区别;但同类任务背后,动作意图是共通的。

模型保留机器人96维、人类运动168维各自的原生状态表征,再用本体标记区分各自的运动接口。

给推理方案设置了四个「套餐」——World/Expert Action,Joint/Action-only, 四种弹性推理模式可按需组合。

换句话说,可以只输出动作,也可以兼顾输出动作+做出预测;你还可以指定让动作专家来搞定,或是让世界骨干来完成。

研发调试要精度,实际部署要速度,都能照顾到,研发团队可以根据算力、时延的要求灵活组合 ,就像点菜一样,丰俭由人。

可要把长视频、深度和动作一起训进去,还要让模型到了真机能及时出动作,昇腾是怎么接住这些活儿的?

具身世界模型对算力的胃口,不是一般的大。视频、深度、三维点云、动作序列,模型都得处理。算力与显存需求远超普通大模型。

几张卡怎么分活儿,大数据怎么送过去,训练框架和算子怎么在卡上跑,多分支梯度如何归约,attention选择性重算等,都要围绕昇腾这套硬件一起调。

搜到一段动作,相关数据就能一块儿取出来。常用的提前缓存,下一批要用的提前读。卡还在算手上这批,后一批已经在路上了,避免算力空等。

数据到了,训练框架还得把活儿派匀。视频、点云和动作占的显存不一样,一批样本分得不好,这张卡已经挤满了,那张卡还空着。

华为云在框架里单独安排重计算,配合长序列和模型并行,把各张卡的负担分匀一点。几张卡要交换结果,也可以趁数据还在路上,先算手头能做的部分。

在一组LIBERO测试里,模型一次给出10步动作,第10步才需要看新画面。那前9步的画面就无需逐帧渲染。物理仿真一步步走,奖励也照常算,在动作规划周期内减少渲染开销。

拆开看RLinf公布的测试,GR00T N1.5和N1.6单位时间内能算出的动作增加了195%至278%,StarVLA的训练调用吞吐提升186%至240%。

上真机时,就能用上前面说的四种推理模式。调试时把未来画面和动作一起算出来,现场干活时可以只算下一段动作。

华为云用R2C(Robot to Cloud)接入不同机器人。现场的画面和状态能传上去,模型算出的动作也能发回来。

碰上新的工况,团队会把采到的作业数据带回CloudRobo,看看模型在哪一步出了问题,再补训、评测,把更新后的模型部署回去。

好,模型能训出来,也能上真机了。到了工厂,先让机器人接哪道工序?到了仓库,哪种工况最该补数据?

数据怎么进、模型怎么训、仿真怎么测、真机怎么跑, 平台留了API、SDK、CLI和插件接口。

CloudRobo-WM1.2也会进平台,权重、推理代码和后训练代码计划于11月30日开放。

华为云「行业AI梦工厂」具身智能专区 依托昇腾云和CloudRobo,伙伴能在这儿发布数据集、模型、工具链和方案。

比如,做仿真引擎,华为云和伙伴一起打磨,做好的能力可以集成进CloudRobo,也能上云商店卖。