2026世界机器人博览会(WRC)于8月19-23日在北京亦创国际会展中心举行。“AI大模型赋能机器人与具身智能产业新范式专题活动”在博览会同期举办。潞晨科技副总裁赵一飞出席并演讲。
以下为演讲实录:
赵一飞:今天我带来的主题是:世界模型的“操作系统”——为什么下一代具身智能需要一套新的训练基础设施。
先简单介绍一下潞晨科技。
潞晨从 2021 年成立以来,一直专注于 AI 基础设施。过去几年,我们经历了大模型从以训练为核心,到后训练、推理优化,再到今天持续产生海量 Token 的整个发展过程。
站在今天这个时间点,我们有一个很明确的判断:
具身智能和世界模型,正在开启新一轮 Scaling。
但这一轮 Scaling 和大语言模型不完全一样。它面临两个很现实的瓶颈:第一是物理世界数据,第二是训练效率。
今天我重点谈第一个。
为什么 Scaling Law 在大语言模型上发展得这么快?
一个很重要的基础,是过去几十年人类已经在互联网中积累了极其庞大的文本、图片和知识数据,是数万亿的Token量级。
但到了机器人这里,情况完全不同。
机器人需要的是与真实物理世界发生交互的数据。一次抓取、一次插拔、一次移动,都意味着真实设备、真实场景和真实时间。
目前非常有代表性的 Open X-Embodiment 数据集,汇集了全球多个研究机构的数据,也只有 100 万量级以上的真实机器人轨迹。
所以这里产生了一个非常大的矛盾:
我们希望机器人快速 Scaling,但真实世界的数据生产速度远远跟不上模型 Scaling 的速度。
这也是为什么我们越来越关注世界模型。
为了方便理解,我们把今天讨论的机器人学习方式简单概括成三条路径。
第一条是模仿学习。
它很好理解,就是“老师怎么做,我就怎么学”。
我们给机器人大量成功示范,它学习如何抓杯子、开抽屉、插插销。
这条路线已经非常有效,包括 RT-2、OpenVLA 等代表性模型。
但它有一个天然问题:
人给机器人的数据,大部分是在告诉它“正确答案是什么”,而不是告诉它“犯错以后怎么办”。
所以机器人一旦进入训练数据中没有见过的状态,就容易产生所谓的分布外问题。
一个很小的位置偏差,如果无法及时修正,可能一步一步累积成最终任务失败。
第二条是真机强化学习。
它允许机器人自己去尝试:做对了给奖励,做错了得到负反馈,然后不断调整策略。
它最大的优势,就是机器人有机会真正学会失败和自我纠错。
但问题也很明显:贵、慢,而且有真实设备损耗和安全风险。
所以现在出现了一条非常重要的路线:
先学习一个世界模型,给机器人构建一个虚拟的练习场。
机器人不用每次都在现实世界中试错,而可以先在世界模型中产生大量“想象出来的 rollout”,进行策略优化,再把学到的能力迁移到真实机器人上。
用更通俗的话说就是:
让机器人先在“梦里”大量练习,再走进现实。
这背后还有一个非常重要的技术趋势。
过去一年多,我们发现,视频生成模型正在越来越多地被改造成机器人的视频生成式世界模型。
这其实非常自然。
因为一个优秀的视频模型本质上已经在学习:
给定现在的世界,下一秒的世界可能是什么样子?
而世界模型进一步要解决的是:
如果机器人采取某一个动作,下一秒的世界会变成什么样子?
这两个问题之间存在非常强的技术继承关系。
OpenSora 最初是潞晨团队开源的视频生成模型,但现在我们已经看到,一些顶尖机器人团队开始把 OpenSora 作为构建世界模型的技术起点。
第一个案例是微软研究院的 IGOR。
IGOR 希望解决一个很大的问题:
互联网上有海量的人类活动视频,但这些视频没有机器人 action label,怎么让机器人也能从里面学习?
他们构建了一个统一的 latent action space,把机器人视频和人类活动视频放到同一个动作表示空间里。
整个预训练数据规模大约是 280 万条 trajectory 和 video clip。
这里有一个我们觉得很有意思的技术选择。
论文在描述 Foundation World Model 时明确写到:
他们是从 pre-trained Open-Sora 出发,再针对机器人动作控制进行改造。
这件事情对我们的启发是:
即使是微软研究院这样的团队,在探索一个新的具身基础模型时,也不一定选择把整个视频生成底座重新做一遍,而是选择站在成熟的开源基座上继续创新。
第二个案例,是港科大和 ByteDance Seed 团队的 WMPO。
这个工作解决的问题更直接:
机器人犯错以后,怎么学会自己纠错?
它首先训练一个视频生成式世界模型,然后让 VLA 策略在这个世界模型里面产生大量想象轨迹。
世界模型负责预测:
“如果机器人这么动,接下来会发生什么?”
奖励模型负责判断:
“这一次到底成功还是失败?”
然后通过 GRPO 做强化学习,去更新机器人的策略。
这里形成的实际上就是一个“在想象中进行 on-policy reinforcement learning”的过程。
结果非常有意思。
在 MimicGen 的四个机器人任务中,基础策略平均成功率是 33.6%,WMPO 最终提升到 57.6%。
在真实机器人高精度插销任务中,成功率从 53% 提升到 70%。
但是我觉得比数字更重要的是另外一个现象:
机器人出现了自我纠错。
比如插销撞偏以后,它不再一直沿着错误方向往前推,而会重新抬起、重新对准,再继续执行。
这些动作并不是来自大量人工提供的“失败纠正示范”。
而是在世界模型中通过大量尝试逐渐学习出来的。
所以我们喜欢用一句比较形象的话来描述:
机器人开始在“梦里”学会犯错,也学会纠错。
值得关注的是,WMPO 的视频世界模型 backbone,同样继承自 OpenSora,并针对机器人交互进行了进一步改造。
但世界模型真正走向 Scaling,对底层基础设施提出了新的要求。
我们总结成三个方面。
第一个,是模型越来越重。
视频不同于文本,它同时包含空间维度和时间维度。
当前很多视频生成式世界模型采用 DiT、时空 Transformer 等结构,同时还要处理很长的视频序列。
所以同等参数规模下,视频模型往往会带来更大的显存、计算和通信压力。
这要求更强的张量并行、序列并行和显存优化能力。
这正是 Colossal-AI 长期解决的问题。
第二个,是大规模训练下的优化稳定性。
当 GPU 数量不断增加,为了提升并行效率,我们往往希望扩大 global batch size。
但 batch 变大以后,并不是简单把 GPU 数量乘上去就可以了。
Learning rate、warm-up、优化器本身,都可能直接影响模型是不是能够稳定收敛。
这里就涉及潞晨另外一项长期积累——LAMB 优化器。
2019 年,我们创始人兼董事长尤洋参与提出的 LAMB,在论文实验中把 BERT 的训练从大约 3 天缩短到了 76 分钟。
它解决的一个核心问题,就是如何在非常大的 batch 下仍然保持训练稳定性和模型质量。
这种能力今天也已经进入机器人领域。
比如 AAAI 2026 Oral 的 SpatialActor,在超过 50 个机器人操作任务中进行了验证,其训练就采用了 LAMB 优化器。
所以大 batch 优化并不是一个只属于大语言模型时代的问题。
当视觉模型、世界模型和机器人模型继续 Scaling,这个问题还会再次出现。
第三个,也是我认为世界模型非常有意思的地方,就是“训推交替”。
以 WMPO 为例:
世界模型生成想象轨迹,是推理;
奖励模型给轨迹打分,也是推理;
根据这些 rollout 更新 VLA policy,是训练;
随着 policy 的行为分布发生变化,又可以利用新的 policy behavior data 对世界模型进一步做行为对齐和微调。
所以整个链条不是传统意义上的:
模型训练完了,训练结束,然后进入推理。
而是训练和推理在一个迭代闭环里面不断交替出现。
这意味着未来具身智能的基础设施,需要的不只是一个训练集群,也不是单独一个推理集群,而是能够更灵活地调度训练和推理任务,让两者真正形成闭环。
这就是我们讲“训推一体”的出发点。
如果把前面这些能力放到一起,我们认为未来世界模型的基础设施可以分成四层。
最底层是算力资源和云基础设施;
再上一层是 Colossal-AI,解决大规模并行计算、显存和通信效率;
第三层是 LAMB 等优化算法,解决规模扩大之后的训练效率和稳定性;
最上层是 OpenSora,提供一个经过验证的视频生成模型技术起点。
从模型、优化器、训练框架到算力资源,把这四层组合起来,才是我们今天所说的:
世界模型的“操作系统”。
最终我们希望给具身智能团队带来的价值,其实可以归结成四句话。
第一,更高的起点。
不用所有团队都重新从零训练一个视频生成基座,可以在成熟的开源模型和预训练权重上继续创新。
第二,更快、更稳。
通过算法和 Infra 的联合优化,把大量时间从解决显存、通信、并行和稳定性问题上释放出来。
第三,更低的成本。
在模型质量相近的情况下,尽可能减少 GPU 卡时和基础设施的重资产投入。
第四,形成完整闭环。
从世界模型预训练,到策略强化学习、评估和部署验证,把训练和推理真正连接起来。
最后我想用一个类比结束今天的分享。
回看 PC 和互联网产业的发展,一个非常重要的规律就是:
当底层基础设施逐渐标准化以后,真正的创新才能更快地发生在上层。
今天不会有一家互联网创业公司,为了开发自己的业务,先重新写一个 Linux,再重新造一个数据库。
同样,我们相信未来一家优秀的机器人公司,最宝贵的人才和资源,应该投入到什么地方?
应该投入到机器人本体、真实应用场景、独有数据,以及策略和算法创新。
而那些共性的、高复杂度的底层训练基础设施,可以由更专业的平台承担。
这也是潞晨希望在具身智能时代扮演的角色:
把复杂的训练基础设施交给我们,让机器人团队把精力真正放在机器人本身。
最后,用一句话结束今天的分享:
我们希望让机器人在“梦里”学习,更低成本、更高效率地学会走进现实。
谢谢大家。