
【编者按】
一只水杯从夹爪中滑脱,对使用者而言只是个小插曲,但在大晓机器人首席科学家陶大程看来,这正是具身智能最被低估的瞬间:机器人能否从一次失误里“长记性”,并把这份经验传给下一台机器人?
大晓机器人是商汤“1+X”战略中独立运营的具身智能公司,由商汤科技联合创始人王晓刚出任董事长,首创 ACE 具身研发范式,自研的"开悟"世界模型是国内首个开源且实现商业应用的世界模型;今年上半年,公司完成数亿元天使轮融资。
陶大程是这家公司技术路线的核心人物:新加坡南洋理工大学杰出教授,先后当选 IEEE、AAAS、ACM Fellow,论文在 Google Scholar 上被引超过 17 万次;加入大晓之前,他还曾担任优必选人工智能首席科学家。
在这篇最新技术分享中,他系统阐述了大晓的“双脑协同”路线:云端大脑 SenseNova 负责任务理解与推理规划,端侧世界模型“开悟”负责物理状态判断与后果预测,再通过具身 Harness 接入真实控制回路。以下为核心内容,略经编辑整理。
文|陶大程(大晓机器人首席科学家)
核心看点:
•经验只有连同证据和适用条件一起被保留,才真正可迁移;•任务推理与物理预测必须在执行中实时互相校正,这是“双脑”存在的理由;
•自主执行、经验学习、递归自我改进,三个闭环让行动、学习与研发相互促进;
•Real2Sim2Real 循环:把宝贵的真机时间,花在关键问题上;
•具身智能的“Transformer 时刻”,取决于能否形成跨任务、跨本体复用的物理知识底座。
(大晓机器人首席科学家陶大程)
具身智能最贵的成本,不是算力,而是真机时间。一次试验涉及设备调试、场景布置、人工复位和故障恢复,持续运行还会带来磨损。
一次失败如果只留下日志,一次成功如果只留下标签,相似的试错就会随着部署规模扩大,在不同设备、不同项目里反复发生。
把交互中有效的认识,连同证据和适用条件一起提炼、保存,再放到新任务里验证,真实经验才可能沉淀为能力。
这也是具身智能走到今天绕不开的一问:机器人能否在完成任务的同时改善后续行动,获得一项新能力的成本能否随经验积累而下降?
通用模型正在增强机器人理解目标、拆解任务、组织技能的能力;世界模型让预测动作后果、比较候选方案有了新方法;感知与控制技术则把这些能力带进真实物理过程。
当三者逐渐接上,问题就从“能不能完成”变成“能不能越做越省”。
真实交互与仿真在这里互为补充:真实世界暴露模型尚未理解的条件,为物理判断提供依据;经过校准的仿真扩展探索,帮系统比较方案,把有限的真机时间用在最需要确认的问题上。
循环是否有效,最终仍要回到真实任务里检验——预测是否更可信,失败是否更容易恢复,新场景是否更少重复试错。对中国具身智能产业,这是一次把制造优势转成智能优势的机会。
从产线装配、仓储搬运到复杂条件下的抓取,完备的供应链和丰富的作业场景,每天都在产生大量交互。
能不能把散落在不同设备、不同项目里的经验,变成跨任务、跨场景、跨本体可用的知识,决定了这些场景究竟是数据,还是资产。大晓的双脑协同,就是围绕这件事展开的。
云端大脑SenseNova 负责任务理解、推理规划与能力组织;端侧“开悟”世界模型负责物理状态判断与行动后果预测;具身 Harness 把感知、记忆、技能与控制串起来,让真实反馈既进入下一次判断,也进入后续能力的改进。
一句话:让一台机器人付出的探索,为更多机器人提供依据;让今天获得的经验,减少明天必须重复的试错。
从“完成任务”,到“积累能力”
要让一次抓取成功成为可复用的经验,系统需要进一步分析:接触位置是否合适,夹持是否稳定,动作调整解决了什么问题;当物体或夹爪发生变化时,这些判断是否仍然成立。
同样一次滑移,背后可能有完全不同的原因:杯子表面的状态、杯中液体带来的载荷变化、夹爪的接触位置,甚至最初的定位误差。单次观察往往不足以区分它们。
系统需要把原先的预测、实际执行的动作和获得的反馈联系起来,通过补充观察、可获得的接触信息或有针对性的试探,逐步缩小不确定性。
证据不足的判断,也应当保留为待验证的假设。这一步决定了经验能够以什么形式被留下。
举个例子:如果后续验证发现,在某类物体和接触条件下,抬升前的一次短距离试探有助于判断抓握是否稳定,那么值得保留的就包括——这项试探适用于哪些条件、需要观察什么信号、出现什么结果时应该调整动作,以及哪些情况仍然无法据此判断。
这样的认识,才能在下一次任务中帮助机器人作出选择。真正可迁移的经验,是连同证据和适用范围一起被保留下来的认识。
它可以体现为一个可调用的技能、一条可检索的经验记录,也可以通过训练进入策略或世界模型。
系统还应当识别哪些经历提供了新信息:反复完成已经掌握的动作,与一次揭示原有判断缺陷的交互,学习价值可能完全不同。
当另一台机器人面对相似任务时,过去的经验可以帮助它更快找到值得尝试的方案,也可以提示哪些条件需要优先确认。当然,具体的夹持力度、动作幅度和控制参数,仍需结合新的夹爪、传感器与执行能力进行适配。经验复用的意义,在于缩小探索范围、减少重复试错,同时保留对新条件的判断能力。
这种积累最终需要在后续任务中兑现:掌握一项相关技能后,学习下一项技能是否需要更少的示范和真机试验?换一个物体或一种本体,适配过程是否更快?
面对扰动,是否更容易发现偏差并恢复?加入新能力之后,已有技能是否仍然可靠?这些结果,才能说明系统是否真正从过去的交互中获益。
从完成任务走向积累能力,意味着机器人获得的每一项经过验证的认识,都有机会成为后续学习的起点。要建立这样的路径,就需要把任务理解、物理判断、行动执行和经验学习连接起来。
为什么需要“双脑”协同?
要让过去的经验真正帮助下一次行动,机器人需要同时回答两个相互关联的问题:为了完成目标,下一步应该做什么?在眼前的物理条件下,这一步可能带来什么结果?
前者涉及目标、计划与技能组织,后者涉及状态、接触与动作后果。
可靠的行动,需要这两类判断在执行过程中不断相互校正。在大晓的设计中,这两个问题分别由“双脑”承接。云端大脑 SenseNova,侧重理解任务、组织能力。
它需要判断用户希望完成什么,将目标拆解为可执行的步骤,从已有经验和技能中选择合适的方法,并在情况变化时调整计划。
面对一次失败,它还要结合任务过程复盘:原先的目标是否合理?技能选择是否恰当?哪些判断需要重新确认?端侧的“开悟”世界模型,则侧重物理状态的理解、生成与预测。
它根据当前观测和交互历史,判断物体的位置、运动和接触状态,在需要时构造候选的演化过程,为不同动作可能带来的后果提供预测依据。
这些预测同样要保留不确定性:哪些条件已有充分观测,哪些判断依赖尚未验证的假设,哪些地方需要通过新的交互才能确认。
这样的分工,与两类判断对资源和时间的不同要求有关。任务推理需要调用较广泛的知识、记忆和技能,云端有利于这些能力的共享与更新;
物理状态判断必须紧贴现场变化,端侧部署才能及时利用新的观测与反馈。
更快的接触调节、姿态稳定和动作执行,则由相应策略与实时控制器承接。模型、策略和控制器各自承担适合的职责,共同形成完整的行动过程。
仍以取杯为例:SenseNova 根据目标选择取杯技能,并提出接近方向和抓取方案;开悟结合当前观测,预测这些方案可能带来的状态变化。
如果遮挡使接触位置难以判断,或者已有信息不足以估计抓握稳定性,这种不确定性就应当进入任务决策——SenseNova 据此选择改变观察角度、安排一次试探,或者调整抓取方式。
新的观测再返回物理侧,帮助更新判断,随后决定是否继续执行。双脑协同的关键,是让任务推理不断接受物理反馈,也让物理预测围绕任务需要展开。
二者通过明确的接口交换目标、候选行动、预测结果和不确定性,才能把各自的能力用于同一个决策。这种协同还会延续到任务结束之后。
执行前的判断、提出的预测、实际采取的动作和最终结果,共同构成复盘的依据。
预测与现实之间的偏差,帮助系统识别需要进一步调查的问题:是状态理解有误,物理条件发生了变化,技能选择不合适,还是执行没有达到预期?
这些线索经过分析与验证,再决定进入经验记忆、技能调整或模型训练,为后续行动提供更可靠的起点。
我们用“双脑”组织这两类能力侧重,同时保留实现方式演进的空间:两者可以共享表示和部分模型能力,具体的模型组织与云端、端侧分工,也根据任务、算力和时延要求调整。
需要持续检验的是,这种协同是否帮助机器人更早发现关键不确定性,选择更有效的动作,并把真实交互中的有效认识带到后续任务中。
模型之外,还得有一套 Harness
当 SenseNova 提出一个抓取方案、开悟给出相应预测之后,系统还需要完成一系列具体工作:确认当前观测是否足以支持行动,将目标转换为机器人能够执行的指令,调用适合的技能,并在执行偏离预期时及时处理。
模型之间的判断,需要经过这些环节,才能成为真实世界中的有效行动。
在大晓的系统设计中,这个角色由具身 Harness承担——可以理解为具身智能的一套“运行时”。
它维护任务状态,连接记忆、技能库、感知与三维重建等工具,明确各个模块交换什么信息、在什么条件下调用,以及怎样处理执行反馈。
通过这套运行机制,SenseNova 的任务计划、开悟的物理预测和控制器的实际执行,才能对应到同一个任务阶段。
以取杯为例:感知工具提供的物体位置,需要转换到当前机器人的坐标与动作接口中;
所选技能需要说明适用的夹爪、输入参数和执行条件;系统还需要判断什么观测代表抓取完成,什么信号意味着滑移或接触异常。
一个可以稳定调用的技能,应当连同这些条件和判据一起进入技能库。
这样,SenseNova 在组织任务时,才能知道一项能力何时可用、执行到了哪里,以及失败后还有哪些恢复路径。
动作执行也需要恰当的分工:学习型策略结合视觉、任务目标和历史状态生成动作参考,解析控制器则依据本体特性完成位姿跟踪、接触调节和执行约束处理。
较快的反馈在相应控制环中得到响应;当偏差影响任务继续进行时,Harness 将状态变化传回 SenseNova 与开悟,由它们重新判断是否补充观察、调整方案或调用恢复技能。
不同时间尺度上的判断,由此衔接起来。Harness 还需要为经验积累保留可追溯的依据:一次任务中的场景条件、本体配置、所用技能、模型预测、执行反馈和人工介入,都可能影响对结果的解释。
将这些信息与具体执行阶段对应起来,才能识别问题来自观测不足、预测偏差、技能选择还是动作执行,并据此选择合适的改进对象。
更重要的是,运行中的纠偏与后续的能力更新,可以按照不同节奏进行:当前系统先完成必要的调整,交互记录随后进入筛选与复测;得到支持的认识再进入记忆、技能或模型,证据发生变化时,也能够修订其适用范围。
经验由此拥有从产生、验证到再次使用的清晰路径。当机器人本体发生变化时,这套机制同样重要:共同的任务描述和技能意图,需要通过接口映射到新的感知方式、动作空间和控制能力;
与接触、载荷和执行精度有关的条件,则需要重新校准。更换一个本体,由此成为有依据的能力迁移过程,而非从头再来。
(大晓机器人“双脑协同”系统架构:通用模型与世界模型经由具身 Harness 接入真机与仿真环境)

三个递进闭环改动作、改能力、改研发
真实反馈进入系统之后,可以推动不同层次的变化:纠正当前行动,改善后续能力,进一步优化“获得能力的方法”本身。
大晓以三个递进的闭环来组织这些变化,分别明确它们改变什么、如何运行,以及需要用什么结果证明改进确实发生。第一个闭环:自主执行——让机器人更可靠地完成当前任务。
机器人在行动中持续获得新的观测,据此更新状态判断、调整计划,并在必要时补充感知或调用恢复技能。
取杯过程中出现遮挡、接触变化或滑移时,系统需要及时识别偏差,结合当前条件决定怎样继续。较快的执行反馈由控制环处理,影响任务推进的变化则进入 SenseNova 与开悟的协同判断。
这个闭环可以在模型参数保持不变的情况下运行,改善的是当前任务中的决策与执行。任务完成率、偏差发现与恢复时间、人工介入量,都可以帮助衡量它是否有效。
执行过程同时留下观测、预测、动作与结果,为后续学习提供依据。第二个闭环:经验学习——让一次交互改善后续能力。
进入这一层,系统需要从执行记录中筛选值得学习的内容,分析它们揭示了哪些新条件、修正了哪些旧判断,再选择合适的方式保留:有些经验先成为带有适用条件的长期记忆,在后续任务中被检索调用;有些经验转化为技能调整;涉及动作生成或物理预测的问题,则可能需要对策略或世界模型进行有针对性的训练。
比如,某次抓取恢复的方法经过进一步验证后,可能对一类接触条件相近的物体都有效。
系统便可以将相关条件、判断依据和恢复方式保留下来,在遇到相似情境时优先参考。换用新的夹爪或面对不同载荷时,它仍需确认这些经验的适用范围,并通过新的反馈继续修正。
这个闭环是否成立,要看收益能否延续到后续任务:在独立测试中,系统是否减少了重复错误?
是否用更少的新增示范和真机试验完成适配?是否在获得新技能的同时保持了已有能力?这些结果决定一项更新是否值得进入部署,也决定这段经验应当在多大范围内被复用。
第三个闭环:递归自我改进——让“获得能力的方法”也能持续优化。
当系统能够持续执行和学习之后,更深一层的问题浮现:哪些失败最值得调查?下一批数据应该采集什么?当前的训练方法是否有效?同样的真机时间,怎样才能带来更多能力收益?
大晓希望让研发智能体逐步参与这些工作:汇总反复出现的失败,提出可检验的原因假设,选择能够区分这些假设的实验,并为数据补充、模型训练或系统调整提出候选方案。
世界模型与经过校准的仿真可以帮助比较方案,真实任务则用于确认改进能否兑现。有效的方法经过验证后,再进入下一轮学习与研发。
这一层需要更严格的对照:在可比较的任务和资源条件下,调整后的流程是否更快获得了可靠能力?是否减少了人工、计算或设备时间?
自动化实验能够提高流程效率,而递归自我改进还要回答一个更有挑战性的问题——系统能否在增长能力的同时,提高自身获得能力的效率?
三个闭环按照不同节奏运行:执行中的纠偏需要及时响应,长期能力更新需要经过验证,研发方法的变化需要更充分的比较与复测。
它们共享真实交互提供的证据,也相互提供条件:更可靠的执行让系统进入更多任务,更有效的学习减少重复试错,更好的研发方法则提高下一轮改进的效率。
更有价值的进步,是让下一次进步更容易发生。双脑协同希望建立的,正是这样一条从行动延伸到学习、再延伸到研发的路径。
真机时间要花在刀刃上
在真实机器人上推进三个闭环,需要面对具体的时间与资源约束:一次试验可能涉及设备调试、场景布置、人工复位和故障恢复,持续运行还会带来磨损与环境变化。
因此,提升学习效率的前提,是认真选择每次交互要回答什么问题,并让已经获得的记录产生更多训练与验证价值。
真实交互为系统提供了理解物理世界的依据。以取杯为例,三维重建可以帮助确定杯子的形状、位置和周围空间;而载荷、表面状态、接触形变等影响抓取的条件,还需要结合动作与反馈进行估计。
系统应当逐步确认:哪些参数与当前任务密切相关,哪些判断已经得到支持,哪些仍存在较大的不确定性。这些认识正是构建仿真环境的起点。
世界模型从交互数据中学习状态如何变化,三维重建工具提供场景与物体的几何信息,物理仿真器则提供可干预、可重复运行的实验环境。
它们需要通过真实记录相互校准:在相近的初始条件和动作输入下,仿真中的关键变化能否与实际观测对应?对于暂时无法确定的物理属性,可以保留与现有证据相容的参数范围,进一步检验不同取值对任务结果的影响。
一段真实轨迹,由此有机会成为一组可控实验的起点:系统可以改变物体位置、载荷范围、接触条件或执行扰动,比较不同方案在哪些情况下仍然有效、哪些条件会使原有技能失效。
仿真也应覆盖容易出错的动作,帮助系统学习如何识别失败、何时需要恢复,以及什么情况下应该补充观察。
经过校准的模型,让已有交互中的信息延展到更广的训练与评测空间。
仿真还可以反过来帮助选择下一次真机试验:假如几个与现有观测都相容的物理模型,对同一个动作给出了不同预测,这种分歧就指出了一个值得调查的问题。
系统可以围绕它设计新的观察或试探,优先确认最可能改变行动选择的条件。
这样,真机交互既承担任务执行,也承担消除关键不确定性的作用。
这就是大晓希望形成的 Real2Sim2Real 循环:真实交互提供证据,模型与仿真据此建立和修正物理认识;
仿真扩展练习、比较候选方案,并暴露需要进一步确认的问题;筛选后的方案再回到真实任务中接受检验;新的结果继续用于校准环境、调整策略和更新经验,使下一轮探索建立在更充分的认识之上。
相应地,评价一个世界模型或仿真环境,应当考察它对实际行动的帮助:能否正确区分候选方案的优劣?能否预见关键的接触失败?
能否让仿真中获得的改进在真机上兑现?能否减少达到同等能力所需的真实交互?……而不是只看视觉表现是否逼真。
验收还需要保留独立的真实任务与条件,检验系统能否把改进带到新的物体、场景和本体上。
总成本也应一并计算,包括新增数据、人工操作、计算、设备占用和恢复时间。只有把投入与收益联系起来,才能判断一次仿真扩展或模型更新,是否真的提高了能力获取效率。
走向具身智能的“Transformer 时刻”
双脑协同、三个递进闭环,以及真机与仿真的相互校准,最终指向一个共同目标:让机器人在真实交互中获得的经验,成为更多任务和本体可以复用的基础。
Transformer 的重要启发在于:共享的基础架构能够承载多种能力,并支持持续扩展。
期待具身智能也迎来这样的“Transformer 时刻”——机器人领域逐步形成广泛可复用的共同底座,使不同任务和本体能够共享经过验证的物理认识,让一次部署积累的经验服务更多后续场景,并支持模型、工具与控制器在这一基础上持续演进。但在物理世界中,这件事面临更复杂的条件。
机器人拥有不同的身体、传感器和执行能力,同一个任务也会受到空间、接触、载荷与环境变化的影响。
因此,共同底座需要连接“可共享的物理关系”与“各自的执行条件”:既要支持不同任务利用已有认识,也要帮助系统识别迁移中的差异,判断何时可以复用、何时需要重新观察和学习。
大晓把世界模型视为构建这一底座的核心环节。物体如何运动,接触如何改变状态,一个动作可能产生什么后果——这些认识能够为规划、控制、仿真和学习共同提供依据。
如果真实交互可以不断校准这些认识,而校准后的模型又能够帮助更多任务选择行动、组织练习和发现未知条件,物理经验就有机会进入一条持续扩展的学习路径。
这条路径能否走通,需要回答几个关键问题:随着经验覆盖更多物体、场景和接触条件,同一套核心机制能否在更广泛的独立任务上持续获得收益?
换用新的本体时,已有认识能否减少适配所需的数据与工程投入?模型和工具更新之后,经过验证的技能与经验能否继续发挥作用?
尤其值得观察的,是能力获取成本的变化:在可比较的条件下,掌握一项相关新能力所需的真机时间、人工投入和计算资源,是否随着经验积累而下降;
获得这些收益时,系统能否保持已有技能,并在新的条件下可靠运行。
这样的证据如果能够跨任务、跨本体、跨轮次重复出现,就说明共同基础正在产生持续价值。
这种价值还会进一步改变机器人开发的方式:新的本体可以借助已有的任务组织与物理认识,更集中地解决自身感知和执行上的差异;
新的应用可以利用经过验证的技能、场景与评测工具,更快找到需要探索的关键问题;不同团队也可以围绕清晰的接口与验证标准贡献成果,让各自的进步被更多后续工作承接。
结语让下一台机器人少走弯路
回到最初的那只水杯。取杯任务结束后,这次交互的价值仍有机会继续延伸:一次滑移可能暴露了尚未理解的接触条件,一次调整可能提供了值得检验的恢复方法。
经过分析与验证,系统会更清楚地认识:什么条件下可以继续行动,什么时候需要改变策略,还有哪些问题必须交给下一次交互来回答。
明天,另一台机器人面对相似任务时,除了观察眼前的环境、确认自身的执行条件,还可以借助已有经验,更快找到值得尝试的方案,更早注意到容易忽略的变化,并更有针对性地安排试探。
当这些认识帮助它减少了重复错误、缩短了适配过程,今天这次交互,就开始产生超出单次任务的价值。
当然,这份期待需要由可重复的结果逐步支撑:新的任务是否用更少的真机试验学会?新的本体是否以更低的成本完成适配?系统是否在增长能力的同时保持可靠?
这些收益能否随着经验积累而延续?把这些问题变成清晰的实验、可追溯的证据和持续的改进,是大晓推进双脑协同需要完成的工作。
希望有一天,机器人进入一个新场景时,能够带着更充分的认识出发;离开这个场景时,也能为后来者留下经过检验的经验。
让一台机器人付出的探索,为更多机器人省下重复试错的代价,是双脑协同想要推动的进步。
编辑:木人
审校:张问心 制作:瑞总