苹果下场做机器人“大脑”,最值得盯的竟然是触觉?

在具身智能的演进史上,硅谷算力巨头们正在发起一场关于“物理大脑”的军备竞赛。

苹果研究团队在 arXiv 上发布的人形机器人自主控制系统HALO(Humanoid Autonomy, Learned in simulation, running Onboard),把这场探索推向了高潮。

在完全不接入任何外部触觉传感器的前提下,依靠视觉深度图与仿真合成数据,机器人就能在 1000 个程序化生成的家庭场景中进行仿真训练,学习导航、避障、蹲伏、推箱子等动作,并进一步将训练所得的控制能力迁移到真实环境中。

这确实展现了算法与算力极致的爆发力。算力与仿真技术的结合,正在持续提升机器人在复杂环境中的自主控制能力。然而,当视觉路线被推向极致时,也划出了单一模态的物理边界:即便视觉算法能够精准重建三维空间,也无法直接获取微观维度的物理接触数据。

机器人操作的难点

藏在连续动作之间

HALO系统在单项任务测试中取得了 91% 的平均成功率,但当多个动作需要连续衔接、组成更长程的复合任务时,表现仍有一定差距。论文数据显示,其真实环境中的多步骤任务平均成功率为70%。

这不只是 “看不见目标”的表层问题,更反映出以视觉为主的感知方式在连续物理交互中存在的深层局限。当机器人执行连续操作时,物体可能脱离摄像头视野,也可能受到躯干或其他物体的遮挡。一旦物体被遮挡、移出画面,系统就失去了接触状态的直接信号。

苹果研究团队也在论文《Perceptive Humanoid Motion from Simulation》中明确提到了这一局限:视觉无法直接提供接触感知,当物体离开视野或被遮挡时,系统就缺少判断物体是否仍然存在的直接信号。对于这类接触密集型任务,引入触觉感知是一个自然的解决方向。

像这样类似的跨模态协同,在其他国际研究中也能找到印证。

在 UC Berkeley、斯坦福、NVIDIA、松下等机构研究人员参与研发的T-Rex 触觉响应式灵巧操作模型中,研究团队通过消融实验考察了触觉信息对操作表现的影响。在六项代表性操作任务中,完整模型的平均成功率为 65%;移除触觉信息后,成功率下降至 42%。

这组数据反映出一个值得关注的现象:视觉更擅长识别物体的形状、位置和整体环境,而摩擦力变化、边缘打滑和接触受力等信息,则需要更直接的感知方式来获取。

在精细操作过程中,视觉可以提供整体环境与动作参照,触觉则能够进一步反馈接触时的力学变化。因此,触觉并不是对视觉的替代,而是对机器人物理感知能力的重要补充。

模型缺的不是算力

而是可复用的物理经验

如果说前面的研究说明了触觉对机器人完成物理交互的重要性,那么进一步的问题便是:这些触觉信息如何被有效采集、理解,并转化为模型能够持续学习的数据?

以 Meta 为例,从早期的 DIGIT 系列触觉传感器、高精度的 DIGIT 360 触觉指尖,到用于整合多路触觉硬件的 Digit Plexus 平台,再到推出跨传感器的通用触觉表征框架 Sparsh,Meta 正在系统性地打破不同硬件之间的数据壁垒,降低触觉信号进入模型训练的门槛,让来自不同传感器的物理反馈能够被大模型统一理解和调用。

巨头之所以急于在底层标准上跑马圈地,根源在于大模型向物理世界延伸时面临的数据瓶颈。

过去几年,大语言模型靠着吞噬全网文本与二维视频完成了数字世界的跃进,但就像图灵奖得主 Yann LeCun 多次强调的那样:人类和动物的大量背景知识与物理常识,并非靠阅读或观看二维画面获得,而是在与物理世界持续接触、试错的过程中逐渐形成的。

这些探索所指向的,不只是单个触觉传感器的性能提升,也包括如何降低不同设备之间的数据使用门槛,让触觉信息更容易进入模型训练与实际应用。

在 Physical AI 时代,竞争不再局限于算力和模型参数。如何实现触觉数据的高质量采集、标准化表征与跨本体复用,正在成为影响机器人智能发展的重要课题。

装上触觉只是起点

跨本体数据标准才是关键跃迁

而如今,围绕触觉感知展开布局的企业越来越多,具体技术路径各不相同,对于机器人完成真实物理交互来说,稳定的接触信号和高质量触觉数据始终是重要基础。

以专注具身感知技术的帕西尼为例,其围绕“具身原生”理念,从机器人的本体结构与真实交互需求出发,将触觉感知、数据采集、模型应用与执行落地整合为一套连续的全栈技术体系。这一思路首先体现在感知硬件的设计上。感知不是脱离机器人本体的一组独立输入,而是围绕机器人的身体结构、动作执行和真实物理交互需求来组织。

在硬件层面,帕西尼以自研磁电感知芯片为基础,开发多维触觉传感器,把接触中的压力、方向和力矩等变化转化为可量化的信号。以 PX6AX GEN4 为例,其具备百万赫兹超高频采样能力,可以捕捉接触过程中快速变化的力学信息。

不过,传感器采集到信号,只是第一步。

帕西尼进一步将多维触觉信号与视觉画面、动作姿态等数据进行同步和关联,形成标准化的物理数据流,让模型能够把“看到了什么、做了什么、接触时发生了什么”对应起来。对于模型训练来说,这类关联数据也有助于建立动作与物理结果之间的联系,避免只有动作记录、缺少接触反馈。

这种数据组织方式,也为不同机器人本体之间的数据比较、训练和复用提供了基础。当然,标准化并不意味着不同机器人无需适配就能直接通用,仍需要结合各自的结构和任务进行调整。

与此同时,触觉硬件长期部署在指尖、掌面和足底等接触部位,需要应对反复按压与复杂工况,产品稳定性、批次一致性和制造品控同样重要。帕西尼正在推进相关产品的工程化量产,并围绕百万级工程化量产需求完善制造能力。

从实验室里的技术验证,到真实复杂产业一线的规模化搭载与稳定交付,帕西尼正用扎实的产品矩阵与量产底座,加速推动物理接触感知走向大规模产业普及。

跨越空间几何边界

具身智能正走进真实交互时代

前文讨论的是触觉如何被采集、组织和标准化,而这些工作的最终目的,是让模型真正理解物理交互,并将感知信息转化为实际的操作能力。

从苹果 HALO 展示的仿真训练与自主控制能力,到英伟达刚官宣的 GR00T 2 等机器人基础模型的持续演进,行业正在探索如何让模型更好地连接多模态感知信息与真实物理动作。不同机器人的关节数量、手型和驱动方式虽然各不相同,但接触位置、受力方向与摩擦变化等物理现象,仍然具有可以被共同描述和学习的规律。

对于帕西尼而言,触觉数据平台的价值,不只在于提供高精度的传感器,更在于通过软硬件解耦、数据同步和标准化表达,让触觉信息能够适配更多机器人本体与应用场景,成为模型获取真实物理交互信息的重要数据接口,持续为各类大脑模型输送高质量的真实 Ground Truth。

具身智能的进化,本质上是一场从“空间几何”向“物理力学”延伸的接力赛。从看清几何,到理解物理。机器人对真实世界的理解,正在从“看见”进一步走向“感受”与“交互”。

鲸奇智慧 Explore

*编者申明:原创不易,请尊重作者;如需转载,请与我们联系。

声明:本文为维科号作者发布,不代表维科号立场。如有侵权或其他问题,请及时联系我们举报。