最强的机器人模型一定不只有一种数据来源。
作者丨饶舒玮
编辑丨岑峰
“既要又要”是何泰然的野心，也是决心。
在谈到人形机器人遥操作的可行路径时，何泰然表示他既可以实现机器人的全身控制，还可以用强化学习来实现这一点。在他所探索的这条路上，不必因为技术瓶颈或短期目标而妥协，可以“既要又要”。
遥操作，即远程操作（Teleoperation）。在机器人领域，人们通过某种设备操控机器人完成指令下的各种动作，从而收集机器人的训练数据，为后续自动化学习提供数据。因此，机器人遥控几乎是每一个机器人公司不可绕开的部分。
尽管市场潜力无限，但在何泰然看来，目前领域依然囿于技术难关，并未得到长足的发展。而现在，具身智能的兴起，为这一领域带来一些新的生机。
2015年前后，人工智能领域实现了从“感知智能”向“认知智能”研究范式的重大转变。ResNet、Transformer 等创新架构的提出，不仅推动了深度学习技术的飞跃，更为大模型的问世奠定了基础。大模型以其空前的计算能力和数据处理能力，极大地拓展了机器学习在处理复杂任务时的边界，尤其是在自然语言处理和计算机视觉等关键领域取得了革命性的进步。这些技术进步，为机器人的感知、决策和交互能力的提升，奠定了坚实的算法基础。
得益于此，自然语言处理、计算机视觉和机器学习领域的专家学者们，与机器人方向的研究者一道，成为引领这一波具身智能发展浪潮的关键力量。他们正推动着具身智能不断突破边界，向着更加智能化、更具人性化的方向发展。
尽管具身智能被视为未来人工智能研究的一个重要方向，但其发展仍处于起步阶段，正面临着技术、规范、安全等多方面的挑战。正如一百多年前汽车刚刚出现的时代，我们迫切需要打通从感知到认知的层面，建立起一套更大、更统一的系统。
OmniH2O 项目正是孵化于这样的一个时代背景之下。其发起者何泰然是卡内基梅隆大学（CMU）的一名博士生，连同他在内的9人小组就是一整个团队。在何泰然博士导师石冠亚、刘畅流以及之前在上海交通大学的导师张伟楠的指导和协助下，OmniH2O 不仅展示了全尺寸人形机器人的全身遥控和自主学习的能力，更是在人形机器人控制的自然性和灵活性上有所提升。
OmniH2O 项目的核心在于其基于学习的方法，通过使用运动学姿势作为通用的控制接口，实现多种控制人形机器人的方式。项目的一个关键贡献是其开发的端到端全身策略，该策略协调了上半身和下半身的动作，以支持灵巧的操控和稳健的移动。此外，OmniH2O项目还发布了首个针对人形机器人全身控制的数据集 OmniH2O-6，包含六个日常任务，并通过这些任务展示了人形机器人全身技能的学习能力。
在AI科技评论对何泰然博士的专访中，我们深入了解了 OmniH2O 项目的成立初衷、创新点以及其在具身智能领域中的潜在影响。何博士分享了他们团队如何通过遥操作实现数据收集和学习，解锁人形机器人的潜力，并讨论了在这一过程中遇到的挑战和解决经验。
以下即为AI科技评论与何泰然就OmniH2O项目的访谈实录，限于篇幅，AI科技评论进行了不改原意的编辑：
1
不再“从头开始”的遥操作
AI科技评论：在具身智能领域的生态链中， OmniH2O 项目的定位是什么？
何泰然：我们这个工作自身是一个概念验证（Proof of Concept）的定位。我想通过这个项目证明，人可以通过 VR 眼镜或者其他的设备比如 RGB 相机遥操作一个人形机器人来收集数据，使其完成日常生活的任务。
在这过程中，我们还希望能够有一些新发现，比如怎么样可以把控制和自主性做的更好、更鲁棒、更聪明。但我觉得在这一方面需要工业界的帮助，一起将整个系统进行优化升级，单凭我们学术界的实验室很难把这件事推动到极致。所以我称这个工作只是一个 Proof of Concept。
AI科技评论：为什么会选择人形机器人这个载体进行遥操作的研究？
何泰然：因为这个世界的所有设计都是围绕人类的身材和活动规律来设计的，只有人形的机器人，才能够无缝融入我们的物理世界。
此外，在遥操作一个机器人去进行学习训练的过程中，因为身体构造的相似，使得我们人类遥控人形机器人的学习成本最低，这也是关键因素之一。人类的大脑就是一个最强的预训练模型，我们可以将人类大脑的认知和控制能力提炼出来以此教会人形机器人，如此便可直接将人类世界的经验分享给机器人，从而进行遥操作，没必要再一切从头开始从零训练。
AI科技评论：那么，又为何会选择 VR 头盔进行遥操作？
何泰然：当时也有使用 RGB 相机，从一些 2D 的图像还原成 3D 的人类姿态估计，将这些数据去做遥操作然后喂给 tracking policy，这个方法可行，但精度和鲁棒性不如头戴式 VR。另外一些更好的 interface （比如动作捕捉设备或者全身的外骨骼）又太贵了，性价比不高。
后来我们发现使用 VR 眼镜可以很好地平衡价格和实用性。它有得天独厚的两个优势，一是它本身就是个显示器，可以完全代入机器人视角，相比别的设备更加直观。二是，VR 眼镜有非常准确的头、手追踪和位置估计。像是苹果就已经把这点做到极致了，每个手有25个点位，长什么样？分别的角度是多少？Apple Vision Pro 可以预估得非常精准。所以用这个设备来做遥操作，是再合适不过了。
所以目前来看，我们认为 VR 这个赛道很好，但如果未来有更好的设备出现，我们也会追求更好、更合适的设备来进行遥操作和训练。
AI科技评论：ChatGPT 出现之后，会考虑将 ChatGPT 跟 OmniH2O 打通实现自主操作吗？
何泰然：其实打通就是让类似 GPT-4o 这样的大模型来替换人类的遥操作员。但人类的遥操作员不管通过什么设备，其所传输给下游的都是人形机器人的控制策略，也就是一些人形机器人关键点（头/手/手指）的位置。我认为，如果下游的控制策略做得好，那么上游来自什么其实不重要。
如果我们要利用 GPT-4o 进行遥操作，就是通过人形机器人头上相机，将看到的东西实时传给 GPT-4o，告诉它现在要怎么做。但目前如果让 GPT-4o 直接执行指令，它的响应时间太长了，所以我们让 GPT-4o 进行行动的选择，而不是完全自主决策，我觉得这对现在的方案来说是最可行的。
当然之后我觉得像 GPT-4o 这样的 vision language model 一定会有非常大的进步，到时候甚至可以不用上传到云端，不会有网络的延迟，可以在机器人自己的设备上进行 inference。那个时候就不用做选择题了，直接做写作题就行了。
AI科技评论：现在有和哪些工业界的公司进行接触和合作吗？在和他们接触的时候会如何介绍这个项目？
何泰然：现在和工业界的接触还不多，一般我们是工业界的用户。因为我们实验室会买一些宇树或是其他公司的机器人。我觉得对于每一个公司来说，人形机器人遥操作都是一个不可缺失的部分。现在学术界有很多成果，来自UCSD、清华、Stanford和CMU，我相信未来工业界一定会有相当成熟的方案整合。
但现在很多公司在进行机器人遥操作过程中都有或多或少的妥协，要么是对上下半身分离控制，不做全身的控制，要么有些公司偏向于更稳定成熟的传统控制方法，不会选择上强化学习。而我们现在在做的事就是想传递给工业界这样一个信息：人形机器人遥操作可以既做全身控制又做强化学习，还能够达到很好的完成度。
2
最珍贵的数据最难得
AI科技评论：你们是如何解决在遥操作和自主学习方面遇到的一些技术障碍？
何泰然：我们不追求一步到位的解决。首先，我们会把问题进行拆分，比如我们会用一个很好的 interface （VR）来做遥操作，在下游用追踪策略（tracking policy） 来追踪人类的动作。由此，我们就把这个挑战拆分成身体控制和认知的的挑战，其中在认知层面，我们就可以用遥操作来代替。
在我看来，其实遥操作和自主学习这两类不同任务的边界很模糊。因为本质上，遥操作是为了让机器人实现自主学习。而这一切的基础都建立在一个非常好的控制策略上。上游的话，不论是来自人类的大脑，或是自己训练的自动智能体都是可行的。
AI科技评论：现在具身智能的发展需要各种各样的数据集，你认为哪些数据集比较重要？
何泰然：我觉得现在的问题在于每一种机器人形态都有它的数据集，但是我们很难把不同的数据整合到一起。今年年初 Stanford 发布的一个研究成果叫 UMI ，就是一个很好的 Manipulation Data 的尝试。
我认为，不管是狗式的机器臂，还是人形机器人的机械臂，都可以共享数据。但人形机器人不同于纯机械臂的manipulation，除了臂之外，腿、腰等部位的数据我觉得也相当重要。
AI科技评论：除了遥操作之外，我们知道还可以通过仿真获得数据，你认为 3D 仿真这种方式能从多大程度上解决数据问题？
何泰然：我觉得会从很大程度上解决。正是因为我们没有足够机器人在真实世界的数据，所以才需要仿真。虽然可能通过仿真获得的数据并不是那么准确，但能够提供足够好的起始数据。我相信未来最好的系统，一定不会只由一种数据所训练出来。
老生常谈，数据价值可以用金字塔的结构来比喻，最易得的模拟器仿真数据在最低层，无穷无尽也大致正确；最高层的数据最难得，但价值也最高。未来最好的算法或者最强的机器人模型，一定会是那种完美地融合了不同数据来源的类型。
AI科技评论：这个项目的数据集包含了哪些任务？未来还希望达到哪些任务目标？
何泰然：数据集包含了 6 个任务。第一个是打拳击，我作为教练，它要能够识别并执行拳套颜色和左右拳的指令。
第二个是玩儿石头剪刀布，输入游戏规则后，通过几次训练，让它学会怎么在石头剪刀布中赢。
第三个是关于下蹲躲避障碍物的任务。我们设置了一个长木横杠的自动装置不断向人形机器人靠近，如果机器人不能够学会下蹲进行躲避就会一直被打。
第四、五个都是抓取的任务，机器人用右手抓取物体放置在一个盒子上，再用左手给放回原处，如此左右手重复此过程。
第六个任务是关于扔垃圾的，比如我们将垃圾递给人形机器人，它要学会自主抓住，并使其放进垃圾桶。
未来我们希望能将控制做得更好，在行动效率、鲁棒性和准确性方面都有提升，这样收集数据的效率也会更高，我们也会