Maxwell 控制机械臂抓取并移动纸杯的真机实验

GENERALIST EMBODIED INTELLIGENCE

MAXWELL

通用具身智能模型

以可变时长事件为动作的基本单元,让视觉、语言与连续控制在一个紧凑模型中协同工作。HEAT 与 Continuous-HEAT 在同一事件动作框架下,以两种接口实现面向机器人操作的精细控制。

论文 / 技术报告 查看论文 PDF
即将发布
即将发布
1B完整模型参数规模(含动作头)
37.99M训练数据帧规模
91.9%MetaWorld MT50 平均成功率
REAL-WORLD MANIPULATION / PIPER

METAWORLD MT50 EVALUATION

性能指标打破 MetaWorld 权威榜单纪录

91.9% 平均成功率 四档难度成功率均值 · 总成功率 92.20%(2305 / 2500 条轨迹成功)
Easy28 项任务 · 1292 / 1400
92.29%
Medium11 项任务 · 507 / 550
92.18%
Hard6 项任务 · 287 / 300
95.67%
Very Hard5 项任务 · 219 / 250
87.60%

评测覆盖

50项任务
2,500条轨迹
4档难度
以上为项目评测数据;榜单表述依据项目所采用的 MetaWorld 公开榜单比较口径。
MetaWorld 公开榜单截图
MetaWorld 公开榜单截图。更多信息参考物智进化(EVO-Studio)SOTA 榜单:sota.evomind-tech.com

SHARED EVENT-ACTION FRAMEWORK

机器人动作,不只是连续数字

一次操作天然由若干持续时间不同的事件构成:接近、接触、抓取、搬运与放置。共享框架先学习事件边界与时长,再由 HEAT 或 Continuous-HEAT 接口保留真实执行所需的连续精度。

01

自适应时序

根据动作变化学习事件边界,把更多表示能力分配给接触与转换阶段,把稳定运动压缩为更长事件。

02

双路径事件接口

HEAT 采用离散 token 与连续残差,Continuous-HEAT 采用连续事件潜变量;二者共享事件语义与持续时间建模。

03

短时域闭环

先预测完整事件计划,再只执行前几个动作并重新观察环境,降低接触误差与环境变化的累积影响。

MODEL ARCHITECTURE

0.8B 主干,1B 完整模型

当前模型以 0.8B 多模态主干承接视觉、语言、机器人状态与本体信息,接入事件接口与动作头后,完整参数规模约为 1B。当前 0.8B 主干采用 Qwen3.5 实现;模型的关键设计位于其上的事件动作接口与连续动作生成模块。3B 全自研主干版本也即将推出。

MULTIMODAL BACKBONE0.8B 多模态主干视觉 · 语言 · 状态 · 本体
EVENT + ACTION事件接口与动作头两种事件参数化路线
FULL MODEL≈ 1B 完整模型包含动作头
HEAT / Continuous-HEAT 共享框架 查看原图
HEAT 与 Continuous-HEAT 共享的事件自适应动作表征框架,展示事件边界与持续时间学习,以及离散连续和连续潜变量两种策略接口
两种路线先共享可变时长事件语义,再在面向策略的接口层分化:HEAT 使用 FSQ token、有界连续残差与时长;Continuous-HEAT 使用连续事件潜变量与时长,并衔接 Flow Matching 动作头。

ONE FRAMEWORK / TWO INTERFACES

一个事件动作框架,两种实现路线

两种路线共享事件语义与持续时间建模,只在面向策略的事件接口上采用不同参数化方式,并共同服务于紧凑表征、多任务泛化与闭环控制。

SHARED EVENT-ADAPTIVE CORE

从动作变化中发现可变时长事件

把连续动作块转化为紧凑、具备持续时间感知的控制单元;训练阶段由动作派生教师提供监督,推理阶段只依赖当前多模态观察。

事件内容
紧凑动作语义
时间结构
边界 + 显式时长
执行机制
短时域闭环
01 DISCRETE–CONTINUOUS INTERFACE

HEAT

以 FSQ 离散 token 表达事件身份,以有界连续残差保留度量细节,并显式预测事件持续时间。

策略接口离散—连续事件表示
02 CONTINUOUS EVENT LATENT

Continuous-HEAT

保留相同的事件语义与时间抽象,以归一化连续事件潜变量为 Flow Matching 动作生成提供条件。

策略接口连续事件潜变量
查看统一架构

CONTINUOUS-HEAT / MATCHED CONTROL

事件条件带来稳定增益

每组实验都保持数据、骨干、优化器、流积分步数与执行时域一致。

LIBEROCPT 阶段
NO HEAT62.20%
C-HEAT68.87%
绝对增益+6.67 pp
LIBEROSFT 阶段
NO HEAT52.16%
C-HEAT87.89%
最大绝对增益+35.74 pp
MetaWorldCPT 阶段
NO HEAT7.32%
C-HEAT12.64%
绝对增益+5.32 pp
MetaWorldSFT 阶段
NO HEAT43.92%
C-HEAT54.60%
绝对增益+10.68 pp
在相同 CPT 或 SFT 训练阶段内,HEAT 与 No HEAT 在 LIBERO 和 MetaWorld 上的成功率对比
HEAT / No HEAT 匹配消融。这里的 HEAT 表示启用 Continuous-HEAT 事件条件,No HEAT 表示关闭事件通路;结果来自论文所列的单次种子 rollout 评测。

DISCRETE HEAT / EVENTFORMER

离散 HEAT:更少 token,更高成功率

离散版 HEAT 用 8 个可变时长事件表示 32 帧动作,每个事件由 FSQ token、连续残差与显式时长组成,再由 EventFormer 自回归预测并以短时域闭环执行。

LIBERO62.3%10 项任务平均
MetaWorld63.9%4 项任务平均
RoboMimic58.1%3 项任务平均

HEAT EventFormer 在论文列出的三组基准中均达到相应表格的最高平均成功率。

LIBERO10 TASKS
OAT55.7%
HEAT62.3%
领先最强对照+6.6 pp
Book / Caddy 任务达到 100.0%
MetaWorld4 TASKS
VQ-BeT58.8%
HEAT63.9%
领先最强对照+5.1 pp
Disassemble 任务达到 89.6%
RoboMimic3 TASKS
VQ-BeT42.5%
HEAT58.1%
领先最强对照+15.6 pp
Lift / Can 分别达到 94.4% / 79.8%
LIBERO COMPONENT ABLATION 查看原图
离散 HEAT 在 LIBERO 上的组件消融成功率
完整 HEAT 达到 62.3%。固定事件时长、仅训练 token 或移除动作修正器都会带来明显下降,说明自适应时序与闭环连续修正共同决定最终控制性能。

WHAT MATTERS

自适应时长与动作修正不可或缺

消融结果把增益拆到具体组件:离散 token 提供事件身份,连续分支保留度量细节,预测时长与动作修正器负责将紧凑计划可靠地还原为控制轨迹。

固定事件时长
−10.1 pp52.2%
移除动作修正器
−13.7 pp48.6%
仅 token 策略
−19.5 pp42.8%

DATA ENGINE

面向不同机器人与任务的数据底座

训练管线统一整理 16 组 LeRobot v3 数据目录,覆盖不同动作维度、相机数量与采集频率,为视觉语言动作模型提供异构训练语料。

16数据目录
257,875Episodes
37.99MFrames
≥185.25GB可读取数据

16 组数据,覆盖 9 类来源

CALVINDROIDLIBEROMetaWorldOXE × 7RoboMMERoboMimicRoboCasaPiper
动作宽度
4–14 维
相机数量
1–4 路
采集频率
5–80 Hz
平均序列
147.3 帧

OXE 与 RoboCasa 合计占已存储帧数的 88.4%。训练前通过统一 schema 对齐图像、语言、动作、状态与本体描述。

16 组训练数据的帧数量与来源占比分布
LIBERO、MetaWorld 与 RoboMimic 的第三人称和腕部相机样例
多视角样例。 从左至右为 LIBERO、MetaWorld 与 RoboMimic;上排是第三人称视角,下排是腕部视角。

ROBOT IN MOTION

从仿真到真机

操作能力在不同环境中接受验证。真机实验展示视觉条件下的抓取与搬运;仿真任务覆盖接触、路径规划、容器操作与长序列任务。

机械臂抓取并搬运彩色积木的真机实验
真机实验 01彩色积木抓取与搬运
机械臂抓取纸杯并移动到目标位置的真机实验
真机实验 02纸杯抓取与定点放置
MetaWorld 螺母套柱仿真任务
MetaWorld螺母套柱
MetaWorld 抓球入筐仿真任务
MetaWorld抓球入筐
MetaWorld 绕过障碍按下按钮仿真任务
MetaWorld绕障按按钮
LIBERO 开启炉灶并放置摩卡壶仿真任务
LIBERO开灶放壶
LIBERO 将杯子放入微波炉并关闭炉门仿真任务
LIBERO移杯入微波炉
LIBERO 将书本放入收纳盒后部仿真任务
LIBERO书本放入收纳盒

ACKNOWLEDGMENTS

致谢

本研究得到江苏省前沿技术研发计划和南京市重大专项资助。