机器人学操作，最值钱的画面来自它"自己的眼睛"：第一视角相机离夹爪和桌面最近，手与物体的接触关系看得最清楚。但这种数据恰恰最难收集——每条轨迹都要真机执行、人工重置、全程看护，失败还可能撞坏硬件。上海交通大学、阿里巴巴、天机芯智（Tianji Robotics）与香港科技大学等机构提出EgoGenesis，换了一条思路：用视频生成模型"造"出符合机器人视角几何与运动规律的第一视角操作视频，再把合成轨迹拿去训练操作策略。
EgoGenesis是一个第一视角世界—动作模拟器，建立在预训练视频生成模型之上，以文本、带噪视频和骨架序列为条件，自回归地逐段生成画面，并保证画面与动作标签严格对齐。团队在天机芯智Tianji M6双臂平台上做了检验：在400条真实轨迹之外加入400条合成轨迹共同训练，单臂任务的分布外成功率从77%提升到84%，双臂任务从53%提升到70%。
第一视角视频，难在"几何对不上"
通用视频模型生成的手部画面足够逼真，相机却会不受控地漂移，夹爪轨迹也和指定动作对不上；已有的动作条件方法能管住动作，场景和物体却会随时间慢慢"游走"，第一帧摆好的桌面，生成到后面面目全非。根子在于二维骨架、掩码、点轨迹这类控制信号，约束不了米制尺度下的相机运动和末端执行器运动。EgoGenesis的做法是把"世界"与"动作"拆开处理，两侧各自补上几何约束。
图1：EgoGenesis整体流水线。文本、噪声视频与骨架作为条件输入，扩散Transformer自回归生成并追加帧；OAPM在线维护锚定与近期两套三维场景槽，A3D-RoPE把动作几何注入骨架到视频的交叉注意力。
锚住第一帧，把动作写进三维坐标
世界建模一侧，在线锚定投射记忆（OAPM）始终保留第一帧重建出的三维场景作为不可变锚点，同时维护一个紧凑的、按置信度加权的近期快照并周期性刷新；相机感知的投射注意力在目标视角下同时读取两者，让新生成的历史可以更新当前场景，却不会覆盖稳定锚点，物体身份和桌面布局因此能"活"在整个长视频里。
动作编码一侧，轴向感知三维旋转位置编码（A3D-RoPE）把骨架或末端关节光栅化到潜空间补丁网格，借助相机轨迹反投影到三维，再把参考坐标系下的米制坐标编码为旋转相位，注入骨架到视频的交叉注意力。动作键与视频查询由此在同一个三维坐标系里对齐，夹爪去哪、相机怎么动，都成了显式条件。
图2：铺平短裤、组装方桌等任务上的定性对比，EgoGenesis更好地保持了本体形态、场景布局与接触驱动的物体变化。
80帧长视频，误差不再一路累积
长程自回归生成最容易暴露几何漂移。团队固定OAPM与训练设置，在80帧滚动生成中逐帧测量两类误差：动作关键点区域内的深度误差，以及首相机相对的Plücker坐标上逐像素计算的相机射线误差。结果到第80帧，A3D-RoPE的累积深度误差较标准RoPE降低79.30%、较PRoPE降低66.46%；相机位姿误差分别降低78.26%和49.04%。注意力可视化还显示，它的空间影响集中在末端执行器与接触相关区域，而非均匀散布在画面上。
图3：80帧生成过程中的累积深度误差与相机误差曲线，A3D-RoPE在全程都把几何漂移压在显著更低的水平。
真机验证：双臂成功率从53%到70%
下游验证在天机芯智Tianji M6上进行：头部第一视角相机俯瞰桌面，两只带夹爪的机械臂共享同一片工作台。团队设计了4个单臂技能与4个双臂技能，每个技能试验25次，专门考察分布外场景下的世界—动作模型。仅用400条真实轨迹时，单臂、双臂成功率分别为77%和53%；混入400条EgoGenesis合成轨迹后，分别升至84%和70%，协同要求更高的双臂任务涨幅尤其明显。
图4：Tianji M6真机执行序列，覆盖4个单臂与4个双臂技能，每行五个检查点呈现从初始构型到任务成功状态的完整过程。
从一台机器人走向多种本体
训练语料刻意混合了人手、灵巧手、平行夹爪与机械臂末端等多种本体，避免模型过拟合到单一执行器。跨本体演示中，给定相同的初始场景与指令，同一套方法沿完整手部骨架生成人手操作视频，又能沿从食指与拇指轨迹提取出的简化夹爪骨架，生成机械夹爪的操作视频，画面随本体形态一致切换。
图5：未见环境中的跨本体模拟——同一指令下，人手骨架与夹爪骨架分别驱动生成两种本体的第一视角操作视频。
看待这些结果需要克制：真机结论仅来自Tianji M6单一平台、8个技能、每技能25次试验，合成数据也是对400条真机轨迹的扩充而非零样本替代。不过"用生成视频补真机数据"第一次在双臂长程操作上给出明确正向信号；场景、物体和本体继续外扩时，几何一致性与策略增益能守住多少，值得持续追问。
