机器人要学会做家务，先得看懂人是怎么做家务的。可现有数据要么来自脚本化的实验室演示，要么是网络上没有动作真值的视频，规模与真实感很难兼得。南洋理工大学 S-Lab 与 ACE Robotics 给出的思路，是把真实公寓直接改造成录制棚：一套名为 ACE（Ambient Capture Engine）的环境采集系统，在人正常做饭、整理、休息时，从多个视角把画面、动作和接触信号同步记录下来。
在此基础上，团队发布了家庭场景多模态数据集 ACE-Data-0：150 小时日常居家活动、约 1700 万视频帧、200 类任务、75000 个交互片段，由 50 名参与者在 2 个真实环境中完成。参与者不照脚本行事，而是按目标级指令用自己的方式完成任务，会犹豫、会临时调整，和在家里一样。
把真公寓变成录制棚，而不是另搭一个棚
细粒度手部操作与房间尺度活动，对传感器布置的要求相互矛盾：前者需要近距离密集相机，后者需要大范围覆盖。ACE 没有折中，而是做成两套互补配置——桌面尺度密集布置近景相机与高分辨率触觉传感，房间尺度则把传感器铺满一整套带家具的公寓。
房间尺度场地约 200 平方米，含带中岛的厨房、餐厅、客厅和卧室；桌面尺度围绕工作台搭建，约 30 平方米，摆放刀具、碗具、食物容器等可交互物体。两套配置都配有光学动捕系统，桌面配置由 16 台 OptiTrack 相机构成跟踪空间，41 个身体标记点、物体与头戴设备均被实时定位。
图1：等距视角的双层公寓剖面展示了两套尺度下的相机与动捕设备布置。
两种尺度：从全屋收纳到灶前切菜
房间尺度记录的是全身运动与跨空间交互：整理床铺、把衣物收纳进柜子、在厨房与客厅之间来回取物，动作持续数分钟，涉及走动、开门、搬运等长程行为。桌面尺度聚焦手部细节：切配食材、操作小家电、端碗倒水，近距离相机与触觉手套捕捉接触瞬间的力道变化。
同一时刻，每个动作都被 8 个以上视角同时观察，并对齐到统一的时空坐标系：多视角 RGB 视频、第一人称头戴画面、身体与手部姿态、每个物体的 6 自由度位姿轨迹、深度、音频与触觉信号。所有可交互物体都先通过三维扫描或高斯泼溅重建为网格模型并绑定标记点，物体的精确几何因此能以 60 赫兹放回世界坐标中。
图2：房间尺度站点的户型与机位平面图，相机沿全屋四周布置，覆盖厨房、餐厅、客厅与卧室等约200平方米的活动区。
图3：桌面尺度站点的户型与机位平面图，近景相机密集对准以工作台为中心、约30平方米的操作区。
自动化引擎：标注大部分不靠人工补
多模态采集最大的敌人是时间错位。相机、动捕、物体跟踪器和触觉传感器各跑各的时钟，几毫秒漂移就足以让手"提前几帧握住杯子"。房间尺度的 ZED 相机由同一主机统一触发，采集即对齐；桌面尺度的 GoPro 则通过音频流互相对齐。所有设备再借助标定板与动捕体积绑到同一参考系。
更关键的是，标注大多直接来自被跟踪的物理状态，而非事后用模型估计：全身与手部姿态及其在每一帧上的投影、物体网格与位姿、包围盒、运动轨迹、事件文字描述，都由采集流程自动产出。这套自动化处理能力，也是团队把 ACE 称为"具身数据引擎"而非单纯数据集的原因。
图4：从传感器同步、标定采集到自动标注输出的完整数据处理流程。
200 类任务之外，还顺手立了一套基准
200 类任务覆盖烹饪、整理、饮水等日常目标，天然包含任务交错、严重遮挡、极端视角和持续移动等长程家庭数据特有的难点。团队据此搭建了三层基准，从信号、场景组件到交互逐级递进：先由视觉预测触觉信号，再重建人体与手部姿态，最后估计人物交互中的手部运动；30 余种代表性方法的评测结果显示，这些链条式能力现有模型仍接得不稳。
图5：数据集涵盖的各类家庭任务，从桌面操作到房间尺度活动均有分布。
150 小时只是第一版，下一步走向更多家庭与场景
边界同样清楚。ACE 目前仅部署了 2 个采集站点，户型、家具与光照的变化有限；动捕服、手套、头显和标记点在录像中始终可见，可能留下数据集特有的视觉线索；真值只覆盖预先扫描并贴点的物体，液体、面团这类流体与可形变材料的状态变化没有标注。
正因定位是可扩展的引擎而非一次性数据集，后续站点可以继续铺开，流体与铰接机构的监督也有望补上。对模仿学习、策略学习与世界模型而言，150 小时里每一帧画面、每一条轨迹、每一次接触都指向同一个物理瞬间——这种"同步"而非"拼凑"的数据，或许才是机器人真正缺的燃料。
参考资料
https://arxiv.org/abs/2607.28625
