arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

物理核:用于暗操作的结构化视觉潜变量

Physical Kernel: Structured Visual Latents for Dark Manipulation

Jinting Hang, Hong Li, Zhenhui Cai, Zhihao Zhao, Jian He

arXiv 2609.13244首次发表:更新:

发表机构

Harvest Praxis(Harvest Praxis)

机构由 AI 辅助整理,请以论文原文为准。

AI 中文总结

本研究提出物理核(dark_f)方法,在短暂亮光编码后利用结构化视觉潜变量和开环动力学完成暗操作,在堆叠任务上显著优于逐步重编码基线,并验证了动力学与编码鲁棒性。

AI 中文摘要

我们研究暗操作:在短暂的亮光写入阶段,Write 编码 z0 = Enc(rgb),之后策略 pi(z) 和开环动力学 f(z,a) 在无需更多像素的情况下完成接触丰富的技能(dark_f)。在 ManiSkill StackCube(n=160;种子包 0/1000)上,dark_f 在五级链条(near_A -> grasped -> lifted -> on_B -> stacked)上达到 68.1% 的堆叠成功率,而逐步亮光重编码(lit_reenc)为 35.6%,冻结/编码黑(freeze/encode_black)为 0%。在共享的 Write->HOLD 协议(n=40)下,遮挡和相机对齐的 GT 接触邻域掩码使亮光提升从 43% 降至 0%,而 dark_f 保持 82.5%;打乱动作使动力学 MSE 膨胀约 9.4 倍;写入时外观变化破坏编码(夜晚:0% 堆叠),而 HOLD 期间的相同变化不影响 dark_f 的提升;写入长度 Tw 在达到停止阶段后保持平稳,而提前停止和写入时模糊/JPEG 压缩会急剧降低堆叠成功率。专门的 pi_write 在视觉预算下达到 35% 的堆叠成功率(n=80);匹配的 Dreamer 风格/像素空模型(无特权几何)保持 0%。特权状态 RSSM MPC 在 9D 暗观测下达到约 35% 的堆叠成功率——这是一个更强观测的空模型,而非匹配的视觉基线。

英文摘要

We study dark manipulation: after a brief lit Write encodes z0 = Enc(rgb), a policy pi(z) and open-loop dynamics f(z,a) complete contact-rich skills without further pixels (dark_f). On ManiSkill StackCube (n=160; seed packs 0/1000), dark_f attains 68.1% stacked on the five-rung chain (near_A -> grasped -> lifted -> on_B -> stacked), compared with 35.6% for per-step lit_reenc and 0% for freeze/encode_black. On a shared Write->HOLD protocol (n=40), occlusion and camera-aligned GT contact-neighbor masks drive lit lift from 43% to 0%, while dark_f holds 82.5%; shuffling actions inflates dynamics MSE by ~9.4x; write-time appearance shifts break encoding (night: 0% stacked), yet the same shifts during HOLD leave dark_f lift unchanged; Write length Tw is flat once the stop phase is reached, while earlier stops and write-time blur/JPEG sharply cut stacked. A dedicated pi_write reaches 35% vision-budget stacked (n=80); matched Dreamer-style/pixel nulls without privileged geom stay at 0%. Privileged state-RSSM MPC reaches ~35% stacked with 9D dark observations -- a stronger-observation null, not a matched visual baseline.

论文原文

arXiv 摘要页 · PDF 原文 · HTML 原文

↑