多模态大模型

CoVAR: Co-generation of Video and Action for Robotic Manipulation via Multi-Modal Diffusion

CoVAR: 通过多模态扩散生成视频与动作用于机器人操作

Liudi Yang, Yang Bai, George Eskandar, Fengyi Shen, Mohammad Altillawi, Dong Chen, Ziyuan Liu, Abhinav Valada

机构 * University of Freiburg（弗赖堡大学） ； Ludwig Maximilian University of Munich（慕尼黑路德维希-马克西米利安大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Technical University of Munich（慕尼黑技术大学） ； Huawei Heisenberg Research Center (Munich)（华为海森堡研究中心） 纠错

专题命中 视频多模态 ：multi-modal(title)；cross-modal(abstract)；分类 cs.CV

AI总结 CoVAR通过多模态扩散模型生成视频与动作，解决机器人操作中动作标注不足的问题，提升视频生成质量与动作精度。

Comments 9 pages, 7 figures

Percept, Chat, and then Adapt: Multimodal Knowledge Transfer of Foundation Models for Open-World Video Recognition

感知、对话，然后适应：面向开放世界视频识别的多模态基础模型知识迁移

Boyu Chen, Siran Chen, Kunchang Li, Qinglin Xu, Yu Qiao, Yali Wang

机构 * Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院） ； the School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出PCA框架，通过感知、对话和适应三个阶段，利用多模态知识提升开放世界视频识别的性能。

Comments 35 pages, 6 figures, 8 tables

OPENTOUCH: Bringing Full-Hand Touch to Real-World Interaction

OPENTOUCH：将全手触觉带入现实世界交互

Yuxin Ray Song, Jinzhou Li, Rao Fu, Devin Murphy, Kaichen Zhou, Rishi Shiv, Yaqi Li, Haoyu Xiong, Crystal Elaine Owens, Yilun Du, Yiyue Luo, Xianyi Cheng, Antonio Torralba, Wojciech Matusik, Paul Pu Liang

机构 * MIT（麻省理工学院） ； Duke University（杜克大学） ； Brown University（布朗大学） ； University of Washington（华盛顿大学） ； Harvard University（哈佛大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 OpenTouch是首个现实场景的第一人称全手触觉数据集，通过同步视频-触觉-姿态数据和详细注释，推动多模态感知和机器人操作研究。

Comments https://opentouch-tactile.github.io/

The World is Your Canvas: Painting Promptable Events with Reference Images, Trajectories, and Text

世界是你的画布：通过参考图像、轨迹和文本绘画可提示事件

Hanlin Wang, Hao Ouyang, Qiuyu Wang, Yue Yu, Yihao Meng, Wen Wang, Ka Leong Cheng, Shuailei Ma, Qingyan Bai, Yixuan Li, Cheng Chen, Yanhong Zeng, Xing Zhu, Yujun Shen, Qifeng Chen

机构 * HKUST（香港科技大学） ； Ant Group（蚂蚁集团） ； ZJU（浙江大学） ； NEU（南京大学） ； CUHK（香港中文大学） ； NTU（南洋理工大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 WorldCanvas通过结合文本、轨迹和参考图像，实现可提示的多代理交互事件生成，提升世界模型的交互性和可控性。

Comments Project page and code: https://worldcanvas.github.io/

SNOW: Spatio-Temporal Scene Understanding with World Knowledge for Open-World Embodied Reasoning

SNOW：基于世界知识的时空场景理解用于开放世界具身推理

Tin Stribor Sohn, Maximilian Dillitzer, Jason J. Corso, Eric Sax

机构 * Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院） ； Esslingen University of Applied Sciences（埃斯林根应用科学大学） ； Dr. Ing. h.c. F. Porsche AG（德意志联邦汽车工业联合会） ； University of Michigan（密歇根大学） ； Voxel51 Inc.（Voxel51公司） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 SNOW通过整合视觉语言模型与点云几何，实现统一的4D场景理解，提升开放世界具身推理的性能。