多模态大模型

SAT: Dynamic Spatial Aptitude Training for Multimodal Language Models

SAT：多模态语言模型的动态空间能力训练

Arijit Ray, Jiafei Duan, Ellis Brown, Reuben Tan, Dina Bashkirova, Rose Hendrix, Kiana Ehsani, Aniruddha Kembhavi, Bryan A. Plummer, Ranjay Krishna, Kuo-Hao Zeng, Kate Saenko

机构 * Boston University（波士顿大学） ； University of Washington（华盛顿大学） ； Allen Institute for AI（人工智能研究院） ； Microsoft Research（微软研究院） ； New York University（纽约大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 SAT通过模拟数据提升多模态语言模型在动态空间推理中的能力，实验表明其在多个基准测试中优于现有方法。

Comments Accepted to COLM 2025. Project webpage: https://arijitray.com/SAT/

MHB: Multimodal Handshape-aware Boundary Detection for Continuous Sign Language Recognition

MHB: 多模态手形感知边界检测用于连续手语识别

Mingyu Zhao, Zhanfu Yang, Yang Zhou, Zhaoyang Xia, Can Jin, Xiaoxiao He, Dimitris N. Metaxas

机构 * Rutgers University（罗杰斯大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出MHB方法，通过多模态融合结合3D骨骼特征和手形信息，提升连续手语识别的鲁棒性和准确性。

Martian World Model: Controllable Video Synthesis with Physically Accurate 3D Reconstructions

火星世界模型：可控视频合成与物理准确的3D重建

Longfei Li, Zhiwen Fan, Wenyan Cong, Xinhang Liu, Yuyang Yin, Matt Foutter, Panwang Pan, Chenyu You, Yue Wang, Zhangyang Wang, Yao Zhao, Marco Pavone, Yunchao Wei

机构 * BJTU（北京工业大学） ； UT Austin（德克萨斯大学奥斯汀分校） ； HKUST（香港科技大学） ； Stanford University（斯坦福大学） ； XMU（厦门大学） ； SBU（雪城大学） ； USC（南加州大学） ； NVIDIA（英伟达） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出M3arsSynth和MarsGen，通过物理准确的3D重建生成逼真的火星视频，提升任务模拟与机器人训练的可视化效果。

Comments Project Page: https://marsgenai.github.io

PDPO: Parametric Density Path Optimization

PDPO：参数密度路径优化

Sebastian Gutierrez Hernandez, Peng Chen, Haomin Zhou

专题命中 视频多模态 ：multimodal(abstract)

AI总结 PDPO通过参数映射将无限维密度优化转化为有限维问题，有效解决多模态和高维路径优化问题，优于现有方法。

Comments 28 pages, 16 figures

Journal ref NeurIPS 2025