多模态信息融合

MoE3D: Mixture of Experts meets Multi-Modal 3D Understanding

MoE3D：专家混合方法与多模态3D理解

Yu Li, Yuenan Hou, Yingmei Wei, Xinge Zhu, Yuexin Ma, Wenqi Shao, Yanming Guo

机构 * National University of Defense Technology（国防科技大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； The Chinese University of Hong Kong（香港中文大学） ； ShanghaiTech University（上海科技大学） 纠错

专题命中 音视频/视觉语言融合 ：multi-modal fusion(abstract)；分类 cs.CV

AI总结 MoE3D通过整合专家混合方法，提升多模态3D理解的性能，尤其在Multi3DRefer任务中表现更优。

3MDiT: Unified Tri-Modal Diffusion Transformer for Text-Driven Synchronized Audio-Video Generation

3MDiT：用于文本驱动同步音频视频生成的统一三模态扩散变换器

Yaoru Li, Heyu Si, Federico Landi, Pilar Oplustil Gallegos, Ioannis Koutsoumpas, O. Ricardo Cortez Vazquez, Ruiju Fu, Qi Guo, Xin Jin, Shunyu Liu, Mingli Song

机构 * Zhejiang University（浙江大学） ； Huawei（华为） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 音视频/视觉语言融合 ：feature-level fusion(abstract)；分类 cs.MM

AI总结 3MDiT提出了一种统一三模态扩散变换器，通过联合演变流实现文本驱动的同步音频视频生成，提升多模态对齐与同步性能。