多模态大模型

The Violation State: Safety State Persistence in a Multimodal Language Model Interface

违规状态：多模态语言模型接口中的安全状态持续

Bentley DeVilling

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

AI总结 研究发现多模态语言模型在面对版权拒绝后，会持续拒绝无关图像生成请求，揭示了会话级安全状态的持续性问题。

Comments 19 pages, 1 figure, 1 table

Towards Generalized Multi-Image Editing for Unified Multimodal Models

面向统一多模态模型的通用多图像编辑

Pengcheng Xu, Peng Tang, Donghao Luo, Xiaobin Hu, Weichu Cui, Qingdong He, Zhennan Chen, Jiangning Zhang, Charles Ling, Boyu Wang

机构 * Western University（西方大学） ； Tencent YouTu Lab（腾讯优图实验室） ； Nanjing University（南京大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出了一种面向统一多模态模型的通用多图像编辑框架，通过可学习的潜在分离器和正弦索引编码提升多图像编辑任务中的视觉一致性和泛化能力。

Comments Project page: https://github.com/Pengchengpcx/MIE-UMM

Bridging the Discrete-Continuous Gap: Unified Multimodal Generation via Coupled Manifold Discrete Absorbing Diffusion

弥合离散-连续鸿沟：通过耦合流形离散吸收扩散实现统一多模态生成

Yuanfeng Xu, Yuhao Chen, Liang Lin, Guangrun Wang

机构 * Sun Yat-sen University（中山大学） ； Guangdong Key Lab of Big Data Analysis & Processing（广东省大数据分析与处理重点实验室） ； X-Era AI Lab（X-Era AI实验室） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CL

AI总结 CoM-DAD通过耦合流形离散吸收扩散框架，实现离散与连续数据的统一多模态生成，解决多模态对齐与训练稳定性问题。

Comments 10 pages, 5 figures

A Versatile Multimodal Agent for Multimedia Content Generation

多功能多模态代理用于多媒体内容生成

Daoan Zhang, Wenlin Yao, Xiaoyang Wang, Yebowen Hu, Jiebo Luo, Dong Yu

机构 * University of Rochester（罗切斯特大学） ； Tencent AI Lab, Bellevue（腾讯AI实验室） ； University of Central Florida（中央佛罗里达大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出了一种多功能多模态代理，通过技能获取理论和两阶段相关策略，实现复杂多媒体内容生成任务的自动化。

A unified multimodal understanding and generation model for cross-disciplinary scientific research

面向跨学科科学研究的统一多模态理解和生成模型

Xiaomeng Yang, Zhiyu Tan, Xiaohui Zhong, Mengping Yang, Qiusheng Huang, Lei Chen, Libo Wu, Hao Li

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

AI总结 FuXi-Uni是一种统一多模态模型，能跨学科领域理解和生成科学数据，通过自然语言和科学数值预测提升跨学科研究效率。

TeleWorld: Towards Dynamic Multimodal Synthesis with a 4D World Model

TeleWorld：面向动态多模态合成的4D世界模型

Yabo Chen, Yuanzhi Liang, Jiepeng Wang, Tingxi Chen, Junfei Cheng, Zixiao Gu, Yuyang Huang, Zicheng Jiang, Wei Li, Tian Li, Weichen Li, Zuoxin Li, Guangce Liu, Jialun Liu, Junqi Liu, Haoyuan Wang, Qizhen Weng, Xuan'er Wu, Xunzhi Xiang, Xiaoyan Yang, Xin Zhang, Shiwen Zhang, Junyu Zhou, Chengcheng Zhou, Haibin Huang, Chi Zhang, Xuelong Li

机构 * TeleWorld Team（TeleWorld团队） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 TeleWorld提出了一种实时多模态4D世界建模框架，通过生成-重建-引导范式实现动态场景重建与长期记忆，提升世界模型的交互性和计算效率。

DiffThinker: Towards Generative Multimodal Reasoning with Diffusion Models

DiffThinker: 向基于扩散模型的生成多模态推理迈进

Zefeng He, Xiaoye Qu, Yafu Li, Tong Zhu, Siyuan Huang, Yu Cheng

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Nanjing University（南京大学） ； Shanghai Jiao Tong University（上海交通大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 DiffThinker通过基于扩散模型的生成方法，在多模态推理任务中实现了更高效的视觉推理和更精确的空间处理，显著优于现有模型。

Comments Project page: https://diffthinker-project.github.io

LiveTalk: Real-Time Multimodal Interactive Video Diffusion via Improved On-Policy Distillation

LiveTalk: 通过改进的在线策略蒸馏实现实时多模态交互视频扩散

Ethan Chern, Zhulin Hu, Bohao Tang, Jiadi Su, Steffi Chern, Zhijie Deng, Pengfei Liu

机构 * SII SJTU GAIR 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出LiveTalk系统，通过改进的在线策略蒸馏实现实时多模态交互视频生成，显著提升效率和质量。

OmniGen: Unified Multimodal Sensor Generation for Autonomous Driving

OmniGen：面向自动驾驶的统一多模态传感器生成

Tao Tang, Enhui Ma, xia zhou, Letian Wang, Tianyi Yan, Xueyang Zhang, Kun Zhan, Peng Jia, XianPeng Lang, Jia-Wang Bian, Kaicheng Yu, Xiaodan Liang

机构 * Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； Westlake University（西湖大学） ； Li Auto Inc.（Li汽车公司） ； The University of Toronto（多伦多大学） ； University of Macau（澳门大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 OmniGen通过统一框架生成对齐的多模态传感器数据，结合共享BEV空间和UAE方法，实现高效且灵活的传感器生成。

Comments ACM MM 2025

EMMA: Efficient Multimodal Understanding, Generation, and Editing with a Unified Architecture

EMMA: 一种高效的多模态理解、生成与编辑统一架构

Xin He, Longhui Wei, Jianbo Ouyang, Minghui Liao, Lingxi Xie, Qi Tian

机构 * Huawei Inc.（华为公司） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 EMMA提出了一种高效的统一多模态架构，通过高效自编码器、通道级拼接、共享解耦网络和专家混合机制，在效率和性能上超越现有方法。

Comments Project Page: https://emma-umm.github.io/emma/

MPath: Multimodal Pathology Report Generation from Whole Slide Images

MPath：从全切片图像生成多模态病历报告

Noorul Wahab, Nasir Rajpoot

机构 * TIA Centre, Department of Computer Science, University of Warwick, UK（沃里克大学计算机科学系TIA研究中心） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 MPath通过多模态条件化方法，利用预训练的生物医学语言模型生成病理报告，展示了在病理报告生成中的有效性与可扩展性。

Comments Pages 4, Figures 1, Table 1

DuetSVG: Unified Multimodal SVG Generation with Internal Visual Guidance

DuetSVG：基于内部视觉引导的统一多模态SVG生成

Peiying Zhang, Nanxuan Zhao, Matthew Fisher, Yiran Xu, Jing Liao, Difan Liu

机构 * City University of Hong Kong（香港城市大学） ； Adobe Research（Adobe研究院） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 DuetSVG通过端到端生成图像和SVG标记，结合内部视觉引导提升SVG生成质量，实现视觉忠实与语义一致的统一多模态生成。

Comments Project page: https://intchous.github.io/DuetSVG-site

SlideGen: Collaborative Multimodal Agents for Scientific Slide Generation

SlideGen：用于科学幻灯片生成的协作多模态智能体

Xin Liang, Xiang Zhang, Yiwei Xu, Siqi Sun, Chenyu You

机构 * Stony Brook University（石溪大学） ； University of British Columbia（不列颠哥伦比亚大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Fudan University（复旦大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

AI总结 SlideGen通过协作多模态智能体实现科学论文到高质量幻灯片的生成，提升视觉质量和内容忠实度。

UnityVideo: Unified Multi-Modal Multi-Task Learning for Enhancing World-Aware Video Generation

UnityVideo: 一体化多模态多任务学习以增强世界感知视频生成

Jiehui Huang, Yuechen Zhang, Xu He, Yuan Gao, Zhi Cen, Bin Xia, Yan Zhou, Xin Tao, Pengfei Wan, Jiaya Jia

机构 * HKUST（香港科技大学） ； CUHK（香港中文大学） ； Tsinghua University（清华大学） ； Kling Team, Kuaishou Technology（快手科技 Kling 团队） 纠错

专题命中 多模态生成 ：multi-modal(title)；cross-modal(abstract)；分类 cs.CV

AI总结 UnityVideo通过一体化多模态多任务学习提升视频生成的世界感知能力，引入动态噪声化和模态切换器，实现更全面的世界知识表示。

Comments Project Website https://jackailab.github.io/Projects/UnityVideo

Mitigating Intra- and Inter-modal Forgetting in Continual Learning of Unified Multimodal Models

缓解统一多模态模型持续学习中的模态内和模态间遗忘

Xiwen Wei, Mustafa Munir, Radu Marculescu

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出MoDE，通过解耦模态以缓解统一多模态模型中的模态内和模态间遗忘问题。

Comments NeurIPS 2025

TUNA: Taming Unified Visual Representations for Native Unified Multimodal Models

TUNA: 降低统一视觉表示以适应原生统一多模态模型

Zhiheng Liu, Weiming Ren, Haozhe Liu, Zijian Zhou, Shoufa Chen, Haonan Qiu, Xiaoke Huang, Zhaochong An, Fanny Yang, Aditya Patel, Viktar Atliha, Tony Ng, Xiao Han, Chuyan Zhu, Chenyang Zhang, Ding Liu, Juan-Manuel Perez-Rua, Sen He, Jürgen Schmidhuber, Wenhu Chen, Ping Luo, Wei Liu, Tao Xiang, Jonas Schult, Yuren Cong

机构 * Meta BizAI ； University of Waterloo（滑铁卢大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 TUNA通过统一视觉表示提升多模态模型的性能，实现端到端理解和生成任务的高效处理。

Comments Project page: https://tuna-ai.org/

Hybrid-DMKG: A Hybrid Reasoning Framework over Dynamic Multimodal Knowledge Graphs for Multimodal Multihop QA with Knowledge Editing

Hybrid-DMKG: 一种基于动态多模态知识图谱的混合推理框架用于多模态多跳问答与知识编辑

Li Yuan, Qingfei Huang, Bingshan Zhu, Yi Cai, Qingbao Huang, Changmeng Zheng, Zikun Deng, Tao Wang

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

AI总结 Hybrid-DMKG通过动态多模态知识图谱实现多跳问答中的准确推理，提升对知识更新的鲁棒性。

Comments Accepted by AAAI 2026

VQRAE: Representation Quantization Autoencoders for Multimodal Understanding, Generation and Reconstruction

VQRAE：用于多模态理解、生成和重建的表示量化自编码器

Sinan Du, Jiahao Guo, Bo Li, Shuhao Cui, Zhengzhuo Xu, Yifu Luo, Yongxian Wei, Kun Gai, Xinggang Wang, Kai Wu, Chun Yuan

机构 * Tsinghua University（清华大学） ； Huazhong University of Science and Technology（华中科技大学） ； Kolors Team, Kuaishou Technology（快手科技Kolors团队） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 VQRAE通过统一的分词器生成连续语义特征和离散标记，提升多模态理解、生成和重建的性能。

Comments 19 pages, 10 figures

VinciCoder: Unifying Multimodal Code Generation via Coarse-to-fine Visual Reinforcement Learning

VinciCoder：通过粗到细的视觉强化学习统一多模态代码生成

Xuanle Zhao, Deyang Jiang, Zhixiong Zeng, Lei Chen, Haibo Qiu, Jing Huang, Yufeng Zhong, Liming Zheng, Yilin Cao, Lin Ma

机构 * Meituan（美团） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 VinciCoder通过粗到细的视觉强化学习框架，统一多模态代码生成，实现最先进的性能，超越现有开源模型。

Comments 15 pages, 11 figures

Canvas-to-Image: Compositional Image Generation with Multimodal Controls

画布到图像：利用多模态控制的组合图像生成

Yusuf Dalva, Guocheng Gordon Qian, Maya Goldenberg, Tsai-Shien Chen, Kfir Aberman, Sergey Tulyakov, Pinar Yanardag, Kuan-Chieh Jackson Wang

机构 * Snap Inc. ； UC Merced（加州大学默塞德分校） ； Virginia Tech（弗吉尼亚理工大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 Canvas-to-Image通过统一框架整合多模态控制，提升图像生成的组合性和控制精度。

Comments 24 pages; webpage: https://snap-research.github.io/canvas-to-image/

CtrlVDiff: Controllable Video Generation via Unified Multimodal Video Diffusion

通过统一多模态视频扩散实现可控视频生成

Dianbing Xi, Jiepeng Wang, Yuanzhi Liang, Xi Qiu, Jialun Liu, Hao Pan, Yuchi Huo, Rui Wang, Haibin Huang, Chi Zhang, Xuelong Li

机构 * State Key Laboratory of CAD&CG（计算机辅助设计与图形学国家重点实验室） ； Institute of Artificial Intelligence, China Telecom (TeleAI)（中国电信人工智能研究院） ； Tsinghua University（清华大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 CtrlVDiff通过统一多模态视频扩散模型，实现可控视频生成，支持多模态输入并提升生成的可控性和保真度。

Comments 27 pages, 18 figures, 9 tables. Project page: https://tele-ai.github.io/CtrlVDiff/

From Generation to Detection: A Multimodal Multi-Task Dataset for Benchmarking Health Misinformation

从生成到检测：一个多模态多任务数据集用于基准测试健康误信息

Zhihao Zhang, Yiran Zhang, Xiyue Zhou, Liting Huang, Imran Razzak, Preslav Nakov, Usman Naseem

机构 * Macquarie University（麦考瑞大学） ； University of Sydney（悉尼大学） ； UTS（UTS大学） ； MBZUAI 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CL

AI总结 本文提出MM Health数据集，包含人类和AI生成的多模态健康误信息，用于基准测试可靠性检查、原创性检查和细粒度AI检测。

Comments Accepted to Findings of the Association for Computational Linguistics: EMNLP 2025

Journal ref Findings of the Association for Computational Linguistics: EMNLP 2025, pp. 24245-24260, 2025

MammothModa2: A Unified AR-Diffusion Framework for Multimodal Understanding and Generation

MammothModa2: 一种用于多模态理解和生成的统一AR-扩散框架

Tao Shen, Xin Wan, Taicai Chen, Rui Zhang, Junwen Pan, Dawei Lu, Fanding Lei, Zhilin Lu, Yunfei Yang, Chen Cheng, Qi She, Chang Liu, Zhenbang Sun

机构 * ByteDance（字节跳动） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 MammothModa2通过统一的AR-扩散框架实现多模态理解和生成，结合自回归语义规划与扩散生成，取得文本到图像和指令编辑的优异表现。

Towards Efficient Multimodal Unified Reasoning Model via Model Merging

通过模型合并实现高效的多模态统一推理模型

Qixiang Yin, Huanjin Yao, Jianghao Chen, Jiaxing Huang, Zhicheng Zhao, Fei Su

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Nanyang Technological University（南洋理工大学） ； Beijing Key Laboratory of Network System and Network Culture（北京网络系统与网络文化重点实验室） ； Key Laboratory of Interactive Technology and Experience System, Ministry of Culture and Tourism（文化和旅游部交互技术与体验系统重点实验室） ； Zhongguancun Academy, Beijing, China（中关村学院，北京，中国） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

AI总结 Tiny-R1V通过两阶段优化和模型合并方法，实现高效多模态推理，提升轻量模型在多种任务中的性能。

Comments Technical report, Code will be available at https://github.com/buptyqx/Tiny-R1V

A Smart-Glasses for Emergency Medical Services via Multimodal Multitask Learning

Liuyi Jin, Pasan Gunawardena, Amran Haroon, Runzhi Wang, Sangwoo Lee, Radu Stoleru, Michael Middleton, Zepeng Huo, Jeeeun Kim, Jason Moats

机构 * Computer Engineering, Texas A\&M University 3 Texas A\&M University Emergency Medical Services (EMS), 4 Biomedical Data Science, Stanford University, 5 Texas A\&M School of Public Health 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 eess.AS

Integrating Genomics into Multimodal EHR Foundation Models

Jonathan Amar, Edward Liu, Alessandra Breschi, Liangliang Zhang, Pouya Kheradpour, Sylvia Li, Lisa Soleymani Lehmann, Alessandro Giulianelli, Matt Edwards, Yugang Jia, David Nola, Raghav Mani, Pankaj Vats, Jesse Tetreault, T. J. Chen, Cory Y. McLean

机构 * Verily Life Sciences（Verily生命科学公司） ； Nvidia（英伟达公司） ； Google（谷歌公司） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

Novel Diffusion Models for Multimodal 3D Hand Trajectory Prediction

Junyi Ma, Wentao Bao, Jingyi Xu, Guanzhong Sun, Xieyuanli Chen, Hesheng Wang

机构 * IRMV Lab, the Department of Automation, Shanghai Jiao Tong University（IRMV实验室，自动化系，上海交通大学） ； Meta Reality Labs（Meta现实实验室） ； the Department of Electronic Engineering, Shanghai Jiao Tong University（电子工程系，上海交通大学） ； the School of Information and Control Engineering, China University of Mining and Technology（信息与控制工程学院，中国矿业大学） ； the College of Intelligence Science and Technology, National University of Defense Technology（智能科学与技术学院，国防科技大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

Comments Accepted to IROS 2025

VietMEAgent: Culturally-Aware Few-Shot Multimodal Explanation for Vietnamese Visual Question Answering

Hai-Dang Nguyen, Minh-Anh Dang, Minh-Tan Le, Minh-Tuan Le

机构 * Faculty Of Information Technology, VNU University of Engineering and Technology（信息科技学院，越南工程与技术大学） ； IT-BT Convergence Technology Division, Vietnam-Korea Institute of Science and Technology（IT-BT融合技术部，越南-韩国科学技术院） ； TADI Global Lab, TADI Global Company Limited（TADI全球实验室，TADI全球公司） ； Faculty of Finance, Banking Academy of Vietnam（金融学院，越南银行学院） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

Comments 7 pages, 3 figures, 3 tables, FAIR 2025 conference

EVLM: Self-Reflective Multimodal Reasoning for Cross-Dimensional Visual Editing

Umar Khalid, Kashif Munir, Hasan Iqbal, Azib Farooq, Jing Hua, Nazanin Rahnavard, Chen Chen, Victor Zhu, Zhengping Ji

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

Comments Technical Report

Isaac Lab: A GPU-Accelerated Simulation Framework for Multi-Modal Robot Learning

NVIDIA, :, Mayank Mittal, Pascal Roth, James Tigue, Antoine Richard, Octi Zhang, Peter Du, Antonio Serrano-Muñoz, Xinjie Yao, René Zurbrügg, Nikita Rudin, Lukasz Wawrzyniak, Milad Rakhsha, Alain Denzler, Eric Heiden, Ales Borovicka, Ossama Ahmed, Iretiayo Akinola, Abrar Anwar, Mark T. Carlson, Ji Yuan Feng, Animesh Garg, Renato Gasoto, Lionel Gulich, Yijie Guo, M. Gussert, Alex Hansen, Mihir Kulkarni, Chenran Li, Wei Liu, Viktor Makoviychuk, Grzegorz Malczyk, Hammad Mazhar, Masoud Moghani, Adithyavairavan Murali, Michael Noseworthy, Alexander Poddubny, Nathan Ratliff, Welf Rehberg, Clemens Schwarke, Ritvik Singh, James Latham Smith, Bingjie Tang, Ruchik Thaker, Matthew Trepte, Karl Van Wyk, Fangzhou Yu, Alex Millane, Vikram Ramasamy, Remo Steiner, Sangeeta Subramanian, Clemens Volk, CY Chen, Neel Jawale, Ashwin Varghese Kuruttukulam, Michael A. Lin, Ajay Mandlekar, Karsten Patzwaldt, John Welsh, Huihua Zhao, Fatima Anes, Jean-Francois Lafleche, Nicolas Moënne-Loccoz, Soowan Park, Rob Stepinski, Dirk Van Gelder, Chris Amevor, Jan Carius, Jumyung Chang, Anka He Chen, Pablo de Heras Ciechomski, Gilles Daviet, Mohammad Mohajerani, Julia von Muralt, Viktor Reutskyy, Michael Sauter, Simon Schirm, Eric L. Shi, Pierre Terdiman, Kenny Vilella, Tobias Widmer, Gordon Yeoman, Tiffany Chen, Sergey Grizan, Cathy Li, Lotus Li, Connor Smith, Rafael Wiltz, Kostas Alexis, Yan Chang, David Chu, Linxi "Jim" Fan, Farbod Farshidian, Ankur Handa, Spencer Huang, Marco Hutter, Yashraj Narang, Soha Pouya, Shiwei Sheng, Yuke Zhu, Miles Macklin, Adam Moravanszky, Philipp Reist, Yunrong Guo, David Hoeller, Gavriel State

机构 * NVIDIA 纠错

专题命中 多模态生成 ：multi-modal(title,abstract)；分类 cs.AI

Comments Code and documentation are available here: https://github.com/isaac-sim/IsaacLab