多模态大模型

EnTrust: Modeling Inter-Modal Conflict for Trustworthy Multimodal Medical Image Analysis

EnTrust: 建模模态间冲突以实现可信的多模态医学图像分析

Dwarikanath Mahapatra, Abhijit Das, Behzad Bozorgtabar, Zongyuan Ge, Sudipta Roy, Deepak Nayak, Mauricio Reyes, Imran Razzak

机构 * Khalifa University（哈利法大学） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； Aarhus University（奥胡斯大学） ； Monash University（莫纳什大学） ； Jio University（Jio大学） ； NIT Jaipur（斋浦尔国立理工学院） ； University of Bern（伯尔尼大学） ； MedOS 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出EnTrust框架，通过解耦模态特征中的共享共识、特定线索和冲突信号，利用扩散模型生成假设并校准像素级不确定性，在多个医学图像分割基准上达到SOTA，校准误差降低40%。

CultureVidBench: Benchmarking Cultural Understanding in Text-to-Video Generation

CultureVidBench：文本到视频生成中的文化理解基准测试

Xianjing Han, Yuhan Su, Yang Deng, Dong Ma, Wee Peng Tay, Bin Zhu

机构 * Nanyang Technological University（南洋理工大学） ； Centrale Supélec（中央高等电力学院） ； Singapore Management University（新加坡管理大学） ； University of Cambridge（剑桥大学） 纠错

专题命中 多模态生成 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV、cs.CL、cs.MM

AI总结 本研究推出CultureVidBench基准，评估7款T2V模型的文化理解能力，发现现有模型难捕捉细粒度文化细节，尤其针对代表性不足的文化区域与线索。

Comments Project page:https://hanxjing.github.io/CultureVidBench/

COMIC: Reference-Aware Safety Gating for Multimodal Large Language Models

COMIC：面向多模态大语言模型的参考感知安全门控

Md Abdullahil Oaphy, Anhao Xiang, Zongxing Xie, Huayue Gu, Chenyu Wang, Honghui Xu

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本研究针对多模态大语言模型的参考依赖型安全缺陷，提出COMIC参考感知安全门控，通过解析操作-目标对评估安全性，提升了模型鲁棒性且保留良性效用。

GaussianDWM++: Language-Grounded 3D Gaussian Driving World Model for Unified Scene Understanding, Editing, and Multi-Modal Generation

GaussianDWM++：用于统一场景理解、编辑与多模态生成的语言接地3D高斯驾驶世界模型

Tianchen Deng, Xuefeng Chen, Shuang Wu, Qu Chen, Jiajun Zhu, Bo Dai, Jianfei Yang, Hesheng Wang

机构 * School of Automation and Intelligent Sensing, Shanghai Jiao Tong University（上海交通大学自动化与智能感知学院） ； Tsinghua University（清华大学） ； Chongqing Afari Intelligent Drive Co., Ltd.（重庆阿法瑞智能驾驶有限公司） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 多模态生成 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 该研究提出GaussianDWM++，通过基础特征高斯分词器等模块构建统一框架，在多类驾驶任务中实现场景理解、编辑与多模态生成，性能达当前最优。

Wyvern: An Agentic Framework for Generating Grounded Multimodal Reports

Wyvern：用于生成基于事实的多模态报告的智能体框架

Beatrice Alessandra Motetti, Emilien Guandalino, Daniele Jahier Pagliari, Alessio Burrello, Lorenz K. Müller, Konstantin Berestizshevsky, Lukas Cavigelli

机构 * Politecnico di Torino（都灵理工大学） ； Huawei Research（华为研究院） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对生成式模型内容缺乏事实依据的问题，提出Wyvern多智能体框架生成多模态技术报告，经评估其图像信息量、报告实用性及引用指标均优于基准方法。

HAM-RAG: Hierarchy-Aware Multimodal RAG for Structure-Faithful Interleaved Generation

HAM-RAG：面向结构保真交错生成的层级感知多模态检索增强生成

Yin Li, Ziyang Hu, Zhiyu Guo, Xiangyu Liu, Wenbin Li, Boo-Ho Yang, Rav Lawana, Ziyue Li, Wei Zeng, Fugee Tsung

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文针对现有多模态RAG方法丢失结构化文档层级信息的问题，提出HAM-RAG框架，引入HAM-Bench基准验证，使多模态平均性能提升17.3%，为可靠多模态助手提供了层级感知的基础信号。

HounsWorld: A Multimodal World Model for Hidden Patient-State Readout, Reconstruction, and Simulation

HounsWorld：用于隐藏患者状态读取、重建与模拟的多模态世界模型

Yunhao Bai, Zhongwei Qiu, Guangyu Guo, Yiming Huang, Tony C. W. Mok, Qinji Yu, Ling Zhang, Yan Wang

机构 * East China Normal University（华东师范大学） ； DAMO Academy, Alibaba Group（阿里巴巴集团达摩院） ； Hupan Laboratory（湖畔实验室） ； Zhejiang University（浙江大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 该研究提出3B参数多模态世界模型HounsWorld，结合CT扫描与临床语言，通过共享潜在患者状态实现读取、重建、模拟三类任务，在HounsBench基准上表现优异，提升了CT理解能力。

Semantic Steering for Controllable Generation: Tuning-Free Concept Erasure in Multimodal Diffusion Transformers

语义引导用于可控生成：多模态扩散Transformer中的无调优概念擦除

Qiao Li, Xiaomeng Fu, Yuanshu Zhao, Qipeng Wang, Jiao Dai, Jizhong Han

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 该研究针对MM-DiTs的安全风险，提出一种无调优的概念擦除方法，通过在MM-DiT中间模块构建引导向量注入模型，实现高效鲁棒的概念擦除，性能优于现有方法。

Comments Accepted to ACM MM 2026

TimeRoute: Time-Aware Modality Routing and Diffusion for Multi-Modal Recommendation

TimeRoute：面向多模态推荐的时间感知模态路由与扩散模型

Pengyu Zhang, Yangqin Jiang, Klim Zaporojets, Congfeng Cao, Paul Groth

专题命中 多模态生成 ：multi-modal(title,abstract)；分类 cs.AI

AI总结 TimeRoute通过时间感知模态路由器和带FiLM的双流去噪扩散图重构器，解决多模态推荐的模态时间尺度不匹配问题，在三个公开数据集上提升了推荐指标。

Aero Realtime: Fully Aligned Input-Output Streams for Low-Latency Streaming Multimodal Generation

Aero Realtime：用于低延迟流式多模态生成的完全对齐输入输出流

Kaichen Zhang, Wei Huang, Keming Wu, Bo Li, Xiaojuan Qi

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出4B参数流式多模态模型Aero Realtime，采用双工架构实现输入输出流完全对齐，通过时隙对齐等技术降低延迟，在4块NVIDIA A6000 GPU上验证了其低延迟多模态交互的可行性。

Vorch-IR: Long-Form Unified Multimodal Identity Replacement Video Generation

Vorch-IR：长视频统一多模态身份替换生成模型

Yaole Wang, Xiaoyu Chen, Xin Ma, Yang Ding, Gang Yue, Jingjing Chen, Lin Ma, Yaohui Wang

机构 * Vorch Team（Vorch团队） ； Fudan University（复旦大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 Vorch-IR是基于LTX2的统一多模态视频身份替换框架，支持单人、双人身份及可选背景替换，通过自动数据构建流水线与时间重叠推理策略，实现长视频生成，在身份保留、动作保真等方面表现出色。

Comments Project page: https://vorch-project.github.io/Vorch-IR-project/

Visual Anchoring in Diffusion: Multimodal Zero-Shot Skeleton Action Recognition

扩散模型中的视觉锚定：多模态零样本骨骼动作识别

Zehao Bao, Shujun Guo, Bruce X. B. Yu

机构 * The University of Hong Kong（香港大学） ； Zhejiang University（浙江大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 该研究针对零样本骨骼动作识别中模态融合的问题，提出TDSM-MM模型，通过生成式分类范式结合视觉锚定，在NTU数据集上取得优异零样本识别性能，为零样本学习提供新方向。

ToolArtist: Tool-Using Unified Multimodal Models for Agentic Image Generation

ToolArtist：用于智能体图像生成的工具使用统一多模态模型

Jiahao Zhao, Xiaomin Yu, Zhongxiang Sun, Fengwei Teng, Chengwei Qin, Xiaobin Hu, Jun Xu, Shuicheng Yan

机构 * RUC（中国人民大学） ； HKUST(GZ)（香港科技大学（广州）） ； NUS（新加坡国立大学） ； UCD（加州大学戴维斯分校） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出ToolArtist，一种全智能体图像生成模型，通过后训练UMM实现，采用RAD-GRPO方法优化，将完整开放世界图像生成过程置于智能体控制下，性能优于部分控制方案。

Monte Carlo Tree Search for Table-to-Multimodal Report Generation

面向表格到多模态报告生成的蒙特卡洛树搜索

Teng Lin, Zhiyang Zhang, Yuyu Luo, Nan Tang

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对表格到多模态报告生成的现有方法缺陷，本文提出基于MCTS的MCTS-Report框架，通过分解原子动作与多维奖励函数优化，在自建的MMRBench基准上取得优于基线的77.9总体得分。

MoRoute: Dynamic Routing for In-Context Multimodal Video Generation

MoRoute：面向上下文多模态视频生成的动态路由

Chong Gao, Jie Ma, Zhan Peng, Chongxiao Wang, Haoxue Wu, Jun Liang, Guanbin Li, Jing Li

机构 * Sun Yat-sen University（中山大学） ； HUJING Digital Media & Entertainment Group（沪景数字媒体娱乐集团） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 MoRoute是采用动态层路由连接VLM与视频DiT的多模态视频生成框架，在三个基准数据集上均优于现有最优方法，提升了视频生成与编辑的性能。

Comments Project page: https://orange-3dv-team.github.io/MoRoute/

Faster but Different: Diagnosing and Controlling Content Drift in Accelerated Multimodal Diffusion Language Models

更快但不同：加速多模态扩散语言模型中的内容漂移诊断与控制

Yaoxuan Dou, Yang Shu

机构 * School of Mathematics and Statistics, Beijing Institute of Technology（北京理工大学数学与统计学院） ； Zhejiang University（浙江大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CL

AI总结 该研究针对加速多模态扩散语言模型的内容漂移问题，通过实验诊断出漂移源于过期状态，提出缩短KV缓存刷新区间的控制方法，在1.3倍加速时实现近乎完全一致，且未发现事实错误差异。

Comments 9 pages, 4 figures, 6 tables. Preprint

Do Unified Multimodal Models Think in One Space? A Lens Through Cross-Branch Steering

统一多模态模型是否在同一空间中思考？通过跨分支引导的视角

Yu Wang, Sharon Li

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本研究针对统一多模态模型是否共享统一可迁移语义空间的问题，提出跨分支语义引导框架，发现理解分支的引导向量可迁移至生成分支，揭示架构统一不保证语义对齐，该框架可用于探测多模态表示。

LaP-Forensics: Latent-Pixel Consistency Guided Multimodal Reasoning for Deepfake Detection

LaP-Forensics：用于深度伪造检测的潜在像素一致性引导的多模态推理

Can Wang, Yuhao Wang, Yushe Cao, Canran Xiao, Fei Shen

机构 * The Hong Kong Polytechnic University（香港理工大学） ； University College London（伦敦大学学院） ； Tsinghua University（清华大学） ； Sun Yat-sen University（中山大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究针对深度伪造检测问题，提出LaP-Forensics多模态框架，利用基于重建的取证证据及结构化模型预测，经组相对策略优化，实现跨生成器检测和伪影定位，实验验证了残差流效用，但后处理下文本忠实性和可靠性有局限。

Comments Accepted at ACM Multimedia 2026 (ACM MM 2026)

Contrastive Parameter Disentanglement for Multi-modal Remote Sensing Image Generation

用于多模态遥感图像生成的对比参数解缠

Yu Zhang, Wenda Zhao, Haojun Tang, Haipeng Wang

机构 * School of Information and Communication Engineering, Dalian University of Technology（大连理工大学信息与通信工程学院） ； Unit 92728 of PLA（中国人民解放军92728部队） 纠错

专题命中 多模态生成 ：multi-modal(title)；multimodal(abstract)；分类 cs.CV

AI总结 针对现有遥感图像生成方法局限，提出对比参数解缠框架，通过对比参数解缠模块、解缠优化策略及查询-键结构转移机制，实现多模态遥感图像高质量生成，在相关任务中性能优越。

MTVDiff: Multimodal Conditional Latent Diffusion for Enhanced Thermal-to-Visible Face Translation

MTVDiff：用于增强热红外到可见光面部翻译的多模态条件潜扩散

Zhiyuan Xia, Haojie Li, Jingyu Lin, Yiguo Qiao, Cunjian Chen

机构 * School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） ； Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University)（新一代人工智能技术及其交叉应用重点实验室（东南大学）） ； Monash University（莫纳什大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对热红外到可见光面部翻译的挑战，提出MTVDiff框架，通过双分支交叉注意力融合等三个核心技术，整合深度和文本信息，在多指标上优于现有方法，提升图像质量和面部验证性能，推动跨光谱面部图像翻译发展。

Comments Accepted by ECCV 2026

TAP-RAG: Task-Aware Policy Control for Long-Document Multimodal Question Answering

TAP-RAG：用于长文档多模态问答的任务感知策略控制

Zhong Ji, Keqi Jin, Yan Zhang, Jiasheng Li

机构 * School of Electrical and Information Engineering, Tianjin University（天津大学电气与信息工程学院） ； The International Joint Institute of Tianjin University（天津大学国际联合学院） ； Department of Automation, Tsinghua University（清华大学自动化系） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究长文档多模态问答，提出TAP-RAG框架，含任务感知策略控制器及两个执行器，能预测任务先验、估计证据信号并生成策略，在多模态文档图上扩展证据，在相关数据集上取得最佳总体准确率。

Comments 18 pages, 6 figures, 9 tables

S1-Omni: A Unified Multimodal Reasoning Model for Scientific Understanding, Prediction, and Generation

S1-Omni：用于科学理解、预测和生成的统一多模态推理模型

Jiahao Zhao, Junyi Liu, Lifeng Xu, Nan Xu, Qingli Wang, Qingxiao Li, Tianle Chen, Xiaoyu Wu, Yawen Zheng, Zikai Wang, Guanming Liu, Hequn Zhou, Jingyi Wang, Jingyuan Shu, Keqi Wang, Li He, Songyang Diao, Wenhui Xu, Xinyu Ren, Yaqin Fan, Yujin Zhou, Zhanao Yao

机构 * ScienceOne AI（科学一号人工智能） ； Wenge AI（文阁人工智能） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

AI总结 研究针对科学人工智能模型能力分散问题，提出S1-Omni统一多模态推理模型，基于科学数据统一表示、知识对齐和解码三个核心组件，经训练和评估，在多基准测试中表现出色优于同类模型，为统一科学建模提供实用路径。

M$^\text{4}$World: A Multi-view Multimodal Driving World Model for Interactive Object Manipulation and Minute-long Streaming

M$^\text{4}$World：用于交互式对象操纵和分钟级流的多视图多模态驾驶世界模型

Ke Cheng, Hanqiao Ye, Lei Shi, Yahui Liu, Yunhan Shen, Jingtao Dong, Zhenke Wang, Wenxuan Ao, Weixiang Xu, Kaining Huang, Shuhan Shen

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对现有驾驶世界生成方法局限，提出M$^\text{4}$World模型，通过灵活接口与多阶段训练实现对象操纵及长时流稳定，引入后训练与生成模型，并用新管道评估，实验证明其在驾驶模拟中有高质量、可控性与稳定性。

Comments 24 pages, 13 figures

A novel unsupervised machine learning strategy to handle multimodal cardiac PET/MRI data

一种处理多模态心脏PET/MRI数据的新型无监督机器学习策略

Brunnhilde Ponsi, Thomas Carlier, Lara Marteau, Aurélien Monnet, Thomas Eugène, Jean-Michel Serfaty, Nicolas Piriou, Hatem Necib

机构 * Nantes Université, CHU Nantes（南特大学，南特大学医院中心） ； Siemens Healthineers France（西门子医疗法国公司） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究针对致心律失常性左心室心肌病诊断难题，利用PET/MRI数据，采用两步聚类等方法，对患者图像进行处理分析，生成健康报告，经交叉验证和在更大队列上验证，能准确识别异常，有助于表征心肌异质性。

Comments 11 pages, 6 figures

Next-Dense-Stride Prediction for Multimodal Autoregressive Visual Modeling

用于多模态自回归视觉建模的下密集步长预测

Chicago Y. Park, Jialin Mao, Xiaojian Xu, Taha Kass-Hout, Ulugbek S. Kamilov, Cao Xiao

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； GE HealthCare（通用电气医疗） 纠错

专题命中 多模态生成 ：multimodal(title)；cross-modal(abstract)；分类 cs.AI

AI总结 研究提出DenseAR范式，将自回归图像生成重构成下密集步长预测，解决现有模型局限。基于此扩展为统一模型处理多模态和成像任务，在医学和自然图像验证，在多对比脑MRI及ImageNet上取得良好效果。

InterPet4D: A Multimodal 4D Human-Pet Interaction Dataset for Pet Motion Generation

InterPet4D：用于宠物运动生成的多模态4D人宠交互数据集

Yichen Peng, Jyun-Ting Song, Chen-Chieh Liao, Kris Kitani, Hideki Koike, Erwin Wu

机构 * Institute of Science Tokyo（东京科学研究所） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 因缺乏高质量数据集，人宠交互研究不足。本文提出InterPet4D多模态数据集及InterPetMoGen框架，通过同步多视图系统记录交互并标注，含多类型数据，所提模型FID得分11.21，优于基线，有效模拟人宠交互。

Model Guides You How to Draw: Adaptive Visual Gating for Unified Multimodal Reasoning

模型指导绘图：用于统一多模态推理的自适应视觉门控

Wenxi Gao, Guanxi Lu, Didi Zhu, Hao Mark Chen, Quan Deng, Zhican Wang, Jiankang Deng, Hongxiang Fan

机构 * Imperial College London（伦敦帝国理工学院） ； Tsinghua University（清华大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对统一多模态模型在视觉推理中存在的问题，提出基于生成意图和视觉保真度两个内部信号的AdaViG方法，可动态评估视觉步骤，避免误导性视觉证据进入推理过程，提升了准确率并降低计算量和延迟。

DeltaV: Thinking with Visual State Updates in Unified Large Multimodal Models

DeltaV：在统一大型多模态模型中通过视觉状态更新进行思考

Pengjie Wang, Linger Deng, Zujia Zhang, Shaojie Zhang, Zhenbo Luo, Pei Fu, Jian Luan, Xiang Bai, Yuliang Liu

机构 * Huazhong University of Science and Technology（华中科技大学） ； Xiaomi Inc.（小米公司） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究针对统一大型多模态模型全图像生成范式的问题，提出DeltaV模型，通过视觉更新避免冗余，引入TSIM路由器匹配令牌预算，构建StructCoT数据集，实验证明该范式能减少视觉令牌、提升推理能力，DeltaV - 2B性能优异。

Multimodal 3D LUT Generation via StatLUT with Statistical Features for Photorealistic Style Transfer

通过具有统计特征的StatLUT进行多模态3D LUT生成以实现逼真的风格迁移

Yifan Wang, Zhixiang Hao, Yu Wang, Congchao Zhu

机构 * Honor Device Co., Ltd.（荣耀终端有限公司） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究针对逼真风格迁移中现有方法的瓶颈，提出StatLUT框架，通过提取统计特征、基于Transformer的Seq2Seq任务预测3D LUT及用H-Diffuser从自然语言提示合成特征，实现多模态逼真风格迁移，性能优于现有方法。

Comments 17 pages, 9 figures, 7 tables. Preprint

Reinforcing the Generation Order of Multimodal Masked Diffusion Models

强化多模态掩码扩散模型的生成顺序

Yidong Ouyang, Zhe Wang, Sourav Bhabesh, Dmitriy Bespalov

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； AGI Foundations for AWS（AWS强化人工智能基础） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

AI总结 研究文本到图像合成及多模态理解中生成顺序的优化，引入经组相对策略优化训练的可学习控制模块，提升了DLMs的文本到图像对齐和多模态理解能力，在相关基准测试中取得显著改进。