多模态大模型

Semantic Steering for Controllable Generation: Tuning-Free Concept Erasure in Multimodal Diffusion Transformers

语义引导用于可控生成：多模态扩散Transformer中的无调优概念擦除

Qiao Li, Xiaomeng Fu, Yuanshu Zhao, Qipeng Wang, Jiao Dai, Jizhong Han

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 该研究针对MM-DiTs的安全风险，提出一种无调优的概念擦除方法，通过在MM-DiT中间模块构建引导向量注入模型，实现高效鲁棒的概念擦除，性能优于现有方法。

Comments Accepted to ACM MM 2026

Hunyuan3D-Buffalo 1.0: A Unified Multimodal Model for Scalable 3D Generation, Understanding, and Editing

Hunyuan3D-Buffalo 1.0：用于可扩展3D生成、理解与编辑的统一多模态模型

Junliang Ye, Kenkun Liu, Guocun Wang, Yang Li, Yansong Qu, Chunshi Wang, Jingwei Xu, Yunhan Yang, Zibo Zhao, Jiachen Xu, Jiaao Yu, Lifu Wang, Zhihao Liang, Xin Huang, Zhuo Chen, Chunchao Guo

机构 * Tencent Hunyuan（腾讯混元） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 Hunyuan3D-Buffalo 1.0是支持3D理解、文本到3D生成等功能的统一多模态模型，构建87M规模语料库训练，在相关基准上达SOTA或领先性能，验证了统一训练的有效性。

Comments Project Page: https://tencent-hunyuan.github.io/Hunyuan3D-Buffalo1.0

TimeRoute: Time-Aware Modality Routing and Diffusion for Multi-Modal Recommendation

TimeRoute：面向多模态推荐的时间感知模态路由与扩散模型

Pengyu Zhang, Yangqin Jiang, Klim Zaporojets, Congfeng Cao, Paul Groth

专题命中 多模态生成 ：multi-modal(title,abstract)；分类 cs.AI

AI总结 TimeRoute通过时间感知模态路由器和带FiLM的双流去噪扩散图重构器，解决多模态推荐的模态时间尺度不匹配问题，在三个公开数据集上提升了推荐指标。

Disentanglement of Variations with Multimodal Generative Modeling

Yijie Zhang, Yiyang Shen, Weiran Wang

机构 * Department of Computer Science University of Iowa（计算机科学系 印第安纳大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

Comments 22 pages, 14 figures, 7 tables

Journal ref International Conference on Learning Representations (ICLR), 2026

Aero Realtime: Fully Aligned Input-Output Streams for Low-Latency Streaming Multimodal Generation

Aero Realtime：用于低延迟流式多模态生成的完全对齐输入输出流

Kaichen Zhang, Wei Huang, Keming Wu, Bo Li, Xiaojuan Qi

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出4B参数流式多模态模型Aero Realtime，采用双工架构实现输入输出流完全对齐，通过时隙对齐等技术降低延迟，在4块NVIDIA A6000 GPU上验证了其低延迟多模态交互的可行性。

Vorch-IR: Long-Form Unified Multimodal Identity Replacement Video Generation

Vorch-IR：长视频统一多模态身份替换生成模型

Yaole Wang, Xiaoyu Chen, Xin Ma, Yang Ding, Gang Yue, Jingjing Chen, Lin Ma, Yaohui Wang

机构 * Vorch Team（Vorch团队） ； Fudan University（复旦大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 Vorch-IR是基于LTX2的统一多模态视频身份替换框架，支持单人、双人身份及可选背景替换，通过自动数据构建流水线与时间重叠推理策略，实现长视频生成，在身份保留、动作保真等方面表现出色。

Comments Project page: https://vorch-project.github.io/Vorch-IR-project/

Visual Anchoring in Diffusion: Multimodal Zero-Shot Skeleton Action Recognition

扩散模型中的视觉锚定：多模态零样本骨骼动作识别

Zehao Bao, Shujun Guo, Bruce X. B. Yu

机构 * The University of Hong Kong（香港大学） ； Zhejiang University（浙江大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 该研究针对零样本骨骼动作识别中模态融合的问题，提出TDSM-MM模型，通过生成式分类范式结合视觉锚定，在NTU数据集上取得优异零样本识别性能，为零样本学习提供新方向。

ToolArtist: Tool-Using Unified Multimodal Models for Agentic Image Generation

ToolArtist：用于智能体图像生成的工具使用统一多模态模型

Jiahao Zhao, Xiaomin Yu, Zhongxiang Sun, Fengwei Teng, Chengwei Qin, Xiaobin Hu, Jun Xu, Shuicheng Yan

机构 * RUC（中国人民大学） ； HKUST(GZ)（香港科技大学（广州）） ； NUS（新加坡国立大学） ； UCD（加州大学戴维斯分校） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出ToolArtist，一种全智能体图像生成模型，通过后训练UMM实现，采用RAD-GRPO方法优化，将完整开放世界图像生成过程置于智能体控制下，性能优于部分控制方案。

Monte Carlo Tree Search for Table-to-Multimodal Report Generation

面向表格到多模态报告生成的蒙特卡洛树搜索

Teng Lin, Zhiyang Zhang, Yuyu Luo, Nan Tang

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对表格到多模态报告生成的现有方法缺陷，本文提出基于MCTS的MCTS-Report框架，通过分解原子动作与多维奖励函数优化，在自建的MMRBench基准上取得优于基线的77.9总体得分。

MoRoute: Dynamic Routing for In-Context Multimodal Video Generation

MoRoute：面向上下文多模态视频生成的动态路由

Chong Gao, Jie Ma, Zhan Peng, Chongxiao Wang, Haoxue Wu, Jun Liang, Guanbin Li, Jing Li

机构 * Sun Yat-sen University（中山大学） ； HUJING Digital Media & Entertainment Group（沪景数字媒体娱乐集团） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 MoRoute是采用动态层路由连接VLM与视频DiT的多模态视频生成框架，在三个基准数据集上均优于现有最优方法，提升了视频生成与编辑的性能。

Comments Project page: https://orange-3dv-team.github.io/MoRoute/

Faster but Different: Diagnosing and Controlling Content Drift in Accelerated Multimodal Diffusion Language Models

更快但不同：加速多模态扩散语言模型中的内容漂移诊断与控制

Yaoxuan Dou, Yang Shu

机构 * School of Mathematics and Statistics, Beijing Institute of Technology（北京理工大学数学与统计学院） ； Zhejiang University（浙江大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CL

AI总结 该研究针对加速多模态扩散语言模型的内容漂移问题，通过实验诊断出漂移源于过期状态，提出缩短KV缓存刷新区间的控制方法，在1.3倍加速时实现近乎完全一致，且未发现事实错误差异。

Comments 9 pages, 4 figures, 6 tables. Preprint

Diagnosing and Correcting Concept Omission in Multimodal Diffusion Transformers

诊断和纠正多模态扩散Transformer中的概念遗漏

Kanghyun Baek, Jaihyun Lew, Chaehun Shin, Jungbeom Lee, Sungroh Yoon

机构 * Interdisciplinary Program in Artificial Intelligence, Seoul National University, Seoul, South Korea ； Department of Electrical ； Computer Engineering, Seoul National University, Seoul, South Korea ； Department of Computer Science \& Engineering, Korea University, Seoul, South Korea ； ISRC, Seoul National University, Seoul, South Korea 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文通过线性探测发现文本嵌入中存在表征目标概念缺失的“遗漏信号”，并提出遗漏信号干预（OSI）方法放大该信号以主动催化缺失概念的生成，在FLUX.1-Dev和SD3.5-Medium上显著缓解了概念遗漏问题。

Comments Accepted to ICML 2026

Prompt Reinjection: Alleviating Prompt Forgetting in Multimodal Diffusion Transformers for Text-to-Image Generation

提示重注入：缓解多模态扩散变换器中的提示遗忘

Yuxuan Yao, Yuxuan Chen, Hui Li, Kaihui Cheng, Qipeng Guo, Yuwei Sun, Zilong Dong, Jingdong Wang, Siyu Zhu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本研究针对多模态扩散变换器中提示遗忘问题，提出一种无需训练的提示重注入方法，通过将早期层的提示表示重新注入到后期层，以提升指令遵循能力和生成质量。

Comments 19 pages

JoVA: Unified Multimodal Learning for Joint Video-Audio Generation and Editing

JoVA：联合视频音频生成的统一多模态学习

Xiaohu Huang, Haoyang He, Hao Zhou, Qiangpeng Yang, Shilei Wen, Kai Han

机构 * The University of Hong Kong（香港大学） ； ByteDance（字节跳动） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 JoVA通过联合自注意力机制和嘴巴区域损失，实现了高质量的视频音频生成，提升了嘴唇同步和语音质量。

Comments ECCV 2026

Do Unified Multimodal Models Think in One Space? A Lens Through Cross-Branch Steering

统一多模态模型是否在同一空间中思考？通过跨分支引导的视角

Yu Wang, Sharon Li

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本研究针对统一多模态模型是否共享统一可迁移语义空间的问题，提出跨分支语义引导框架，发现理解分支的引导向量可迁移至生成分支，揭示架构统一不保证语义对齐，该框架可用于探测多模态表示。

CustomerSim: Benchmarking and Aligning Multimodal Language Models as Retail User Simulators

SalesSim：多模态语言模型作为零售用户模拟器的基准测试与对齐

Yada Pruksachatkun, Yixin Wan, Xingrun Chen, Kai-Wei Chang, Chien-Sheng Wu

机构 * Salesforce Research（Salesforce研究院） ； University of California Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CL

AI总结 SalesSim通过多轮多模态对话评估多模态大语言模型在模拟真实用户行为中的能力，发现模型在词汇多样性及决策一致性方面存在不足，并提出UserGRPO方法提升对话流畅度与决策对齐度。

OmniAD: Detect and Understand Industrial Anomaly via Multimodal Reasoning

OmniAD：基于多模态推理的工业异常检测与理解

Shifang Zhao, Yiheng Lin, Lu Han, Yao Zhao, Yunchao Wei

机构 * Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学学院） ； Visual Intelligence + X International Joint Laboratory of the Ministry of Education（教育部视觉智能+X国际合作实验室） ； Key Laboratory of Noise and Vibration Research, Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所噪声与振动重点实验室） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 OmniAD是融合视觉与文本推理的多模态框架，以Text-as-Mask Encoding等技术实现工业异常检测与理解，在MMAD基准性能超Qwen2.5-VL-7B等模型，代码与模型将公开。

LaP-Forensics: Latent-Pixel Consistency Guided Multimodal Reasoning for Deepfake Detection

LaP-Forensics：用于深度伪造检测的潜在像素一致性引导的多模态推理

Can Wang, Yuhao Wang, Yushe Cao, Canran Xiao, Fei Shen

机构 * The Hong Kong Polytechnic University（香港理工大学） ； University College London（伦敦大学学院） ； Tsinghua University（清华大学） ； Sun Yat-sen University（中山大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究针对深度伪造检测问题，提出LaP-Forensics多模态框架，利用基于重建的取证证据及结构化模型预测，经组相对策略优化，实现跨生成器检测和伪影定位，实验验证了残差流效用，但后处理下文本忠实性和可靠性有局限。

Comments Accepted at ACM Multimedia 2026 (ACM MM 2026)

Contrastive Parameter Disentanglement for Multi-modal Remote Sensing Image Generation

用于多模态遥感图像生成的对比参数解缠

Yu Zhang, Wenda Zhao, Haojun Tang, Haipeng Wang

机构 * School of Information and Communication Engineering, Dalian University of Technology（大连理工大学信息与通信工程学院） ； Unit 92728 of PLA（中国人民解放军92728部队） 纠错

专题命中 多模态生成 ：multi-modal(title)；multimodal(abstract)；分类 cs.CV

AI总结 针对现有遥感图像生成方法局限，提出对比参数解缠框架，通过对比参数解缠模块、解缠优化策略及查询-键结构转移机制，实现多模态遥感图像高质量生成，在相关任务中性能优越。

HunyuanVideo-HOMA: Generic Human-Object Interaction in Multimodal Driven Human Animation

混元视频-HOMA：多模态驱动人体动画中的通用人机交互

Ziyao Huang, Zixiang Zhou, Juan Cao, Yifeng Ma, Yi Chen, Zejing Rao, Zhiyong Xu, Hongmei Wang, Qin Lin, Yuan Zhou, Qinglin Lu, Fan Tang

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Tencent Hunyuan（腾讯混元） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对人体-物体交互视频生成的局限，提出混元视频-HOMA弱条件多模态驱动框架，通过稀疏解耦运动引导等方法，将外观和运动信号编码融合，经优化训练，在弱监督下性能达先进水平，还具文本生成和物体操纵通用性。

MTVDiff: Multimodal Conditional Latent Diffusion for Enhanced Thermal-to-Visible Face Translation

MTVDiff：用于增强热红外到可见光面部翻译的多模态条件潜扩散

Zhiyuan Xia, Haojie Li, Jingyu Lin, Yiguo Qiao, Cunjian Chen

机构 * School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） ； Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University)（新一代人工智能技术及其交叉应用重点实验室（东南大学）） ； Monash University（莫纳什大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对热红外到可见光面部翻译的挑战，提出MTVDiff框架，通过双分支交叉注意力融合等三个核心技术，整合深度和文本信息，在多指标上优于现有方法，提升图像质量和面部验证性能，推动跨光谱面部图像翻译发展。

Comments Accepted by ECCV 2026

TAP-RAG: Task-Aware Policy Control for Long-Document Multimodal Question Answering

TAP-RAG：用于长文档多模态问答的任务感知策略控制

Zhong Ji, Keqi Jin, Yan Zhang, Jiasheng Li

机构 * School of Electrical and Information Engineering, Tianjin University（天津大学电气与信息工程学院） ； The International Joint Institute of Tianjin University（天津大学国际联合学院） ； Department of Automation, Tsinghua University（清华大学自动化系） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究长文档多模态问答，提出TAP-RAG框架，含任务感知策略控制器及两个执行器，能预测任务先验、估计证据信号并生成策略，在多模态文档图上扩展证据，在相关数据集上取得最佳总体准确率。

Comments 18 pages, 6 figures, 9 tables

OmniMotion-X: Versatile Multimodal Whole-Body Motion Generation

OmniMotion-X：通用多模态全身运动生成

Guowei Xu, Yuxuan Bian, Ailing Zeng, Zhuo Chen, Mingyi Shi, Shaoli Huang, Wen Li, Lixin Duan, Qiang Xu

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 介绍用于全身人类运动生成的OmniMotion-X框架，利用自回归扩散变换器，提出参考运动等方法，构建数据集并采用新训练策略，超越现有方法，在多模态任务中表现出色，可交互式生成逼真连贯可控的长时间运动。

Comments Accepted to CVPR 2026 Findings

S1-Omni: A Unified Multimodal Reasoning Model for Scientific Understanding, Prediction, and Generation

S1-Omni：用于科学理解、预测和生成的统一多模态推理模型

Jiahao Zhao, Junyi Liu, Lifeng Xu, Nan Xu, Qingli Wang, Qingxiao Li, Tianle Chen, Xiaoyu Wu, Yawen Zheng, Zikai Wang, Guanming Liu, Hequn Zhou, Jingyi Wang, Jingyuan Shu, Keqi Wang, Li He, Songyang Diao, Wenhui Xu, Xinyu Ren, Yaqin Fan, Yujin Zhou, Zhanao Yao

机构 * ScienceOne AI（科学一号人工智能） ； Wenge AI（文阁人工智能） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

AI总结 研究针对科学人工智能模型能力分散问题，提出S1-Omni统一多模态推理模型，基于科学数据统一表示、知识对齐和解码三个核心组件，经训练和评估，在多基准测试中表现出色优于同类模型，为统一科学建模提供实用路径。

Reliability-Prioritized Fine-Grained Generation in Multimodal Large

多模态大模型中可靠性优先的细粒度生成

Xiaomeng Fan, Wei Wu, Yuwei Wu, Zhi Gao, Shiyu Luo, Mingyang Gao, Haoyu Zhao, Zhenxin Diao, Yuxuan Ba, Lijia Feng, Yunde Jia, Mehrtash Harandi

机构 * Beijing Key Laboratory of Intelligent Information Technology, School of Computer Science & Technology, Beijing Institute of Technology（北京智能信息科技重点实验室，计算机科学与技术学院，北京理工大学） ； Guangdong Laboratory of Machine Perception and Intelligent Computing, Shenzhen MSU-BIT University（广东机器感知与智能计算实验室，深圳MSU-BIT大学） ； Department of Electrical and Computer System Engineering, Monash University（电子与计算机系统工程系，莫纳什大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对多模态大模型细粒度生成易出错的问题，提出GranFact基准和层次感知评估算法，并基于直接偏好优化提出可靠性优先的偏好优化方法，提升细粒度生成同时保持可靠性。

Comments Equal contribution: Xiaomeng Fan and Wu Wei. Corresponding authors: Zhi Gao and Yunde Jia

Sparse-LaViDa: Sparse Multimodal Discrete Diffusion Language Models

稀疏-LaViDa：稀疏多模态离散扩散语言模型

Shufan Li, Jiuxiang Gu, Kangning Liu, Zhe Lin, Zijun Wei, Aditya Grover, Jason Kuen

机构 * Adobe（Adobe公司） ； UCLA（加州大学洛杉矶分校） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对掩码离散扩散模型推理速度慢的问题，提出Sparse-LaViDa框架，通过动态截断冗余掩码令牌加速采样，引入专用寄存器令牌和注意力掩码保证质量与一致性，基于LaViDa - O构建，在多任务中实现加速且保持质量。

Comments 18 pages (12 pages for the main paper and 6 pages for the appendix), 9 figures

Lavida-O: Elastic Large Masked Diffusion Models for Unified Multimodal Understanding and Generation

Lavida-O：用于统一多模态理解与生成的弹性大掩码扩散模型

Shufan Li, Jiuxiang Gu, Kangning Liu, Zhe Lin, Zijun Wei, Aditya Grover, Jason Kuen

机构 * Adobe（Adobe公司） ； UCLA（加州大学洛杉矶分校） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究提出Lavida-O统一多模态MDM，采用Elastic-MoT架构，结合轻量级生成与理解分支，通过多种技术支持高效生成。该模型在多模态任务基准测试中性能领先，优于现有模型，还能加速推理，成为可扩展多模态推理和生成新范式。

Comments 31 pages, 15 figures

M$^\text{4}$World: A Multi-view Multimodal Driving World Model for Interactive Object Manipulation and Minute-long Streaming

M$^\text{4}$World：用于交互式对象操纵和分钟级流的多视图多模态驾驶世界模型

Ke Cheng, Hanqiao Ye, Lei Shi, Yahui Liu, Yunhan Shen, Jingtao Dong, Zhenke Wang, Wenxuan Ao, Weixiang Xu, Kaining Huang, Shuhan Shen

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对现有驾驶世界生成方法局限，提出M$^\text{4}$World模型，通过灵活接口与多阶段训练实现对象操纵及长时流稳定，引入后训练与生成模型，并用新管道评估，实验证明其在驾驶模拟中有高质量、可控性与稳定性。

Comments 24 pages, 13 figures

A novel unsupervised machine learning strategy to handle multimodal cardiac PET/MRI data

一种处理多模态心脏PET/MRI数据的新型无监督机器学习策略

Brunnhilde Ponsi, Thomas Carlier, Lara Marteau, Aurélien Monnet, Thomas Eugène, Jean-Michel Serfaty, Nicolas Piriou, Hatem Necib

机构 * Nantes Université, CHU Nantes（南特大学，南特大学医院中心） ； Siemens Healthineers France（西门子医疗法国公司） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究针对致心律失常性左心室心肌病诊断难题，利用PET/MRI数据，采用两步聚类等方法，对患者图像进行处理分析，生成健康报告，经交叉验证和在更大队列上验证，能准确识别异常，有助于表征心肌异质性。

Comments 11 pages, 6 figures

Next-Dense-Stride Prediction for Multimodal Autoregressive Visual Modeling

用于多模态自回归视觉建模的下密集步长预测

Chicago Y. Park, Jialin Mao, Xiaojian Xu, Taha Kass-Hout, Ulugbek S. Kamilov, Cao Xiao

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； GE HealthCare（通用电气医疗） 纠错

专题命中 多模态生成 ：multimodal(title)；cross-modal(abstract)；分类 cs.AI

AI总结 研究提出DenseAR范式，将自回归图像生成重构成下密集步长预测，解决现有模型局限。基于此扩展为统一模型处理多模态和成像任务，在医学和自然图像验证，在多对比脑MRI及ImageNet上取得良好效果。