多模态大模型

MLLM-Guided Semantic Correction for Text-to-Video Generation

基于多模态大语言模型（MLLM）的文本到视频生成语义修正

Junhao Chen, Zheqi Lv, Keting Yin, Shengyu Zhang, Zhou Zhao, Feiyang Chen, Xinyu Duan, Baoxing Huai, Fei Wu

机构 * Zhejiang University（浙江大学） ； Huawei Cloud Computing Technology Co., Ltd.（华为云计算技术有限公司） 纠错

专题命中 多模态生成 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 该研究提出一种无需训练的MLLM引导文本到视频生成语义修正框架，通过两个关键模块在生成中修正语义偏差，提升了生成内容的语义对齐度等性能，经多基准实验验证有效。

Remote-Sensing City Layout Extraction with MLLM

基于多模态大语言模型（MLLM）的遥感城市布局提取

Zigan Zhou, Kai Li, Yupeng Deng

机构 * City University of Hong Kong（香港城市大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Aerospace Information Research Institute（空天信息创新研究院） 纠错

专题命中 多模态生成 ：MLLM(title,title_cn)；multimodal(abstract)；分类 cs.CV

AI总结 本研究提出Code-as-City方法，利用MLLM将遥感顶视图图像转化为含平面与3D输出的可编辑城市布局，在CityLayout-100数据集上取得41.1%、48.3%的交并比，验证了视觉观测转城市代码的可行性。

Comments 4 pages, 2 figures, 4 tables. Accepted to IEEE APGARSS 2026

Multi-Modal Generative Fuzzy System: Fuzzy Inference Guided Large Model Interactive Question Answering Framework

多模态生成模糊系统：模糊推理引导的大模型交互式问答框架

Hailong Yang, Jianqi Wang, Guanjin Wang, Zhaohong Deng

专题命中 多模态生成 ：multi-modal(title,abstract)；multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对多模态问答的模态偏差、知识不确定性与推理深度不足问题，提出多模态生成模糊系统（MMGFS），通过多模态协同沉思机制与模糊规则多跳推理实现性能提升，在多数据集上优于现有方法。

Comments 13 pages, 8 figures

EchoCache: Energy-Guided Cross-Modal Caching for Efficient Audio-Driven Video Generation

EchoCache：面向高效音频驱动视频生成的能量引导跨模态缓存

Jiayu Chen, Xiaoyu Wu, Rongshan Gao, Maoliang Li, Zihao Zheng, Xinhao Sun, Hailong Zou, Guojie Luo, Xiang Chen

机构 * Peking University（北京大学） ； Taiyuan University of Technology（太原理工大学） 纠错

专题命中 多模态生成 ：cross-modal(title,abstract)；audio-visual(abstract)；分类 cs.CV

AI总结 EchoCache是一种能量引导跨模态缓存框架，通过利用音频时频能量锚点与动态缓存机制，在保持音频驱动视频生成质量的同时，实现了2.46倍的推理加速，优化了延迟-质量权衡。

Comments EchoCache is honored to be accepted by ACM MM 2026

Path2ST: Hierarchical Cell-Tissue Grounded Cross-Modal Translation for Spatial Transcriptomics

Path2ST：面向空间转录组学的基于细胞-组织层级的跨模态转换方法

Ruochen Liu, Wei Lou

机构 * University of Liverpool（利物浦大学） ； Zhejiang Normal University（浙江师范大学） 纠错

专题命中 多模态生成 ：cross-modal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 Path2ST是一种基于细胞-组织层级的跨模态转换框架，通过融合层级条件机制、尺度自适应生成与全谱损失函数，实现从H&E图像精准预测空间转录组，在三个数据集上达到最优性能。

Where did the ambiguity go? Examining how multimodal models interpret polysemous words

歧义去了哪里？探究多模态模型如何解释多义词

Jasin Cekinmez, Addison J. Wu, Raja Marjieh, Thomas L. Griffiths

机构 * Princeton University（普林斯顿大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 该研究对比17个文本到图像模型和15个文本生成模型，发现多模态模型生成图像的词义多样性低于文本，揭示了基础模型在不同模态间意义表达的迁移 gap。

Comments Oral Presentation, Sci-FM Workshop @ COLM 2026

GaussianDWM++: Language-Grounded 3D Gaussian Driving World Model for Unified Scene Understanding, Editing, and Multi-Modal Generation

GaussianDWM++：用于统一场景理解、编辑与多模态生成的语言接地3D高斯驾驶世界模型

Tianchen Deng, Xuefeng Chen, Shuang Wu, Qu Chen, Jiajun Zhu, Bo Dai, Jianfei Yang, Hesheng Wang

机构 * School of Automation and Intelligent Sensing, Shanghai Jiao Tong University（上海交通大学自动化与智能感知学院） ； Tsinghua University（清华大学） ； Chongqing Afari Intelligent Drive Co., Ltd.（重庆阿法瑞智能驾驶有限公司） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 多模态生成 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 该研究提出GaussianDWM++，通过基础特征高斯分词器等模块构建统一框架，在多类驾驶任务中实现场景理解、编辑与多模态生成，性能达当前最优。

DECO: Decoupled Multimodal Diffusion Transformer for Bimanual Dexterous Manipulation with a Plugin Tactile Adapter

DECO：解耦多模态扩散变压器用于配备插件触觉适配器的双臂灵巧操作

Xukun Li, Yu Sun, Lei Zhang, Bosheng Huang, Yibo Peng, Yuan Meng, Haojun Jiang, Shaoxuan Xie, Guocai Yao, Alois Knoll, Zhenshan Bing, Xinlong Wang, Zhenguo Sun

机构 * Beijing Academy of Artificial Intelligence, Beijing, China（北京人工智能研究院） ； School of Computation, Information and Technology, Technical University of Munich, Garching, Germany（慕尼黑技术大学计算与信息学院） ； Department of Shenyang Institute of Computing Technology, University of Chinese Academy of Sciences, Beijing, China（中国科学院沈阳计算技术研究所部门） ； State Key Laboratory for Novel Software Technology, Nanjing University, Nanjing, China（新型软件技术国家重点实验室） ； Department of Computer Science and Technology, Tsinghua University, Beijing, China（清华大学计算机科学与技术系） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

AI总结 DECO通过解耦多模态输入和触觉适配器，实现了双臂灵巧操作的高效整合与高成功率

Comments 25 pages, 8 figures. Project Page: https://baai-humanoid.github.io/DECO-webpage/

Represent, Then Generate: Multimodal-Conditioned Time-Series Generation under Irregular Missingness

先表征，再生成：不规则缺失下的多模态条件时间序列生成

Haochen Zhang, Jiaheng Guo, Yu-Chao Huang, Nicholas Konz, Tianlong Chen

专题命中 多模态生成 ：multimodal(title,abstract)

AI总结 提出ReCoGen两阶段框架，将多模态条件表征与生成分离，在三个生理基准的16项任务中超越6种生成器，可合成缺失生理信号以实现低侵入性临床监测。

Comments 17 pages, 5 figures

Defake-o3: From Speculative Rationales to Verifiable Evidence for Explainable AIGI Detection

Defake-o3：从推测性理由到可验证证据的可解释AIGI检测

Bowen Deng, Jiahui Zhan, Yikun Ji, Haozhen Yan, Jianfu Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 多模态生成 ：MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 Defake-o3是结合交互式视觉搜索与证据验证器的可解释AIGI检测器，构建了GroundFake数据集和FakeFrontier基准，在多基准上同时提升了AIGI检测准确率与解释质量。

Comments Accepted by ACMMM 2026

Who Leads Now? Token-Level Modality Arbitration for Chart-to-Code Generation

当前谁主导？用于图表转代码生成的令牌级模态仲裁

Qinghao Fu, Yarong Wang, Shunlei Ning, Yilin Wang, Shunwen Bai, Xinda Wang, Jiaotuan Wang, Yinan Nie, Wei Zhou

专题命中 多模态生成 ：cross-modal(abstract,abstract_cn)；分类 cs.AI

AI总结 提出MoCA模型，通过CAB分离视觉与编码能力并动态仲裁贡献，经两阶段训练后在三个基准测试中取得与同类模型相当的图表转代码性能。

TRACE-Bench: Decomposing and Diagnosing Multi-Reference Image Generation

TRACE-Bench：多参考图像生成的分解与诊断

Haoran Wang, Chaofan Ma, Ran Yi, Lizhuang Ma

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对多参考图像生成基准的缺陷，构建TRACE-Bench基准，采用算子分解方法评估9个主流模型，发现解耦与属性绑定是核心瓶颈，最优模型属性保真度仅0.74

Comments Accepted to ACM Multimedia 2026 (ACM MM 2026)

Omni-LiveAvatar: Minute-Level Real-Time Streaming Joint Audio-Video Avatar Generation

Omni-LiveAvatar：分钟级实时流式视听联动数字人生成

Lunjie Zhu, Xingtong Ge, Fangyu Lin, Yi Zhang, Zhening Liu, Mengfei Li, Yumeng Zhang, Guanglu Song, Yu Liu, Jun Zhang

专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.CV、cs.MM

AI总结 本研究提出Omni-LiveAvatar框架，通过渐进式自回归蒸馏等技术，实现分钟级实时流式视听联动数字人生成，速度较LTX-2提升33倍且性能优于基线模型。

G-MAD: A Game-Based Data Generation Framework for Multi-View RGB-T Aerial Object Detection

G-MAD：用于多视图RGB-T航空目标检测的基于游戏的数据生成框架

Yechan Kim, JongHyun Park, Dongho Yoon, Namhoon Jung, Moongu Jeon

机构 * LIG Defense&Aerospace（LIG国防与航空航天公司） ； GIST（韩国科学技术院） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对航空目标检测中数据集构建的问题，提出基于游戏的G-MAD数据生成框架，可解决视点控制、数据对齐及标注成本等问题，支持多视图相机放置等功能，还构建并发布了AMOD基准。

Comments ACM Multimedia 2026 (Supplementary Material Included)

AgentMV: A State-Guided Multi-Agent Framework for Budget-Aware Music Video Generation

AllocMV：通过结构化持久状态实现音乐视频生成的最优资源分配

Huimin Wang, Chang Xia, Leilei Ouyang, Yongqi Kang, Yu Fu, Yuqi Ouyang

机构 * College of Computer Science, Sichuan University（四川大学计算机学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 AllocMV提出了一种分层框架，将音乐视频合成建模为多重选择背包问题，通过动态规划优化资源分配，确保跨镜头一致性并降低生成成本。

Comments ECCV 2026 AI4VA

OpenGPT-4o-Image: A Comprehensive Dataset for Advanced Image Generation and Editing

OpenGPT-4o-Image：用于高级图像生成与编辑的综合数据集

Zhihong Chen, Xuehai Bai, Yang Shi, Chaoyou Fu, Huanyu Zhang, Haotian Wang, Xiaoyan Sun, Zhang Zhang, Liang Wang, Yuanxing Zhang, Pengfei Wan, Yi-Fan Zhang

机构 * USTC（中国科学技术大学） ； Kling Team（Kling团队） ； HDU（华中科技大学） ； PKU（北京大学） ； NJU（南京大学） ； CASIA（中国科学院自动化研究所） ； THU（清华大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 该研究构建了涵盖11个领域51个子任务的OpenGPT-4o-Image数据集，经其微调主流模型后，图像编辑任务性能最高提升18%、生成任务最高提升13%，证实系统化数据构建对多模态AI的重要性。

VicEdit: Learning to Edit Videos from Visual In-Context Examples

VicEdit：从视觉上下文示例学习编辑视频

Yuji Wang, Teng Hu, Yuheng Chen, Ran Yi, Han Feng, Weijian Cao, Chengjie Wang, Lizhuang Ma, Jiangning Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Tencent Youtu Lab（腾讯优图实验室） ； Zhejiang University（浙江大学） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV

AI总结 针对文本指令视频编辑难以传达细粒度视觉信息的问题，提出视觉上下文编辑新范式，构建VicEdit-400K数据集，开发VicEdit框架，在VicEditBench上实现SOTA性能。

PersonaShot: Benchmarking Person-Centric Narrative Continuity in Multi-Shot Video Generation

PersonaShot：多镜头视频生成中以人为中心的叙事连续性基准

Yuji Wang, Yuheng Chen, Teng Hu, Ran Yi, Yijia Hong, Han Feng, Weijian Cao, Chengjie Wang, Lizhuang Ma, Jiangning Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Tencent Youtu Lab（腾讯优图实验室） ； Zhejiang University（浙江大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 该研究针对多镜头视频生成中角色叙事连续性评估的不足，推出PersonaShot基准，设计三类特定评估器，发现先进模型感知质量与跨镜头连续性存在差距，评估器与人类专家判断一致性强。

SAGE-OR: Semi-supervised Adaptive Scene Graph Generation for Operating Rooms

SAGE-OR：面向手术室的半监督自适应场景图生成

Brandon Leblanc, Charalambos Poullis

机构 * Concordia University（康考迪亚大学） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV

AI总结 SAGE-OR是面向手术室的半监督自适应场景图生成框架，采用解耦范式，轻量高效，在4D-OR基准上F1达76%，经无监督手部增强后达86%，可低成本适配新手术场景。

Comments Accepted at BMVC 2026

DiffImaginE: Imagine to Verify Entity Types with Diffusion

DiffImaginE：通过想象验证实体类型

Feng Zhang, Feiyu Han, Rongxin Yang, Yang Liu, Yancheng Chen, Rui Wang, Yingguang Yang, Tian Xueyun, Chongyang Zhang, Hao Zheng, Xu Kefu, Congjing Ran, Fuhai Chen, Bin Chong

机构 * Fuzhou University（福州大学） ； Chinese Academy of Sciences（中国科学院） ； Peking University（北京大学） ； Alibaba Group（阿里巴巴集团） ； University of Science and Technology of China（中国科学技术大学） ； Fullive Innovation (Beijing) AI Technology Co., Ltd.（福莱创新（北京）人工智能科技有限公司） ； Baidu（百度） ； Wuhan University（武汉大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

AI总结 DiffImaginE将多模态命名实体识别的类型验证建模为条件潜在扩散推理，在Twitter-2015和Twitter-2017数据集上，相比确定性对照模型取得了一致的性能提升。

Planner-Conditioned Diffusion for Coordinated Multi-Agent Exploration

用于协调多智能体探索的规划器条件扩散模型

Marcus Yu Siong Teo, Jeric Lew, Tanishq Duhan, Guillaume Sartoretti

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)

AI总结 提出规划器条件扩散策略PCDP，通过规划器身份作为条件输入训练多模态单智能体策略，结合局部重排序实现协调，在多智能体探索中提升性能并验证了方法有效性。

Comments Code and models are available at https://github.com/marmotlab/PCDP

A Quantitative Approximation Framework for Flow Distillation in Diffusion Models

扩散模型中流蒸馏的定量近似框架

Weiguo Gao, Ming Li, Lei Shi, Hanfei Zhou

机构 * School of Mathematical Sciences, Fudan University（复旦大学数学学院） ； Shanghai Key Laboratory of Contemporary Applied Mathematics, Fudan University（复旦大学当代应用数学重点实验室） 纠错

专题命中 多模态生成 ：multimodal(abstract)

AI总结 针对扩散模型中的流蒸馏，提出一个定量近似框架，将少步采样视为学习流映射组合下的误差传播，通过理论分析和实验验证了稳定性平衡的非均匀时间网格能显著降低端到端相对MSE。