多模态大模型

QUSR: Quality-Aware and Uncertainty-Guided Image Super-Resolution Diffusion Model

QUSR: 一种基于质量感知和不确定性引导的图像超分辨率扩散模型

Junjie Yin, Jiaju Li, Hanfa Xing

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 QUSR通过引入质量感知先验和不确定性引导噪声生成模块，提升图像超分辨率在复杂场景下的真实感和细节还原能力。

Comments This paper has been accepted by ICASSP 2026

Let's Think in Two Steps: Mitigating Agreement Bias in MLLMs with Self-Grounded Verification

两步思考：通过自我 grounded 验证缓解 MLLM 的同意偏差

Moises Andrade, Joonhyuk Cha, Brandon Ho, Vriksha Srihari, Karmesh Yadav, Zsolt Kira

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出 SGV 方法，通过自我 grounded 验证缓解 MLLM 的同意偏差，提升验证准确性和任务完成率。

Comments ICLR 2026. Code, models, and data publicly available at https://mshalimay.github.io/agreement-bias-sgv/

Generating Fine Details of Entity Interactions

生成实体交互的细节

Xinyi Gu, Jiayuan Mao

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出了一种基于多模态大语言模型的方法，通过分解和细化过程提升图像中实体交互细节的生成质量。

Comments EMNLP 2025. Project Page: https://detailscribe.github.io/

JavisDiT++: Unified Modeling and Optimization for Joint Audio-Video Generation

JavisDiT++：联合音频视频生成的统一建模与优化

Kai Liu, Yanhao Zheng, Kai Wang, Shengqiong Wu, Rongjunchen Zhang, Jiebo Luo, Dimitrios Hatzinakos, Ziwei Liu, Hao Fei, Tat-Seng Chua

机构 * Zhejiang University（浙江大学） ； National University of Singapore（新加坡国立大学） ； University of Toronto（多伦多大学） ； HiThink Research（HiThink研究） ； University of Rochester（罗切斯特大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.MM

AI总结 JavisDiT++通过统一建模与优化方法，在联合音频视频生成任务中实现高质量的同步与语义对齐。

Comments Accepted by ICLR 2026. Homepage: https://JavisVerse.github.io/JavisDiT2-page

SAVGBench: Benchmarking Spatially Aligned Audio-Video Generation

SAVGBench: 多模态空间对齐音频视频生成基准测试

Kazuki Shimada, Christian Simon, Takashi Shibuya, Shusuke Takahashi, Yuki Mitsufuji

机构 * Sony AI（索尼人工智能） ； Sony Group Corporation（索尼集团） 纠错

专题命中 多模态生成 ：multimodal(abstract)；audio-visual(abstract)；分类 cs.MM、eess.AS

AI总结 SAVGBench提出了一种新的基准测试方法，用于评估空间对齐音频视频生成任务的性能，通过引入专门的数据集和对齐度量标准，评估不同生成模型的对齐效果。

Comments 5 pages, 2 figures, accepted for publication in IEEE ICASSP 2026

Socratic-Geo: Synthetic Data Generation and Geometric Reasoning via Multi-Agent Interaction

Socratic-Geo：通过多智能体交互实现合成数据生成与几何推理

Zhengbo Jiao, Shaobo Wang, Zifan Zhang, Wei Wang, Bing Zhao, Hu Wei, Linfeng Zhang

机构 * AI DATA, Alibaba Group Holding Limited（阿里数据，阿里巴巴集团控股有限公司） ； EPIC Lab, Shanghai Jiao Tong University（上海交通大学EPIC实验室） ； Shanghai University of Finance（上海财经大学） ； Wuhan University（武汉大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 Socratic-Geo通过多智能体交互实现合成数据生成与几何推理，利用教师代理和求解代理动态耦合数据合成与模型学习，提升图像生成和推理能力。

Comments 18pages

MAUGen: A Unified Diffusion Approach for Multi-Identity Facial Expression and AU Label Generation

MAUGen: 一种用于多身份面部表情和AU标签生成的统一扩散方法

Xiangdong Li, Ye Lou, Ao Gao, Wei Zhang, Siyang Song

专题命中 多模态生成 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 MAUGen通过统一的扩散方法生成多身份面部表情和AU标签，提升面部动作单元识别系统的泛化能力。

Unified Text-Image Generation with Weakness-Targeted Post-Training

通过弱项针对性后训练实现统一的文本图像生成

Jiahui Chen, Philippe Hansen-Estruch, Xiaochuang Han, Yushi Hu, Emily Dinan, Amita Kamath, Michal Drozdzal, Reyhane Askari-Hemmat, Luke Zettlemoyer, Marjan Ghazvininejad

机构 * FAIR at Meta（Meta旗下的FAIR） ； University of Texas, Austin（德克萨斯大学奥斯汀分校） ； University of Washington（华盛顿大学） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出通过针对性后训练实现统一文本图像生成，提升多模态生成性能。

Multivariate Diffusion Transformer with Decoupled Attention for High-Fidelity Mask-Text Collaborative Facial Generation

多变量扩散变换器与解耦注意力用于高保真遮罩-文本协同面部生成

Yushe Cao, Dianxi Shi, Xing Fu, Xuechao Zou, Haikuo Peng, Xueqi Li, Chun Yu, Junliang Xing

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 MDiTFace通过解耦注意力机制和多变量变换块提升遮罩-文本协同面部生成的保真度与一致性。

HyperCLOVA X 8B Omni

HyperCLOVA X 8B Omni：首个支持文本、音频和视觉的任何到任何多模态模型

NAVER Cloud HyperCLOVA X Team

机构 * NAVER Cloud HyperCLOVA X Team（NAVER云HyperCLOVA X团队） 纠错

专题命中 多模态生成 ：multimodal(abstract)；any-to-any(abstract)；分类 cs.CL、cs.AI

AI总结 HyperCLOVA X 8B Omni是首个支持文本、音频和视觉的任何到任何多模态模型，通过统一的多模态处理实现高效且灵活的多模态交互。

Comments Technical Report

Taming Hallucinations: Boosting MLLMs' Video Understanding via Counterfactual Video Generation

驯服幻觉：通过反事实视频生成提升MLLMs的视频理解

Zhe Huang, Hao Wen, Aiming Hao, Bingze Song, Meiqi Wu, Jiahong Wu, Xiangxiang Chu, Sheng Lu, Haoqian Wang

机构 * Tsinghua University（清华大学） ； Beihang University（北航） ； AMAP, Alibaba Group（阿里妈妈实验室，阿里巴巴集团） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 通过反事实视频生成和对比训练，提升MLLMs对视频的理解能力并减少幻觉。

Comments 18 pages

TextEditBench: Evaluating Reasoning-aware Text Editing Beyond Rendering

TextEditBench: 评估超出渲染的推理-aware文本编辑

Rui Gui, Yang Wan, Haochen Han, Dongxing Mao, Fangming Liu, Min Li, Alex Jinpeng Wang

机构 * Central South University（中南大学） ； Pengcheng Laboratory（鹏城实验室） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 TextEditBench 旨在评估文本编辑中超出渲染的推理能力，通过引入语义期望维度，推动多模态生成中的文本引导编辑技术发展。

MiniGPT-5: Interleaved Vision-and-Language Generation via Generative Vokens

MiniGPT-5：通过生成性vokens实现交错的视觉-语言生成

Kaizhi Zheng, Xuehai He, Xin Eric Wang

机构 * University of California, Santa Cruz（加州大学圣克鲁兹分校） ； University of California, Santa Barbara（加州大学圣芭芭拉分校） 纠错

专题命中 多模态生成 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 MiniGPT-5通过生成性vokens实现交错的视觉-语言生成，显著提升多模态生成任务的性能。

Unlocking the Forgery Detection Potential of Vanilla MLLMs: A Novel Training-Free Pipeline

Rui Zuo, Qinyue Tong, Zhe-Ming Lu, Ziqian Lu

机构 * Zhejiang University（浙江大学） ； Zhejiang Sci-Tech University（浙江科技学院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

ProAV-DiT: A Projected Latent Diffusion Transformer for Efficient Synchronized Audio-Video Generation

Jiahui Sun, Weining Wang, Mingzhen Sun, Yirong Yang, Xinxin Zhu, Jing Liu

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Beihang University（北航大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.AI、cs.MM

Abn-BLIP: Abnormality-aligned Bootstrapping Language-Image Pre-training for Pulmonary Embolism Diagnosis and Report Generation from CTPA

Zhusi Zhong, Yuli Wang, Lulu Bi, Zhuoqi Ma, Sun Ho Ahn, Christopher J. Mullin, Colin F. Greineder, Michael K. Atalay, Scott Collins, Grayson L. Baird, Cheng Ting Lin, Webster Stayman, Todd M. Kolb, Ihab Kamel, Harrison X. Bai, Zhicheng Jiao

机构 * Department of Diagnostic Imaging, Brown University Health（布朗大学健康中心诊断影像科） ； Warren Alpert Medical School of Brown University（布朗大学沃伦·阿尔珀特医学院） ； Department of Biomedical Engineering, Johns Hopkins University School of Medicine（约翰霍普金斯大学医学院生物医学工程系） ； Department of Radiology and Radiological Sciences, Johns Hopkins University School of Medicine（约翰霍普金斯大学医学院放射科） ； Johns Hopkins University Division of Pulmonary and Critical Care Medicine（约翰霍普金斯大学肺科与重症医学科） ； Department of Radiology, University of Colorado School of Medicine（科罗拉多大学医学院放射科） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

Automatización de Informes Geotécnicos para Macizos Rocosos con IA

Christofer Valencia, Alexis Llumigusín, Silvia Alvarez, Abrahan Arias, Christian Mejia-Escobar

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CL、cs.MM

Comments 17 pages, in Spanish language

MotionGPT3: Human Motion as a Second Modality

Bingfan Zhu, Biao Jiang, Sunyi Wang, Shixiang Tang, Tao Chen, Linjie Luo, Youyi Zheng, Xin Chen

机构 * Zhejiang University（浙江大学） ； Fudan University（复旦大学） ； ByteDance（字节跳动） ； The Chinese University of HongKong（香港中文大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL

Comments 26 pages, 11 figures

SmartFreeEdit: Mask-Free Spatial-Aware Image Editing with Complex Instruction Understanding

Qianqian Sun, Jixiang Luo, Dell Zhang, Xuelong Li

机构 * Institute of Artificial Intelligence(TeleAI), China Telecom（人工智能研究院（TeleAI），中国电信） ； The University of Hongkong（香港大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.MM

MemEIC: A Step Toward Continual and Compositional Knowledge Editing

Jin Seong, Jiyun Park, Wencke Liermann, Hongseok Choi, Yoonji Nam, Hyun Kim, Soojong Lim, Namhoon Lee

机构 * Electronics and Telecommunications Research Institute, Republic of Korea（韩国电子电信研究院） ； POSTECH ； Sungkyunkwan University（全南大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CL、cs.AI

Comments NeurIPS 2025, 38 pages, 8 figures

Pico-Banana-400K: A Large-Scale Dataset for Text-Guided Image Editing

Yusu Qian, Eli Bocek-Rivele, Liangchen Song, Jialing Tong, Yinfei Yang, Jiasen Lu, Wenze Hu, Zhe Gan

机构 * Apple（苹果公司） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.CL

GACO-CAD: Geometry-Augmented and Conciseness-Optimized CAD Model Generation from Single Image

Yinghui Wang, Xinyu Zhang, Peng Du

专题命中 多模态生成 ：multi-modal(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

UniFusion: Vision-Language Model as Unified Encoder in Image Generation

Kevin Li, Manuel Brack, Sudeep Katakol, Hareesh Ravi, Ajinkya Kale

机构 * Adobe Applied Research（Adobe应用研究） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

Comments Project page at https://thekevinli.github.io/unifusion/

Hunyuan3D-Omni: A Unified Framework for Controllable Generation of 3D Assets

Team Hunyuan3D, :, Bowen Zhang, Chunchao Guo, Haolin Liu, Hongyu Yan, Huiwen Shi, Jingwei Huang, Junlin Yu, Kunhong Li, Linus, Penghao Wang, Qingxiang Lin, Sicong Liu, Xianghui Yang, Yixuan Tang, Yunfei Zhao, Zeqiang Lai, Zhihao Liang, Zibo Zhao

机构 * Tencent（腾讯） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

Comments Technical Report; 3D Generation

Discrete Diffusion for Reflective Vision-Language-Action Models in Autonomous Driving

Pengxiang Li, Yinan Zheng, Yue Wang, Huimin Wang, Hang Zhao, Jingjing Liu, Xianyuan Zhan, Kun Zhan, Xianpeng Lang

机构 * LiAuto ； Tsinghua University（清华大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CL、cs.AI

Maestro: Self-Improving Text-to-Image Generation via Agent Orchestration

Xingchen Wan, Han Zhou, Ruoxi Sun, Hootan Nakhost, Ke Jiang, Rajarishi Sinha, Sercan Ö. Arık

机构 * Google（谷歌） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

Comments 15 pages, 7 figures, 2 tables (22 pages, 9 figures and 3 tables including references and appendices)

Instant Preference Alignment for Text-to-Image Diffusion Models

Yang Li, Songlin Yang, Xiaoxuan Han, Wei Wang, Jing Dong, Yueming Lyu, Ziyu Xue

机构 * New Laboratory of Pattern Recognition, CASIA（模式识别新实验室，中国科学院自动化研究所） ； The Hong Kong University of Science and Technology（香港科技大学） ； Nanjing university（南京大学） ； Academy of Broadcasting Science, NRTA（广播科学研究院，国家广播电视总局） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

Comments 17 figures

LoRA.rar: Learning to Merge LoRAs via Hypernetworks for Subject-Style Conditioned Image Generation

Donald Shenaj, Ondrej Bohdal, Mete Ozay, Pietro Zanuttigh, Umberto Michieli

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

Comments ICCV 2025. Project page: https://donaldssh.github.io/LoRA.rar

CatchPhrase: EXPrompt-Guided Encoder Adaptation for Audio-to-Image Generation

Hyunwoo Oh, SeungJu Cha, Kwanyoung Lee, Si-Woo Kim, Dong-Jin Kim

机构 * Hanyang University（翰阳大学） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.MM、eess.AS

Nexus-Gen: Unified Image Understanding, Generation, and Editing via Prefilled Autoregression in Shared Embedding Space

Hong Zhang, Zhongjie Duan, Xingjun Wang, Yuze Zhao, Weiyi Lu, Zhipeng Di, Yixuan Xu, Yingda Chen, Yu Zhang

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI