多模态大模型

CustomDance: Customized 3D Dance Generation with Coarse-to-Fine Human-Centered Interactive Control

CustomDance：基于以人为中心的粗到细交互式控制的定制化3D舞蹈生成

Xulong Tang, Kaixing Yang, Xiaohu Guo, Prabhakaran Balakrishnan, Rawan Alghofaili

专题命中 多模态生成 ：MLLM(abstract,abstract_cn)；multimodal(abstract)

AI总结 CustomDance是基于粗到细交互式控制的定制化3D舞蹈生成系统，通过三阶段流程实现AI辅助编舞，在定量和定性比较中优于基线，为用户提供全面控制。

Comments Accepted to SIGGRAPH Asia 2026

AVTok: 1D Unified Tokenization for Holistic Audio-Video Generation

AVTok: 用于整体音视频生成的1D统一分词化

Kien T. Pham, I Chieh Chen, Qifeng Chen, Long Chen

机构 * The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；audio-visual(abstract)；分类 cs.CV、cs.MM、eess.AS

AI总结 提出AVTok统一分词器，采用双流Transformer架构和分层训练策略，将音视频对编码为紧凑的一维潜在表示，在音视频重建及下游生成任务中表现优异。

Comments ECCV 2026

UniversalRAG: Retrieval-Augmented Generation over Corpora of Diverse Modalities and Granularities

UniversalRAG: 在多样模态和粒度的语料库上实现检索增强生成

Woongyeong Yeo, Kangsan Kim, Soyeong Jeong, Jinheon Baek, Sung Ju Hwang

机构 * KAIST（韩国科学技术院） 纠错

专题命中 多模态生成 ：any-to-any(abstract,abstract_cn)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文提出UniversalRAG，一种能够处理多种模态和粒度的检索增强生成框架，通过动态路由机制和多粒度组织，提升跨模态知识检索的有效性，实验表明其在多个模态基准上的优越性。

Comments ACL 2026. Project page : https://universalrag.github.io

Inference-Time Scaling for Joint Audio-Video Generation

联合音视频生成的推理时缩放

Jaemin Jung, Kyeongha Rho, Inkyu Shin, Joon Son Chung

机构 * Korea Advanced Institute of Science and Technology（韩国科学技术院） ； Luma AI 纠错

专题命中 多模态生成 ：multimodal(abstract)；audio-visual(abstract)；分类 cs.CV、cs.MM、eess.AS

AI总结 针对联合音视频生成中多目标优化的挑战，提出多验证器框架与自适应奖励加权算法，在无需额外训练的情况下显著提升语义对齐、感知质量和音视频同步。

Comments Accepted by Transactions on Machine Learning Research (TMLR). Project page: https://jung-jaemin.github.io/ITS-AVGen-Proj/

ETCHR: Editing To Clarify and Harness Reasoning

ETCHR: 通过编辑来澄清和利用推理

Beichen Zhang, Yuhong Liu, Jinsong Li, Yuhang Zang, Jiaqi Wang, Dahua Lin

机构 * The Chinese University of Hong Kong Shanghai AI Laboratory（香港中文大学上海人工智能实验室） ； Shanghai AI Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.CL、cs.AI

AI总结 针对多模态大语言模型在需要细粒度关注或视角变换的问题上纯文本思维链的瓶颈，提出了一种解耦的图像编辑模型ETCHR，通过两阶段训练（推理模仿和推理增强）弥合语言侧和生成侧差距，无需训练即可插入不同MLLM，在五个任务族上平均Pass@1提升4.61-5.47个百分点。

Comments Code, model and data are open-sourced at https://github.com/InternLM/ETCHR

OSCBench: Benchmarking Object State Change in Text-to-Video Generation

OSCBench：文本到视频生成中对象状态变化的基准测试

Xianjing Han, Bin Zhu, Shiqi Hu, Franklin Mingzhe Li, Patrick Carrington, Roger Zimmermann, Jingjing Chen

机构 * National University of Singapore（新加坡国立大学） ； Singapore Management University（新加坡管理大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Fudan University（复旦大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文提出OSCBench基准，用于评估文本到视频模型在对象状态变化上的性能，揭示当前模型在处理新场景时的不足。

Comments ACL 2026 Main Conference, Project page: https://hanxjing.github.io/OSCBench

Tiny Inference-Time Scaling with Latent Verifiers

微小推理时间缩放与潜在验证器

Davide Bucciarelli, Evelyn Turri, Lorenzo Baraldi, Marcella Cornia, Lorenzo Baraldi, Rita Cucchiara

机构 * University of Modena and Reggio Emilia（摩德纳和雷吉奥艾米利亚大学） ； University of Pisa（比萨大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 本文提出VHS验证器，直接在扩散变换器单步生成器的中间隐藏表示上操作，减少验证成本并提升性能，实现更高效的推理时间缩放。

Comments Findings of CVPR 2026 - Code at: https://aimagelab.github.io/VHS/

One Size, Many Fits: Aligning Diverse Group-Wise Click Preferences in Large-Scale Advertising Image Generation

一个尺寸，多种适配：在大规模广告图像生成中对多样化群体点击偏好进行对齐

Shuo Lu, Haohan Wang, Wei Feng, Weizhen Wang, Shen Zhang, Yaoyu Li, Ao Ma, Zheng Zhang, Jingjing Lv, Junjie Shen, Ching Law, Bing Zhan, Yuan Xu, Huizai Yao, Yongcan Yu, Chenyang Si, Jian Liang

机构 * NLPR & MAIS, CASIA（中国科学院长春光学精密机械与物理研究所 & 中国科学院自动化所） ； School of AI, UCAS（中国科学院大学人工智能学院） ； HKUST(gz)（香港科技大学） ； PRLab, NJU（南京大学PRLab） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 本文提出OSMF框架，通过自适应分组和群组感知多模态模型，解决广告图像生成中用户群体点击偏好多样性的优化问题。

TalkVerse: Democratizing Minute-Long Audio-Driven Video Generation

TalkVerse：民主化分钟级音频驱动视频生成

Zhenzhi Wang, Jian Wang, Ke Ma, Dahua Lin, Bing Zhou

机构 * The Chinese University of Hong Kong（香港中文大学） ； Snap Inc.（Snap公司） 纠错

专题命中 多模态生成 ：MLLM(abstract)；audio-visual(abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 TalkVerse通过大规模开放数据和高效模型，实现了分钟级音频驱动视频生成，降低研究门槛，提升生成质量与效率。

Comments open-sourced single-person full-body talking video generation dataset, training code and checkpoints

VEGGIE: Instructional Editing and Reasoning Video Concepts with Grounded Generation

Shoubin Yu, Difan Liu, Ziqiao Ma, Yicong Hong, Yang Zhou, Hao Tan, Joyce Chai, Mohit Bansal

机构 * Adobe Research（Adobe研究机构） ； University of Michigan（密歇根大学） ； UNC Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.CL、cs.AI

Comments ICCV 2025; First three authors contributed equally. Project page: https://veggie-gen.github.io/

METAL: A Multi-Agent Framework for Chart Generation with Test-Time Scaling

Bingxuan Li, Yiwei Wang, Jiuxiang Gu, Kai-Wei Chang, Nanyun Peng

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； University of California, Merced（加州大学默塞德分校） ； Adobe Research（Adobe研究） 纠错

专题命中 多模态生成 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

Comments ACL2025 Main

A Versatile Diffusion Transformer with Mixture of Noise Levels for Audiovisual Generation

Gwanghyun Kim, Alonso Martinez, Yu-Chuan Su, Brendan Jou, José Lezama, Agrim Gupta, Lijun Yu, Lu Jiang, Aren Jansen, Jacob Walker, Krishna Somandepalli

机构 * Seoul National University（首尔国立大学） ； Google DeepMind（谷歌DeepMind） ； Stanford University（斯坦福大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.MM、eess.AS

Journal ref In Proceedings of the 38th Conference on Neural Information Processing Systems (NeurIPS 2024)

RICO: Improving Accuracy and Completeness in Image Recaptioning via Visual Reconstruction

Yuchi Wang, Yishuo Cai, Shuhuai Ren, Sihan Yang, Linli Yao, Yuanxin Liu, Yuanxing Zhang, Pengfei Wan, Xu Sun

专题命中 多模态生成 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.CL、cs.AI

Comments code: https://github.com/wangyuchi369/RICO

LLMs can see and hear without any training

Kumar Ashutosh, Yossi Gandelsman, Xinlei Chen, Ishan Misra, Rohit Girdhar

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

Comments Code: https://github.com/facebookresearch/MILS

Automatic Evaluation for Text-to-image Generation: Task-decomposed Framework, Distilled Training, and Meta-evaluation Benchmark

Rong-Cheng Tu, Zi-Ao Ma, Tian Lan, Yuehao Zhao, Heyan Huang, Xian-Ling Mao

专题命中 多模态生成 ：multi-modal(abstract)；MLLM(abstract)；分类 cs.CV、cs.CL、cs.AI

Assessing GPT4-V on Structured Reasoning Tasks

Mukul Singh, José Cambronero, Sumit Gulwani, Vu Le, Gust Verbruggen

专题命中 多模态生成 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CV、cs.CL、cs.AI

Comments 9 pages, 9 figures

DALL-Eval: Probing the Reasoning Skills and Social Biases of Text-to-Image Generation Models

Jaemin Cho, Abhay Zala, Mohit Bansal

专题命中 多模态生成 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV、cs.CL、cs.AI

Comments ICCV 2023 (34 pages; see appendix for version changelog)

Sounding Video Generator: A Unified Framework for Text-guided Sounding Video Generation

Jiawei Liu, Weining Wang, Sihan Chen, Xinxin Zhu, Jing Liu

专题命中 多模态生成 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI、cs.MM

Journal ref IEEE Transactions on Multimedia 2023

From Pixels to Feelings: Aligning MLLMs with Human Cognitive Perception of Images

从像素到感受：将MLLMs对齐于人类对图像的认知感知

Yiming Chen, Junlin Han, Tianyi Bai, Shengbang Tong, Filippos Kokkinos, Philip Torr

机构 * Oxford University（牛津大学） ； HKUST（香港科技大学） ； University College London（伦敦大学学院） ； New York University（纽约大学） 纠错

专题命中 多模态生成 ：MLLM(abstract,comments)；multimodal(abstract)；分类 cs.CV、cs.MM

AI总结 本文提出CogIP-Bench基准，通过后训练提升MLLMs对图像认知属性的对齐能力，并展示其在图像生成中的应用。

Comments Project page with codes/datasets/models: https://follen-cry.github.io/MLLM-Cognition-project-page/

D$^{3}$ToM: Decider-Guided Dynamic Token Merging for Accelerating Diffusion MLLMs

Shuochen Chang, Xiaofeng Zhang, Qingyang Liu, Li Niu

机构 * Project leader（项目负责人） 纠错

专题命中 多模态生成 ：MLLM(abstract,comments)；multimodal(abstract)；分类 cs.CV、cs.CL

Comments Accepted by AAAI Conference on Artificial Intelligence (AAAI) 2026. Code available at https://github.com/bcmi/D3ToM-Diffusion-MLLM

Toward a Foundation Plug-and-Play Prior for Computed Tomography Reconstruction via a Multimodal Diffusion Model

面向计算机断层扫描重建的即插即用基础先验：基于多模态扩散模型

Haley Duba-Sullivan, Patxi Fernandez-Zelaia, Obaidullah Rahman, Amirkoushyar Ziabari

机构 * Oak Ridge National Laboratory（橡树岭国家实验室） 纠错

专题命中 多模态生成 ：multimodal(title)；分类 cs.CV

AI总结 该研究探究用跨多成像域训练的单一多模态扩散模型作为CT重建的通用先验，在三类不同CT数据集上验证其性能优于解析重建，为异构CT重建提供可复用基础先验。

ControlRadio: Prompt-Driven Controllable Diffusion for Cross-Modal Radio Map Generation

ControlRadio：用于跨模态无线电地图生成的提示驱动可控扩散模型

Kangjun Liu, Xiying Pan, Shuhang Zhang, Xiang Xiang, Ke Chen, Yaowei Wang

机构 * Pengcheng Laboratory（鹏城实验室） ； South China University of Technology（华南理工大学） ； Peking University（北京大学） ； Huazhong University of Science and Technology（华中科技大学） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） 纠错

专题命中 多模态生成 ：cross-modal(title)；分类 cs.CV

AI总结 ControlRadio是一种可控生成框架，可根据自然语言描述和环境布局生成无线电地图，在不同城市场景中精度和泛化能力领先，计算时间较传统方法减少四个数量级以上，为无线环境建模提供新范式。

Comments 17 pages, 9 figures, 8 tables

KVAE: Family of Tokenizers for Multimodal Generative Models

KVAE：用于多模态生成模型的分词器家族

Andrey Shutkin, Denis Parkhomenko, Ivan Kirillov, Kirill Chernyshev, Kirill Malakhov, Ilia Vasiliev, Ilia Trushkin, Valeriya Kobenko, David Chikovani, Alexander Ivanov, Azat Saginbaev, Egor Silvestrov, Ivan Mikheev, Konstantin Zakharov

机构 * Kandinsky Lab（坎丁斯基实验室） 纠错

专题命中 多模态生成 ：multimodal(title)；分类 cs.CV

AI总结 本研究提出用于多模态生成模型的KVAE分词器家族，含音频、图像、视频专用型号，性能优于多款前沿开源分词器，公开了训练细节与代码。

Trojan Horse Prompting: Jailbreaking Conversational Multimodal Models by Forging Assistant Message

木马提示：通过伪造助手消息来破解对话式多模态模型

Wei Duan, Li Qian

专题命中 多模态生成 ：multimodal(title)；分类 cs.AI

AI总结 研究针对对话式多模态模型的安全漏洞，提出木马提示越狱技术，通过伪造对话历史绕过安全机制，在谷歌Gemini-2.0上实验显示其攻击成功率高于现有方法，揭示对话AI安全缺陷，呼吁转变验证范式。

Comments We stopped working on this idea because we realized that there was a paper submitted before it that took almost identical approach

REVIVE: A Multi-Modal Framework for Vandalism Detection and Recovery in Autonomous Vehicles

REVIVE：一种用于自动驾驶车辆中破坏行为检测与恢复的多模态框架

Abdullah Tariq Choudhry, Tapadhir Das

机构 * University of the Pacific（太平洋大学） 纠错

专题命中 多模态生成 ：multi-modal(title)；分类 cs.CV

AI总结 研究自动驾驶车辆中破坏行为导致的遮挡攻击问题，提出REVIVE多模态框架，集成多种检测与恢复方法，如二进制VOA检测、多类VOA模式识别等，实验表明该框架能有效恢复图像，提升目标检测指标，提供结构化恢复方案。

PairCoder++: Pair Programming as a Universal Paradigm for Verified Code-Driven Multimodal and Structured-Artifact Generation

PairCoder++：结对编程作为验证代码驱动的多模态与结构化工件生成的通用范式

Junhao Chen, Xiang Li, Mingjin Chen, Boran Zhang, Henghaofan Zhang, Yibin Xu, Yuehan Cui, Fangsheng Weng, Fei Ma, Qi Tian, Ruqi Huang, Hao Zhao

机构 * THU（清华大学） ； PKU（北京大学） ； PolyU, Hong Kong（香港理工大学） ； USTC（中国科学技术大学） ； UESTC（电子科技大学） ； Tongji University（同济大学） ； Tianjin University（天津大学） ； Independent Researcher（独立研究者） ； Guangming Lab（光明实验室） ； BAAI（北京智源人工智能研究院） 纠错

专题命中 多模态生成 ：multimodal(title)；分类 cs.CL

AI总结 提出PairCoder框架，通过驱动者和导航者两个智能体结对编程，利用工具链反馈验证代码生成，在17个基准测试中显著提升可验证工件的生成质量。

Comments Accepted by ACL 2026. Project Page: https://yisuanwang.github.io/PairCoder/

TF-TI2I: Training-Free Text-and-Image-to-Image Generation via Multi-Modal Implicit-Context Learning in Text-to-Image Models

TF-TI2I：通过文本到图像模型中的多模态隐式上下文学习实现无需训练的文本与图像到图像生成

Teng-Fang Hsiao, Bo-Kai Ruan, Yi-Lun Wu, Tzu-Ling Lin, Hong-Han Shuai

机构 * National Yang Ming Chiao Tung University 纠错

专题命中 多模态生成 ：multi-modal(title)；分类 cs.CV

AI总结 提出无需训练的TF-TI2I方法，利用MM-DiT架构中文本标记隐式学习视觉信息，通过参考上下文掩码和胜者全取模块实现选择性信息共享，并引入FG-TI2I基准，在复杂图像生成任务中表现稳健。

Navigating User Behavior toward Personalized Multimodal Generation

导航用户行为以实现个性化多模态生成

Hengji Zhou, Yufeng Liu, Ye Liu, Yong Xu, Lianghao Xia, Liqiang Nie

机构 * South China University of Technology（华南理工大学） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） 纠错

专题命中 多模态生成 ：multimodal(title)；分类 cs.AI

AI总结 提出NaviGen，通过双标识符编码用户行为并采用两阶段SFT+RL训练，将交互历史转化为可执行指令，提升个性化图像和视频生成质量。

Comments 16 pages, 15 figures, 5 tables. Code is available at https://github.com/iLearn-Lab/NaviGen

Driving, Fast or Slow? Neuro-Symbolic Guidance for Motion Prediction in Multi-Modal Ground Mobility

驾驶，快或慢？多模态地面移动中运动预测的神经符号引导

Simon Kohaut, Felix Divo, Julius Hahnewald, Benedict Flade, Julian Eggert, Kristian Kersting, Devendra Singh Dhami

机构 * Artificial Intelligence and Machine Learning Lab, TU Darmstadt（达姆施塔特工业大学人工智能与机器学习实验室） ； Honda Research Institute（本田研究所） ； Hessian Center for AI (hessian.AI)（黑森州人工智能中心） ； Centre for Cognitive Science（认知科学中心） ； German Center for AI (DFKI)（德国人工智能研究中心） ； Uncertainty in Artificial Intelligence Lab, TU Eindhoven（埃因霍温理工大学人工智能不确定性实验室） 纠错

专题命中 多模态生成 ：multi-modal(title)；分类 cs.AI

AI总结 提出TraCS框架，通过神经符号方法将交通规则编码为概率一阶逻辑，增强黑盒运动预测模型的可解释性和合规性，在Argoverse 2上持续提升SOTA性能。

Synthetic Homes: A Multimodal Generative AI Pipeline for Residential Building Data Generation under Data Scarcity

合成住宅：数据稀缺下用于住宅建筑数据生成的多模态生成式AI管道

Jackson Eshbaugh, Chetan Tiwari, Jorge Silveyra

机构 * Lafayette University（拉法叶大学） ； Georgia State University（佐治亚州立大学） 纠错

专题命中 多模态生成 ：multimodal(title)；分类 cs.AI

AI总结 提出一个多模态生成式AI框架，整合图像、表格和模拟组件，从公开记录和图像生成合成住宅建筑数据集，以解决建筑参数数据稀缺问题。

Comments 33 pages; 2 appendices; 6 figures; 4 tables. Code available at https://github.com/Lafayette-EshbaughSilveyra-Group/synthetic-homes

Journal ref Machine Learning with Applications, 25 (2026), 100959