多模态大模型

PrefGen: Multimodal Preference Learning for Preference-Conditioned Image Generation

PrefGen: 多模态偏好学习用于偏好条件下的图像生成

Wenyi Mo, Tianyu Zhang, Yalong Bai, Ligong Han, Ying Ba, Dimitris N. Metaxas

机构 * Rutgers University（罗格斯大学） ； iN2X ； MIT-IBM Watson AI Lab（麻省理工-IBM沃森人工智能实验室） ； Red Hat AI Innovation（红帽人工智能创新） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 PrefGen通过多模态大语言模型提取用户偏好并注入扩散模型，实现个性化图像生成，优于现有方法。

Comments Project Page: \href{https://prefgen.github.io/}{\texttt{https://prefgen.github.io}}

When Privacy Meets Recovery: The Overlooked Half of Surrogate-Driven Privacy Preservation for MLLM Editing

当隐私与恢复相遇： surrogate驱动的隐私保护在MLLM编辑中的被忽视的一半

Siyuan Xu, Yibing Liu, Peilin Chen, Yung-Hui Li, Shiqi Wang, Sam Kwong

专题命中 多模态生成 ：MLLM(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 本文提出SPPE数据集和统一方法，通过引导生成任务实现隐私恢复，平衡隐私保护与MLLM可用性。

Comments 9 pages,7figures

VRSA: Jailbreaking Multimodal Large Language Models through Visual Reasoning Sequential Attack

通过视觉推理序列攻击对多模态大语言模型进行劫持

Shiji Zhao, Shukun Xiong, Yao Huang, Yan Jin, Zhenyu Wu, Jiyang Guan, Ranjie Duan, Jialing Tao, Hui Xue, Xingxing Wei

机构 * Alibaba Group（阿里巴巴集团） ； Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 VRSA通过视觉推理序列攻击方法，针对多模态大语言模型的视觉模态进行劫持，提升攻击成功率。

MM-ACT: Learn from Multimodal Parallel Generation to Act

MM-ACT: 从多模态并行生成中学习以行动

Haotian Liang, Xinyi Chen, Bin Wang, Mingkang Chen, Yitian Liu, Yuhao Zhang, Zanxin Chen, Tianshuo Yang, Yilun Chen, Jiangmiao Pang, Dong Liu, Xiaokang Yang, Yao Mu, Wenqi Shao, Ping Luo

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） ； The University of Hong Kong（香港大学） ； University of Science and Technology of China（中国科学技术大学） ； Fudan University（复旦大学） ； Zhejiang University（浙江大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 MM-ACT通过多模态并行生成提升机器人任务执行能力，实现96.3%的成功率。

Comments 17 pages

UniDiff: A Unified Diffusion Framework for Multimodal Time Series Forecasting

UniDiff: 一种用于多模态时间序列预测的统一扩散框架

Da Zhang, Bingyu Li, Zhuyuan Zhao, Junyu Gao, Feiping Nie, Xuelong Li

机构 * School of Artificial Intelligence, OPtics and ElectroNics (iOPEN), Northwestern Polytechnical University, Xi’an 710072, China（人工智能学院、光学与电子学（iOPEN）、西北工业大学，西安710072，中国） ； Institute of Artificial Intelligence (TeleAI), China Telecom, China（人工智能研究所（TeleAI）、中国电信，中国） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 UniDiff提出了一种统一的扩散框架，通过融合文本和时间戳信息，提升多模态时间序列预测的准确性与鲁棒性。

UnityVideo: Unified Multi-Modal Multi-Task Learning for Enhancing World-Aware Video Generation

UnityVideo: 一体化多模态多任务学习以增强世界感知视频生成

Jiehui Huang, Yuechen Zhang, Xu He, Yuan Gao, Zhi Cen, Bin Xia, Yan Zhou, Xin Tao, Pengfei Wan, Jiaya Jia

机构 * HKUST（香港科技大学） ； CUHK（香港中文大学） ； Tsinghua University（清华大学） ； Kling Team, Kuaishou Technology（快手科技 Kling 团队） 纠错

专题命中 多模态生成 ：multi-modal(title)；cross-modal(abstract)；分类 cs.CV

AI总结 UnityVideo通过一体化多模态多任务学习提升视频生成的世界感知能力，引入动态噪声化和模态切换器，实现更全面的世界知识表示。

Comments Project Website https://jackailab.github.io/Projects/UnityVideo

Unison: A Fully Automatic, Task-Universal, and Low-Cost Framework for Unified Understanding and Generation

Unison: 一个完全自动、任务通用且低成本的统一理解和生成框架

Shihao Zhao, Yitong Chen, Zeyinzi Jiang, Bojia Zi, Shaozhe Hao, Yu Liu, Chaojie Mao, Kwan-Yee K. Wong

机构 * The University of Hong Kong（香港大学） ； Tongyi Lab, Alibaba Group（阿里集团通义实验室） ； Fudan University（复旦大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 Unison提出一个低成本、全自动的多模态理解和生成框架，通过两阶段方案实现任务自适应，覆盖多种理解和生成任务，提升生成质量与自动化水平。

DCText: Scheduled Attention Masking for Visual Text Generation via Divide-and-Conquer Strategy

DCText: 通过分而治之策略实现视觉文本生成的调度注意力遮罩

Jaewoo Song, Jooyoung Choi, Kanghyun Baek, Sangyub Lee, Daemin Park, Sungroh Yoon

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV

AI总结 DCText通过分而治之策略和注意力遮罩技术，实现高效视觉文本生成，提升长文本和多文本处理能力，同时保持图像质量和生成效率。

Comments Accepted to WACV 2026

MajutsuCity: Language-driven Aesthetic-adaptive City Generation with Controllable 3D Assets and Layouts

魔法城：基于语言的美学自适应城市生成与可控3D资产和布局

Zilong Huang, Jun He, Xiaobin Huang, Ziyi Xiong, Yang Luo, Junyan Ye, Weijia Li, Yiping Chen, Ting Han

机构 * Sun Yat-sen University（中山大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 MajutsuCity通过可控3D资产和布局生成逼真城市，结合语言驱动和美学自适应，实现高保真度和风格多样性。

Comments 13 pages, 6 figures

Hyperbolic Large Language Models

双曲大语言模型

Sarang Patil, Zeyong Zhang, Yiran Huang, Tengfei Ma, Mengjia Xu

机构 * Department of Data Science, New Jersey Institute of Technology（数据科学系，新泽西理工学院） ； Department of Biomedical Informatics, Stony Brook University（生物医学信息学系，石溪大学） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.AI

AI总结 本文提出双曲大语言模型，通过双曲几何提升语义表示学习和多尺度推理能力。

Comments 27 pages, 7 figures

DCoAR: Deep Concept Injection into Unified Autoregressive Models for Personalized Text-to-Image Generation

DCoAR: 一种深度概念注入到统一自回归模型中用于个性化文本到图像生成

Fangtai Wu, Mushui Liu, Weijie He, Zhao Wang, Yunlong Yu

机构 * Zhejiang University（浙江大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 DCoAR通过深度概念注入框架实现个性化文本到图像生成，采用LMCL策略和多正则化方案提升生成质量与上下文适应性。

DreamFoley: Scalable VLMs for High-Fidelity Video-to-Audio Generation

DreamFoley: 用于高保真视频到音频生成的可扩展视觉-语言模型

Fu Li, Weichao Zhao, You Li, Zhichao Zhou, Dongliang He

机构 * Bytedance Intelligent Creation Lab（字节跳动智能创作实验室） ； Zhejiang University（浙江大学） 纠错

专题命中 多模态生成 ：audio-visual(abstract)；分类 cs.MM

AI总结 DreamFoley通过结合视觉-语言模型，提出了一种可扩展的视频到音频生成方法，实现了高保真音频生成并优化了训练效率与质量的平衡。

Comments 10 pages; Bytedance

JambaTalk: Speech-Driven 3D Talking Head Generation Based on Hybrid Transformer-Mamba Model

JambaTalk: 基于混合Transformer-Mamba模型的语音驱动3D说话人脸生成

Farzaneh Jafari, Stefano Berretti, Anup Basu

机构 * University of Alberta, Multimedia Research Center (MRC)（阿尔伯塔大学多媒体研究中心） ； University of Florence, Media Integration and Communication Center (MICC)（佛罗伦萨大学媒体整合与通信中心） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 JambaTalk基于混合Transformer-Mamba模型，通过多模态整合实现语音驱动的3D说话人脸生成，实验表明其性能可与当前最先进模型相当。

Comments 23 pages with 8 figures

Variational Shape Inference for Grasp Diffusion on SE(3)

变分形状推断用于SE(3)上的抓取扩散

S. Talha Bukhari, Kaivalya Agrawal, Zachary Kingston, Aniket Bera

机构 * Department of Computer Science, Purdue University（计算机科学系，普渡大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)

AI总结 本文提出一种基于变分形状推断的SE(3)抓取扩散框架，通过隐式神经表示训练自编码器并引导扩散模型，实现鲁棒的多模态抓取合成，实验显示在ACRONYM数据集上性能提升6.3%并具备零样本迁移能力。

Comments This work has been submitted to the IEEE for possible publication