AI 大模型
跨文本、图像、视频、音频等模态的大模型与学习方法。
基于成语的视觉双关：一个迭代的LLM-T2IM-MLLM框架
机构 * Dalian University of Technology（大连理工大学） ； Xinjiang Normal University（新疆师范大学）
专题命中 多模态生成 ：MLLM(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.CL
AI总结 本文提出一个迭代框架，结合LLM、T2IM和MLLM，实现基于成语的视觉双关的自动生成与评估，实验表明MLLM选择对性能影响最大。
Comments Submitted to ICASSP 2026 (under review)
TIP和Polish：通过共同性-差异性建模与细化的文本-图像-原型引导的多模态生成
专题命中 多模态生成 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.AI、cs.MM
AI总结 TIPPo通过共同性-差异性建模与细化，提升多模态生成的主题一致性和风格一致性。
Comments Submitted to ICASSP2026
OpenDance: 基于大规模互联网数据的多模态可控3D舞蹈生成
机构 * Peking University（北京大学） ； Huawei Cloud（华为云）
专题命中 多模态生成 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV
AI总结 OpenDance通过构建大规模舞蹈数据集和提出统一的可控生成框架，实现了多模态的3D舞蹈生成，支持音乐、文本、关键点和轨迹等多种条件控制。
Chart2Code-MoLA: 通过自适应专家路由实现高效的多模态代码生成
专题命中 多模态生成 ：multi-modal(title,abstract)；multimodal(abstract)
AI总结 Chart2Code-MoLA通过自适应专家路由实现高效多模态代码生成，提升生成准确性、降低内存消耗并加速收敛。
VQRAE：用于多模态理解、生成和重建的表示量化自编码器
机构 * Tsinghua University（清华大学） ； Huazhong University of Science and Technology（华中科技大学） ； Kolors Team, Kuaishou Technology（快手科技Kolors团队）
专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV
AI总结 VQRAE通过统一的分词器生成连续语义特征和离散标记，提升多模态理解、生成和重建的性能。
Comments 19 pages, 10 figures
MolEdit: 多模态分子语言模型的知识编辑
机构 * University of Virginia（弗吉尼亚大学） ； Florida State University（佛罗里达州立大学）
专题命中 多模态生成 ：multimodal(title,abstract)
AI总结 MolEdit通过多专家知识适配器和专家意识编辑切换器，提升多模态分子语言模型的编辑可靠性与局部性，实现分子与描述词的高效互转。
从像素到感受：将MLLMs对齐于人类对图像的认知感知
机构 * Oxford University（牛津大学） ； HKUST（香港科技大学） ； University College London（伦敦大学学院） ； New York University（纽约大学）
专题命中 多模态生成 ：MLLM(abstract,comments)；multimodal(abstract)；分类 cs.CV、cs.MM
AI总结 本文提出CogIP-Bench基准，通过后训练提升MLLMs对图像认知属性的对齐能力，并展示其在图像生成中的应用。
Comments Project page with codes/datasets/models: https://follen-cry.github.io/MLLM-Cognition-project-page/
视觉生成微调
机构 * Huazhong University of Science and Technology（华中科技大学） ； Tsinghua University（清华大学） ； School of Artificial Intelligence, South China Normal University（华南师范大学人工智能学院） ； Kolors Team, Kuaishou Technology（快手科技Kolors团队）
专题命中 多模态生成 ：multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.CV
AI总结 本文提出VGT，通过视觉生成微调提升视觉语言模型的视觉生成能力，在图像重建和生成任务中均取得优异成果。
DM$^3$T: 通过扩散和谐多模态以实现多目标跟踪
机构 * China Agricultural University（中国农业大学） ； Beijing Normal University（北京师范大学）
专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV
AI总结 DM$^3$T通过扩散模型实现多模态特征对齐，提升多目标跟踪的准确性和鲁棒性。
Harmony: 通过跨任务协同实现音频和视频生成
机构 * Shanghai Jiao Tong University（上海交通大学） ； Tencent Hunyuan Project（腾讯文心项目）
专题命中 多模态生成 ：cross-modal(abstract)；audio-visual(abstract)；分类 cs.CV
AI总结 Harmony通过跨任务协同机制和同步增强CFG，实现高效音频视频同步生成。
Ovis-Image 技术报告
机构 * Alibaba Group（阿里巴巴集团）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI
AI总结 Ovis-Image 是一个70亿参数的文本到图像模型，通过优化的多模态主干和文本聚焦训练方法，在紧凑架构下实现与大型开源模型相当的文本渲染性能。
Comments Code is released at https://github.com/AIDC-AI/Ovis-Image
COPO：面向MLLM幻觉的因果导向策略优化
机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Institute of Software Chinese Academy of Sciences（中国科学院软件研究所） ； Wangxuan Institute of Computer Technology, Peking University（北京大学王轩计算机技术研究所） ； Amazon.com, Inc.（亚马逊公司）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CL、cs.AI
AI总结 COPO通过引入因果完整性奖励和GRPO框架，解决多模态大语言模型的幻觉问题，通过令牌级因果约束确保输出的正确性和证据基础。
DEAL-300K：基于扩散的编辑区域定位与30万规模数据集及频率提示基线
机构 * School of Cyber Science and Engineering, Sichuan University（四川大学计算机科学与工程学院） ； Key Laboratory of Data Protection and Intelligent Management, Ministry of Education, Sichuan University（教育部数据保护与智能管理重点实验室）
专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV
AI总结 DEAL-300K通过多模态大语言模型生成编辑指令，结合频率提示微调方法，实现了基于扩散的图像编辑区域定位，提供高精度的基线和研究基础。
Comments 13pages,12 figures
CoordSpeaker: 利用手势描述生成协调的 caption-驱动的语音同步手势生成
机构 * Tsinghua University（清华大学）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV
AI总结 CoordSpeaker通过引入手势描述框架和条件潜在扩散模型，实现了协调的caption驱动的语音同步手势生成，解决了手势生成中的语义先验间隙和多模态控制难题。
CAPE：通过近端模式扩展实现上下文感知的扩散策略用于避障
机构 * Huawei Technologies Canada（华为加拿大技术有限公司） ； Huawei（华为） ； Department of Electrical and Computer Engineering, University of Alberta（阿尔伯塔大学电气与计算机工程系）
专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.AI
AI总结 CAPE通过近端模式扩展实现上下文感知的扩散策略，提升避障任务中轨迹生成的泛化能力与碰撞规避性能。
Comments 4 tables, 9 figures
自回归风格文本图像生成，但使其更可靠
机构 * University of Modena and Reggio Emilia（摩德纳和雷吉奥艾米利亚大学） ； Google（谷歌）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV
AI总结 本文提出Eruku方法，通过多模态提示条件生成任务和分类器自由引导策略，改进自回归模型以生成更可靠、更忠实于文本提示的风格化文本图像。
Comments Accepted at WACV2026
TRACE: 基于时间可靠性的解剖条件3D CT生成与增强效率
机构 * Department of Computer Science, Durham University（杜伦大学计算机科学系） ； Department of Automation, Tsinghua University（清华大学自动化系） ； College of Computer Science and Engineering, Dalian Minzu University（大连民族大学计算机科学与工程学院） ； Department of Engineering Science, University of Oxford（牛津大学工程科学系） ； Jarvis Research Center, Tencent YouTu Lab（腾讯YouTu实验室 Jarvis 研究中心） ； School of Engineering Mathematics and Technology, University of Bristol（布里斯托大学工程数学与技术学院） ； Medical Artificial Intelligence Laboratory, School of Engineering, Westlake University（西湖大学工程学院医学人工智能实验室）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV
AI总结 TRACE通过2D多模态条件扩散方法生成具有时空对齐的3D CT图像，提升生成效率和解剖保真度。
Comments Accepted to MICCAI 2025 (this version is not peer-reviewed; it is the extended version)
3MDiT：用于文本驱动同步音频视频生成的统一三模态扩散变换器
机构 * Zhejiang University（浙江大学） ； Huawei（华为） ； Nanyang Technological University（南洋理工大学）
专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.MM
AI总结 3MDiT提出了一种统一三模态扩散变换器，通过联合演变流实现文本驱动的同步音频视频生成，提升多模态对齐与同步性能。
DELTA: 基于语言扩散的EEG到文本架构
机构 * Sungkyunkwan University（成均馆大学）
专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CL
AI总结 DELTA通过结合残差向量量化和语言扩散模型，提升了EEG到文本的语义对齐和生成质量。
RiboGen：基于等变多流的RNA序列和结构联合生成
机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） ； MIT Media Lab（麻省理工学院媒体实验室） ； Molecular Machines（分子机器） ； Center for Bits and Atoms（比特与原子中心）
专题命中 多模态生成 ：multimodal(abstract)
AI总结 RiboGen通过等变多流方法实现RNA序列和结构的联合生成，为RNA设计提供了新的深度学习解决方案。
Comments 6 pages
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈