多模态大模型

Multimodal Interpretation of Remote Sensing Images: Dynamic Resolution Input Strategy and Multi-scale Vision-Language Alignment Mechanism

遥感图像的多模态解释：动态分辨率输入策略与多尺度视觉-语言对齐机制

Siyu Zhang, Lianlei Shan, Runhe Qiu

机构 * Tsinghua University（清华大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出动态分辨率输入策略与多尺度视觉-语言对齐机制，提升遥感图像多模态解释的准确性和效率。

Router-Suggest: Dynamic Routing for Multimodal Auto-Completion in Visually-Grounded Dialogs

Router-Suggest: 动态路由用于视觉 grounded 对话中的多模态自动补全

Sandeep Mishra, Devichand Budagam, Anubhab Mandal, Bishal Santra, Pawan Goyal, Manish Gupta

机构 * IIT Kharagpur（印度IIT卡拉格浦大学） ； Microsoft（微软公司） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 Router-Suggest 通过动态路由选择文本模型和 VLMs，提升多模态对话中的自动补全效率和用户满意度。

Comments Accepted to EACL 2026 Industry Track, 12 pages, 6 figures

Transferability of Adversarial Attacks in Video-based MLLMs: A Cross-modal Image-to-Video Approach

视频基于多模态大语言模型中的对抗攻击可迁移性：一种跨模态图像到视频的方法

Linhao Huang, Xue Jiang, Zhiqiang Wang, Wentao Mo, Xi Xiao, Yong-Jie Yin, Bo Han, Feng Zheng

专题命中 视频多模态 ：cross-modal(title)；multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出了一种跨模态图像到视频的对抗攻击方法，用于研究视频多模态大语言模型的可迁移性，实验表明该方法在多个视频-文本多模态任务中表现出强对抗转移性。

MMViR: A Multi-Modal and Multi-Granularity Representation for Long-range Video Understanding

MMViR：一种多模态和多粒度表示用于长视频理解

Zizhong Li, Haopeng Zhang, Jiawei Zhang

机构 * IFM Lab, University of California, Davis（加州大学戴维斯分校信息融合实验室） ； ALOHA Lab, University of Hawaii at Mānoa（夏威夷大学马诺阿分校ALOHA实验室） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV、cs.CL

AI总结 MMViR通过多模态和多粒度表示提升长视频理解，实现更高效的检索和更优的性能表现。

Comments 13 pages, 11 figures

SketchVL: Policy Optimization via Fine-Grained Credit Assignment for Chart Understanding and More

SketchVL：通过细粒度信用分配进行政策优化以实现图表理解和更多

Muye Huang, Lingling Zhang, Yifei Li, Yaqiang Wu, Jun Liu

机构 * School of Computer Science and Technology, Xi’an Jiaotong University, China（计算机科学与技术学院，西安交通大学） ； MOE KLINNS Lab, Xi’an Jiaotong University, China（教育部KLINNS实验室，西安交通大学） ； Zhongguancun Academy, Beijing, China（中关村学院，北京） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 SketchVL通过细粒度信用分配优化，提升多模态大语言模型在图表理解和多领域推理中的性能。

Open World Knowledge Aided Single-Cell Foundation Model with Robust Cross-Modal Cell-Language Pre-training

开放世界知识辅助的单细胞基础模型与鲁棒跨模态细胞-语言预训练

Haoran Wang, Xuanyi Zhang, Shuangsang Fang, Longke Ran, Ziqing Deng, Yong Zhang, Yuxiang Li, Shaoshuai Li

专题命中 跨模态检索 ：cross-modal(title,abstract)；multi-modal(abstract)；分类 cs.CL、cs.AI

AI总结 OKR-CELL通过开放世界知识和鲁棒跨模态预训练，提升单细胞基础模型在细胞-语言跨模态任务中的表现。

Comments 41 pages

Multi-task Cross-modal Learning for Chest X-ray Image Retrieval

多任务跨模态学习用于胸部X射线图像检索

Zhaohui Liang, Sivaramakrishnan Rajaraman, Niccolo Marini, Zhiyun Xue, Sameer Antani

专题命中 跨模态检索 ：cross-modal(title,abstract)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出多任务学习框架，通过改进BiomedCLIP模型，提升胸部X射线图像与文本的跨模态检索性能。

SceneAlign: Aligning Multimodal Reasoning to Scene Graphs in Complex Visual Scenes

SceneAlign: 在复杂视觉场景中将多模态推理对齐到场景图

Chuhan Wang, Xintong Li, Jennifer Yuntong Zhang, Junda Wu, Chengkai Huang, Lina Yao, Julian McAuley, Jingbo Shang

机构 * University of California, San Diego（加州大学圣地亚哥分校） ； University of Toronto（多伦多大学） ； University of New South Wales（新南威尔士大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 SceneAlign通过利用场景图进行结构干预，提升多模态推理在复杂视觉场景中的准确性和忠实性。

Comments Preprint

Tensor-DTI: Enhancing Biomolecular Interaction Prediction with Contrastive Embedding Learning

张量-DTI：通过对比嵌入学习增强生物分子相互作用预测

Manel Gil-Sorribes, Júlia Vilalta-Mor, Isaac Filella-Mercè, Robert Soliva, Álvaro Ciudad, Víctor Guallar, Alexis Molina

机构 * Nostrum Biodiscovery ； Barcelona Supercomputing Center（巴塞罗那超级计算中心） ； Faculty of Pharmacy and Food Sciences, University of Barcelona（巴塞罗那大学药学与食品科学系） ； Catalan Institution for Research and Advanced Studies (ICREA)（加泰罗尼亚研究与高级研究机构） ； Data Science Dpt., Almirall S.A.（Almirall S.A.数据科学部门） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI

AI总结 Tensor-DTI通过整合多模态嵌入与对比学习，提升生物分子相互作用预测的准确性与可靠性。

Comments Accepted at the Generative and Experimental Perspectives for Biomolecular Design Workshop at ICLR 2025 and at the Learning Meaningful Representations of Life Workshop at ICLR 2025

Towards Generalized Multi-Image Editing for Unified Multimodal Models

面向统一多模态模型的通用多图像编辑

Pengcheng Xu, Peng Tang, Donghao Luo, Xiaobin Hu, Weichu Cui, Qingdong He, Zhennan Chen, Jiangning Zhang, Charles Ling, Boyu Wang

机构 * Western University（西方大学） ； Tencent YouTu Lab（腾讯优图实验室） ； Nanjing University（南京大学） 纠错

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出了一种面向统一多模态模型的通用多图像编辑框架，通过可学习的潜在分离器和正弦索引编码提升多图像编辑任务中的视觉一致性和泛化能力。

Comments Project page: https://github.com/Pengchengpcx/MIE-UMM

Explaining Low Perception Model Competency with High-Competency Counterfactuals

用高能力反事实解释低感知模型能力

Sara Pohland, Claire Tomlin

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出五种生成高能力反事实图像的方法，用于解释模型预测不确定性的原因，并通过实验验证了其在生成语言解释中的有效性。

Journal ref Explainable Artificial Intelligence. xAI 2025. Communications in Computer and Information Science, vol 2580

MoGen: A Unified Collaborative Framework for Controllable Multi-Object Image Generation

MoGen：一种用于可控多对象图像生成的统一协作框架

Yanfeng Li, Yue Sun, Keren Fu, Sio-Kei Im, Xiaoming Liu, Guangtao Zhai, Xiaohong Liu, Tao Tan

机构 * Faculty of Applied Sciences, Macao Polytechnic University（澳门理工学院） ； College of Computer Science, Sichuan University（四川大学计算机学院） ； Department of Computer Science and Engineering, Michigan State University（密歇根州立大学计算机科学与工程系） ； School of Information Science and Electronic Engineering, Shanghai Jiao Tong University（上海交通大学信息科学与电子工程学院） ； School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV

AI总结 MoGen通过区域语义锚和自适应多模态引导模块，实现了对多对象图像生成的可控性和灵活性。

Hallucination Score: Towards Mitigating Hallucinations in Generative Image Super-Resolution

幻觉分数：朝着减轻生成图像超分辨率中的幻觉

Weiming Ren, Raghav Goyal, Zhiming Hu, Tristan Ty Aumentado-Armstrong, Iqbal Mohomed, Alex Levinshtein

机构 * University of Waterloo（多伦多大学） ； AI Center – Toronto, Samsung Electronics（三星电子人工智能中心） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出幻觉分数以衡量和减轻生成图像超分辨率中的幻觉问题，通过多模态大语言模型生成 HS 并用于模型微调。

Comments 31 pages, 21 figures, and 10 tables

Neural-Driven Image Editing

神经驱动的图像编辑

Pengfei Zhou, Jie Xia, Xiaopeng Peng, Wangbo Zhao, Zilong Ye, Zekai Li, Suorong Yang, Jiadong Pan, Yuanxiang Chen, Ziqiao Wang, Kai Wang, Qian Zheng, Hao Jin, Xiaojun Chang, Gang Pan, Shurong Dong, Kaipeng Zhang, Yang You

机构 * NUS（国立新加坡大学） ； ZJU（浙江大学） ； RIT（罗切斯特理工学院） ； NJU（南京大学） ； USTC（中国科学技术大学） ； Shanghai AI Lab（上海人工智能实验室） ； SII（上海信息所） ； Hangzhou RongNao Tech（杭州融纳科技） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 LoongX通过多模态神经信号驱动图像编辑，结合扩散模型和对比学习实现高性能图像编辑任务。

Comments 22 pages, 14 figures

Pyramidal Adaptive Cross-Gating for Multimodal Detection

金字塔自适应跨门控用于多模态检测

Zidong Gu, Shoufu Tian

专题命中 多模态评测 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 PACGNet通过自适应跨门控机制提升多模态检测性能，实现细粒度目标检测与特征层次重建。

Comments 17 pages, 6 figures, submitted to Image and Vision Computing

PsOCR: Benchmarking Large Multimodal Models for Optical Character Recognition in Low-resource Pashto Language

PsOCR：用于低资源帕什托语言光学字符识别的大型多模态模型基准测试

Ijazul Haq, Yingjie Zhang, Irfan Ali Khan

机构 * organization= Shien-Ming Wu School of Intelligent Manufacturing, South China University of Technology , city= Guangzhou , postcode= 511442 , country= China ； organization= Artificial Intelligence Department, Guangdong CAS Angels Biotechnology Co. Ltd. , city= Foshan , country= China ； organization= Department of Software Engineering, Faculty of Electrical \& Computer Engineering, University of Engineering \& Technology , city= Peshawar , postcode= 25000 , country= Pakistan 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 PsOCR通过合成数据评估大型多模态模型在低资源帕什托语言OCR中的性能，发现Gemini表现最佳，Qwen-7B在开源模型中表现突出。

AtomThink: Multimodal Slow Thinking with Atomic Step Reasoning

AtomThink: 多模态慢思考与原子步骤推理

Kun Xiang, Zhili Liu, Terry Jingchen Zhang, Yinya Huang, Yunshuang Nie, Kaixin Cai, Yiyang Yin, Runhui Huang, Hanhui Li, Yihan Zeng, Yu-Jie Yuan, Jianhua Han, Lanqing Hong, Hang Xu, Xiaodan Liang

机构 * Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； ETH Zurich（苏黎世联邦理工学院） ； Hong Kong University of Science and Technology（香港科技大学） ； University of Hong Kong（香港大学） ； Noah’s Ark Lab（诺亚实验室） ； Yinwang Intelligent Technology Co., Ltd.（亿纬智能科技有限公司） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 AtomThink通过引入原子步骤推理，提升多模态大语言模型的推理性能和效率。

Comments TPAMI accepted

Multi-turn Jailbreaking Attack in Multi-Modal Large Language Models

多轮劫持攻击在多模态大语言模型中的应用

Badhan Chandra Das, Md Tasnim Jawad, Joaquin Molto, M. Hadi Amini, Yanzhao Wu

机构 * Knight Foundation School of Computing and Information Science, Florida International University（骑士基金会计算与信息科学学院，佛罗里达国际大学） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.AI

AI总结 本文提出多轮劫持攻击及FragGuard防御机制，评估其在多模态大语言模型中的有效性。

PixelArena: A benchmark for Pixel-Precision Visual Intelligence

PixelArena: 一个用于像素级视觉智能的基准测试

Feng Liang, Sizhe Cheng, Chenqi Yi, Yong Wang

机构 * Nanyang Technological University（南洋理工大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；omni-modal(abstract)；分类 cs.CV、cs.AI

AI总结 PixelArena提出通过语义分割任务以像素精度评估多模态模型的细粒度生成能力，发现Gemini 3 Pro在零样本设置下展现高保真语义掩码生成能力，揭示了视觉智能的新进展。

Comments 8 pages, 11 figures, project page: https://pixelarena.reify.ing/project

The Magni Human Motion Dataset: Accurate, Complex, Multi-Modal, Natural, Semantically-Rich and Contextualized

Magni 人类运动数据集：准确、复杂、多模态、自然、语义丰富且上下文化的

Tim Schreiter, Tiago Rodrigues de Almeida, Yufei Zhu, Eduardo Gutierrez Maestro, Lucas Morillo-Mendez, Andrey Rudenko, Tomasz P. Kucner, Oscar Martinez Mozos, Martin Magnusson, Luigi Palmieri, Kai O. Arras, Achim J. Lilienthal

专题命中 多模态评测 ：multi-modal(title)

AI总结 本文提出一个高质量的Magni人类运动数据集，通过多模态传感器和语义丰富环境，提供自然且准确的运动数据，以支持基于上下文线索的算法开发。

Comments in SIRRW Workshop held in conjunction with 31st IEEE International Conference on Robot & Human Interactive Communication, 29/08 - 02/09 2022, Naples (Italy)

Journal ref International Journal of Robotics Research (IJRR), 2025

Model-based clustering using a new mixture of circular regressions

基于新圆形回归混合的模型聚类

Sphiwe B. Skhosana, Najmeh Nakhaei Rad

专题命中 多模态评测 ：multimodal(abstract)

AI总结 本文提出了一种基于圆形回归混合的模型聚类方法，用于处理多模态圆形响应变量和混合协变量的数据，通过最大似然估计和模拟研究验证了其有效性。

Conformity and Social Impact on AI Agents

一致性与社会影响在人工智能代理中的作用

Alessandro Bellina, Giordano De Marzo, David Garcia

机构 * Centro Ricerche Enrico Fermi（恩里科·费米研究中心） ； Sony Computer Science Laboratories - Rome, Joint Initiative CREF-SONY（索尼计算机科学实验室-罗马，联合倡议CREF-SONY） ； University of Konstanz（康斯坦茨大学） ； Complexity Science Hub（复杂科学中心） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 研究揭示人工智能代理在社会压力下易受操控，存在安全漏洞，需加强集体AI部署的安全保障。

e5-omni: Explicit Cross-modal Alignment for Omni-modal Embeddings

e5-omni: 显式跨模态对齐用于多模态嵌入

Haonan Chen, Sicheng Gao, Radu Timofte, Tetsuya Sakai, Zhicheng Dou

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院） ； University of Würzburg（乌尔姆大学） ； Waseda University（早稻田大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；omni-modal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 e5-omni通过显式对齐方法改进多模态嵌入，解决相似性尺度不一致、负样本效果下降和跨模态统计不匹配问题。

Comments https://huggingface.co/Haon-Chen/e5-omni-7B

DIFF-MF: A Difference-Driven Channel-Spatial State Space Model for Multi-Modal Image Fusion

DIFF-MF: 一种基于差分驱动的通道-空间状态空间模型用于多模态图像融合

Yiming Sun, Zifan Ye, Qinghua Hu, Pengfei Zhu

机构 * School of Automation, Southeast University（东南大学自动化学院） ； Low-Altitude Intelligence Lab, Xiong’an National Innovation Center Technology Co., Ltd.（雄安国家创新中心技术有限公司低空智能实验室） ； Xiong’an Guochuang Lantian Technology Co., Ltd.（雄安国创蓝天科技有限公司） ； School of Artificial Intelligence, Tianjin University（天津大学人工智能学院） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 DIFF-MF通过差分驱动的通道-空间状态空间模型，有效整合多模态图像信息，提升融合图像的质量和显著性。

TF-Mamba: Text-enhanced Fusion Mamba with Missing Modalities for Robust Multimodal Sentiment Analysis

具有缺失模态的文本增强融合Mamba用于鲁棒多模态情感分析

Xiang Li, Xianfu Cheng, Dezhuang Miao, Xiaoming Zhang, Zhoujun Li

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.MM

AI总结 TF-Mamba通过文本增强融合框架，有效处理多模态情感分析中缺失模态的问题，提升模型鲁棒性和效率。

Intelligent Multimodal Multi-Sensor Fusion-Based UAV Identification, Localization, and Countermeasures for Safeguarding Low-Altitude Economy

智能多模多传感器融合-based无人机识别、定位与防护系统用于保障低空经济安全

Yi Tao, Zhen Gao, Fangquan Ye, Jingbo Xu, Tao Song, Weidong Li, Yu Su, Lu Peng, Xiaomei Wu, Tong Qin, Zhongxiang Li, Dezhi Zheng

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 本文提出基于深度学习的多模多传感器融合系统，用于实现无人机的识别、定位与防护，提升低空经济安全防护效率。

ROAP: A Reading-Order and Attention-Prior Pipeline for Optimizing Layout Transformers in Key Information Extraction

ROAP：一种基于阅读顺序和注意力优先的流水线，用于优化布局变换器在关键信息提取中的应用

Tingwei Xie, Jinxin He, Yonghong Song

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 ROAP通过优化布局变换器的注意力分布，提升关键信息提取的性能，解决阅读顺序建模和视觉干扰问题。

Comments 10 pages, 4 figures, 4 tables

Advanced Multimodal Learning for Seizure Detection and Prediction: Concept, Challenges, and Future Directions

先进多模态学习在癫痫检测与预测中的应用：概念、挑战与未来方向

Ijaz Ahmad, Faizan Ahmad, Sunday Timothy Aboyeji, Yongtao Zhang, Peng Yang, Javed Ali Khan, Rab Nawaz, Baiying Lei

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本文综述了先进多模态学习在癫痫检测与预测中的应用，探讨了其概念、挑战及未来发展方向，旨在推动神经技术向更实用的解决方案发展。

Sequential Bayesian Inference of the GTN Damage Model Using Multimodal Experimental Data

基于多模态实验数据的GTN损伤模型序贯贝叶斯推断

Mohammad Ali Seyed Mahmoud, Dominic Renner, Ali Khosravani, Surya R. Kalidindi

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本文提出基于多模态实验数据的序贯贝叶斯推断方法，用于校准GTN损伤模型，通过PCA降维和顺序应用BI提升参数估计精度。

Comments 52 pages, 17 figures, Submitted to journal

Congestion Mitigation in Vehicular Traffic Networks with Multiple Operational Modalities

多操作模式下的车辆交通网络拥堵缓解

Doris E. M. Brown, Sajal K. Das

专题命中 其他多模态 ：multi-modal(abstract)

AI总结 本文提出TACTS策略，通过信任感知控制交易策略缓解多操作模式车辆交通网络拥堵问题。

Comments 10 pages, 4 figures; This is a working draft and can potentially have errors. Any feedback will be greatly appreciated, and will be acknowledged in the subsequent versions