多模态大模型

UniGeo: A Multi-modal Large Language Model for Text-Guided Cross-View Geo-Localization

UniGeo：用于文本引导跨视角地理定位的多模态大语言模型

Jiahao Wen, Hang Yu, Zhedong Zheng

机构 * School of Computer Engineering and Science, Shanghai University（上海大学计算机工程与科学学院） ； Institute of Collaborative Innovation, University of Macau（澳门大学协同创新研究院） 纠错

专题命中 图文多模态 ：multi-modal(title)；MLLM(abstract,abstract_cn)；multimodal(abstract)；cross-modal(abstract)

AI总结 UniGeo是一种统一多模态大语言模型，通过地理语义学习、跨视角生成及即插即用验证模块，在文本引导无人机地理定位任务中显著提升了检索性能。

FLARE: A Failure-Aware Framework for Autonomous Correction and Recovery in Visual-Language Robotic Manipulation

FLARE：一种面向视觉-语言机器人操纵中自主修正与恢复的故障感知框架

Ganlong Zhao, Zijia Tang, Xingping Chen, Zhanghui Kuang, Ye Tian, Guanbin Li

机构 * The Chinese University of Hong Kong（香港中文大学） ； Centre for Perceptual and Interactive Intelligence（感知与交互智能中心） ； Duke University（杜克大学） ； Sun Yat-sen University（中山大学） ； TengenX（天工科技） ； Tencent Robotics X（腾讯Robotics X实验室） ； Shenzhen Loop Area Institute（深圳河套学院） ； Guangdong Key Laboratory of Big Data Analysis and Processing（广东省大数据分析与处理重点实验室） 纠错

专题命中 图文多模态 ：MLLM(summary_cn,abstract)

AI总结 针对视觉-语言机器人操纵中VLAs无法从执行错误恢复的问题，提出含“重试”“重置”范式的FLARE框架，结合MLLM实现故障恢复，显著提升接触密集型操纵任务的成功率与鲁棒性。

Comments Accepted to CVPR 2026

VISA: Agentic Self-Evolving Data Synthesis for Multimodal Instruction Following

VISA：用于多模态指令遵循的智能体式自进化数据合成

Min Zeng, Guanxin Tan, Libin Cen, Yafei Wen, Rui Hu, Liuyang Bian, Xiaolong Chen, Xiaoxin Chen

机构 * vivo AI Lab（vivo AI实验室） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CL

AI总结 VISA是一种智能体式自进化数据合成框架，通过自进化循环优化多模态指令合成，在MM-IFEval等基准上提升了多模态指令遵循性能。

Beyond Accuracy: A Qualitative Analysis of Vision-Language Models for Hate Speech Detection in Memes

超越准确率：对用于表情包仇恨言论检测的视觉-语言模型的定性分析

Muhammad Jawad Chowdhury, Adiba Hasan, Ishrak Hossain, Shahriar Ivan, Sabbir Ahmed

机构 * Islamic University of Technology（伊斯兰科技大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过定性分析LLaVA-7B等四个VLMs在零样本、少样本设置下的表现，揭示其检测仇恨表情包时忽略关键语境线索的问题，为优化模型提供了更深入的理解。

Many Dialects, Many Languages, One Cultural Lens: Evaluating Multilingual VLMs for Bengali Culture Understanding Across Historically Linked Languages and Regional Dialects

多种方言，多种语言，一种文化视角：评估多语言视觉语言模型对孟加拉文化的理解，涵盖历史关联语言和地区方言

Nurul Labib Sayeedi, Md. Faiyaz Abdullah Sayeedi, Shubhashis Roy Dipta, Mahbub E Sobhani, Rubaya Tabassum, Ariful Ekraj Hridoy, Mehraj Mahmood, Md. Tarek Hasan, Swakkhar Shatabda

机构 * United International University（国际联合大学） ； BRAC University（布拉塔克大学） ； University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 提出 BanglaVerse 基准，通过手工标注图像和扩展至多种语言及方言，评估多语言视觉语言模型在孟加拉文化理解中的表现，发现标准孟加拉语评估高估模型能力，方言变化导致性能下降，文化知识缺失是主要瓶颈。

Comments Accepted at EMNLP 2026 (Findings)

Subspace Alignment for Vision-Language Model Test-time Adaptation

子空间对齐用于视觉-语言模型测试时适应

Zhichen Zeng, Wenxuan Bao, Xiao Lin, Ruizhong Qiu, Tianxin Wei, Xuying Ning, Yuchen Yan, Chen Luo, Monica Xiao Cheng, Jingrui He, Hanghang Tong

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Amazon（亚马逊） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 SubTTA通过子空间对齐提升视觉-语言模型测试时适应性能，有效解决模态差距和视觉噪声问题。

Comments 23 pages, 11 figures

Order Matters: A Chinese Multi-Panel Meme Benchmark for Vision-Language Reasoning

顺序很重要：面向视觉-语言推理的中文多面板梗图基准

Haihan Li, Haihao Li, Zhenfei Xu, Jize Qian

机构 * Shanghai Maritime University（上海海事大学） ； Dalian Maritime University（大连海事大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 该研究推出中文多面板梗图基准CMPM，评估大型视觉-语言模型对梗图的顺序感知推理能力，发现模型在打乱顺序时准确率大幅下降，Gemini 3.1 Pro和GPT-5.5表现优于开源模型。

SAGE: Variate-Wise Semantic Augmentation for Vision-Language Time Series Forecasting

SAGE：面向视觉-语言时间序列预测的逐变量语义增强方法

Haizhao Fan, Xinyi Le

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 针对时间序列预测模型缺乏语义知识的问题，提出基于CLIP的SAGE框架，通过双重利用CLIP实现多模态监督，在8个长期基准及M4数据集上取得最优精度。

Comments 10 pages, 2 figures

Beyond Atomic Layouts: Compositional Design Understanding with Vision-Language Models

超越原子布局：基于视觉-语言模型的组合式设计理解

Yiyang Huang, Zhaowen Wang, Simon Jenni, Jing Shi, Yitian Zhang, Yizhou Wang, Yun Fu

机构 * Northeastern University（东北大学） ； Adobe Research（奥多比研究院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文针对组合式布局理解任务，提出后训练范式MASON，利用约2万布局的CoDeLayout数据集，使Qwen2.5-VL 7B准确率达91.66%，优于基线及全数据微调。

Comments ECCV 2026

Think3D: Thinking with Space for Spatial Reasoning

Think3D: 基于空间的思考以实现空间推理

Zaibin Zhang, Yuhan Wu, Lianjie Jia, Yifan Wang, Zhongbo Zhang, Yijiang Li, Binghao Ran, Fuxi Zhang, Zhuohan Sun, Yizhuang Peng, Zhenfei Yin, Lijun Wang, Huchuan Lu

机构 * Dalian University of Technology（大连理工大学） ； University of California San Diego（加州大学圣地亚哥分校） ； University of Oxford（牛津大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 Think3D通过引入交互式3D推理框架，提升多模态代理的空间推理能力，实现在BLINK Multi-view和MindCube上的7.8%性能提升，并通过Think3D-RL优化小模型性能。

Said Aloud, Read Different: Cross-Modal Instability in Multimodal Models

语音与文本的不同解读：多模态模型中的跨模态不稳定性

Basel Mousi, Fahim Dalvi, Shammur Chowdhury, Firoj Alam, Nadir Durrani

机构 * Qatar Computing Research Institute, HBKU（卡塔尔计算研究所（哈马德·本·哈利法大学）） 纠错

专题命中 音频语音多模态 ：multimodal(title,abstract)；cross-modal(title)；multimodal foundation model(abstract)；分类 cs.CL

AI总结 该研究针对多模态模型在语音与文本、英语与阿拉伯语间的判断一致性问题，构建含10150张图像的基准，发现模态与语言转换会引入未被整体准确率捕捉的不一致性，语音还会放大部分失败，且公开了该基准。

Comments Interpeech 2026

Attention-Guided Reliability Scaling for Contrastive Decoding in Robust Audio-Visual Speech Recognition

用于鲁棒视听语音识别中对比解码的注意力引导可靠性缩放

YoungChae Kim, Da-Hee Yang, Joon-Hyuk Chang

机构 * Hanyang University（汉阳大学） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；分类 cs.CV、eess.AS

AI总结 本研究针对鲁棒视听语音识别问题，提出注意力引导的对比解码可靠性缩放方法，在LRS3数据集上实现了干净与低信噪比条件下的性能提升。

Comments Accepted to Interspeech 2026

From Sound to Symptom: Real-Time Respiratory Signal Understanding for Conversational Healthcare Agents

从声音到症状：面向对话式医疗智能体的实时呼吸信号理解

Tanmay Laud, Herprit Mahal, Subhabrata Mukherjee

机构 * Hippocratic AI（希波克拉底人工智能公司） 纠错

专题命中 音频语音多模态 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 提出面向对话式医疗智能体的HealthCUES系统，可实时检测分析咳嗽等呼吸信号，经内部与外部数据集评估及医疗人员验证，性能优异且具临床实用性。

Comments Accepted for publication at SIGDIAL 2026

EXAM$^2$: $\underline{Ex}tending$ $\underline{A}udio$ $Understanding$ $in$ $\underline{M}ultilingual$ $and$ $\underline{M}ultimodal$ $Analysis$

EXAM²：扩展多语言与多模态分析中的音频理解能力

Jiawen Wang, Xiaoxue Gao, Zi Haur Pang, Nancy F. Chen

专题命中 音频语音多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 本文提出多语言多模态音频理解基准EXAM²，评估现有模型发现其存在多语言跨模态理解差距，微调的Gemma3n-EXAM²性能显著提升，推动相关研究发展。

Comments 8 pages, 2 figures

When Text Misleads: Inconsistent-Aware Reasoning for Audio-Grounded Dialogue

当文本误导时：面向音频接地对话的不一致感知推理

Yen-Ju Lu, Yuzhe Wang, Yaohan Guan, Xiluo He, Jiarui Hai, Mingrui Liang, Kaavya Chaparala, Thomas Thebaud, Laureano Moro-Velazquez, Najim Dehak, Jesus Villalba

机构 * Center for Language and Speech Processing, Johns Hopkins University（约翰霍普金斯大学语言与语音处理中心） 纠错

专题命中 音频语音多模态 ：cross-modal(abstract)；分类 cs.CL、cs.AI、eess.AS

AI总结 本研究针对口语对话理解中基于转录本的捷径问题，构建了含501个问题的受控基准ContraTalk，提出Audio Twin智能体式推理框架，可提升冲突问答案例的准确率并减少文本偏向陷阱选择。

Comments 24 pages, 4 figures

Mapping Written Words to Spoken Words in a Different Language Using Only Visual Grounding

仅使用视觉 grounding 将不同语言的书面词映射到口语词

Gabriel Pirlogeanu, Dan Oneata, Horia Cucu, Herman Kamper

机构 * Politehnica Bucharest（布加勒斯特理工大学） ； Stellenbosch University（斯坦陵布什大学） ； Trinity College Dublin（都柏林圣三一学院） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、eess.AS

AI总结 本研究针对低资源场景下的语音数据构建问题，提出一种基于自监督语音表示的对齐方法，可从视觉 grounding 数据中直接学习跨语言词到语音的映射，效果优于以往的注意力模型。

Comments 9 pages, 5 figures, 5 tables, preprint, submitted to IEEE Transactions on Audio, Speech and Language Processing

SpeechGym: An Audio-Native Gym for Training Voice Agents via Reinforcement Learning

SpeechGym：一种用于通过强化学习训练语音智能体的原生音频 Gym

Jiajun Fan, Jingyuan Li, Prashanth Gurunath Shivakumar, Jia-Hong Huang, Qi Luo, M. Maruf, Ivan Bulyko, Ge Liu, Roger Ren

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Amazon AGI Foundations（亚马逊AGI基础研究部） 纠错

专题命中 音频语音多模态 ：omni-modal(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对语音智能体训练中梯度无法流动、难以强化学习的问题，提出原生音频环境 SpeechGym，用每轮过程奖励解决稀疏性问题，使开放权重模型在语音基准上任务成功率翻倍且排名提升。

A Reranker for Orchestrating Heterogeneous Speech and Text Retrievers

用于协调异构语音和文本检索器的重排序器

Inho Kim, Sumyeong Ahn

机构 * Korea Institute of Energy Technology（韩国能源技术研究院） 纠错

专题命中 音频语音多模态 ：multi-modal(abstract)；分类 cs.CL、cs.AI

AI总结 针对多模态RAG数据库场景，提出STeReO重排序器，构建专用数据集训练后，可有效聚合异构检索结果，显著提升下游问答性能。

Comments Accepted to Interspeech 2026

Towards Interpretable Depression Detection: Linking Acoustic Features to DSM-5 Indicators

面向可解释的抑郁检测：将声学特征与DSM-5指标关联

Jonas Länzlinger, Katharina O.E. Müller, Burkhard Stiller, Bruno Rodrigues

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL、eess.AS

AI总结 该研究提出透明关联框架，将语音声学特征映射到DSM-5抑郁指标，在DAIC-WOZ上初步验证了声学特征与相关指标的关联，实现可解释且隐私保护的抑郁检测。

AudioSpan: Spanning the Duration and Depth of Audio Comprehension

AudioSpan：覆盖音频理解的时长与深度

Wen Huang, Yunfei Chu, Meng Gao, Haolin He, Jin Xu

机构 * Qwen Team, Alibaba Group（通义千问团队，阿里巴巴集团） ； Tsinghua University（清华大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 音频语音多模态 ：omni-modal(abstract)；分类 eess.AS

AI总结 本研究提出覆盖10分钟至2小时音频的基准AudioSpan，含3240个分三认知层级的问题，评估12个大型音频-语言模型，发现从长音频提取相关事实是核心难点，该基准可公开获取。

EEG-to-Report: An Annotation and Feature-Text Framework for Training Language Models on Clinical EEG

EEG-to-Report：用于在临床脑电图上训练语言模型的标注与特征-文本框架

Xuan-The Tran, Le Trung Kien Nguyen

机构 * Vietnam Maritime University（越南海事大学） ； HAISmartlink Lab（HAISmartlink实验室） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 针对临床EEG报告依赖人工、现有工具无法满足AI训练需求的问题，提出EEG-to-Report框架，整合多格式EEG处理与标注，生成对齐特征-文本对，还含自动报告模块，为自动化EEG报告系统提供基础。

Self-Reflective Multi-modal Reasoning for Short-Video Fake News Detection

用于短视频假新闻检测的自反思多模态推理

Pinjie Xu, Yuzhou Yang, Zhikai Tan, Qichao Ying, Zaiyang Yu, Ce Li, Zhenxing Qian

专题命中 视频多模态 ：multi-modal(title)；multimodal(abstract)；分类 cs.MM

AI总结 针对短视频假新闻检测的挑战，提出SRM-FND框架，通过自反思多模态推理及相关机制，在FakeSV和FakeTT数据集上实现优于强基线的检测性能。

Omni-Interactive Universal Embedder

全交互通用嵌入器

Wei-Yao Wang, Kazuya Tateishi, Shuyang Cui, Christian Simon, Takashi Shibuya, Shusuke Takahashi, Yuki Mitsufuji

机构 * Sony Group Corporation（索尼集团公司） ； Sony AI（索尼人工智能） 纠错

专题命中 视频多模态 ：multimodal(abstract)；any-to-any(abstract)；omni-modal(abstract)；分类 cs.CV、cs.AI

AI总结 该研究提出OmniUE，一种支持文本、视频、音频全交互查询的通用嵌入器，在多个基准上超越现有模型，引入OmniCHOIR基准验证其能力，推动全模态表示学习发展。

Comments Preprint

Multimodal risk trajectories reveal heterogeneous paths to dementia

多模态风险轨迹揭示痴呆的异质性路径

Zhiqi Lee, Haowen Li, Tao Liu, Shiyuan Zhang, Bingjie Wang, Jinzhao Fan, Yunkai Zhang, Zhuonan Wang, Lijun Bai

专题命中 视频多模态 ：multimodal(title,abstract)

AI总结 该研究开发多模态框架NetMoint，整合多组学与影像数据预测不同痴呆亚型的个体化长期风险，识别出小比例高风险群体及其特异性分子特征，为痴呆风险分层提供新方法。

AffectOmni: RL-Verifiable People-Centric Grounded Affective Reasoning for Social and Art-Related Scenes

AffectOmni：面向社交与艺术相关场景的可通过强化学习验证的以人为中心的接地情感推理

Yibo Wang, Rui Yang, Jisheng Dang, Bimei Wang, Yitao Wu, Pengfei Cao, Wencan Zhang, Hong Peng, Bin Hu, Tat-Seng Chua

机构 * Lanzhou University（兰州大学） ； Hainan University（海南大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.AI

AI总结 AffectOmni是面向社交与艺术场景的可验证情感推理框架，通过GRPO训练，引入两类奖励优化以人为中心的证据选择与时间推理，经多数据集实验较7B基线实现显著性能提升。

Comments 12 pages, 5 figures

CounterVid: Counterfactual Video Generation for Mitigating Action and Temporal Hallucinations in Video-Language Models

CounterVid: 通过生成反事实视频缓解视频-语言模型中动作和时间幻觉

Tobia Poppi, Burak Uzkent, Amanmeet Garg, Lucas Porto, Garin Kessler, Yezhou Yang, Marcella Cornia, Lorenzo Baraldi, Rita Cucchiara, Florian Schiffers

机构 * University of Modena and Reggio Emilia（摩德纳和雷吉奥艾米利亚大学） ； University of Pisa（帕尔马大学） ； Amazon Prime Video（亚马逊Prime视频） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 CounterVid通过生成反事实视频缓解视频-语言模型中动作和时间幻觉问题，提出反事实视频生成框架和MixDPO方法，提升时间推理和动作识别性能。

Comments EMNLP 2026

UniVVT: A Unified End-to-End Framework for High-Fidelity Video Virtual Try-on

UniVVT：用于高保真视频虚拟试穿的统一端到端框架

Yushe Cao, Shikun Feng, Fei Shen, Haikuo Peng, Jianqiang Xia, Yiheng Zhu, Dianxi Shi, Chun Yu

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 UniVVT是一种统一端到端视频虚拟试穿框架，以多模态大语言模型为核心，采用三阶段渐进训练策略，在多基准上实现了优于主流方法的高保真试穿效果。

Comments 17 pages,21 figures

Emotion Understanding in Streaming Video with Trajectory-Aware Reliability

基于轨迹感知可靠性的流视频情感理解

Qingsong Wang, Qigong Lei, Zitong Wang, Bohan Yu, Zhiang Dong, Jian liu, Weiqiang Wang, Chang Yao, Jingyuan Chen

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.MM

AI总结 针对流视频情感理解的实时需求，提出TRACE框架，通过轨迹感知可靠性机制优化多模态推理分配，在StreamMER等数据集上提升了准确率与成本的权衡效果。

Comments Accepted by EMNLP2026

Glass Surface Detection Grounded in 3D Visual Geometry

基于3D视觉几何的玻璃表面检测

Yiwei Lu, Ke Xu, Tao Yan, Xiaojun Chang, Radu Timofte, Rynson W. H. Lau

机构 * Jiangnan University（江南大学） ； University of Science and Technology of China（中国科学技术大学） ； University of Wurzburg（维尔茨堡大学） ； City University of Hong Kong (Dongguan)（香港城市大学（东莞）） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文提出将玻璃表面检测（GSD）基于3D视觉几何的新范式，结合VGGT、FSAM与GeGB，在7个基准上达最优性能，泛化性好且提升玻璃场景重建效果。

Comments 9 pages, 10 figures. Accepted by ACM Multimedia 2026

Reason in the Words You Speak: Idiolectal Paraphrasing Off-Policy Traces for Reasoning Distillation in VideoLLMs

用你所说的语言推理：为VideoLLM中的推理蒸馏进行个人习语式的离线策略轨迹改写

Ji Soo Lee, Jinyoung Park, Seohyun Lee, Jongha Kim, Joonmyung Choi, Jinsung Yoon, Hyunwoo J. Kim

机构 * KAIST（韩国科学技术院） ； Korea University（高丽大学） ； Google Cloud AI Research（谷歌云人工智能研究院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 该研究针对VideoLLM的推理蒸馏提出Echo-GRPO框架，通过改写教师特权轨迹为学生自身习语实现策略对齐，实例化的VideoEcho-R1在多骨干和基准测试中均获性能提升，且作为插件模块适配多种训练框架。

Comments Work in progress