多模态大模型

Global-Local Dual Perception for MLLMs in High-Resolution Text-Rich Image Translation

全局-局部双感知用于高分辨率文本密集图像翻译的MLLMs

Junxin Lu, Tengfei Song, Zhanglin Wu, Pengfei Li, Xiaowei Liang, Hui Yang, Kun Chen, Ning Xie, Yunfei Lu, Jing Zhao, Shiliang Sun, Daimeng Wei

机构 * School of Computer Science and Technology, East China Normal University（东华大学计算机科学与技术学院） ； Labs, Huawei Technologies Co., LTD（华为技术有限公司2012实验室） ； School of Automation and Intelligent Sensing, Shanghai Jiao Tong University（上海交通大学自动化与智能感知学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；MLLM(abstract)；image-text(abstract)；分类 cs.CV

AI总结 本文提出GLoTran框架，通过全局-局部双感知方法提升高分辨率文本密集图像翻译的准确性和完整性。

Parameter- and Bandwidth-Efficient Edge--cloud Many-to-Many Speech-to-Text Translation

带宽高效且隐私保护的边缘-云多对多语音翻译

Yexing Du, Kaiyuan Liu, Youcheng Pan, Bo Yang, Lei Chen, Ming Liu, Bing Qin, Yang Xiang

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Pengcheng Laboratory（鹏城实验室） 纠错

专题命中 音频语音多模态 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.AI

AI总结 提出边缘-云协同框架ESRT，通过分割推理架构压缩中间特征实现带宽降低10倍和语音隐私保护，并采用多任务加权课程学习策略实现45种语言的多对多语音翻译。

Decoding Student Minds: Leveraging Conversational Agents for Psychological and Learning Analysis

解码学生心智：利用对话代理进行心理和学习分析

Nour El Houda Ben Chaabene, Hamza Hammami, Laid Kahloul

机构 * STIH Laboratory, Sorbonne University（索邦大学STIH实验室） ； LIPAH-LR11ES14, National Engineering School of Tunis（突尼斯国家工程学院LIPAH-LR11ES14） ； Faculty of Sciences of Tunis（突尼斯科学学院） ； LINFI Laboratory（LINFI实验室） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 本文提出一种结合多模态数据和语义推理的对话代理，用于实时分析学生认知和情感状态，提升学习表现和情感福祉。

SALSA-V: Shortcut-Augmented Long-form Synchronized Audio from Videos

SALSA-V：基于视频的捷径增强式长同步音频生成模型

Amir Dellali, Luca A. Lanzendörfer, Florian Grötschla, Roger Wattenhofer

机构 * ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)

AI总结 SALSA-V是一种多模态视频转音频生成模型，通过掩码扩散目标和捷径损失实现长音频同步高保真生成，仅需8步采样即可快速生成，性能优于现有SOTA，可用于专业音频合成任务。

HumanForge: A Human-Centric Deepfake Video Benchmark with Multi-Agent Forgery Rationales

HumanForge：一个具有多智能体伪造原理的以人类为中心的深度伪造视频基准

Wenbo Xu, Zhimin Chen, Xiaojie Liang, Hengrui Liu, Ziqi Sheng, Wei Lu

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 针对视频伪造给数字内容取证带来的挑战，引入HumanForge数据集，提出基于LangGraph的Gen2Anno多智能体管道构建并注释数据集，经测试展现了零样本泛化和细粒度推理的重大挑战，代码和数据集将公开。

Comments 18 pages, 8 figures

Point-Supervised Skeleton-Based Human Action Segmentation

基于点监督的骨架人类动作分割

Hongsong Wang, Yiqin Shen, Pengbo Yan, Jie Gui, Yang Zhang

机构 * Southeast University（东南大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出了一种点监督框架，通过多模态骨架数据和新型原型相似性方法，实现了高效的基于骨架的人类动作分割，减少了注释工作量并提升了性能。

StageWAM: Joint-Embedding Stage Prediction for World-Action Models in Robot Manipulation

JEPA-WAM：机器人操作中世界-动作模型的阶段级联合嵌入预测

Xiao Liu, Yuguang Yang, Xi Wang, Kai Jiang, Cheng Chi, Yong Xu, Wenchao Ding, Yilun Chen, Yan Wang

专题命中 视频多模态 ：multimodal(abstract)

AI总结 该研究针对通用机器人策略未明确建模任务阶段级未来的问题，提出JEPA-WAM模型，在50个RoboTwin 2.0任务上实现90.25%的整体成功率，成功减少了平均执行步骤数。

Beyond Noisy Signals: Dual-Level Denoising for Multi-modal Sequential Recommendation

超越噪声信号：用于多模态序列推荐的双层去噪

Jie Luo, Qi Jin, Xinming Zhang

专题命中 跨模态检索 ：multi-modal(title,abstract)；cross-modal(abstract)

AI总结 研究多模态序列推荐中的双重噪声困境，提出DDMSR框架，从特征拓扑和序列频率角度净化信号，设计基于图的特征去噪与频域序列去噪模块，纳入多模态对比对齐目标，实验证明该框架性能优于基线。

Comments Accepted by ACM MM 2026. 12 Pages

Improving Generalization Robustness of Multimodal RLVR

提升多模态RLVR的泛化鲁棒性

Pengfei Zhou, Zhiwei Tang, Xiaopeng Peng, Chenrui Zhou, Lama Moukheiber, Yixing Ma, Bin Xu, Jiajun Song, Zhenglin Wan, Wangbo Zhao, Jiasheng Tang, Bohan Zhuang, Fan Wang, Yang You

机构 * National University of Singapore（新加坡国立大学） ； DAMO Academy Alibaba Group（阿里巴巴达摩院） ； Hupan Lab（湖畔实验室） ； Zhejiang University（浙江大学） ； University of California Berkeley（加州大学伯克利分校） ； Rochester Institute of Technology（罗切斯特理工学院） ； Georgia Institute of Technology（佐治亚理工学院） ； Renmin University of China（中国人民大学） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对多模态RLVR泛化鲁棒性不足的问题，提出含动态三元奖励与一致性正则化器的PIRL方法，压力测试与动态评估中其性能下降幅度均小于GRPO。

Comments 32 pages, 5 figures

BUZZY: Contrastive Scoring to Mitigate Text-Induced Bias in Multimodal Multiple-Choice QA

当选择成为先验：用于科学图表多选问答的对比解码

Taeyun Roh, Suhyeong Park, Dongyoung Lee, Eunyeong Jo, Wonjune Jang, Junha Jung, Jaewoo Kang

机构 * Korea University（高丽大学） ； Konkuk University（建国大学） ； Myongji University（明知大学） ； AIGEN Sciences 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出SCICON方法，通过对比文本和图像信息，减少选择偏差，提升科学图表多选问答的准确性。

Where Does Vision Meet Language? Understanding and Refining Visual Fusion in MLLMs via Contrastive Attention

视觉与语言在哪里交汇？通过对比注意力理解并优化MLLMs中的视觉融合

Shezheng Song, Shasha Li, Shan Zhao, Xiaopeng Li, Qian Wan, Chengyu Wang, Tianwei Yan, Jun Ma, Jie Yu

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV、cs.MM

AI总结 通过对比注意力框架，研究揭示了MLLMs中视觉-文本融合的层次演变，并改进了多模态推理性能。

Comments CVPR Accepted

Debiasing Text-to-Image Evaluation via Implicit Cultural Alignment Reward Modeling

通过隐式文化对齐奖励建模消除文本到图像评估中的偏差

Bo-An Chang, Yu-Chih Chen

机构 * National Tsing Hua University（国立清华大学） ； National Yang Ming Chiao Tung University（国立阳明交通大学） 纠错

专题命中 多模态生成 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 研究文本到图像评估中文化真实性问题，提出基于轻量级多模态大语言模型构建的隐式文化对齐奖励模型，集成隐式文化探测器与跳跃连接交叉注意力机制，实验证明该模型准确率高、速度快，能为偏好优化管道提供有效信号。

Comments 16 pages, 2 figures, ECCV 2026 Workshop FAILED

EchoChange: A Diffusion Language Model with Dual Pass Remasking for Factual Remote Sensing Disaster Change Captioning

EchoChange：用于事实性遥感灾害变化描述的双遍重掩蔽扩散语言模型

Dongwei Sun, Bowen Yao, Yujie Zhang, Pei Liu, Jing Yao, Xiangyong Cao

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.AI

AI总结 针对现有遥感灾害变化描述方法的级联事实错误问题，提出EchoChange扩散语言模型，经实验在RSCC基准上优于各类基线

InfiniVerse: Occupancy Guided Unbounded Scene Generation for Autonomous Driving

InfiniVerse: 面向自动驾驶的占用引导无界场景生成

Xiaoyu Ye, Leheng Li, Xinyu Ji, Yingjie Cai, Hongda He, Xu Yan, Guanyi Zhao, Ying-Cong Chen, Bingbing Liu, Shuguang Cui, Zhen Li

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Nanyang Technological University（南洋理工大学） ； Huawei Technologies Ltd.（华为技术有限公司） ； University of New South Wales（新南威尔士大学） 纠错

专题命中 多模态生成 ：cross-modal(abstract)；分类 cs.CV

AI总结 提出InfiniVerse统一框架，通过3D占用表示和视频扩散模型实现从单帧到长距离、2D-3D对齐的动态城市场景可控生成，在Waymo和nuScenes上达到SOTA。

Comments Paper accepted as poster at ECCV workshop SPAD

CFM-Bench: A Unified Multi-Domain, Multi-Task Benchmark for Channel Foundation Models

CFM-Bench：用于信道基础模型的统一多域、多任务基准测试

Yuan Gao, Wenjun Yu, Jun Jiang, Yunfan Li, Xinyu Guo, Shugong Xu

机构 * School of Communication and Information Engineering, Shanghai University（上海大学通信与信息工程学院） ； Xi’an Jiaotong-Liverpool University（西交利物浦大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 研究针对信道基础模型评估缺乏统一基准的问题，发布CFM-Bench，涵盖多种信道配置、官方分区，规定数据使用规则，组织六个任务组，为比较信道表示跨模型、域和任务的可迁移性提供通用平台。

Comments CFM-Bench dataset download: https://www.chaspark.com/\#/s/CFM-Bench

CVT-Bench: Probing Spatial-State Integrity through Counterfactual Viewpoint Transformations

CVT-Bench：反事实视角变换揭示多模态大语言模型中不稳定的空间表征

Shanmukha Vellamcheti, Uday Kiran Kothapalli, Disharee Bhowmick, Sathyanarayanan N. Aakur

机构 * CSSE Department, Auburn University（计算机科学与工程系，阿伯杜大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 CVT-Bench通过控制诊断基准评估多模态大语言模型在反事实视角变换下的关系一致性，发现尽管单视角准确率高，但系统在反事实视角变换下存在系统性退化，揭示了表征结构对反事实空间推理的重要性。

Comments Reframed CVT-Bench around spatial-state integrity, added real-world benchmark derived from 3dSGG, context controls and other minor changes. 21 pages, 10 figures, 15 tables. Project page: https://shanmukha-here.github.io/CVT-Bench

Data-driven registration and modeling of brain deformation for image-guided neurosurgery

数据驱动的图像配准与变形建模在图像引导神经外科中的应用：系统综述

Tiago Assis, Colin P. Galvin, Joshua P. Castillo, Nazim Haouchine, Marta Kersten-Oertel, Zeyu Gao, Mireia Crispin-Ortuzar, Stephen J. Price, Thomas Santarius, Yangming Ou, Sarah Frisken, Nuno C. Garcia, Alexandra J. Golby, Reuben Dorent, Ines P. Machado

机构 * LASIGE, Faculty of Sciences, University of Lisbon（里斯本大学科学学院LASIGE） ； Department of Neurosurgery and Department of Radiology, Brigham and Women's Hospital, Harvard Medical School（哈佛医学院布里洛妇女医院神经外科与放射科） ； Gina Cody School of Engineering and Computer Science, Concordia University（康科迪亚大学工程与计算机科学学院） ； Cancer Research UK Cambridge Centre, University of Cambridge（剑桥大学癌症研究英国中心） ； Department of Oncology, University of Cambridge（剑桥大学肿瘤科） ； Department of Clinical Neurosciences, University of Cambridge（剑桥大学临床神经科学系） ； Computational Health Informatics Program (CHIP) and Department of Radiology, Boston Children's Hospital, Harvard Medical School（哈佛医学院波士顿儿童医院计算健康信息学计划与放射科） ； Sorbonne Université, Institut du Cerveau - Paris Brain Institute - ICM（索邦大学巴黎脑研究所-ICM） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 系统综述2020-2025年间基于学习的脑变形补偿方法，包括深度学习配准、变形场回归、多模态对齐、切除感知架构及混合模型，指出当前方法在鲁棒性、标准化基准、可解释性和临床部署方面的局限，并展望未来研究方向。

Comments 41 pages, 7 figures, 9 tables. Final postprint version available in Medical Image Analysis at https://doi.org/10.1016/j.media.2026.104217

Journal ref Assis, T., et al. (2026). Data-driven registration and modeling of brain deformation for image-guided neurosurgery. Medical Image Analysis, 114, 104217

Research-Oriented Human-Centric Evaluation for Foundation Models

面向研究的基础模型以人为中心的评估

Yijin Guo, Kaiyuan Ji, Xiaorong Zhu, Junying Wang, Farong Wen, Chunyi Li, Zicheng Zhang, Guangtao Zhai

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Lab（上海人工智能实验室） ； East China Normal University（华东师范大学） ； Fudan University（复旦大学） 纠错

专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CL

AI总结 针对现有基础模型评估忽视用户主观体验的问题，提出Human-Centric Evaluation框架，通过604次人类评估会话及LLM-as-a-judge实验，证实人类主观评估不可替代，为基础模型研究提供新评估方式。

ActFER: Agentic Facial Expression Recognition via Active Tool-Augmented Visual Reasoning

ActFER: 通过主动工具增强的视觉推理实现代理面部表情识别

Shifeng Liu, Zhengye Zhang, Sirui Zhao, Xinglong Mao, Zhehan Kan, Zhixiang Wei, Shiwei Wu, Chaoyou Fu, Tong Xu, Enhong Chen

专题命中 多模态Agent ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 ActFER通过主动视觉证据获取和多模态推理提升面部表情识别，采用UC-GRPO算法优化局部检查和情绪感知，实验显示其在AU预测准确率上显著优于传统方法。

Comments 10 pages, 7 figures

PlayWorld: Benchmarking World Models with Agent Players over Long-Horizon Objectives

PlayWorld：基于智能体玩家的长程目标世界模型基准测试

Kaixin Ding, Xi Chen, Minghong Cai, Zhiyuan Xu, Yiyang Wang, Yuxiang Lu, Junyi Li, Shuyang Chen, Yuan Gao, Xin Tao, Pengfei Wan, Hengshuang Zhao

机构 * The Chinese University of Hong Kong（香港中文大学） ； The University of Hong Kong（香港大学） ； Zhejiang University（浙江大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CV

AI总结 该研究针对现有世界模型跨模型公平比较的难题，推出含171个场景的PlayWorld基准，通过多模态智能体玩家从多维度评估9种先进世界模型，发现其长程交互式目标表现仍不可靠。

Comments project page: https://kxding.github.io/project/PlayWorld/

LLM-Advisor: An LLM Advisor for Cost-efficient Path Planning across Multiple Terrains

LLM-Advisor: 一种用于多地形高效路径规划的LLM基准

Ling Xiao, Toshihiko Yamasaki

机构 * Graduate School of Information Science and Technology, Hokkaido University（弘前大学信息科学与技术研究生院） ； Department of Information and Communication Engineering, The University of Tokyo（东京大学信息与通信工程系） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 LLM-Advisor利用大型语言模型优化多地形路径规划，提升路径成本效率，适用于现实场景。

Comments This paper has been accepted by IEEE Transactions on Automation Science and Engineering

IoU-PD: IoU-Aware Privileged Distillation for Visual Grounding with Multimodal Large Language Models

IoUPD：用于多模态大语言模型视觉定位的IoU感知特权蒸馏

Xiuyuan Zhu, Ke Lu, Hao Wu, Siwen Jiao, Zijin Du, Dongming Zhang, Jian Xue

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； State Key Laboratory of Communication Content Cognition（通信内容认知技术国家重点实验室） ； Peng Cheng Laboratory（鹏城实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究多模态大语言模型视觉定位中训练与评估不匹配问题，提出IoUPD方法，利用真实框作特权指导，训练时学生模型接收原始信息，教师模型接收增强提示，经监督微调与特权蒸馏损失训练，推理时无需额外模块，实验显示该方法有改进。

Comments 16 pages, 7 figures, 10 tables

Seeing is Coding: On the Effectiveness of Vision Language Models in Code Understanding

CodeOCR: 关于视觉语言模型在代码理解中的有效性

Yuling Shi, Chaoxiang Xie, Zhensu Sun, Yeheng Chen, Chenxu Zhang, Longfei Yun, Chengcheng Wan, Hongyu Zhang, David Lo, Xiaodong Gu

机构 * Shanghai Jiao Tong University China ； Hohai University China ； Singapore Management University Singapore ； Imperial College London United Kingdom ； East China Normal University \& Shanghai Innovation Institute China ； Chongqing University China ； Shanghai Jiao Tong University ； Hohai University ； Singapore Management University ； Imperial College London ； East China Normal University \& Shanghai Innovation Institute ； Chongqing University 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CL

AI总结 本文探讨多模态大语言模型在代码理解中的有效性，发现其可通过图像压缩显著提升效率，并在代码克隆检测等任务中表现出更强的抗压缩能力。

Comments ISSTA 2026 camera ready. Code and data are available at https://github.com/YerbaPage/CodeOCR

Localization then Neutralization: Gradient-guided Token Suppression against Visual Prompt Injection Attack

先定位再中和：梯度引导的令牌抑制对抗视觉提示注入攻击

Dongpeng Zhang, Ke Ma, Yangbangyan Jiang, Gaozheng Pei, Longtao Huang, Qianqian Xu, Qingming Huang

机构 * School of Advanced Interdisciplinary Sciences, UCAS（UCAS交叉学科研究院） ； School of Electronic, Electrical and Communication Engineering, UCAS（UCAS电子电气与通信工程学院） ； State Key Laboratory of AI Safety, Institute of Computing Technology, CAS（中国科学院计算技术研究所人工智能安全国家重点实验室） ； Alibaba Group（阿里巴巴集团） ； School of Computer Science and Technology, UCAS（UCAS计算机科学与技术学院） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Key Laboratory of Big Data Mining and Knowledge Management, UCAS（UCAS大数据挖掘与知识管理重点实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 针对多模态大语言模型的视觉提示注入攻击，提出梯度令牌掩码（GTM）方法，通过梯度分析定位关键图像令牌并掩码中和，将攻击成功率降至接近零且计算开销极小。

Correcting What You Cannot See: Credit Assignment for Perception Distillation in Multimodal Reasoners

修正不可见之缺陷：多模态推理器中感知蒸馏的信用分配

Feng Xiong, Leyan Xue, Hongyu Lin

机构 * Thinking Machines Lab（思维机器实验室） ； DeepSeek-AI（深度求索公司） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 该研究针对多模态推理器的感知蒸馏信用分配问题，提出感知修正蒸馏（PCD）方法，经8个基准测试，可提升不同规模模型的宏平均和结果，消融实验验证其有效性。

Quantitative Multi-Modal Optical Coherence Photoacoustic Elastography

定量多模态光学相干光声弹性成像

Ekaterina Sherina, Lisa Krainz, Wolfgang Drexler, Otmar Scherzer

专题命中 其他多模态 ：multi-modal(title,abstract)

AI总结 提出结合光学相干断层扫描（OCT）和光声断层扫描（PAT）的多模态弹性成像框架，通过混合反演算法融合互补信息，在硅胶体模上实现更高信噪比和更准确的刚度估计。

Comments 10 pages, 10 figures, 2 tables

Single-Shot Realization of 10000-Mode Octave-Spanning Artificial Gauge Fields

单次实现10000模式倍频程跨度人工规范场

Lida Xu, Apurva Padhye, Supratik Sarkar, Alireza Parhizkar, Christopher J. Flower, Gregory Moille, Kartik Srinivasan, Mohammad Hafezi, Mahmoud Jalali Mehrabad

专题命中 其他多模态 ：multimodal(abstract)；multi-modal(abstract)

AI总结 提出超宽带多模态色散校正人工规范场理论框架，利用集成光子学实现首个光子整数量子霍尔模型的频率梳，覆盖超过10000个模式，通过克尔非线性实现单次控制。