多模态大模型

Diagnosing and Mitigating Perception-Decision Misalignment in Omni-LLMs via Modality Subspace Activation

通过模态子空间激活诊断并缓解全模态大语言模型（Omni-LLMs）中的感知-决策失配问题

Hongbo Jiang, Jie Li, Yunhang Shen, Tianyu Xie, Pingyang Dai

专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CV

AI总结 针对Omni-LLMs存在的感知-决策失配问题，本文提出因果模态敏感性及对应诊断方法，构建CausalMSBench数据集，提出无需训练的MSA框架以恢复模型的因果模态敏感性。

Benchmark-Based Comparative Assessment of Publicly Benchmarked Indian Foundation Models: A Capability and Evaluation-Maturity Framework

基于基准的公开基准印度基础模型对比评估：能力与评估成熟度框架

Avinash Agarwal, Vridhi Jain

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出能力与评估成熟度框架，对公开基准的印度基础模型与全球同类模型对比评估，发现其在传统基准表现尚可但参与新评估不足，还提出基准成熟度指数，指出能力差距或源于评估生态问题。

Comments 19 pages, 11 tables

A Survey of Body and Face Motion: Datasets, Performance Evaluation Metrics and Generative Techniques

人体与面部运动的综述：数据集、性能评估指标和生成技术

Lownish Rai Sookha, Nikhil Pakhale, Mudasir Ganaie, Abhinav Dhall

机构 * Indian Institute of Technology Ropar（印度理工学院罗帕尔） ； Monash University（莫纳什大学） 纠错

专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文综述了人体和面部运动生成，涵盖数据集、评估指标和生成技术，首次全面探讨了该领域的发展与未来方向。

High-Dimensional Assisted Learning for Vertically Distributed Data with Blockwise Missingness

面向含分块缺失的垂直分布式数据的高维辅助学习

Yuwen Long, Shuyuan Wu, Yin Xia

专题命中 多模态评测 ：multimodal(abstract)

AI总结 针对含分块缺失的垂直分布式数据，提出 ALB 算法，无需合并记录即可实现高维线性估计与推理，性能优于完整样本 Lasso，可近似集中式基准。

Adjoint-Compatible Surrogates of the Expected Information Gain for Optimal Experimental Design

伴随兼容的期望信息增益代理用于最优实验设计

Luc de Montella, Sebastian Sager

专题命中 多模态评测 ：multimodal(abstract)

AI总结 本文提出两种伴随兼容的期望信息增益代理，用于解决动态系统参数估计中的最优实验设计问题，在非高斯或多模态先验不确定性下表现更优。

RingMo-Agent: A Unified Remote Sensing Foundation Model for Multi-Platform and Multi-Modal Reasoning

RingMo-Agent: 多平台多模态遥感基础模型

Huiyang Hu, Peijin Wang, Yingchao Feng, Kaiwen Wei, Wenxin Yin, Wenhui Diao, Mengyu Wang, Hanbo Bi, Kaiyue Kang, Tong Ling, Kun Fu, Xian Sun

机构 * Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院 aerospace information research institute） ； School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences（中国科学院大学电子电气与通信工程学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Key Laboratory of Target Cognition and Application Technology (TCAT)（目标认知与应用技术重点实验室） 纠错

专题命中 多模态Agent ：multi-modal(title,abstract)；cross-modal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 RingMo-Agent是一种多平台多模态遥感基础模型，通过大规模数据集和任务特定标记提升遥感图像的感知与推理能力。

Comments 24 pages, 5 figures, 20 tables

Dissecting Embodied Abilities in Multimodal Language Models through Skill-level Evaluation and Diagnosis

通过技能级评估与诊断解构多模态语言模型的具身能力

Yu Qi, Haibo Zhao, Ziyu Guo, Siyuan Ma, Ziyan Chen, Yaokun Han, Renrui Zhang, Zitiantao Lin, Yizhe Zhu, Shiji Xin, Yijian Huang, Boce Hu, Kai Cheng, Peiheng Wang, Jiazheng Liu, Jiayi Zhang, Yizhe Zhu, Wenqing Wang, Yiran Qin, Haojie Huang, Lawson L. S. Wong

机构 * Northeastern University, Boston, MA, USA ； The Chinese University of Hong Kong, Hong Kong, China ； Peking University, Beijing, China ； Westlake University, Hangzhou, China ； Harvard University, Cambridge, MA, USA ； Purdue University, West Lafayette, IN, USA ； University of Oxford, Oxford, United Kingdom 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出BEAR基准，通过分解具身任务为14个原子技能进行细粒度评估，发现感知能力是推理失败的主要瓶颈，并提出BEAR-Agent多模态对话代理，显著提升具身技能性能。

Comments Accepted to ICML 2026

Latent Reuse in Agent Skills: Multi-modal Clone Detection at Ecosystem Scale

SkillClone: 多模态克隆检测与克隆传播分析在智能体技能生态系统中

Jiaying Zhu, Lyuye Zhang, Wenbo Guo, Yang Liu

专题命中 多模态Agent ：multi-modal(title,abstract)

AI总结 本文提出SkillClone，首个多模态智能体技能克隆检测方法，通过融合TF-IDF与通道分解实现高精度检测，揭示技能生态系统中大量克隆关系及传播问题。

Comments 13 pages, ASE 2026

Multi-Agent Closed-Loop Reasoning for Organic Structure Elucidation from Multimodal Spectra

基于多智能体闭环推理的多模态光谱有机结构解析

Bingsen Xue, Zhuojun Jiang, Jianhao Zhang, Mingcheng Gu, Yizhe Yuan, Yongtai Zhuo, Yifan Zhang, Li Wang, Ya Su, Yue Yuan, Jiang Liu, Xueqian Kong, Cheng Jin

专题命中 多模态Agent ：multimodal(title)；分类 cs.AI

AI总结 本文提出多智能体系统MACROS，经海量光谱数据训练后可实现零样本泛化，提升结构解析速度与准确性，为全自动结构解析及自主实验室发展奠定基础。

UI-Mate: Advancing Open-Weight Foundation GUI Agents with In-Context Demonstrations

UI-Mate：利用上下文内演示推进开放权重基础图形用户界面智能体

Zihan Ding, Longxu Dou, Qi Gao, Xiangwu Guo, Shengchao Hu, Zilong Huang, Zihang Jiang, Lei Ke, Mengcheng Lan, Weixian Lei, Hanxuan Li, Honglin Li, Xiyun Li, Zaitang Li, Leowei Liang, Xin Luo, Haozhe Ma, Jiayi Mao, Zhoujie Pan, Can Qin, Tianyuan Qu, Weiqi Wang, Wenkai Wang, Yonglin Wang, Yuxin Wang, Chenxu Wu, Yingchen Yu, Chenyu Zhang, Yuhao Zheng

机构 * Tencent Hy Frontier Team（腾讯 Hy 前沿团队） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 UI-Mate是集成环境基训练栈与上下文内演示学习的GUI智能体，在多计算机使用基准上创开放权重SOTA，提升了长周期办公任务的执行可靠性

Comments UI-Mate Technical Report. Project page: https://ui-mate.github.io

MistyPilot: Enabling Social-Robot Control through Multi-Agent LLM Skill Orchestration

MistyPilot：通过多智能体大语言模型技能编排实现社交机器人控制

Xiao Wang, Lu Dong, Ifeoma Nwogu, Srirangaraj Setlur, Venu Govindaraju

机构 * State University of New York at Buffalo（纽约州立大学布法罗分校） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 该研究提出多智能体大语言模型框架MistyPilot，可解释自然语言指令并编排Misty社交机器人技能，经评估其在多项任务上准确率高、方差低，用户反馈积极，代码将公开。

Comments Accepted at the ECCV 2026 ACVR Workshop

ETHOS: Towards a Modular Ethics Framework for Clinical Multi-Agent Systems

ETHOS：面向临床多智能体系统的模块化伦理框架

Rakesh Sharma, Sydney Pugh, Cameron Beeche, Pankhuri Singhal, Rachel Wu, Margaret Eby, Jeffrey Duda, James Gee, Kyra O'Brien, Hersh Sagreiya, Marina Serper, Victoria Gershuni, Angela Bradbury, Anurag Verma, Eric Eaton, Kevin B. Johnson, Walter Witschey

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 ETHOS是可与现有临床多智能体系统集成的模块化伦理框架，通过分层治理提升决策可靠性，将AI伦理原则转化为可部署的安全保障。

Comments Preprint of an article submitted for consideration in Pacific Symposium on Biocomputing \textcopyright\ 2027 World Scientific Publishing Company. \url{https://psb.stanford.edu/}

ForceU-VLA: A Force-Aware Vision-Language-Action Model for Embodied Ultrasound Scanning

ForceU-VLA：用于实体超声扫描的力感知视觉-语言-动作模型

Xingzheng Wu, Cheng Zhang, Guihao Yan, Xifeng Hu, Zhi Liu, Qing Cai

机构 * Faculty of Computer Science and Technology, Ocean University of China（中国海洋大学计算机科学与技术学院） ； School of Information Science and Engineering, Shandong University（山东大学信息科学与工程学院） ； Innovation School of Artificial Intelligence, Hefei University of Technology（合肥工业大学人工智能创新学院） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 本文针对现有实体超声扫描方法的不足，提出力感知视觉-语言-动作模型ForceU-VLA，设计FUSFM与SAMM模块，构建ForceU-VLA-Data数据集，实验证实其可提升超声扫描的接触稳定性与压力调节能力。

Vision Language Models Cannot Plan, but Can They Formalize?

视觉语言模型（VLMs）无法规划，但它们能进行形式化吗？

Muyu He, Yuxi Zheng, Yuchen Liu, Zijian An, Bill Cai, Jiani Huang, Lifeng Zhou, Feng Liu, Ziyang Li, Li Zhang

机构 * Drexel University（德雷塞尔大学） ； University of Pennsylvania（宾夕法尼亚大学） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CL

AI总结 本研究提出5种VLM作为形式化器的流水线，评估后发现其表现优于端到端规划生成，较弱VLMs的瓶颈为物体关系视觉grounding，较强模型已克服该限制。

Security of Foundation-Model-Powered Embodied Agents: Attack Surfaces, Attacks, Defenses, and Evaluation

基于基础模型的具身智能体的安全性：攻击面、攻击、防御与评估

Jiawei Liu, Jiacheng Guo, Tian Zhang, Yiwei Xu, Juan Wang, Jinlin Fan, Bowen Xiao

机构 * Wuhan University（武汉大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 该研究以信任边界为核心，针对基于基础模型的具身智能体安全，划分了五个层级与十二个攻击面，分析了58种攻击、61种防御的现状，指出部分领域研究不足并提出开放挑战。

Identifying parameter couplings and uncertainties of mixed-noise stochastic systems via full-covariance Gaussian mixture network

通过全协方差高斯混合网络识别混合噪声随机系统的参数耦合与不确定性

Xiaolong Wang, Xiangwen Hao, Jing Feng, Yuanyuan Liu, Yong Xu

专题命中 多模态Agent ：multi-modal(abstract)

AI总结 研究针对混合噪声随机系统参数识别的难点，提出PENN-GMD神经网络，采用全协方差高斯混合分布，经五个数值示例验证可准确恢复似然分布、捕捉参数耦合，为复杂随机系统参数识别提供实用工具。

Measuring the Prevalence of Policy Violating Content with ML Assisted Sampling and LLM Labeling

利用机器学习辅助抽样和大语言模型标注测量违规内容的普及率

Attila Dobi, Aravindh Manickavasagam, Benjamin Thompson, Xiaohan Yang, Faisal Farooq

机构 * Pinterest 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 本文提出了一种基于机器学习和大语言模型的系统，用于高效测量违反政策内容的普及率，通过概率抽样和多模态标注提升测量准确性。

Comments 8 pages

Embodied Robot Manipulation in the Era of Foundation Models: Planning and Learning Perspectives

基础模型时代中的具身机器人操作：规划与学习视角

Shuanghao Bai, Wenxuan Song, Jiayi Chen, Yuheng Ji, Zhide Zhong, Jin Yang, Han Zhao, Wanqi Zhou, Zhe Li, Pengxiang Ding, Cheng Chi, Chang Xu, Xiaolong Zheng, Donglin Wang, Haoang Li, Shanghang Zhang, Badong Chen

机构 * Xi’an Jiaotong Univeristy（西安交通大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Chinese Academy of Sciences（中国科学院） ； Westlake University（西湖大学） ； Zhejiang University（浙江大学） ； University of Sydney（悉尼大学） ； BAAI（百度人工智能研究院） ； Peking University（北京大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 本文探讨了基础模型时代机器人操作的规划与学习方法，分析了高层推理与低层控制的统一框架，并提出了未来研究方向。

Comments This work is a re-architected core derived from the full survey (arXiv:2510.10903), refined to highlight the most central themes and representative studies

Towards a Unified Understanding of Robot Manipulation: A Comprehensive Survey

面向机器人操作的统一理解：一项综合调查

Shuanghao Bai, Wenxuan Song, Jiayi Chen, Yuheng Ji, Zhide Zhong, Jin Yang, Han Zhao, Wanqi Zhou, Wei Zhao, Zhe Li, Pengxiang Ding, Cheng Chi, Haoang Li, Chang Xu, Xiaolong Zheng, Donglin Wang, Shanghang Zhang, Badong Chen

专题命中 多模态Agent ：multimodal(abstract)

AI总结 本调查针对机器人操作这一具身智能核心挑战，提出方法的统一分类与瓶颈分类，为机器人操作研究提供了全面的路线图与结构化参考。

EgoGazeLite: On-Device Egocentric Gaze Prediction for Token-Efficient Multimodal LLM Video Input

EgoGazeLite：面向 token 高效多模态大语言模型视频输入的设备内自我中心注视预测

Matteo Stoiber, Niels Buus Lassen

机构 * Copenhagen Business School（哥本哈根商学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 EgoGazeLite 是轻量双进程注视预测器，可在消费级硬件上实时运行，无需眼动追踪硬件即可实现 token 高效的自我中心视频理解，性能与真实注视裁剪无显著差异。

Comments 16 pages. Accepted at the WearableAI Workshop, ECCV 2026 (Archival Track)

GALA: Generation-Aware Cross-Modal Alignment for Text-to-Time-Series Synthesis

GALA：面向文本到时间序列合成的生成感知跨模态对齐

Haochen Zhang, Gengwei Zhang, Laura Yao, Nicholas Konz, Tianlong Chen

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CL

AI总结 本研究针对文本到时间序列合成中条件表示与信号模态不匹配的问题，提出GALA两阶段跨模态对齐方法，在TSFragment-600K数据集上实现SOTA，打破了生成器内部文本编码器的保真度与贴合度权衡。

Comments 21 pages, 6 figures

Multi-Granularity Sentiment Integration for LLM-Based Multimodal Sentiment Analysis

面向基于大语言模型（LLM）的多模态情感分析的多粒度情感集成

Shanshan Lin, Yuesheng Wu, Chao Chen, Yizhe Yang, Zhihao Chen, Zexian Yang, Xiangwen Liao

机构 * Fuzhou University（福州大学） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Jiangxia University（江夏大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 该研究提出MGSI多粒度情感集成框架，通过多尺度编码、文本引导对齐等优化，提升基于LLM的多模态情感分析性能，在四个公开基准上效果优于冻结LLM基线。

Comments Accepted to NLPCC 2026

Evidence Recomposition and Predictive Context Residualization for Visual Attribution in Multimodal Large Language Models

多模态大语言模型中用于视觉归因的证据重组与预测上下文残差化

Jiawei Liang, Jianjie Huang, Xianghao Jiao, Siyuan Liang, Shiming Liu, Xiaochun Cao

机构 * Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； Zhongguancun Academy（中关村学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Nanyang Technological University（南洋理工大学） ； Department of Mechanical Engineering, Imperial College London（伦敦帝国理工学院机械工程系） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 研究多模态大语言模型token级视觉证据难检查问题，提出基于证据重组和预测上下文残差化的ERCR框架，经实验验证该框架能改善目标token视觉证据、减轻上下文干扰，为视觉证据检查提供实用改进。

ProjFormer: Point Cloud Completion via Geometric-Projective Transformer and Cross-Modal Semantic Constraints

ProjFormer：基于几何投影Transformer与跨模态语义约束的点云补全

Sheng Liu, Meng Wang, Ruihui Li, Huilong Pi, Zhuo Tang, Kenli Li

机构 * Hunan University（湖南大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 针对现有点云补全方法几何一致性与适应性不足的问题，提出ProjFormer跨模态框架，通过投影引导视图注意力模块与几何感知路由网络实现高效特征聚合与融合，在轻量级设计下取得了具竞争力的补全性能。

Comments Accepted by ACM Multimedia 2026. 10 pages, 6 figures, 5 tables

Less Data, Faster Convergence: Goal-Driven Data Optimization for Multimodal Instruction Tuning

数据更少，收敛更快：面向多模态指令微调的目标驱动数据优化

Rujie Wu, Haozhe Zhao, Hai Ci, Yizhou Wang

机构 * Peking University（北京大学） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出目标驱动数据优化框架GDO，通过优化训练样本实现更快收敛和更高精度，适用于多模态指令微调任务。

Comments Accepted to ECCV 2026

FuseLIP: Multimodal Embeddings via Early Fusion of Discrete Tokens

FuseLIP：通过离散令牌的早期融合实现多模态嵌入

Christian Schlarmann, Francesco Croce, Nicolas Flammarion, Matthias Hein

机构 * Tübingen AI Center University of Tübingen（图宾根人工智能中心大学） ； EPFL（瑞士联邦理工学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本研究提出FuseLIP架构，通过文本与图像令牌的统一词汇表实现早期融合，收集新数据集并设计挑战性任务，在多模态及单模态嵌入任务中优于后期融合方法。

Comments TMLR 2026. Code and models available at https://github.com/chs20/fuselip

SMA: Who Said That? Auditing Membership Leakage in Semi-Black-box RAG Controlling

SMA：谁说的？半黑盒RAG控制中的成员泄露审计

Shixuan Sun, Siyuan Liang, Jianjie Huang, Jingzhi Li, Xiaochun Cao

机构 * Sun Yat-Sen University（孙中山大学） ； Nanyang Technological University（南洋理工大学） ； University of Chinese Academy of Science（中国科学院大学） ； Zhongguancun Academy（中关村学院） ； Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；MLLM(abstract_cn)；cross-modal(abstract)；分类 cs.AI

AI总结 本研究针对半黑盒RAG控制中的成员泄露问题，提出首个源感知成员审计SMA，通过零阶优化归因估计机制与跨模态归因技术，实现生成内容的细粒度来源归因，为复杂生成系统的数据来源审计提供新视角。

CM-MAE: A Physics-Guided Cross-Modal Self-Supervised Learning Framework for Vision-Wireless Applications

CM-MAE：面向视觉-无线应用的物理引导跨模态自监督学习框架

Yubo Zhang, Yiyao Liu

专题命中 多模态训练与对齐 ：cross-modal(title)；分类 cs.CV、cs.AI

AI总结 本文提出CM-MAE框架，通过软对比对齐损失等技术实现视觉-无线跨场景表征迁移，在DeepSense 6G数据集上提升了跨场景任务的准确率。

Modality-Invariant Coarse-to-Fine Retinal Image Registration

模态无关的由粗到细视网膜图像配准

Bo Wen, Nehal Nailesh Mehta, Melanie Tran, Dirk-Uwe Bartsch, William Freeman, Truong Nguyen

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对现有视网膜配准方法依赖模态的局限，提出可泛化的两阶段模态无关框架，含稀疏特征匹配模型与MI-RAFT网络，在多模态视网膜图像配准中性能优于现有方法。

Comments This paper is a submission to IEEE Transactions on Image Processing (TIP-40498-2026)

Does the Heart Show Your Pain? Tackling the X-ITE Pain Challenge with Self-Supervised ECG Representation Learning

心脏能反映你的疼痛吗？用自监督心电表示学习应对X-ITE疼痛挑战赛

Dominika Kunc, Przemysław Kazienko, Stanisław Saganowski

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 本研究针对X-ITE疼痛挑战赛，结合自监督心电表示学习与多模态预训练，分析疼痛识别中的心电信号特性，为可穿戴疼痛监测提供了基础。

Comments 5 pages, 3 Figures, 1 Table, appear in the Proceedings of the 13th International Conference on Affective Computing and Intelligent Interaction Workshops and Demos (ACIIW 2025)