多模态大模型

Decoding Error-Related Potentials under Multisensory Feedback with Varying Congruency

在具有不同一致性的多感官反馈下解码错误相关电位

Yixin Liu, Kang Yin, Hye-Bin Shin, Seong-Whan Lee

专题命中 其他多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 研究在多模态视觉、听觉和触觉反馈及可控感官一致性下的ErrP解码挑战，采用基于多分支EEGNet的架构及辅助监督学习策略，经迷宫观察任务实验，该方法在异质感官条件下分类性能一致且准确度提高，提升了ErrP解码稳定性。

A Case Study on the Acceptance of a Humanoid Robotic Head Employed in Three Public Spaces

关于在三个公共场所使用的仿人机器人头部接受度的案例研究

Marcel Heisler, Luca Randecker, Christian Becker-Asano

专题命中 其他多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 研究仿人机器人头部在公共场所的接受度，通过情感模拟后端处理自然语言生成多模态响应，邀请访客交流。结果显示用户有使用意愿，公共场所更适配，多语言响应受欢迎，但响应时间待改进。

Comments accepted at the 35th IEEE International Conference on Robot and Human Interactive Communication (RO-MAN 2026) Kitakyushu, Japan

Fast Fourier Convolutional GAN for 30 m Clear-Sky Land Surface Temperature Gap-Free Reconstruction

用于30米晴空陆地表面温度无间隙重建的快速傅里叶卷积生成对抗网络

Marwa Alfouly, Smajil Halilovic, Nils Bochow, Thomas Hamacher, Niklas Boers, Konrad Schindler

机构 * Technical University of Munich（慕尼黑工业大学） ； Helmholtz Centre for Polar and Marine Research, Alfred Wegener Institute（亥姆霍兹极地与海洋研究中心阿尔弗雷德·韦格纳研究所） ； Swiss Federal Institute of Technology Zurich (ETH Zurich)（瑞士联邦理工学院苏黎世分校） 纠错

专题命中 其他多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 针对卫星LST数据因云层有间隙、重建难问题，提出多模态快速傅里叶卷积生成对抗网络，利用快速傅里叶卷积实现全局感受野，由卫星观测和SAR数据引导，能恢复大量缺失区域，重建效果好。

Comments 35 pages, 9 figures, Journal

Beyond a Joke: Multi-Angle Reasoning for Detecting and Explaining Harmful Humor in Memes

超越玩笑：用于检测和解释表情包中有害幽默的多角度推理

Shanhong Liu, Pai Chet Ng, De Wen Soh, Malika Meghjani, Konstantinos N. Plataniotis

专题命中 其他多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 研究如何检测和解释表情包中有害幽默，提出MAR-12框架，利用视觉语言模型，从十二个角度解读表情包，经注意力机制和原型分类器预测，在多数据集上准确率超现有方法，且能给出有说服力的解释。

Comments Accepted for Publication at AAAI-ICWSM 2027

Reasoning-Guided Part-Level Visual Grounding via Reinforcement Learning

通过强化学习进行推理引导的部件级视觉定位

Kazi Sajeed Mehrab, Hani Alomari, Najibul Haque Sarker, Chia-Wei Tang, Zaber Ibn Abdul Hakim, Anuj Karpatne, Chris Thomas

专题命中 其他多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 研究部件级视觉定位难题，提出OP - HRG粗到细推理引导定位策略，先定位父物体再定位部件，经自我检查反思结果，引入部件感知GRPO框架训练，训练的4B模型性能优异且可迁移到推理分割。

Comments ECCV 2026

Infinity-Parser2 Technical Report

Infinity-Parser2技术报告

Zuming Huang, Jun Huang, Kexuan Ren, Baode Wang, Weizhen Li, Jianming Feng, Yu Wang, Yichen Yao, Shijun Lin, Yige Tang, Cheng Peng, Weidi Xu, Wei Chu, Yinghui Xu, Yuan Qi

专题命中 其他多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 针对文档解析语料库稀缺问题，Infinity-Parser2结合可控数据合成与多任务强化学习。贡献包括构建合成引擎及开源语料库，引入多任务奖励系统，发布Infinity-Parser2-Flash和Infinity-Parser2-Pro两个变体，后者在多项任务中达先进水平。

GHOST: Geometry-Guided Hallucination of Opaque Surface Textures

GHOST：不透明表面纹理的几何引导幻觉

Langxu Zhao, Zuan Gu, Tianhan Gao

机构 * School of Software, Northeastern University, Shenyang, China（软件学院，东北大学，沈阳，中国） 纠错

专题命中 其他多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 针对透明物体给深度估计和3D重建带来的挑战，提出几何引导预处理框架GHOST，利用视觉基础模型，经多步骤处理分离属性、恢复法线先验并整合多模态线索，合成不透明RGB图像，显著提升相关模型对透明物体的处理精度。

Error Aware Distribution Prediction for Lightweight Implicit Neural Representations

轻量级隐式神经表示的误差感知分布预测

Zhimin Li, Jake D. Balla, Joshua A. Levine

机构 * Vanderbilt University（范德堡大学） ； University of Arizona（亚利桑那大学） 纠错

专题命中 其他多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 研究针对隐式神经表示的预测误差问题，提出轻量级方法，将基于回归的INR训练转为分类任务，通过离散连续目标为bins实现灵活分布建模，经分析权衡表明该方法能通过不确定性估计获高重建质量和误差感知。

A Vision Toward Energy-Efficient Domain-Specific Artificial Intelligence Models and Agents

迈向节能领域特定人工智能模型和智能体的愿景

Abhijit Chatterjee, Niraj K. Jha, Jonathan D. Cohen, Thomas L. Griffiths, Hongjing Lu, Diana Marculescu, Ashiqur Rasul, Wenrui Xu, Keshab K. Parhi

专题命中 其他多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 研究提出下一代人工智能应是轻量级领域特定多模态模型，能在动态环境中推理决策并持续进化。核心方法是重新设计硬件提升能源效率。主要贡献是为未来人工智能系统发展提供新愿景，推动从大数据训练的大模型向节能领域特定智能体转变。

HART: High-Resolution Annotation-Free Reasoning Technique through a Closed-loop Framework

无需标注的高分辨率大多模态模型视觉推理技术

Jiacheng Yang, Anqi Chen, Yunkai Dang, Qi Fan, Cong Wang, Wenbin Li, Feng Miao, Yang Gao

机构 * State Key Laboratory of Novel Software Technology（新型软件技术国家重点实验室） ； Institute of Brain-inspired Intelligence（脑启发式智能研究院） ； Shenzhen Research Institute of Nanjing University（南京大学深圳研究院） 纠错

专题命中 其他多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 HART通过闭环框架和AP-GRPO方法，实现无需外部标注的高分辨率视觉推理，提升多模态模型在高分辨率任务中的性能。

The Large Cancer Assistant (LCA): A Model-Agnostic Orchestration Framework for Scalable Clinical Decision Support in Oncology

大型癌症助手（LCA）：用于肿瘤学中可扩展临床决策支持的模型无关编排框架

Ghassen Marrakchi, Basarab Matei

机构 * Ghassen MARRAKCHI（独立研究者） ； Basarab MATEI（独立研究者） 纠错

专题命中 其他多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 研究针对肿瘤学多模态深度学习模型设计局限，提出模型无关的LCA编排框架。利用算法不可渗透原则等方法，经概念验证验证其编排逻辑、算法不可渗透性等，为临床决策支持提供高度适应性基础，利于电子病历互操作性。

Comments 22 pages, 6 figures, 8 tables, 9 appendices, 14 references, Elsevier JBI format

Progressive Reasoning with Primitive Correction for Compositional Zero-Shot Learning

基于原始校正的渐进推理用于组合零样本学习

Ziyi Chen, Haoyan Shi, Sunhan Xu, Congyan Lang

机构 * School of Computer Science and Technology, Beijing Jiaotong University（北京交通大学计算机科学与技术学院） ； Key Laboratory of Big Data & Artificial Intelligence in Transportation (Ministry of Education)（交通运输大数据与人工智能教育部重点实验室） 纠错

专题命中 其他多模态 ：MLLM(abstract)；分类 cs.CV

AI总结 研究组合零样本学习问题，提出PRPC框架，通过逐步推理明确建模属性和对象间双向依赖性，对原语相互校正，将其公式化为结构化推理过程并结合强化学习后训练，在基准测试中达最优性能。

GIPO: Gaussian Importance Sampling Policy Optimization

GIPO：高斯重要性采样策略优化

Chengxuan Lu, Zhenquan Zhang, Shukuan Wang, Qunzhi Lin, Baigui Sun, Yang Liu

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 其他多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 该研究提出了一种基于截断重要性采样的策略优化目标GIPO，通过使用基于对数比率的高斯信任权重替代硬裁剪，以软化极端重要性比率同时保持非零梯度，从而提高数据效率，实验表明GIPO在多种回放缓冲区大小下均取得最佳性能，表现出优越的偏差-方差权衡、高训练稳定性及改进的样本效率。

GenHOI: Generalized Hand-Object Pose Estimation with Occlusion Awareness

GenHOI：具有遮挡意识的通用手-物体姿态估计

Hui Yang, Wei Sun, Jian Liu, Jian Xiao, Tao Xie, Hossein Rahmani, Ajmal Saeed Mian, Nicu Sebe, Gim Hee Lee

机构 * Hunan University（湖南大学） ； Lancaster University（兰卡斯特大学） ； University of Western Australia（西澳大学） ； University of Trento（特伦托大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 其他多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文提出GenHOI框架，通过整合层次语义知识与手部先验，提升在遮挡条件下手-物体姿态估计的泛化能力，实验表明在DexYCB和HO3Dv2基准上达到SOTA性能。

Comments European Conference on Computer Vision (ECCV), 2026

ASPIRE: Agentic /Skills Discovery for Robotics

ASPIRE: 面向机器人的智能体技能发现

Runyu Lu, Yubo Wu, Ethan Kou, Letian Fu, Wenli Xiao, Ajay Mandlekar, Yinzhen Xu, Guanya Shi, Ken Goldberg, Ang Chen, Mosharaf Chowdhury, Yuke Zhu, Linxi "Jim" Fan, Guanzhi Wang

机构 * NVIDIA（英伟达） ； UMich（密歇根大学） ； UIUC（伊利诺伊大学厄巴纳-香槟分校） ； UC Berkeley（加州大学伯克利分校） ； CMU（卡内基梅隆大学） 纠错

专题命中 其他多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 提出ASPIRE系统，通过闭环执行、技能库积累和进化搜索，自主编写和优化机器人控制程序，在扰动、多机器人协作和长时域任务上显著超越现有方法，并实现零样本泛化与仿真到现实的技能迁移。

Comments 43 pages, 12 figures, 9 tables. Project page: https://research.nvidia.com/labs/gear/aspire/

ENSAM: an efficient foundation model for interactive segmentation of 3D medical images

ENSAM：一种高效的交互式3D医学图像分割基础模型

Elias Stenhede, Agnar Martin Bjørnstad, Arian Ranjbar

机构 * Akershus University Hospital（阿克什胡斯大学医院） 纠错

专题命中 其他多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 ENSAM结合SegResNet编码器、提示编码器和掩码解码器，通过潜在交叉注意力、相对位置编码等技术，在有限数据和算力下实现高效3D医学图像分割，优于现有基线模型。

Structured SIR: Efficient and Expressive Importance-Weighted Inference for High-Dimensional Image Registration

Structured SIR: 高效且富有表现力的重要性加权推断用于高维图像配准

Ivor J. A. Simpson, Neill D. F. Campbell

机构 * University of Sussex（萨塞克斯大学） ； University College London（伦敦大学学院） ； University of Bath（巴斯大学） 纠错

专题命中 其他多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出Structured SIR方法，结合采样重要性重采样与低秩加稀疏Cholesky精度因子的协方差参数化，实现高维3D图像配准中高效且多模态的不确定性量化。

Perceptual 3D Simulation With Physical World Modeling

基于物理世界建模的感知3D仿真

Wanhee Lee, Klemen Kotar, Rahul Mysore Venkatesh, Jared Watrous, Daniel L. K. Yamins

机构 * Stanford University（斯坦福大学） 纠错

专题命中 其他多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出P3Sim系统，结合学习型物理世界模型、几何条件模块和持久场景记忆，在部分观测和不完整3D变换信号下模拟未来场景状态，实现多任务泛化。

Comments Published as a conference paper at CVPR 2026

OverFlowLight: Real-Time Gridlock Prevention and Traffic Signal Optimization for Urban Intersections

OverFlowLight：城市交叉口实时防锁死与交通信号优化

Mingyuan Li, Boyang Huang, Tianqi Jiang, Chenpu Li, Chunyu Liu, Yang Li, Ruimin Li, Qiang Wu

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； University of Electronic Science and Technology of China（电子科技大学） ； South China University of Technology（华南理工大学） ； Beijing Xiaocheng Intelligent Computing（北京小城智能计算） ； Tsinghua University（清华大学） ； Lanzhou University（兰州大学） 纠错

专题命中 其他多模态 ：multi-modal(abstract)；分类 cs.AI

AI总结 针对城市交通中队列溢出导致级联锁死的问题，提出OverFlowLight框架，利用多模态传感实时检测溢出并动态插入专用相位，结合规则与强化学习混合控制，实际部署43个路口减少60.4%溢出事件并提升18.2%网络吞吐量。

Distilling Answer-Set Programming Rules from LLMs for Neurosymbolic Visual Question Answering

从LLM中蒸馏答案集编程规则用于神经符号视觉问答

Thomas Eiter, Nelson Higuera Ruiz, Johannes Oetsch

机构 * Vienna University of Technology ( TU Wien )（维也纳技术大学） ； Jönköping University（约克灵厄普大学） 纠错

专题命中 其他多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 提出从大语言模型中蒸馏答案集编程规则的方法，以可解释的方式扩展视觉问答系统的推理能力，仅需少量示例即可生成正确规则。

Comments Under consideration in Theory and Practice of Logic Programming (TPLP)

Rheos: Modelling Continuous Motion Dynamics in Hierarchical 3D Scene Graphs

Rheos: 分层3D场景图中的连续运动动态建模

Iacopo Catalano, Francesco Verdoja, Javier Civera, Jorge Peña-Queralta, Julio A. Placed

机构 * University of Turku（图尔库大学） ； Centre for Artificial Intelligence, Zürich University of Applied Sciences（应用科学大学人工智能中心） ； Instituto Tecnológico de Aragón (ITA) and the University of Zaragoza（阿拉贡理工大学和萨拉戈萨大学） ； University of Zaragoza（萨拉戈萨大学） ； School of Electrical Engineering, Aalto University（艾尔沃斯大学电气工程学院） 纠错

专题命中 其他多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出Rheos框架，将连续方向运动模型嵌入分层3D场景图的动态层，通过半包裹高斯混合模型捕获多模态方向流，并采用水库采样和贝叶斯信息准则实现在线操作，优于离散基线方法。

Comments Accepted at IROS 2026, 8 pages

Utilizing Cognitive Signals Generated during Human Reading to Enhance Keyphrase Extraction from Microblogs

利用人类阅读过程中产生的认知信号增强微博关键词抽取

Xinyi Yan, Yingyi Zhang, Chengzhi Zhang

专题命中 其他多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 研究利用脑电图（EEG）和眼动追踪信号增强微博关键词抽取（AKE），发现EEG特征带来最大性能提升，两种信号部分互补但存在冗余。

Journal ref IPM, 2024

Integrated Sensing and Communications for Real-time Avatar Control in XR over 5G

面向5G上XR中实时化身控制的集成感知与通信

Nabeel Nisar Bhat, Javad Sameri, Rreze Halili, Rafael Berkvens, Maria Torres Vega, Jeroen Famaey

机构 * IDLab, University of Antwerp - imec（ID实验室，安特卫普大学 - imec） ； IDLab, Ghent University - imec（ID实验室，根特大学 - imec） ； Lighting Technology Lab, KU Leuven（照明技术实验室，鲁汶大学） 纠错

专题命中 其他多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 提出结合5G毫米波ISAC与表面肌电信号的多模态感知架构，实现从身体到手指的多尺度手势识别，支持XR实时化身控制。

Quantifying mandibular positioning error and simulated temporomandibular joint-space changes in patient-specific occlusal splints

咬合定位夹板对颞下颌关节状况定量影响的评估

Agnieszka Anna Tomaka, Krzysztof Domino, Michał Tarnawski, Dariusz Pojda

机构 * Institute of Theoretical and Applied Informatics, Polish Academy of Sciences（波兰科学院理论与应用信息研究所） 纠错

专题命中 其他多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出一种利用咬合定位夹板分析颞下颌关节配置的计算方法，通过多模态数据建模夹板作为下颌的刚体变换，评估定位精度并模拟关节空间变化。

Comments 28 pages, 9 figures

OphthaDT: Generative Digital Twins for Forecasting Visual Acuity Trajectories in Ophthalmology

OphthaDT：用于眼科视力轨迹预测的生成式数字孪生

Pietro Belligoli, Nikita Makarov, Sayedali Shetab Boushehri, Fabian Schmich, Raul Rodriguez-Esteban, Michael Menden

机构 * Computational Sciences Center of Excellence, Roche, Penzberg, Germany（计算科学卓越中心，罗氏，彭茨贝格，德国） ； Computational Health Center, Helmholtz Munich, Munich, Germany（计算健康中心，亥姆霍兹慕尼黑，慕尼黑，德国） ； Department of Biology, Ludwig Maximilian University of Munich, Munich, Germany（生物学系，路德维希-马克西米利安-慕尼黑大学，慕尼黑，德国） ； Computational Sciences Center of Excellence, Roche, Basel, Switzerland（计算科学卓越中心，罗氏，巴塞尔，瑞士） ； Department of Biochemistry and Pharmacology, Bio21 Molecular Science and Biotechnology Institute, The University of Melbourne, Parkville, Australia（生物化学与药理学系，Bio21分子科学与生物技术研究所，墨尔本大学，帕克维尔，澳大利亚） ； Technical University of Munich, Munich, Germany（慕尼黑工业大学，慕尼黑，德国） 纠错

专题命中 其他多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出基于LLM的数字孪生OphthaDT，通过序列化纵向患者历史预测最佳矫正视力，在nAMD和DME数据集上分别降低MAE 6.0%和2.6-6.9%，尤其擅长处理高变异性轨迹。

Understanding Privacy by Formalizing It

通过形式化理解隐私

Réka Markovich, Truls Pedersen, Marija Slavkovik

机构 * University of Luxembourg（卢森堡大学） ； University of Bergen（卑尔根大学） 纠错

专题命中 其他多模态 ：multi-modal(abstract)；分类 cs.AI

AI总结 本文使用多模态逻辑形式化不同隐私理论及其原则，探讨作为认知权利的隐私权在规范位置理论中的含义。

Comments Published in Proceedings of the 17th International Conference on Juris-informatics, JURISIN 2023

Using Deep Convolutional Networks for Gesture Recognition in American Sign Language

使用深度卷积网络进行美国手语手势识别

Vivek Bheda, Nelu Radpour

专题命中 其他多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出利用深度卷积网络对美国手语中的字母和数字图像进行分类，探索神经网络在手语识别中的应用。

Comments 12 figures

CABLE: Cloud-Assisted Bandwidth-efficient LMM-based Encoding for V2X Systems

CABLE: 面向V2X系统的云辅助带宽高效LMM编码框架

Haohua Que, Zhipeng Bao, Qianyi Wu, Handong Yao

机构 * College of Engineering, University of Georgia（佐治亚大学工程学院） 纠错

专题命中 其他多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出CABLE框架，通过边缘端利用自我运动补偿和残差运动线索传播云分割掩码，生成感兴趣区域（ROI）并仅上传ROI掩码图像，形成掩码-ROI-LMM反馈循环，在五个数据集上实现73-87%的ROI像素覆盖减少和5-8倍LMM预填充加速。

Sex-based Network-Specific Differences in Connectomes: A Krakencoder-Based Analysis

基于性别的连接组网络特异性差异：基于Krakencoder的分析

Vibhashree S H, Debanjali Bhattacharya, Vamshi Krishna Kancharla, Neelam Sinha

机构 * Centre for Brain Research, Indian Institute of Science（印度科学研究所大脑研究中心） ； Dept. of Artificial Intelligence, Amrita School of Artificial Intelligence, Amrita Vishwa Vidyapeetham（阿姆里塔大学阿姆里塔人工智能学院人工智能系） 纠错

专题命中 其他多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 使用Krakencoder框架模拟脑连接组模态间缺陷传播，分析702名健康被试的结构和功能连接组，发现默认模式网络扰动最大，感觉运动网络最小，完整预测连接组保留更多性别判别信息。

Active Inference with a Self-Prior in the Mirror-Mark Task

镜像标记任务中带有自我先验的主动推理

Dongmin Kim, Hoshinori Kanazawa, Yasuo Kuniyoshi

机构 * The University of Tokyo（东京大学） ； Laboratory for Intelligent Systems and Informatics（智能系统与信息学实验室） 纠错

专题命中 其他多模态 ：cross-modal(abstract)；分类 cs.AI

AI总结 提出一种基于自我先验的计算模型，通过主动推理驱动标记导向行为，无需外部奖励即可模拟镜像自我识别。

Comments 8 pages, 5 figures, Accepted to IEEE ICDL 2026