多模态大模型

A Unified Multimodal Framework for Dataset Construction and Model-Based Diagnosis of Ameloblastoma

一种统一的多模态框架用于数据集构建和基于模型的ameloblastoma诊断

Ajo Babu George, Anna Mariam John, Athul Anoop, Balu Bhasuran

机构 * DiceMed ； School of Sciences (SOS), Indira Gandhi National Open University（印度甘地国家开放大学科学学院） ； School of Information, Florida State University（佛罗里达州立大学信息学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种统一的多模态框架，用于构建ameloblastoma数据集并开发基于模型的诊断方法，通过多模态深度学习模型提高分类和手术规划的准确性。

Can MLLMs generate human-like feedback in grading multimodal short answers?

大型语言模型能否在评估多模态简答时生成类人反馈？

Pritam Sil, Pushpak Bhattacharyya, Pawan Goyal, Ganesh Ramakrishnan

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文研究了多模态简答评分与反馈问题，通过生成数据集评估了四种多模态大语言模型，展示了其在正确性预测和图像相关性评估中的性能。

HiMAL: A Multimodal Hierarchical Multi-task Auxiliary Learning framework for predicting and explaining Alzheimer disease progression

HiMAL：一种用于预测和解释阿尔茨海默病进展的多模态分层多任务辅助学习框架

Sayantan Kumar, Sean Yu, Andrew Michelson, Thomas Kannampallil, Philip Payne

专题命中 多模态评测 ：multimodal(title,abstract)

AI总结 HiMAL通过多模态分层多任务学习框架，预测和解释MCI患者向AD进展的风险，展现高预测性能和临床应用潜力。

Comments Currently under review in Journal of Medical Informatics Association (JAMIA). 6 figures, 3 tables

Journal ref JAMIA Open, Volume 7, Issue 3, October 2024, ooae087

EgoPoseVR: Spatiotemporal Multi-Modal Reasoning for Egocentric Full-Body Pose in Virtual Reality

EgoPoseVR：用于虚拟现实中的自体空间时间多模态推理以实现中心全身体姿

Haojie Cheng, Shaun Jing Heng Ong, Shaoyu Cai, Aiden Tat Yang Koh, Fuxi Ouyang, Eng Tat Khoo

机构 * National University of Singapore（新加坡国立大学） ； Singapore University of Technology and Design（新加坡科技设计大学） 纠错

专题命中 多模态评测 ：multi-modal(title)；分类 cs.CV

AI总结 EgoPoseVR通过融合头戴设备运动信息与中心RGB-D观测，实现了在虚拟现实中的准确全身姿态跟踪，提高了姿态估计的准确性和稳定性。

SOMA-1M: A Large-Scale SAR-Optical Multi-resolution Alignment Dataset for Multi-Task Remote Sensing

SOMA-1M: 一种大规模SAR-光学多分辨率对齐数据集用于多任务遥感

Peihao Wu, Yongxiang Yao, Yi Wan, Wenfei Zhang, Ruipeng Zhao, Jiayuan Li, Yongjun Zhang

机构 * School of Remote Sensing Information Engineering, Wuhan University（遥感信息工程学院，武汉大学） ； Hubei LuoJia Laboratory（湖北珞珈实验室） ； Technology Innovation Center for Collaborative Applications of Natural Resources Data in GBA, Ministry of Natural Resources（粤港澳大湾区自然资源数据协同应用技术创新中心，自然资源部） 纠错

专题命中 多模态评测 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 SOMA-1M是首个大规模SAR-光学多分辨率对齐数据集，用于提升多任务遥感图像处理的性能和准确性。

Enhancing Personality Recognition by Comparing the Predictive Power of Traits, Facets, and Nuances

通过比较特质、维度和细微差别预测能力来增强人格识别

Amir Ansari, Jana Subirana, Bruna Silva, Sergio Escalera, David Gallardo-Pujol, Cristina Palmero

机构 * King's College London（伦敦大学国王学院） 纠错

专题命中 多模态评测 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文通过比较大五人格模型中更细粒度的维度和细微差别，利用Transformer模型提升音频视觉交互数据中的人格识别性能，显著降低预测误差。

Comments Accepted to the 2025 13th International Conference on Affective Computing and Intelligent Interaction (Late Breaking Results)

VRIQ: Benchmarking and Analyzing Visual-Reasoning IQ of VLMs

VRIQ：评估和分析视觉推理IQ的VLMs基准测试

Tina Khezresmaeilzadeh, Jike Zhong, Konstantinos Psounis

机构 * University of Southern California, Los Angeles, USA（美国南加州大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV

AI总结 VRIQ基准测试评估了VLMs的视觉推理能力，发现其在抽象推理任务中表现薄弱，主要源于感知限制，提出细粒度诊断方法以改进多模态系统中的视觉推理。

ReFORM: Reflected Flows for On-support Offline RL via Noise Manipulation

ReFORM：通过噪声操控实现支持下的离线强化学习

Songyuan Zhang, Oswin So, H. M. Sabbir Ahmad, Eric Yang Yu, Matthew Cleaveland, Mitchell Black, Chuchu Fan

机构 * MIT（麻省理工学院） ； Boston University（波士顿大学） ； MIT Lincoln Laboratory（麻省理工学院林伍德实验室） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.AI

AI总结 ReFORM通过反射流策略和噪声操控，在离线强化学习中实现更宽松的支持约束，从而在多模态分布下提升策略性能。

Comments 24 pages, 17 figures; Accepted by the fourteenth International Conference on Learning Representations (ICLR 2026)

(Computer) Vision in Action: Comparing Remote Sighted Assistance and a Multimodal Voice Agent in Inspection Sequences

行动中的视觉：比较远程视觉援助与多模态语音代理在检查序列中的表现

Damien Rudaz, Barbara Nino Carreras, Sara Merlino, Brian L. Due, Barry Brown

专题命中 多模态Agent ：multimodal(title,abstract)

AI总结 研究比较了远程视觉援助与多模态语音代理在检查任务中的表现，发现代理无法产生基于环境的视觉动作，从而缺乏关键资源。

Comments Conditionally accepted at CHI 2026, 32 pages, 8 figures

Active Perception Agent for Omnimodal Audio-Video Understanding

多模态音频视频理解的主动感知代理

Keda Tao, Wenjie Du, Bohan Yu, Weiqiang Wang, Jian Liu, Huan Wang

机构 * Zhejiang University（浙江大学） ； Westlake University（西湖大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 OmniAgent通过动态规划和音频引导感知范式，实现多模态细粒度推理，无需训练即超越现有模型性能。

Comments Website:https://kd-tao.github.io/OmniAgent/

Resisting Manipulative Bots in Meme Coin Copy Trading: A Multi-Agent Approach with Chain-of-Thought Reasoning

抵制操纵机器人在表情包加密货币复制交易中的应用：一种基于多智能体的链式推理方法

Yichen Luo, Yebo Feng, Jiahua Xu, Yang Liu

机构 * UCL, Centre for Blockchain Technologies（伦敦大学区块链技术中心） ； The University of Hong Kong, FinTech Academy（香港大学金融科技学院） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.AI

AI总结 本文提出一种基于多智能体和链式推理的复制交易系统，以抵御操纵机器人，通过多模态大语言模型提升预测准确度和经济表现，实现加密货币投资的稳健收益。

Journal ref Proceedings of the ACM Web Conference 2026 (WWW'26)

Mil-SCORE: Benchmarking Long-Context Geospatial Reasoning and Planning in Large Language Models

Mil-SCORE：大型语言模型中长上下文地理空间推理与规划的基准测试

Aadi Palnitkar, Mingyang Mao, Nicholas Waytowich, Vinicius G. Goecks, Xiaomin Lin

机构 * University of Maryland, College Park MD, USA（马里兰大学） ； ERA Lab, University of South Florida, Tampa FL, USA（佛罗里达大学埃拉实验室） ； DEVCOM Army Research Laboratory, Aberdeen Proving Ground MD, USA（国防部陆军研究实验室） ； EEHPC Lab, Johns Hopkins University, Baltimore MD, USA（约翰霍普金斯大学EEHPC实验室） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CL

AI总结 Mil-SCORE是首个针对复杂军事规划情景的多跳问题数据集，旨在评估大型语言模型在长上下文地理空间推理与规划中的能力。

WebSTAR: Scalable Data Synthesis for Computer Use Agents with Step-Level Filtering

WebSTAR: 可扩展的数据合成用于计算机使用代理的步级过滤

Yifei He, Pranit Chawla, Yaser Souri, Subhojit Som, Xia Song

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Microsoft（微软公司） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 WebSTAR通过步级过滤技术合成高质量数据，构建了WebSTAR和WebSCORE数据集，并训练了高效的过程奖励模型StepRM，提升计算机使用代理的训练效果和部署效率。

Comments Project website: https://yifei-he.github.io/webstar-website/

Sensor Insoles: A Review

智能传感鞋垫：综述

Bastian Latsch, Felix Herbst, Mark Suppelt, Julian Seiler, Stephan Schaumann, Sven Suppelt, Alexander A. Altmann, Martin Grimmer, and Mario Kupnik

专题命中 多模态Agent ：multimodal(abstract)

AI总结 本文综述了智能传感鞋垫在足部压力测量中的应用，分析了现有技术的局限性，并提出未来多模态传感器和多轴传感的发展方向。

Comments 20 pages, 8 figures, review article published in IEEE Sensors Journal

Journal ref IEEE Sensors Journal, vol. 26, no. 3, pp. 3577-3596, Dec. 2025

CMD-HAR: Cross-Modal Disentanglement for Wearable Human Activity Recognition

CMD-HAR：基于交叉模态解耦的可穿戴人类活动识别

Ying Yu, Siyao Li, Yixuan Jiang, Hang Xiao, Jingxi Long, Haotian Tang, Hanyu Liu, Chao Li

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 CMD-HAR通过交叉模态解耦和时空注意力机制，提升可穿戴设备中人类活动识别的准确性和部署效率。

Adaptive Global and Fine-Grained Perceptual Fusion for MLLM Embeddings Compatible with Hard Negative Amplification

自适应全局与细粒度感知融合用于兼容硬负样本放大的人脸嵌入

Lexiang Hu, Youze Xue, Dian Li, Gang Liu, Zhouchen Lin

机构 * State Key Lab of General AI, School of Intelligence Science and Technology, Peking University（人工智能国家重点实验室，智能科学与技术学院，北京大学） ； Institute for Artificial Intelligence, Peking University（人工智能研究院，北京大学） 纠错

专题命中 多模态训练与对齐 ：MLLM(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 本文提出AGFF-Embed方法，通过自适应融合全局和细粒度语义信息，提升多模态嵌入在一般和细粒度理解上的性能。

PPE: Positional Preservation Embedding for Token Compression in Multimodal Large Language Models

PPE：用于多模态大语言模型中token压缩的位置保持嵌入

Mouxiao Huang, Borui Jiang, Dehua Zheng, Hailin Hu, Kai Han, Xinghao Chen

机构 * Huawei Technologies（华为技术有限公司） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 PPE通过保持位置信息提升多模态大语言模型的token压缩效率和性能

Comments ICLR 2026

Empowering Time Series Analysis with Large-Scale Multimodal Pretraining

通过大规模多模态预训练增强时间序列分析

Peng Chen, Siyuan Wang, Shiyan Hu, Xingjian Wu, Yang Shu, Zhongwen Rao, Meng Wang, Yijie Li, Bin Yang, Chenjuan Guo

机构 * East China Normal University, Shanghai, China（华东师范大学） ； HuaWei, ShenZhen, China（华为，深圳，中国） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；multimodal foundation model(abstract)

AI总结 本文提出HORAI模型，通过多模态预训练提升时间序列分析的泛化能力，实现零样本预测和异常检测的最优性能。

CyIN: Cyclic Informative Latent Space for Bridging Complete and Incomplete Multimodal Learning

CyIN：循环信息潜在空间用于连接完整与不完整多模态学习

Ronghao Lin, Qiaolin He, Sijie Mai, Ying Zeng, Aolin Xiong, Li Huang, Yap-Peng Tan, Haifeng Hu

机构 * School of Electronics and Information Technology, Sun Yat-Sen University（中山大学电子与信息学院） ； School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电气与电子工程学院） ； School of Computer Science, South China Normal University（华南师范大学计算机科学学院） ； Desay SV Automotive Co., Ltd（德赛股份有限公司） ； Pazhou Laboratory（琶洲实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 CyIN通过构建循环信息潜在空间，解决多模态学习中完整与不完整数据之间的性能差距，实现统一优化。

Comments Accepted by NeurIPS 2025

Linear Model Merging Unlocks Simple and Scalable Multimodal Data Mixture Optimization

线性模型合并解锁了简单且可扩展的多模态数据混合优化

Davide Berasi, Matteo Farina, Massimiliano Mancini, Elisa Ricci

机构 * University of Trento（特伦托大学） ； Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出通过模型合并高效估算多模态数据混合效果，结合领域专家训练与参数空间组合，实现可扩展的混合优化方法。

Comments Preprint

Test-time Adaptive Hierarchical Co-enhanced Denoising Network for Reliable Multimodal Classification

测试时自适应层次联合增强去噪网络用于可靠的多模态分类

Shu Shen, C. L. Philip Chen, Tong Zhang

机构 * The Guangdong Provincial Key Laboratory of Computational Intelligence and Cyberspace Information, the School of Computer Science and Engineering, South China University of Technology（广东省计算智能与网络信息重点实验室、计算机科学与工程学院、华南理工大学） ； The Pazhou Laboratory（琶洲实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出TAHCD网络，通过自适应稳定子空间对齐和样本自适应置信度对齐，有效去除多模态噪声，提升多模态分类的鲁棒性和泛化能力。

Comments 14 pages,9 figures, 8 tables

SwimBird: Eliciting Switchable Reasoning Mode in Hybrid Autoregressive MLLMs

SwimBird: 在混合自回归大语言模型中实现可切换的推理模式

Jintao Tong, Shilin Yan, Hongwei Xue, Xiaojun Tang, Kunyu Shi, Guannan Zhang, Ruixuan Li, Yixiong Zou

机构 * Huazhong University of Science and Technology（华中科技大学） ； Accio Team, Alibaba Group（阿里集团Accio团队） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 SwimBird通过动态切换三种推理模式，提升多模态大语言模型在视觉密集任务中的性能，同时保持文本推理能力。

Comments Project Page: https://accio-lab.github.io/SwimBird

DCER: Dual-Stage Compression and Energy-Based Reconstruction

DCER：双阶段压缩与基于能量的重建

Yiwen Wang, Jiahao Qin

机构 * Yiwen Wang（无） ； Jiahao Qin（无） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI、cs.MM

AI总结 DCER通过双阶段压缩和基于能量的重建解决多模态融合中的噪声和缺失模态问题，实现鲁棒性提升。

Comments 13 pages, 2 figures, 8 tables. Submitted to ICML 2026. Code will be available on GitHub

InterPrior: Scaling Generative Control for Physics-Based Human-Object Interactions

InterPrior：为基于物理的人-物体交互扩展生成控制

Sirui Xu, Samuel Schulter, Morteza Ziyadi, Xialin He, Xiaohan Fei, Yu-Xiong Wang, Liangyan Gui

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Amazon（亚马逊） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 InterPrior通过大规模模仿预训练和强化学习微调，扩展生成控制以实现人形机器人在多样环境下泛化移动-操作技能。

Comments Webpage: https://sirui-xu.github.io/InterPrior/

RFS: Reinforcement Learning with Residual Flow Steering for Dexterous Manipulation

RFS: 通过残差流引导的强化学习用于灵巧操作

Entong Su, Tyler Westenbroek, Anusha Nagabandi, Abhishek Gupta

机构 * University of Washington, Paul G. Allen School of Computer Science & Engineering（华盛顿大学，保罗·G·艾伦计算机科学与工程学院） ； Amazon Frontier AI & Robotics（亚马逊前沿人工智能与机器人） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 RFS通过残差流引导强化学习，实现高效适应预训练生成策略，提升灵巧操作任务的性能

Normative Modeling using Multimodal Variational Autoencoders to Identify Abnormal Brain Structural Patterns in Alzheimer Disease

基于多模态变分自编码器的规范建模用于识别阿尔茨海默病异常脑结构模式

Sayantan Kumar, Philip Payne, Aristeidis Sotiras

专题命中 其他多模态 ：multimodal(title,abstract)；multi-modal(abstract)

AI总结 本文提出基于多模态变分自编码器的规范建模框架，用于识别阿尔茨海默病中异常脑结构模式，通过联合分布建模提高疾病阶段检测的敏感性和准确性。

Comments Medical Imaging Meets NeurIPS workshop in NeurIPS 2022

Journal ref Proc. SPIE 12465, Medical Imaging 2023: Computer-Aided Diagnosis, 1246503 (7 April 2023)

Training Data Efficiency in Multimodal Process Reward Models

多模态过程奖励模型中的训练数据效率

Jinyuan Li, Chengsong Huang, Langlin Huang, Shaoyang Xu, Haolin Liu, Wenxuan Zhang, Jiaxin Huang

机构 * Washington University in St. Louis（华盛顿大学圣路易斯分校） ； Singapore University of Technology（新加坡科技设计大学） ； University of Virginia（弗吉尼亚大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.CL、cs.MM

AI总结 本文提出BIS方法，通过优化标签混合与可靠性，提升多模态过程奖励模型训练的数据效率，仅用10%训练数据即可达到全数据性能。

Analyzing heterogeneity in Alzheimer Disease using multimodal normative modeling on imaging-based ATN biomarkers

利用多模态规范建模分析阿尔茨海默病的异质性：基于影像学ATN生物标志物

Sayantan Kumar, Tom Earnest, Braden Yang, Deydeep Kothapalli, Andrew J. Aschenbrenner, Jason Hassenstab, Chengie Xiong, Beau Ances, John Morris, Tammie L. S. Benzinger, Brian A. Gordon, Philip Payne, Aristeidis Sotiras

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 本研究利用多模态规范建模分析阿尔茨海默病影像学ATN生物标志物的异质性，揭示了疾病严重程度与认知功能的关系。

Comments Under review in Alzheimer's & Dementia

Journal ref Alzheimer's Dement. 2025; 21:e70143

Improving Normative Modeling for Multi-modal Neuroimaging Data using mixture-of-product-of-experts variational autoencoders

利用混合专家积变分自编码器改进多模态神经影像数据的规范建模

Sayantan Kumar, Philip Payne, Aristeidis Sotiras

机构 * Department of Computer Science and Engineering, Washington University in St. Louis, USA（计算机科学与工程系，华盛顿大学圣路易斯分校） ； Institute for Informatics, Data Science and Biostatistics, Washington University in St.Louis, USA（信息学、数据科学与生物统计研究所，华盛顿大学圣路易斯分校） ； Department of Radiology, Washington University in St.Louis, USA（放射学系，华盛顿大学圣路易斯分校） 纠错

专题命中 其他多模态 ：multi-modal(title)；multimodal(abstract)

AI总结 本文提出利用混合专家积变分自编码器改进多模态神经影像数据的规范建模，以更准确地识别异常个体及异常脑区。

Comments IEEE Internattional Symposium in Biomedical Imaging 2024

Journal ref 2024 IEEE International Symposium on Biomedical Imaging (ISBI)

AdapDISCOM: An Adaptive Sparse Regression Method for High-Dimensional Multimodal Data With Block-Wise Missingness and Measurement Errors

AdapDISCOM：一种用于高维多模态数据的自适应稀疏回归方法，具有块状缺失和测量误差

Maimouna Baldé, Abdoul O. Diakité, Claudia Moreau, Gleb Bezgin, Nikhil Bhagwat, Pedro Rosa-Neto, Jean-Baptiste Poline, Simon Girard, Amadou Barry

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 AdapDISCOM通过自适应稀疏回归方法，有效应对高维多模态数据中的块状缺失和测量误差问题，提升预测性能和生物标志物选择的可靠性。

Comments 49 pages, 4 figures