多模态大模型

PersonaX: Multimodal Datasets with LLM-Inferred Behavior Traits

PersonaX: 多模态数据集与LLM推断行为特征

Loka Li, Wong Yu Kang, Minghao Fu, Guangyi Chen, Zhenhao Chen, Gongxu Luo, Yuewen Sun, Salman Khan, Peter Spirtes, Kun Zhang

机构 * Mohamed bin Zayed University of Artificial Intelligence（莫扎德·本·扎耶德人工智能大学） ； Carnegie Mellon University（卡内基梅隆大学） ； University of California San Diego（加州大学圣地亚哥分校） ； Australian National University（澳大利亚国立大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

AI总结 PersonaX通过多模态数据集结合LLM推断行为特征，推动多模态特征分析与因果推理发展。

Comments ICLR 2026

BrainTAP: Brain Disorder Prediction with Adaptive Distill and Selective Prior Integration

BrainTAP: 基于自适应蒸馏和选择性先验整合的脑部疾病预测

Zhenyu Lei, Aiying Zhang, Song Wang, Han Fan, Jundong Li

专题命中 多模态评测 ：multimodal(abstract)；cross-modal(abstract)

AI总结 BrainTAP通过自适应蒸馏和选择性先验整合，提升脑部疾病预测性能。

VLM-UQBench: A Benchmark for Modality-Specific and Cross-Modality Uncertainties in Vision Language Models

VLM-UQBench：一种用于视觉语言模型中模态特定和跨模态不确定性的基准

Chenyu Wang, Tianle Chen, H. M. Sabbir Ahmad, Kayhan Batmanghelich, Wenchao Li

机构 * Boston University（波士顿大学） 纠错

专题命中 多模态评测 ：cross-modal(abstract)；分类 cs.CV

AI总结 VLM-UQBench通过评估不同UQ方法在模态特定和跨模态不确定性上的表现，揭示了现有方法在细粒度不确定性检测上的不足。

The mixture of glycerin with tartrazine: a solution to reversibly increase tissue transparency for in vitro quantitative phase imaging

甘油与焦糖色素的混合物：一种可逆性增加组织透明度用于体外定量相位成像的解决方案

Mikolaj Krysa, Anna Chwastowicz, Malgorzata Lenarcik, Pawel Matrybak, Piotr Zdankowski, Maciej Trusiak

专题命中 多模态评测 ：multimodal(abstract)

AI总结 本研究提出了一种低成本且安全的甘油与焦糖色素混合物，用于提高组织透明度，从而实现高通量无标记定量相位成像。

SWE-Bench Mobile: Can Large Language Model Agents Develop Industry-Level Mobile Applications?

SWE-Bench Mobile: 大语言模型代理能否开发行业级移动应用？

Muxin Tian, Zhe Wang, Blair Yang, Zhenwei Tang, Kunlun Zhu, Honghua Dong, Hanchen Li, Xinni Xie, Guangjing Wang, Jiaxuan You

专题命中 多模态评测 ：multi-modal(abstract)

AI总结 SWE-Bench Mobile评估大语言模型代理在开发行业级移动应用中的能力，发现商业代理表现优于开源替代品，且简单提示策略更有效。

Variational autoencoder for inference of nonlinear mixed effect models based on ordinary differential equations

基于常微分方程的非线性混合效应模型推断的变分自编码器

Zhe Li, Mélanie Prague, Rodolphe Thiébaut, Quentin Clairon

专题命中 多模态评测 ：multimodal(abstract)

AI总结 本文提出基于常微分方程的非线性混合效应模型参数估计方法，利用变分自编码器替代传统MCMC方法，通过最大化ELBO提升参数估计效率与不确定性量化。

DISPROTBENCH: Uncovering the Functional Limits of Protein Structure Prediction Models in Intrinsically Disordered Regions

DISPROTBENCH: 揭示蛋白质结构预测模型在内源性无序区域的功能限制

Xinyue Zeng, Tuo Wang, Adithya Kulkarni, Alexander Lu, Alexandra Ni, Phoebe Xing, Junhan Zhao, Siwei Chen, Dawei Zhou

机构 * Institute for Clarity in Documentation（清晰文档研究所） ； Inria Paris-Rocquencourt（巴黎-罗克琴堡研究所） ； Rajiv Gandhi University（拉贾·甘地大学） ； Tsinghua University（清华大学） ； Palmer Research Laboratories（帕勒研究实验室） 纠错

专题命中 多模态评测 ：multi-modal(abstract)

AI总结 DISPROTBENCH通过引入功能不确定性敏感度度量，揭示蛋白质结构预测模型在内源性无序区域的功能限制及预测不确定性对下游任务的影响。

A large scale multi-modal workflow for battery characterization: from concept to implementation

大规模多模态工作流程用于电池表征：从概念到实现

François Cadiou, Cinthya Herrera, Duncan Atkins, Elixabete Ayerbe, Giorgio Baraldi, Stéphanie Belin, Anass Benayad, Didier Blanchard, Federico Capone, Ennio Capria, Isidora Cekic Laskovic, Robert Dominko, Kristina Edström, Ajay Gautam, Lukas Helfen, Antonella Iadecola, Quentin Jacquet, Gregor Kapun, Xinyu Li, Aleksandar Matic, Nataliia Mozhzhukhina, Andrew J Naylor, Poul Norby, Chris O Keefe, Alexandre Ponrouch, Jean Pascal Rueff, Elena Tchernykova, Deyana Tchitchekova, Israel Temprano, Nikita Vostrov, Marnix Wagemaker, Martin Winter, Christian Wölke, Tejs Vegge, Sandrine Lyonnard

专题命中 多模态Agent ：multi-modal(title,comments)；multimodal(abstract)

AI总结 本文提出了一种大规模多模态工作流程，用于电池表征，通过整合多种技术分析电极材料的演变和电解质成分的影响，展示了标准化流程和多属性元视图的应用。

Comments 32 pages, 6 figures, research article, keywords: Battery, Workflow, Experimental characterization, Multi-modal, Large scale, Correlation, Aging

ST4VLA: Spatially Guided Training for Vision-Language-Action Models

ST4VLA：基于空间引导的视觉-语言-动作模型训练

Jinhui Ye, Fangjing Wang, Ning Gao, Junqiu Yu, Yangkun Zhu, Bin Wang, Jinyu Zhang, Weiyang Jin, Yanwei Fu, Feng Zheng, Yilun Chen, Jiangmiao Pang

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； The Hong Kong University of Science and Technology（香港科技大学） ； Southern University of Science and Technology（南方科技大学） ； Fudan University（复旦大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 ST4VLA通过空间引导训练提升视觉-语言-动作模型的性能，实现对机器人任务的更稳健和可泛化的学习。

Comments Spatially Training for VLA, Accepted by ICLR 2026

AIDED: Augmenting Interior Design with Human Experience Data for Designer-AI Co-Design

AIDED: 通过人类经验数据增强室内设计以实现设计师-人工智能协同设计

Yang Chen Lin, Chen-Ying Chen, Kai-Hsin Hou, Hung-Yu Chen, Po-Chih Kuo

专题命中 多模态Agent ：multimodal(abstract)

AI总结 AIDED通过整合人类经验数据提升室内设计的创造力和客户互动，探索不同数据模态对设计结果的影响，并提出未来AI工具的设计方向。

Comments 29 pages, 14 figures, Accepted to CHI 2026

Chunking Strategies for Multimodal AI Systems

多模态AI系统中的分块策略

Shashanka B R, Mohith Charan R, Seema Banu F

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；multimodal foundation model(abstract)；分类 cs.AI

AI总结 本文综述了多模态系统中分块策略的分类和技术分析，探讨了不同模态的数据处理方法及挑战。

Comments 50 pages, 5 figure

Beyond Next-Token Alignment: Distilling Multimodal Large Language Models via Token Interactions

超越单个词对齐：通过令牌交互蒸馏多模态大语言模型

Lin Chen, Xiaoke Zhao, Kun Ding, Weiwei Feng, Changtao Miao, Zili Wang, Wenxuan Guo, Ying Wang, Kaiyuan Zheng, Bo Zhang, Zhe Li, Shiming Xiang

机构 * MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所信息与智能系统研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Zhejiang University（浙江大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 Align-TI通过令牌交互改进知识蒸馏，实现多模态大语言模型的高效压缩与性能提升

UniFit: Towards Universal Virtual Try-on with MLLM-Guided Semantic Alignment

UniFit: 向基于多模态大语言模型引导的语义对齐的通用虚拟试衣迈进

Wei Zhang, Yeying Jin, Xin Li, Yan Zhang, Xiaofeng Cong, Cong Wang, Fengcai Qiao, zhichao Lian

专题命中 多模态训练与对齐 ：MLLM(title,abstract)；multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 UniFit通过多模态大语言模型引导的语义对齐模块，解决虚拟试衣中语义差距和数据稀缺问题，实现通用且高性能的试衣框架。

Comments accepted to AAAI-2026

Personalized Parameter-Efficient Fine-Tuning of Foundation Models for Multimodal Recommendation

面向多模态推荐的个性化参数高效微调

Sunwoo Kim, Hyunjin Hwang, Kijung Shin

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；multimodal foundation model(abstract)

AI总结 本文提出PerPEFT，一种面向多模态推荐的个性化参数高效微调策略，通过按兴趣分组并为每个组分配独立模块，提升推荐效果。

Comments To be published at The Web Conference 2026 (WWW 2026)

VersaViT: Enhancing MLLM Vision Backbones via Task-Guided Optimization

VersaViT: 通过任务引导优化增强MLLM视觉骨干

Yikun Liu, Yuan Liu, Shangzhe Di, Haicheng Wang, Zhongyin Zhao, Le Tian, Xiao Zhou, Jie Zhou, Jiangchao Yao, Yanfeng Wang, Weidi Xie

机构 * School of Artificial Intelligence, Shanghai Jiao Tong University, China（上海交通大学人工智能学院） ； CMIC, Shanghai Jiao Tong University, China（上海交通大学计算机学院） ； WeChat AI, Tencent Inc., China（腾讯公司） 纠错

专题命中 多模态训练与对齐 ：MLLM(title)；multimodal(abstract)；分类 cs.CV

AI总结 VersaViT通过任务引导优化增强MLLM视觉骨干，解决其在密集预测任务中的性能问题，提升视觉任务的适应性与表现。

Bridging Efficiency and Transparency: Explainable CoT Compression in Multimodal Large Reasoning Models

连接效率与透明性：可解释的CoT压缩在多模态大推理模型中

Yizhi Wang, Linan Yue, Min-Ling Zhang

机构 * School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） ； Key Laboratory of Computer Network and Information Integration (SEU), Ministry of Education, China（计算机网络与信息集成重点实验室（SEU）） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

AI总结 XMCC通过强化学习优化的顺序决策过程，实现多模态大推理模型中可解释的CoT压缩，同时保持推理正确性和生成可解释的压缩解释。

Graph-Based Multimodal and Multi-view Alignment for Keystep Recognition

基于图的多模态和多视角对齐用于按键识别

Julia Lee Romero, Kyle Min, Subarna Tripathi, Morteza Karimzadeh

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出了一种基于图的多模态和多视角对齐框架，用于提高egocentric视频中按键识别的准确率，通过构建稀疏图结构并利用多模态特征提升性能。

Comments We expanded the paper and resubmitted as a separate submission to arXiv. This submission is outdated and readers can refer to arXiv:2506.01102

Towards Uniformity and Alignment for Multimodal Representation Learning

迈向多模态表示学习的统一性与对齐

Wenzhe Yin, Pan Zhou, Zehao Xiao, Jie Liu, Shujian Yu, Jan-Jakob Sonke, Efstratios Gavves

机构 * University of Amsterdam（阿姆斯特丹大学） ； The Netherlands Cancer Institute（荷兰癌症研究所） ； The Arctic University of Norway（挪威北极大学） ； Singapore Management University（新加坡管理大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 本文提出了一种多模态表示学习的方法，通过分离对齐和统一性以解决冲突，提升模型在检索和生成任务中的性能。

Scalpel: Fine-Grained Alignment of Attention Activation Manifolds via Mixture Gaussian Bridges to Mitigate Multimodal Hallucination

Scalpel: 通过混合高斯桥梁实现细粒度注意力激活流形对齐以缓解多模态幻觉

Ziqiang Shi, Rujie Liu, Shanshan Yu, Satoshi Munakata, Koichi Shirahata

机构 * Fujitsu Research & Development Center Co.,LTD.（Fujitsu 研究与开发中心有限公司） ； Fujitsu Limited（Fujitsu 有限公司） 纠错

专题命中 多模态训练与对齐 ：multimodal(title)；分类 cs.CV

AI总结 Scalpel通过高斯混合模型和熵最优传输减少多模态幻觉，实现注意力激活流形的细粒度对齐，提升视觉-语言模型的输出一致性。

Comments WACV 2026 (It was accepted in the first round, with an acceptance rate of 6%.)

Multi-Expert Learning Framework with the State Space Model for Optical and SAR Image Registration

多专家学习框架与状态空间模型用于光学和SAR图像配准

Wei Wang, Dou Quan, Ning Huyan, Chonghua Lv, Shuang Wang, Yunan Li, Licheng Jiao

机构 * Key Laboratory of Intelligent Perception and Image Understanding of Ministry of Education of China（教育部智能感知与图像理解重点实验室） ； Hangzhou Institute of Technology, Xidian University（西安电子科技大学杭州学院） ； School of Computer Science, Xidian University（西安电子科技大学计算机学院） ； Department of Automation, Tsinghua University（清华大学自动化系） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出ME-SSM框架，通过多专家学习和状态空间模型提升光学与SAR图像配准的精度与效率。

Spectral Disentanglement and Enhancement: A Dual-domain Contrastive Framework for Representation Learning

谱解耦与增强：一种双域对比框架用于表示学习

Jinjin Guo, Yexin Li, Zhichao Huang, Jun Fang, Zhiyuan Liu, Chao Liu, Pengzhang Liu, Qixia Jiang

机构 * State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 SDE通过双域对比损失和谱增强策略，提升多模态表示学习的鲁棒性和泛化能力。

TTA: Transcribe, Translate and Alignment for Cross-lingual Speech Representation

TTA：跨语言语音表示的转录、翻译与对齐

Wei Liu, Jiahong Li, Yiwen Shao, Dong Yu

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 eess.AS

AI总结 TTA通过大规模训练生成跨语言语音表示，提升语音识别与翻译任务的性能，优于Whisper模型。

Comments Accepted by ICASSP2026

Barycentric alignment for instance-level comparison of neural representations

实例层面神经表示的重心对齐

Shreya Saha, Zoe Wanying He, Meenakshi Khosla

机构 * Department of XXX, University of YYY, Location, Country（YYY大学XXX系） ； School of ZZZ, Institute of WWW, Location, Country（WWW研究所ZZZ学院） ； Department of Electrical and Computer Engineering, UCSD（UCSD电子与计算机工程系） ； Cognitive Science Department, UCSD（UCSD认知科学系） ； Department of Computer Science（计算机科学系） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)

AI总结 通过实例层面的神经表示重心对齐，揭示了跨视觉和语言模型的表示收敛与发散特性，并展示了人类对齐的跨模态比较能力。

UFM: A Simple Path towards Unified Dense Correspondence with Flow

UFM: 一种通往统一密集对应关系的简单路径：流

Yuchen Zhang, Nikhil Keetha, Chenwei Lyu, Bhuvan Jhamb, Yutian Chen, Yuheng Qiu, Jay Karhade, Shreyas Jha, Yaoyu Hu, Deva Ramanan, Sebastian Scherer, Wenshan Wang

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 其他多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 UFM通过统一训练方法在密集对应关系任务中实现了更高的准确性和效率，优于专门方法。

Comments Project Page: https://uniflowmatch.github.io/

Tail-Aware Density Forecasting of Locally Explosive Time Series: A Neural Network Approach

尾敏感的局部爆炸性时间序列密度预测：一种神经网络方法

Elena Dumitrescu, Julien Peignon, Arthur Thomas

专题命中 其他多模态 ：multimodal(abstract)

AI总结 本文提出一种基于神经网络的混合密度网络，用于预测具有局部爆炸性行为的时间序列，通过偏态t分布和自适应加权方案提升极端区域的密度估计精度。