多模态大模型

Keep It Light! Simplifying Image Clustering Via Text-Free Adapters

保持简洁！通过无文本适配器简化图像聚类

Yicen Li, Haitz Sáez de Ocáriz Borde, Anastasis Kratsios, Paul D. McNicholas

机构 * Department of Mathematics and Statistics, McMaster University（数学与统计学系，麦斯特大学） 纠错

专题命中 多模态评测 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文提出了一种无需文本信息的图像聚类方法SCP，通过简化训练流程在多个数据集上实现了与复杂方法相当的性能。

ESearch-R1: Learning Cost-Aware MLLM Agents for Interactive Embodied Search via Reinforcement Learning

ESearch-R1: 通过强化学习学习成本感知的多模态大语言模型代理以进行交互式具身搜索

Weijie Zhou, Xuangtang Xiong, Ye Tian, Lijun Yue, Xinyu Wu, Wei Li, Chaoyang Zhao, Honghui Dong, Ming Tang, Jinqiao Wang, Zhengyou Zhang

机构 * School of Traffic and Transportation, Beijing Jiaotong University（交通与运输学院，北京交通大学） ； Tencent Robotics X & Futian Laboratory（腾讯机器人X与福田实验室） ； Foundation Model Research Center, Institute of Automation, Chinese Academy of Sciences（基础模型研究中心，中国科学院自动化研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 多模态Agent ：MLLM(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 ESearch-R1通过强化学习方法，结合交互对话、记忆检索和导航，实现成本感知的多模态大语言模型代理，有效降低任务执行成本并提高成功率。

Affective Multimodal Agents with Proactive Knowledge Grounding for Emotionally Aligned Marketing Dialogue

具有主动知识 grounding 的情感多模态代理用于情感对齐的营销对话

Lin Yu, Xiaofei Han, Yifei Kang, Chiung-Yi Tseng, Danyang Zhang, Ziqian Bi, Zhimo Han

机构 * Hunan Police Academy, Department of Criminal Investigation（湖南警察学院犯罪侦查系） ； Business College, California State University（加州州立大学长滩分校商学院） ； Northwestern University（西北大学） ； AI Agent Lab, Vokram Group（Vokram集团AI代理实验室） ； Beijing University of Technology（北京理工大学） ； Zheng Zhou University of Light Industry（郑州轻工业大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 AffectMind通过主动知识 grounding 和情绪-意图对齐模型，提升营销对话中的情感一致性与说服效果。

An AI-Driven Multimodal Smart Home Platform for Continuous Monitoring and Assistance in Post-Stroke Motor Impairment

基于人工智能的多模态智能家庭平台：用于中风后运动功能障碍的持续监测与协助

Chenyu Tang, Ruizhi Zhang, Shuo Gao, Zihe Zhao, Zibo Zhang, Jiaqi Wang, Cong Li, Junliang Chen, Yanning Dai, Shengbo Wang, Ruoyu Juan, Qiaoying Li, Ruimou Xie, Xuhang Chen, Xinkai Zhou, Yunjia Xia, Jianan Chen, Fanghao Lu, Xin Li, Ninglli Wang, Peter Smielewski, Yu Pan, Hubin Zhao, Luigi G. Occhipinti

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出一种基于人工智能的多模态智能家庭平台，通过整合可穿戴设备和环境传感器，实现中风后患者运动功能的持续监测与智能协助，显著提升用户满意度。

Comments 5 figures, 41 references

Large Model Enabled Embodied Intelligence for 6G Integrated Perception, Communication, and Computation Network

大模型赋能的具身智能用于6G集成感知、通信与计算网络

Zhuoran Li, Zhen Gao, Xinhua Liu, Zheng Wang, Xiaotian Zhou, Lei Liu, Yongpeng Wu, Wei Feng, Yongming Huang

机构 * School of Information and Electronics（信息与电子学院） ； School of Interdisciplinary Science（交叉科学学院） ； State Key Laboratory of CNS/ATM（CNS/ATM国家重点实验室） ； Beijing Institute of Technology（北京理工大学） ； Advanced Technology Research Institute（先进技术研究院） ； Yangtze Delta Region Academy（长江三角洲地区学院） ； School of School of Information Science and Engineering（信息科学与工程学院） ； Institute of Intelligent Communication Technologies（智能通信技术研究院） ； Shandong Key Laboratory of Intelligent Communication and Sensing-Computing Integration（智能通信与传感-计算集成山东省重点实验室） ； Zhejiang Provincial Key Laboratory of Information Processing, Communication and Networking（信息处理、通信与网络浙江省重点实验室） ； Department of Electronic Engineering（电子工程系） ； State Key Laboratory of Space Network and Communications（空间网络与通信国家重点实验室） ； National Mobile Communications Research Laboratory（移动通信研究中心） ； Purple Mountain Laboratories（紫金山实验室） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.AI

AI总结 本文提出利用大模型赋能基站实现感知、通信和计算一体化，为6G系统提供安全关键的智能解决方案。

Models for the common knowledge logic

共同知识逻辑的模型

Yoshihito Tanaka

专题命中 多模态Agent ：multi-modal(abstract)

AI总结 本文研究了共同知识逻辑的模型，探讨了其框架和代数的定义及性质，指出CKL框架是模态可定义的，而CKL代数并非构成变种。

R-GenIMA: Integrating Neuroimaging and Genetics with Interpretable Multimodal AI for Alzheimer's Disease Progression

R-GenIMA：整合神经影像与基因组学的可解释多模态AI用于阿尔茨海默病进展

Kun Zhao, Siyuan Dai, Yingying Zhang, Guodong Liu, Pengfei Gu, Chenghua Lin, Paul M. Thompson, Alex Leow, Heng Huang, Lifang He, Liang Zhan, Haoteng Tang

机构 * Eli and Lilly company（艾利和利公司） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 R-GenIMA通过整合神经影像与基因组学，利用可解释的多模态AI方法，实现了对阿尔茨海默病进展的精准预测与机制揭示。

InvCoSS: Inversion-driven Continual Self-supervised Learning in Medical Multi-modal Image Pre-training

InvCoSS: 基于反向驱动的医学多模态图像预训练中的连续自监督学习

Zihao Luo, Shaohao Rui, Zhenyu Tang, Guotai Wang, Xiaosong Wang

机构 * University of Electronic Science and Technology of China（电子科技大学） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Brain-Computer Interface & Brain-Inspired Intelligence Key Laboratory of Sichuan Province（四川省脑机接口与脑启发智能重点实验室） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 InvCoSS通过反向生成合成图像和多尺度融合网络，实现连续自监督学习，减少存储需求并保护数据隐私。

Comments 16 pages, 10 figures, 5 tables

Multimodal Cultural Safety: Evaluation Framework and Alignment Strategies

多模态文化安全：评估框架与对齐策略

Haoyi Qiu, Kung-Hsiang Huang, Ruichen Zheng, Jiao Sun, Nanyun Peng

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； Salesforce AI Research（Salesforce人工智能研究） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL

AI总结 本文提出CROSS基准和CROSS-Eval框架，评估多模态模型的文化安全能力，发现提升推理能力可改善文化对齐，但需结合监督微调和偏好微调策略以增强文化合规性。

VLDBench Evaluating Multimodal Disinformation with Regulatory Alignment

VLDBench：评估具有监管对齐的多模态虚假信息

Shaina Raza, Ashmal Vayani, Aditya Jain, Aravind Narayanan, Vahid Reza Khazaie, Syed Raza Bashir, Elham Dolatabadi, Gias Uddin, Christos Emmanouilidis, Rizwan Qureshi, Mubarak Shah

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL

AI总结 VLDBench 是首个多模态虚假信息检测基准，通过大规模标注数据提升检测准确率，支持 AI 管治框架下的可信虚假信息分析。

Comments Accepted in Information Fusion Journal

Factorized Transport Alignment for Multimodal and Multiview E-commerce Representation Learning

因子化运输对多模态和多视角电商表示学习

Xiwen Chen, Yen-Chieh Lien, Susan Liu, María Castaños, Abolfazl Razi, Xiaoting Zhao, Congzhe Su

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 本文提出因子化运输框架，通过统一多模态和多视角学习，提升电商场景下的检索性能。

Comments Accepted by WSDM'26

Using LLMs for Late Multimodal Sensor Fusion for Activity Recognition

利用大语言模型进行晚阶段多模态传感器融合以进行活动识别

Ilker Demirel, Karan Thakkar, Benjamin Elizalde, Miquel Espi Marques, Aditya Sarathy, Yang Bai, Umamahesh Srinivas, Jiajie Xu, Shirley Ren, Jaya Narain

机构 * Apple（苹果公司） ； MIT（麻省理工学院） ； Johns Hopkins（约翰霍普金斯大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 利用大语言模型进行晚阶段多模态融合，实现零样本和单样本活动分类，无需特定任务训练。

Comments NeurIPS Workshop on Learning from Time Series for Health

Spectral Discrepancy and Cross-modal Semantic Consistency Learning for Object Detection in Hyperspectral Image

光谱偏差与跨模态语义一致性学习用于超光谱图像的目标检测

Xiao He, Chang Tang, Xinwang Liu, Wei Zhang, Zhimin Gao, Chuankun Li, Shaohua Qiu, Jiangfeng Xu

机构 * School of Computer, Wuhan University（武汉大学计算机学院） ； School of Software Engineering, Huazhong University of Science and Technology（华中科技大学软件学院） ； school of computer, National University of Defense Technology（国防科技大学计算机学院） ； Shandong Provincial Key Laboratory of Computer Networks, Shandong Computer Science Center (National Supercomputing Center in Jinan), Qilu University of Technology (Shandong Academy of Sciences)（山东省计算机网络重点实验室、山东省计算机科学中心（国家超级计算中心济南中心）、齐鲁工业大学（山东省科学院）） ； School of Computer and Artificial Intelligence, Zhengzhou University（郑州大学计算机与人工智能学院） ； School of Information and Communication Engineering, North University of China（北方大学信息与通信工程学院） ； National Key Laboratory of Electromagnetic Energy, Naval University of Engineering（电磁能国家重点实验室、海军工程大学） ； Hexagon AB 纠错

专题命中 多模态训练与对齐 ：cross-modal(title)；分类 cs.CV、cs.AI

AI总结 本文提出SDCM网络，通过光谱偏差与跨模态语义一致性学习，提升超光谱图像目标检测的性能。

InterMT: Multi-Turn Interleaved Preference Alignment with Human Feedback

InterMT：基于人类反馈的多轮交错偏好对齐

Boyuan Chen, Donghai Hong, Jiaming Ji, Jiacheng Zheng, Bowen Dong, Jiayi Zhou, Kaile Wang, Juntao Dai, Xuyao Wang, Wenqi Chen, Qirui Zheng, Wenxin Li, Sirui Han, Yike Guo, Yaodong Yang

机构 * Institute for AI, Peking University（人工智能研究院，北京大学） ； State Key Laboratory of General Artificial Intelligence, Peking University（通用人工智能国家重点实验室，北京大学） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.AI

AI总结 InterMT通过多轮多模态交互的偏好数据集探索，旨在提升多模态大模型的交互能力，结合人类反馈和专家注释，揭示多轮扩展规律。

Adaptive-VoCo: Complexity-Aware Visual Token Compression for Vision-Language Models

Adaptive-VoCo: 用于视觉-语言模型的复杂度感知视觉标记压缩

Xiaoyang Guo, Keze Wang

机构 * Sun Yat-sen University（中山大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 Adaptive-VoCo通过动态压缩视觉标记提升视觉-语言模型的效率与鲁棒性

Comments Under submission

GTMA: Dynamic Representation Optimization for OOD Vision-Language Models

GTMA：面向视觉-语言模型的动态表示优化

Jensen Zhang, Ningyuan Liu, Keze Wang

机构 * Sun Yat-sen University（中山大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 GTMA通过动态表示优化提升视觉-语言模型在分布外任务中的性能，有效解决模态不对称问题，提升零样本和少样本准确率15-20%。

Comments Under submission

TwinAligner: Visual-Dynamic Alignment Empowers Physics-aware Real2Sim2Real for Robotic Manipulation

TwinAligner: 视觉-动态对齐赋能物理感知的实境到仿真到现实的机器人操控

Hongwei Fan, Hang Dai, Jiyao Zhang, Jinzhou Li, Qiyang Yan, Yujie Zhao, Mingju Gao, Jinghang Wu, Hao Tang, Hao Dong

机构 * CFCS, School of Computer Science, Peking University（计算机学院，北京大学CFCS） ； PKU-AgiBot Lab（北京大学AgiBot实验室） ； State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家重点实验室，计算机学院，北京大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 TwinAligner通过视觉和动态对齐技术，解决仿真与现实之间的差距，提升机器人操控的可扩展学习能力。

Practical Quantum-Classical Feature Fusion for complex data Classification

实用量子-经典特征融合用于复杂数据分类

Azadeh Alavi, Fatemeh Kouchmeshki, Abdolrahman Alavi

机构 * RMIT University（皇家墨尔本理工大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出了一种交叉注意中融合架构，通过多模态融合提升复杂数据分类性能，证明了量子信息与经典特征结合的重要性。

Comments 16 pages, 3 figues

Delta-LLaVA: Base-then-Specialize Alignment for Token-Efficient Vision-Language Models

Delta-LLaVA: 基于令牌效率的视觉-语言模型对齐方法

Mohamad Zamini, Diksha Shukla

机构 * University of Wyoming（怀俄明大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 Delta-LLaVA通过低秩Delta投影和轻量级Transformer块实现视觉-语言模型的高效对齐，提升推理速度和训练效率。

Xiaomi MiMo-VL-Miloco Technical Report

小米 MiMo-VL-Miloco 技术报告

Jiaze Li, Jingyang Chen, Yuxun Qu, Shijie Xu, Zhenru Lin, Junyou Zhu, Boshen Xu, Wenhui Tan, Pei Fu, Jianzhong Ju, Zhenbo Luo, Jian Luan

机构 * Xiaomi（小米） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

AI总结 小米提出 MiMo-VL-Miloco 模型，专为家庭场景设计，通过两阶段训练提升多模态推理与家庭场景理解能力。

Approximating evidence via bounded harmonic means

通过有界调和均值近似证据

Dana Naderi, Christian P Robert, Kaniav Kamary, Darren Wraith

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 通过椭圆覆盖方法改进调和均值估计器，有效解决无限方差问题，提供更稳定和精确的证据近似

Stable and Efficient Single-Rollout RL for Multimodal Reasoning

稳定且高效的多模态推理单次迭代强化学习

Rui Liu, Dian Yu, Lei Ke, Haolin Liu, Yujun Zhou, Zhenwen Liang, Haitao Mi, Pratap Tokekar, Dong Yu

机构 * Tencent AI Lab（腾讯AI实验室） ； University of Maryland（马里兰大学） ； University of Virginia（弗吉尼亚大学） ； University of Notre Dame（诺特大学） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 MSSR通过熵基优势塑造机制，实现多模态推理中的稳定高效单次迭代强化学习。

Hierarchical Federated Foundation Models over Wireless Networks for Multi-Modal Multi-Task Intelligence: Integration of Edge Learning with D2D/P2P-Enabled Fog Learning Architectures

无线网络上的分层联邦基础模型用于多模态多任务智能：整合边缘学习与D2D/P2P-enabled雾学习架构

Payam Abdisarabshali, Fardis Nadimi, Kasra Borazjani, Naji Khosravan, Minghui Liwang, Wei Ni, Dusit Niyato, Michael Langberg, Seyyedali Hosseinalipour

专题命中 其他多模态 ：multi-modal(title,abstract)；分类 cs.AI

AI总结 本文提出分层联邦基础模型，整合边缘学习与D2D/P2P-enabled雾学习架构，解决多模态多任务智能中的异构性问题。

Comments 7 pages, 2 figures, 1 table

Journal ref IEEE Communications Magazine, 2026

Sampling from multimodal distributions with warm starts: Non-asymptotic bounds for the Reweighted Annealed Leap-Point Sampler

从多元分布采样：带有热启动的非渐近界限的Reweighted Annealed Leap-Point Sampler

Holden Lee, Matheau Santana-Gijzen

专题命中 其他多模态 ：multimodal(title,abstract)

AI总结 通过Reweighted ALPS方法，利用热启动点实现多元分布采样，无需Hessian信息，通过蒙特卡洛估计分区函数以处理复杂几何结构。

How Can Multimodal Remote Sensing Datasets Transform Classification via SpatialNet-ViT?

多模态遥感数据集如何通过SpatialNet-ViT实现分类转变？

Gautam Siddharth Kashyap, Manaswi Kulahara, Nipun Joshi, Usman Naseem

机构 * Macquarie University（麦考瑞大学） ； TERI School Of Advanced Studies（TERI高级研究学院） ； Cornell University（康奈尔大学） 纠错

专题命中 其他多模态 ：multimodal(title)；分类 cs.CV、cs.AI

AI总结 本文提出SpatialNet-ViT模型，结合视觉转换器和多任务学习，以提升遥感数据分类的准确性和泛化能力。

Comments Accepted in the 2025 IEEE International Geoscience and Remote Sensing Symposium (IGARSS 2025), scheduled for 3 - 8 August 2025 in Brisbane, Australia

Stochastic assignment games for Mobility-as-a-Service markets

面向移动即服务市场的随机分配博弈

Bingqing Liu, David Watling, Joseph Y. J. Chow

专题命中 其他多模态 ：multimodal(abstract)

AI总结 本文提出了一种随机Stackelberg博弈模型，用于建模MaaS系统，通过双层优化解决票价调整和用户运营商分配问题，以最大化平台收入并考虑用户和运营商的异质性行为。

Eccentricity signatures in LIGO-Virgo-KAGRA's BNS and NSBH binaries

LIGO-Virgo-KAGRA的BNS和NSBH双星中的偏心性特征

Keisi Kacanja, Kanchan Soni, Alexander Harvey Nitz

专题命中 其他多模态 ：multi-modal(abstract)

AI总结 该研究利用LIGO-Virgo-KAGRA的数据，通过新的偏心波形模型分析低质量双星系统的偏心性，发现GW200105有非可忽略偏心性，而其他源则与低偏心性一致。

Comments 16 pages, 4 figures, 1 table

Journal ref Published in Phys. Rev. D 112, 122007 (2025)

Color, Sentiment, and Structure: A Comparative Study of Instagram Marketing Across Economies

色彩、情感与结构：跨经济体的Instagram营销比较研究

Ritesh Konka, Pranali Kurani

专题命中 其他多模态 ：multimodal(abstract)

AI总结 本研究通过分析Instagram帖子的颜色、情感和结构性因素，揭示了不同经济体中消费者互动模式的差异，强调了本地化营销策略的重要性。

Comments 25 pages, 2 figures, 17 tables

Design and Integration of Thermal and Vibrotactile Feedback for Lifelike Touch in Social Robots

社交机器人中热感与振动触觉反馈的设计与集成

Jacqueline Borgstedt, Jake Bhattacharyya, Matteo Iovino, Frank E. Pollick, Stephen Brewster

机构 * ETH Zürich（苏黎世联邦理工学院） ； University of Glasgow（格拉斯哥大学） 纠错

专题命中 其他多模态 ：multimodal(abstract)

AI总结 本文提出了一种集成热能和振动触觉反馈的多模态触觉原型，用于增强社交机器人的情感互动能力，通过模拟生物生理信号提升拟人化触觉体验。