多模态大模型

Fixed-Budget Parameter-Efficient Training with Frozen Encoders Improves Multimodal Chest X-Ray Classification

固定预算参数高效训练结合冻结编码器提升多模态胸片分类

Md Ashik Khan, Md Nahid Siddique

机构 * Department of Computer Science and Engineering, Indian Institute of Technology Kharagpur, India（计算机科学与工程系，印度理工学院Kharagpur分校） ； Knight Foundation School of Computing and Information Sciences, Florida International University, Florida, USA（骑士基金会计算与信息科学学院，佛罗里达国际大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本研究通过冻结编码器的参数高效训练策略，在降低计算成本的同时提升了多模态胸片分类的性能。

Comments Accepted at the 2025 28th International Conference on Computer and Information Technology (ICCIT). 6 pages, 6 figures

A-QCF-Net: An Adaptive Quaternion Cross-Fusion Network for Multimodal Liver Tumor Segmentation from Unpaired Datasets

A-QCF-Net：一种自适应四元数交叉融合网络用于从无配对数据集进行多模态肝肿瘤分割

Arunkumar V, Firos V M, Senthilkumar S, Gangadharan G R

机构 * University College of Engineering, Bharathidasan Institute of Technology Campus, Anna University（安娜大学工程学院，巴拉特拉桑理工学院校区，安娜大学） ； National Institute of Technology（国家理工学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 A-QCF-Net通过自适应四元数交叉融合网络，实现从无配对CT和MRI数据集中的肝肿瘤分割，提升分割精度并验证模型的临床实用性。

Patch as Node: Human-Centric Graph Representation Learning for Multimodal Action Recognition

补丁作为节点：面向多模态动作识别的人本图表示学习

Zeyu Liang, Hailun Xia, Naichuan Zheng

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出PAN框架，通过人本图表示学习提升多模态动作识别性能，结合双路径和统一网络结构实现高效融合。

MMCTOP: A Multimodal Textualization and Mixture-of-Experts Framework for Clinical Trial Outcome Prediction

MMCTOP: 一种用于临床试验结果预测的多模态文本化与专家混合框架

Carolina Aparício, Qi Shi, Bo Wen, Tesfaye Yadete, Qiwei Han

机构 * Nova School of Business and Economics（诺瓦商学院） ； Hogarthian Technologies（霍加斯技术） ； School of Medicine（医学院） ； Oregon Health & Science University（俄勒冈健康与科学大学） ； Cleveland Clinic（克利夫兰诊所） ； IBM Research（IBM研究院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

AI总结 MMCTOP通过多模态文本化与专家混合框架，提升临床试验结果预测的精度与稳定性。

Comments 15 pages, 3 figures, 5 tables

D2Pruner: Debiased Importance and Structural Diversity for MLLM Token Pruning

D2Pruner: 用于MLLM标记剪枝的去偏重要与结构多样性

Evelyn Zhang, Fufu Yu, Aoqi Wu, Zichen Wen, Ke Yan, Shouhong Ding, Biqing Qi, Linfeng Zhang

机构 * Tencent YouTu Lab（腾讯YouTu实验室） 纠错

专题命中 多模态训练与对齐 ：MLLM(title)；multimodal(abstract)；分类 cs.CV

AI总结 D2Pruner通过结合去偏重要与结构剪枝机制，有效提升MLLM标记剪枝的效率和保真度，尤其在细粒度定位任务中表现突出。

Certainly Bot Or Not? Trustworthy Social Bot Detection via Robust Multi-Modal Neural Processes

确定是机器人还是不是？通过鲁棒多模态神经过程进行可信的社交机器人检测

Qi Wu, Yingguang Yang, hao liu, Hao Peng, Buyun He, Yutong Xia, Yong Liao

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.AI

AI总结 本研究提出鲁棒多模态神经过程框架，通过增强多模态神经过程的鲁棒性来检测社交机器人，同时提升不确定性估计能力。

Comments We withdraw this paper due to an error identified in the experimental setup. Specifically, the evaluation protocol described in Section 4 does not correctly reflect the intended experimental design, which may affect the validity of the reported results. To avoid potential misunderstanding by readers, we choose to withdraw this version and revise the work before resubmission

AlignFreeNet: Is Cross-Modal Pre-Alignment Necessary? An End-to-End Alignment-Free Lightweight Network for Visible-Infrared Object Detection

AlignFreeNet: 跨模态预对齐是否必要？一种端到端无对齐的轻量级网络用于可见-红外目标检测

Dingkun Zhu, Haote Zhang, Lipeng Gu, Wuzhou Quan, Fu Lee Wang, Honghui Fan, Jiali Tang, Haoran Xie, Xiaoping Zhang, Mingqiang Wei

机构 * School of Computer Science, Jiangsu University of Technology（江苏科技大学计算机科学学院） ； School of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院） ； School of Science and Technology, Hong Kong Metropolitan University（香港都会大学科技学院） ； School of Data Science, Lingnan University（岭南大学数据科学学院） ； Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 AlignFreeNet通过无对齐融合范式，提出VCC和FCF模块，有效缓解可见-红外目标检测中的跨模态错位问题，实现端到端轻量级网络的高鲁棒性与泛化能力。

Explainable Multimodal Regression via Information Decomposition

通过信息分解实现可解释的多模态回归

Zhaozhao Ma, Shujian Yu

机构 * Zhejiang University（浙江大学） ； Georgia Institute of Technology（佐治亚理工学院） ； Vrije Universiteit Amsterdam（阿姆斯特丹自由大学） ； UiT - The Arctic University of Norway（挪威北极大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 本文提出基于部分信息分解的多模态回归框架，通过分解模态特定表示为唯一、冗余和协同组件，提升预测准确性和可解释性，并在多个数据集上验证其有效性。

Comments Project Page: https://github.com/zhaozhaoma/PIDReg

CEMG: Collaborative-Enhanced Multimodal Generative Recommendation

CEMG: 基于协作增强的多模态生成推荐

Yuzhen Lin, Hongyi Chen, Xuanjing Chen, Shaowen Wang, Ivonne Xu, Dongming Jiang

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 CEMG通过多模态融合层和残差量化变分自编码器，提升多模态生成推荐的性能。

MotionTeller: Multi-modal Integration of Wearable Time-Series with LLMs for Health and Behavioral Understanding

MotionTeller: 多模态整合可穿戴时间序列与大语言模型用于健康和行为理解

Aiwei Zhang, Arvind Pillai, Andrew Campbell, Nicholas C. Jacobson

专题命中 多模态训练与对齐 ：multi-modal(title)；分类 cs.CL、cs.AI

AI总结 MotionTeller通过整合可穿戴时间序列与大语言模型，实现高精度的自然语言行为摘要生成，提升健康和行为理解的效率与准确性。

GPF-Net: Gated Progressive Fusion Learning for Polyp Re-Identification

GPF-Net：门控渐进融合学习用于息肉重识别

Suncheng Xiang, Xiaoyang Wang, Junjie Jiang, Hejia Wang, Dahong Qian

机构 * Shanghai Jiao Tong University（上海交通大学） ； Peking University（北京大学） ； Shanghai Fifth People's Hospital（上海第五人民医院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 GPF-Net通过门控渐进融合学习提升息肉重识别性能，结合多模态融合策略优于现有单模态模型。

Comments Work in progress

Intelligent recognition of GPR road hidden defect images based on feature fusion and attention mechanism

基于特征融合与注意力机制的智能GPR道路隐缺陷图像识别

Haotian Lv, Yuhui Zhang, Jiangbo Dai, Hanli Wu, Jiaji Wang, Dawei Wang

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出基于特征融合与注意力机制的GPR道路隐缺陷图像识别框架，通过数据增强、多模态特征融合和迁移学习提升检测精度与鲁棒性。

Comments Accepted for publication in *IEEE Transactions on Geoscience and Remote Sensing*

Journal ref IEEE Transactions on Geoscience and Remote Sensing, 2025, 63, 5213217

Frozen LVLMs for Micro-Video Recommendation: A Systematic Study of Feature Extraction and Fusion

冻结的大型视频语言模型用于微视频推荐：特征提取与融合的系统研究

Huatuan Sun, Yunshan Ma, Changguang Wu, Yanxin Zhang, Pengfei Wang, Xiaoyu Du

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.MM

AI总结 本文通过系统研究冻结LVLMs的特征提取与融合策略，提出DFF框架，证明中间隐藏状态优于标题表示，ID嵌入融合优于替换，并在微视频推荐中取得最佳性能。

Comments 10 pages, 4 figures

Breaking Alignment Barriers: TPS-Driven Semantic Correlation Learning for Alignment-Free RGB-T Salient Object Detection

突破对齐障碍：TPS驱动的语义相关性学习用于无对齐RGB-T显著目标检测

Lupiao Hu, Fasheng Wang, Fangmei Chen, Fuming Sun, Haojie Li

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出TPS-SCL网络，通过双流MobileViT和高效Mamba机制，结合语义相关性约束和薄板样条对齐模块，有效解决未对齐RGB-T图像对中的显著目标检测问题。

Comments Accepted by AAAI2026