多模态大模型

MedM-VL: What Makes a Good Medical LVLM?

Yiming Shi, Shaoshuai Yang, Xun Zhu, Haoyu Wang, Xiangling Fu, Miao Li, Ji Wu

机构 * Department of Electronic Engineering, Tsinghua University（清华大学电子工程系） ； College of AI, Tsinghua University（清华大学人工智能学院） ； Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心） ； School of Computer Science, Beijing University of Posts and Telecommunications（北京邮电大学计算机学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

Out-Of-Distribution Detection for Audio-visual Generalized Zero-Shot Learning: A General Framework

Liuyuan Wen

机构 * School of Physical Sciences University of Science and Technology of China（中国科学技术大学物理科学学院） 纠错

专题命中 音频语音多模态 ：audio-visual(title,abstract)；multi-modal(abstract)；分类 cs.CV、cs.MM、eess.AS

Comments Accepted to BMVC 2024

WAVE-DETR Multi-Modal Visible and Acoustic Real-Life Drone Detector

Razvan Stefanescu, Ethan Oh, Ruben Vazquez, Chris Mesterharm, Constantin Serban, Ritu Chadha

机构 * Peraton Labs（珀顿实验室） 纠错

专题命中 音频语音多模态 ：multi-modal(title,abstract)；分类 cs.CV

Comments 11 pages, 11 figures

D-CAT: Decoupled Cross-Attention Transfer between Sensor Modalities for Unimodal Inference

Leen Daher, Zhaobo Wang, Malcolm Mielle

机构 * Ecole Polytechnique Federale de Lausanne（瑞士联邦理工学院洛桑分校） ； Schindler EPFL Lab（Schindler EPFL实验室） 纠错

专题命中 音频语音多模态 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.AI

Pragmatic Frames Evoked by Gestures: A FrameNet Brasil Approach to Multimodality in Turn Organization

Helen de Andrade Abreu, Tiago Timponi Torrent, Ely Edison da Silva Matos

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL

Comments Paper submitted to Language Sciences Journal

Using the Pepper Robot to Support Sign Language Communication

Giulia Botta, Marco Botta, Cristina Gena, Alessandro Mazzei, Massimo Donini, Alberto Lillo

专题命中 视频多模态 ：multi-modal(abstract)

Comments paper presented at ICSR2025

A Multimodal RAG Framework for Housing Damage Assessment: Collaborative Optimization of Image Encoding and Policy Vector Retrieval

Jiayi Miao, Dingxin Lu, Zhuqi Wang

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

OMGM: Orchestrate Multiple Granularities and Modalities for Efficient Multimodal Retrieval

Wei Yang, Jingjing Fu, Rui Wang, Jinyu Wang, Lei Song, Jiang Bian

机构 * Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

Comments Accepted to ACL 2025 Main Conference

MCL-AD: Multimodal Collaboration Learning for Zero-Shot 3D Anomaly Detection

Gang Li, Tianjiao Chen, Mingle Zhou, Min Li, Delong Han, Jin Wan

机构 * Key Laboratory of Computing Power Network and Information Security, Ministry of Education, Shandong Computer Science Center (National Supercomputer Center in Jinan)（计算能力网络与信息安全部教育部重点实验室，山东计算机科学中心（济南国家超级计算机中心）） ； Qilu University of Technology (Shandong Academy of Sciences)（齐鲁工业大学（山东科学院）） ； Shandong Provincial Key Laboratory of Computing Power Internet and Service Computing, Shandong Fundamental Research Center for Computer Science（山东省计算能力互联网与服务计算重点实验室，山东省计算机科学基础研究中心） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV

Comments Page 14, 5 pictures

Testing chatbots on the creation of encoders for audio conditioned image generation

Jorge E. León, Miguel Carrasco

专题命中 多模态生成 ：image-text(abstract)；分类 eess.AS

MITS: A Large-Scale Multimodal Benchmark Dataset for Intelligent Traffic Surveillance

Kaikai Zhao, Zhaoxiang Liu, Peng Wang, Xin Wang, Zhicheng Ma, Yajun Xu, Wenjing Zhang, Yibing Nan, Kai Wang, Shiguo Lian

机构 * organization= Data Science \& Artificial Intelligence Research Institute, China Unicom , city= Beijing , postcode= 100033 , country= PR China 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；image-text(abstract)；分类 cs.CV、cs.AI

Comments accepted by Image and Vision Computing

Multimodal Mathematical Reasoning Embedded in Aerial Vehicle Imagery: Benchmarking, Analysis, and Exploration

Yue Zhou, Litong Feng, Mengcheng Lan, Xue Yang, Qingyun Li, Yiping Ke, Xue Jiang, Wayne Zhang

机构 * Department of Physics, J.K. Institute of Science（J.K.科学研究院物理系） ； World Scientific University（世界科学大学） ； University of Intelligent Studies（智能研究大学） ； East China Normal University（华东师范大学） ； Nanyang Technological University（南洋理工大学） ； SenseTime Research（商汤科技研究院） ； Shanghai Jiao Tong University（上海交通大学） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments 17 pages, 16 figures

Forecasting Clicks in Digital Advertising: Multimodal Inputs and Interpretable Outputs

Briti Gangopadhyay, Zhao Wang, Shingo Takamatsu

机构 * Sony Group Corporation（索尼集团公司） ； Institute for Clarity in Documentation（清晰文档研究所） ； Inria Paris-Rocquencourt（巴黎- Rocquencourt 国家信息与自动化研究所） ； Rajiv Gandhi University（拉贾·甘地大学） ； Tsinghua University（清华大学） ； Palmer Research Laboratories（帕勒尔研究实验室） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI

Building Age Estimation: A New Multi-Modal Benchmark Dataset and Community Challenge

Nikolaos Dionelis, Alessandra Feliciotti, Mattia Marconcini, Devis Peressutti, Nika Oman Kadunc, JaeWan Park, Hagai Raja Sinulingga, Steve Andreas Immanuel, Ba Tran, Caroline Arnold, Nicolas Longépé

机构 * European Space Agency（欧洲航天局） ； Φ \Phi -lab（Phi实验室） ； ESRIN（ESRIN研究所） ； MindEarth（MindEarth公司） ； Sinergise/ Planet（Sinergise/Planet公司） ； TelePIX（TelePIX公司） ； Axelspace Corporation（Axelspace公司） ； Helmholtz Institute Hereon（海德堡研究所） ； German Climate Computing Center DKRZ（德国气候计算中心DKRZ） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV

Comments 16 pages, 20 figures, 1 table, Submitted

Improving MLLM Historical Record Extraction with Test-Time Image

Taylor Archibald, Tony Martinez

机构 * Brigham Young University 纠错

专题命中 多模态评测 ：MLLM(title)；分类 cs.CV、cs.CL

Déjà Vu: Multilingual LLM Evaluation through the Lens of Machine Translation Evaluation

Julia Kreutzer, Eleftheria Briakou, Sweta Agrawal, Marzieh Fadaee, Kocmi Tom

专题命中 多模态评测 ：MLLM(abstract)；分类 cs.CL、cs.AI

Distinguishing Startle from Surprise Events Based on Physiological Signals

Mansi Sharma, Alexandre Duchevet, Florian Daiber, Jean-Paul Imbert, Maurice Rekrut

机构 * German Research Center for Artificial Intelligence (DFKI), Cognitive Assistants Lab, Saarland Informatics Campus（德国人工智能研究中心（DFKI）、认知助理实验室、萨尔兰州信息技术校区） ； Fédération ENAC ISAE-SUPAERO ONERA, Université de Toulouse（ENAC ISAE-SUPAERO ONERA联合会、图卢兹大学） 纠错

专题命中 多模态评测 ：multi-modal(abstract)

Data-Driven Discovery of Mobility Periodicity for Understanding Urban Systems

Xinyu Chen, Qi Wang, Yunhan Zheng, Nina Cao, HanQin Cai, Jinhua Zhao

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Northeastern University（东北大学） ； University of Central Florida（佛罗里达中央大学） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.AI

Integrative Variational Autoencoders for Generative Modeling of an Image Outcome with Multiple Input Images

Bowen Lei, Yeseul Jeon, Rajarshi Guhaniyogi, Aaron Scheffler, Bani Mallick, Alzheimer's Disease Neuroimaging Initiatives

机构 * Alzheimer’s Disease Neuroimaging Initiatives（阿尔茨海默病神经成像计划） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

Efficient and Effective Adaptation of Multimodal Foundation Models in Sequential Recommendation

Junchen Fu, Xuri Ge, Xin Xin, Alexandros Karatzoglou, Ioannis Arapakis, Kaiwen Zheng, Yongxin Ni, Joemon M. Jose

机构 * School of Computing Science, University of Glasgow（格拉斯哥大学计算机科学学院） ； Amazon（亚马逊） ； Telefonica Scientific Research（Telefonica科学研究院） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；multimodal foundation model(title,abstract)；分类 cs.CV

Comments Accepted by IEEE Transactions on Knowledge and Data Engineering (TKDE)

DyKen-Hyena: Dynamic Kernel Generation via Cross-Modal Attention for Multimodal Intent Recognition

Yifei Wang, Wenbin Wang, Yong Luo

机构 * Wuhan University（武汉大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(title)；audio-visual(abstract)

Comments 8 pages, 2 figures

Multimodal SAM-adapter for Semantic Segmentation

Iacopo Curti, Pierluigi Zama Ramirez, Alioscia Petrelli, Luigi Di Stefano

机构 * University of Bologna（博洛尼亚大学） ； SINA 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

HiddenObject: Modality-Agnostic Fusion for Multimodal Hidden Object Detection

Harris Song, Tuan-Anh Vu, Sanjith Menon, Sriram Narasimhan, M. Khalid Jawed

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments fix typos

A Novel Approach to Balance Convenience and Nutrition in Meals With Long-Term Group Recommendations and Reasoning on Multimodal Recipes and its Implementation in BEACON

Vansh Nagpal, Siva Likitha Valluru, Kausik Lakkaraju, Nitin Gupta, Zach Abdulrahman, Andrew Davison, Biplav Srivastava

机构 * BEACON 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

CaR1: A Multi-Modal Baseline for BEV Vehicle Segmentation via Camera-Radar Fusion

Santiago Montiel-Marín, Angel Llamazares, Miguel Antunes-García, Fabio Sánchez-García, Luis M. Bergasa

机构 * Department of Electronics. University of Alcalá, Community of Madrid, Spain（电子系。阿尔卡拉大学，马德里社区） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title)

Comments 4 pages, 2 figures

MIMo grows! Simulating body and sensory development in a multimodal infant model

Francisco M. López, Miles Lenz, Marco G. Fedozzi, Arthur Aubret, Jochen Triesch

机构 * Deutsche Forschungsgemeinschaft（德国研究协会） 纠错

专题命中 其他多模态 ：multimodal(title,abstract)

Comments Accepted at IEEE ICDL 2025. 6 pages, 6 figures

Surrogate Supervision for Robust and Generalizable Deformable Image Registration

Yihao Liu, Junyu Chen, Lianrui Zuo, Shuwen Wei, Brian D. Boyd, Carmen Andreescu, Olusola Ajilore, Warren D. Taylor, Aaron Carass, Bennett A. Landman

机构 * Department of Electrical and Computer Engineering, Vanderbilt University（维斯尼尔大学电气与计算机工程系） ； Department of Radiology and Radiological Science, Johns Hopkins Medical School（约翰霍普金斯医学学校放射学与放射科学系） ； Image Analysis and Communications Laboratory in the Department of Electrical and Computer Engineering, Johns Hopkins University（约翰霍普金斯大学电气与计算机工程系图像分析与通信实验室） ； Center for Cognitive Medicine, Department of Psychiatry and Behavioral Science, Vanderbilt University Medical Center（维斯尼尔大学医学中心认知医学中心） ； University of Pittsburgh, School of Medicine（匹兹堡大学医学院） 纠错

专题命中 其他多模态 ：multi-modal(abstract)；分类 cs.CV、cs.AI