多模态大模型

CogniAlign: Word-Level Multimodal Speech Alignment with Gated Cross-Attention for Alzheimer's Detection

David Ortiz-Perez, Manuel Benavent-Lledo, Javier Rodriguez-Juan, Jose Garcia-Rodriguez, David Tomás

机构 * Department of Computer Science and Technology, University of Alicante, Alicante, Spain（计算机科学与技术系，阿利坎特大学，阿利坎特，西班牙） ； Valencian Graduate School and Research Network of Artificial Intelligence, Valencia, Spain（瓦伦西亚人工智能研究生学校与研究网络，瓦伦西亚，西班牙） ； Department of Software and Computing Systems, University of Alicante, Alicante, Spain（软件与计算系统系，阿利坎特大学，阿利坎特，西班牙） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

Journal ref Knowledge-Based Systems, Vol. 329, 2025, Article 114264

Prot2Text-V2: Protein Function Prediction with Multimodal Contrastive Alignment

Xiao Fei, Michail Chatzianastasis, Sarah Almeida Carneiro, Hadi Abdine, Lawrence P. Petalidis, Michalis Vazirgiannis

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)

Comments 24 pages, 11 figures

Lightweight Facial Landmark Detection in Thermal Images via Multi-Level Cross-Modal Knowledge Transfer

Qiyi Tong, Olivia Nocentini, Marta Lagomarsino, Kuanqi Cai, Marta Lorenzini, Arash Ajoudani

机构 * Human-Robot Interfaces and Interaction Laboratory, Istituto Italiano di Tecnologia, Genoa, Italy（人机交互实验室，意大利技术研究院，热那亚，意大利） ； Ph.D. Program of National Interest in Robotics and Intelligent Machines (DRIM), Università di Genova（机器人与智能机器国家利益博士项目，热那亚大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV

Interpretable Multimodal Zero-Shot ECG Diagnosis via Structured Clinical Knowledge Alignment

Jialu Tang, Hung Manh Pham, Ignace De Lathauwer, Henk S. Schipper, Yuan Lu, Dong Ma, Aaqib Saeed

机构 * Eindhoven University of Technology（埃因霍温理工大学） ； Singapore Management University（新加坡管理大学） ； Maxima Medical Center（马克斯医疗中心） ； Erasmus Medical Center（埃因霍温医学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

L^2M^3OF: A Large Language Multimodal Model for Metal-Organic Frameworks

Jiyu Cui, Fang Wu, Haokai Zhao, Minggao Feng, Xenophon Evangelopoulos, Andrew I. Cooper, Yejin Choi

机构 * Department of Chemistry, University of Liverpool（利兹大学化学系） ； Leverhulme Research Centre for Functional Materials Design, University of Liverpool（利兹大学功能性材料设计研究所以） ； Department of Computer Science, University of Stanford（斯坦福大学计算机科学系） ； School of Computer Science and Engineering, University of New South Wales（新南威尔士大学计算机科学与工程学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

Comments 18 pages, 7 figures

GranViT: A Fine-Grained Vision Model With Autoregressive Perception For MLLMs

Guanghao Zheng, Bowen Shi, Mingxing Xu, Ruoyu Sun, Peisen Zhao, Zhibo Zhang, Wenrui Dai, Junni Zou, Hongkai Xiong, Xiaopeng Zhang, Qi Tian

机构 * Shanghai Jiao Tong University（上海交通大学） ； Huawei Inc.（华为公司） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CV、cs.AI

Comments 21 pages, 6 figures

BioReason: Incentivizing Multimodal Biological Reasoning within a DNA-LLM Model

Adibvafa Fallahpour, Andrew Magnuson, Purav Gupta, Shihao Ma, Jack Naimer, Arnav Shah, Haonan Duan, Omar Ibrahim, Hani Goodarzi, Chris J. Maddison, Bo Wang

专题命中 多模态训练与对齐 ：multimodal(title)

Comments 28 pages, 4 figures, 4 tables

Document Understanding, Measurement, and Manipulation Using Category Theory

Jared Claypoole, Yunye Gong, Noson S. Yanofsky, Ajay Divakaran

机构 * SRI International（SRI国际研究院） ； Brooklyn College（布鲁克林学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CL

High-Precision Climbing Robot Localization Using Planar Array UWB/GPS/IMU/Barometer Integration

Shuning Zhang, Zhanchen Zhu, Xiangyu Chen, Yunheng Wang, Xu Jiang, Peibo Duan, Renjing Xu

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Department of Data Science and AI, Monash University（数据科学与人工智能系，墨尔本大学） ； Department of Data Science and Artificial Intelligence, Faculty of Infomation Technology, Monash University（数据科学与人工智能系，信息科技学院，墨尔本大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)