多模态大模型

Multimodal 3D Genome Pre-training

Minghao Yang, Pengteng Li, Yan Liang, Qianyi Cai, Zhihang Zheng, Shichen Zhang, Pengfei Zhang, Zhi-An Huang, Hui Xiong

机构 * Thrust of Artificial Intelligence, The Hong Kong University of Science and Technology (Guangzhou), China（人工智能研究所，香港科技大学（广州）） ； School of Artificial Intelligence, South China Normal University, China（人工智能学院，华南师范大学） ； Thrust of Bioscience and Biomedical Engineering, The Hong Kong University of Science and Technology (Guangzhou), China（生物科学与生物医学工程研究所，香港科技大学（广州）） ； Department of Computer Science, City University of Hong Kong (Dongguan), China（计算机科学系，香港城市大学（东莞）） ； Department of Computer Science and Engineering, The Hong Kong University of Science and Technology Hong Kong SAR, China（计算机科学与工程系，香港科技大学香港特别行政区） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；multimodal foundation model(abstract)；分类 cs.AI

Comments NeurIPS 2025

Structure-Aware Fusion with Progressive Injection for Multimodal Molecular Representation Learning

Zihao Jing, Yan Sun, Yan Yi Li, Sugitha Janarthanan, Alana Deng, Pingzhao Hu

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

Comments Accepted by NeurIPS 2025

CalFuse: Multi-Modal Continual Learning via Feature Calibration and Parameter Fusion

Juncen Guo, Siao Liu, Xiaoguang Zhu, Lianlong Sun, Liangyu Teng, Jingyi Wu, Di Li, Linxiao Gong, Weiwei Jiang, Wei Zhou, Liang Song

机构 * College of Intelligent Robotics and Advanced Manufacturing, Fudan University（智能机器人与先进制造学院，复旦大学） ； School of Future Science and Engineering, Soochow University（未来科学与工程学院，苏州大学） ； DataLab: Data Science and Informatics, University of California, Davis（数据实验室：数据科学与信息学，加州大学戴维斯分校） ； University of Rochester（罗切斯特大学） ； Ningbo University（宁波大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Academy for Computer Science and Informatics, Cardiff University（计算机科学与信息学学院，卡迪夫大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

Long-VITA: Scaling Large Multi-modal Models to 1 Million Tokens with Leading Short-Context Accuracy

Yunhang Shen, Chaoyou Fu, Shaoqi Dong, Xiong Wang, Yi-Fan Zhang, Peixian Chen, Mengdan Zhang, Haoyu Cao, Ke Li, Shaohui Lin, Xiawu Zheng, Yan Zhang, Yiyi Zhou, Ran He, Caifeng Shan, Rongrong Ji, Xing Sun

机构 * Tencent Youtu Lab（腾讯云图实验室） ； Nanjing University（南京大学） ； East China Normal University（华东师范大学） ； Xiamen University（厦门大学） ； CASIA（中国科学院自动化研究所） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV；MLLM(comments)

Comments https://github.com/VITA-MLLM/Long-VITA

DynCIM: Dynamic Curriculum for Imbalanced Multimodal Learning

Chengxuan Qian, Kai Han, Jiaxin Liu, Zhenlong Yuan, Zhengzhong Zhu, Jingchao Wang, Chongwen Lyu, Jun Chen, Zhe Liu

机构 * Jiangsu University（江苏大学） ； UIUC（伊利诺伊大学香槟分校） ； Alibaba（阿里巴巴） ； UCAS（中国科学院大学） ； Sichuan University（四川大学） ； Peking University（北京大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

Generative AI for Healthcare: Fundamentals, Challenges, and Perspectives

Gang Chen, Changshuo Liu, Gene Anne Ooi, Marcus Tan, Zhongle Xie, Jianwei Yin, James Wei Luen Yip, Wenqiao Zhang, Jiaqi Zhu, Beng Chin Ooi

机构 * College of Computer Science and Technology, Zhejiang University, Hangzhou 310027, China（浙江大学计算机科学与技术学院） ； College of Software Technology, Zhejiang University, Ningbo 315100, China（浙江大学软件技术学院） ； School of Computing, National University of Singapore, Singapore 117417（新加坡国立大学计算机学院） ； Singapore General Hospital, Singapore 169608（新加坡中央医院） ； National University Hospital, Singapore 119074（新加坡国立医院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.AI

Multispectral State-Space Feature Fusion: Bridging Shared and Cross-Parametric Interactions for Object Detection

Jifeng Shen, Haibo Zhan, Shaohua Dong, Xin Zuo, Wankou Yang, Haibin Ling

机构 * School of Electrical and Information Engineering, Jiangsu University, Zhenjiang, 212013, China（江苏大学电气与信息工程学院） ； Department of Computer Science and Engineering, University of North Texas, Denton, TX 76207, USA（德克萨斯大学北卡罗来纳分校计算机科学与工程系） ； School of Computer Science and Engineering, Jiangsu University of Science and Technology, Zhenjiang, 212003, China（江苏科技大学计算机科学与工程学院） ； School of Automation, Southeast University, Nanjing, 210096, China（东南大学自动化学院） ； Bodhi Intelligence Lab, Department of Artificial Intelligence, Westlake University, Hangzhou, Zhejiang 310030, China（西湖大学人工智能研究院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV

Comments submitted on 30/4/2025, Accepted by Information Fusion

SCOPE: Saliency-Coverage Oriented Token Pruning for Efficient Multimodel LLMs

Jinhong Deng, Wen Li, Joey Tianyi Zhou, Yang He

机构 * University of Electronic Science and Technology of China（电子科技大学） ； Shenzhen Institute for Advanced Study（深圳先进研究 institute） ； CFAR, Agency for Science, Technology and Research (A*STAR)（科技研究局（A*STAR）认知与人工智能研究中心） ； IHPC, Agency for Science, Technology and Research (A*STAR)（科技研究局（A*STAR）人工智能中心） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV

Comments NeurIPS 2025

GaussianFusion: Gaussian-Based Multi-Sensor Fusion for End-to-End Autonomous Driving

Shuai Liu, Quanmin Liang, Zefeng Li, Boyang Li, Kai Huang

机构 * School of Computer Science and Engineering, Sun Yat-sen University（计算机科学与工程学院，中山大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV

Comments Accepted at NeurIPS2025 (Spotlight)

ODesign: A World Model for Biomolecular Interaction Design

Odin Zhang, Xujun Zhang, Haitao Lin, Cheng Tan, Qinghan Wang, Yuanle Mo, Qiantai Feng, Gang Du, Yuntao Yu, Zichang Jin, Ziyi You, Peicong Lin, Yijie Zhang, Yuyang Tao, Shicheng Chen, Jack Xiaoyu Chen, Chenqing Hua, Weibo Zhao, Runze Ma, Yunpeng Xia, Kejun Ying, Jun Li, Yundian Zeng, Lijun Lang, Peichen Pan, Hanqun Cao, Zihao Song, Bo Qiang, Jiaqi Wang, Pengfei Ji, Lei Bai, Jian Zhang, Chang-yu Hsieh, Pheng Ann Heng, Siqi Sun, Tingjun Hou, Shuangjia Zheng

专题命中 多模态训练与对齐 ：multimodal(abstract)