多模态大模型

11Plus-Bench: Demystifying Multimodal LLM Spatial Reasoning with Cognitive-Inspired Analysis

Chengzu Li, Wenshan Wu, Huanyu Zhang, Qingtao Li, Zeyu Gao, Yan Xia, José Hernández-Orallo, Ivan Vulić, Furu Wei

机构 * Microsoft Research（微软研究院） ； Language Technology Lab, University of Cambridge（语言技术实验室，剑桥大学） ； Institute of Automation, Chinese Academy of Sciences（自动化研究所，中国科学院） ； Department of Oncology, University of Cambridge（癌症部门，剑桥大学） ； Leverhulme Centre for the Future of Intelligence, University of Cambridge（未来智能中心，剑桥大学） ； VRAIN, Universitat Politècnica de València（VRAIN，巴塞罗那理工大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.CL

Comments 9 pages, 4 figures (22 pages, 7 figures, 7 tables including references and appendices)

A Large-Scale Benchmark of Cross-Modal Learning for Histology and Gene Expression in Spatial Transcriptomics

Rushin H. Gindra, Giovanni Palla, Mathias Nguyen, Sophia J. Wagner, Manuel Tran, Fabian J Theis, Dieter Saur, Lorin Crawford, Tingying Peng

机构 * Helmholtz Munich, Germany（海德堡-慕尼黑赫尔姆霍尔茨研究中心） ； Technical University Munich, Germany（慕尼黑技术大学） ； Microsoft Research, USA（微软研究院） 纠错

专题命中 多模态评测 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.AI

Comments The code is accessible at: https://github.com/peng-lab/hescape

SCAR: A Characterization Scheme for Multi-Modal Dataset

Ri Su, Zhao Chen, Caleb Chen Cao, Nan Tang, Lei Chen

机构 * HKUST (GZ)（香港科技大学（珠海）） ； The Hong Kong University of Science and Technology（香港科学与技术大学） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；multimodal(abstract)

Comments 6 pages, 3 figures

PediatricsMQA: a Multi-modal Pediatrics Question Answering Benchmark

Adil Bahaj, Oumaima Fadi, Mohamed Chetouani, Mounir Ghogho

机构 * Mohammed 6 Polytechnic University（摩洛哥6号理工学院） ； International University of Rabat（拉巴特国际大学） ； Institut des Systèmes Intelligents et de Robotique（智能系统与机器人研究所） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CL、cs.AI、cs.MM

PGAD: Prototype-Guided Adaptive Distillation for Multi-Modal Learning in AD Diagnosis

Yanfei Li, Teng Yin, Wenyi Shang, Jingyu Liu, Xi Wang, Kaiyang Zhao

机构 * Machine Intelligence Lab, College of Computer Science and Technology（机器智能实验室，计算机科学与技术学院） ； Sichuan University（四川大学） ； Department of Computer Science and Engineering（计算机科学与工程系） ； The Chinese University of Hong Kong（香港中文大学） ； Department of Neurosurgery（神经外科部门） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

Multimodal Conditional MeshGAN for Personalized Aneurysm Growth Prediction

Long Chen, Ashiv Patel, Mengyun Qiao, Mohammad Yousuf Salmasi, Salah A. Hammouche, Vasilis Stavrinides, Jasleen Nagi, Soodeh Kalaie, Xiao Yun Xu, Wenjia Bai, Declan P. O'Regan

机构 * MRC Laboratory of Medical Sciences Imperial College London（医学科学实验室 Imperial College London） ； Imperial College Healthcare NHS Trust（帝国理工医疗 NHS Trust） ； Department of Mechanical Engineering University College London（机械工程系 University College London） ； London Postgraduate School of Surgery NHS England（伦敦外科研究生学校 NHS England） ； Faculty of Medicine Imperial College London（医学系 Imperial College London） ； Department of Chemical Engineering Imperial College London（化学工程系 Imperial College London） ； Department of Brain Sciences&Computing Imperial College London（脑科学与计算系 Imperial College London） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV

RoboTwin 2.0: A Scalable Data Generator and Benchmark with Strong Domain Randomization for Robust Bimanual Robotic Manipulation

Tianxing Chen, Zanxin Chen, Baijun Chen, Zijian Cai, Yibin Liu, Zixuan Li, Qiwei Liang, Xianliang Lin, Yiheng Ge, Zhenyu Gu, Weiliang Deng, Yubin Guo, Tian Nian, Xuanbing Xie, Qiangyu Chen, Kailun Su, Tianling Xu, Guodong Liu, Mengkang Hu, Huan-ang Gao, Kaixuan Wang, Zhixuan Liang, Yusen Qin, Xiaokang Yang, Ping Luo, Yao Mu

机构 * MoE key Lab of Artificial Intelligence, AI Institute, SJTU（人工智能联合实验室、人工智能研究院、上海交通大学） ； HKU MMLab（香港大学多模态实验室） ； Shanghai AI Lab（上海人工智能实验室） ； D-Robotics（D-机器人） ； SZU（深圳大学） ； THU（清华大学） ； TeleAI ； FDU（福建大学） ； USTC（中国科学技术大学） ； SUSTech（南方科技大学） ； SYSU（深圳大学） ； CSU（中国科学技术大学） ； NEU（南京大学） ； HKU-SH ICRC（香港大学深圳研究院） ； NJU（南京大学） ； Lumina EAI 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

Comments Project Page: https://robotwin-platform.github.io/, Code: https://github.com/robotwin-Platform/robotwin, Doc: https://robotwin-platform.github.io/doc/

Bangla-Bayanno: A 52K-Pair Bengali Visual Question Answering Dataset with LLM-Assisted Translation Refinement

Mohammed Rakibul Hasan, Rafi Majid, Ahanaf Tahmid

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.CL

NPHardEval4V: Dynamic Evaluation of Large Vision-Language Models with Effects of Vision

Xiang Li, Wenyue Hua, Kaijie Zhu, Lingyao Li, Haoyang Ling, Jinkui Chi, Qi Dou, Jindong Wang, Yongfeng Zhang, Xin Ma, Lizhou Fan

机构 * Shandong University, School of Control Science ； Rutgers University, Department of Computer Science 110 Frelinghuysen Road Piscataway New Brunswick NJ USA 08854 ； University of California, Santa Barbara 1210 Cheadle Hall Santa Barbara California USA 93106 ； University of Michigan, School of Information 500 S State St Ann Arbor Michigan USA 48109 ； The Chinese University of Hong Kong, Department of Computer Science ； The College of William \& Mary, School of Computing, Data Sciences \& Physics 200 Stadium Dr Williamsburg Virginia USA 23185 ； The Chinese University of Hong Kong, Department of Psychiatry 9 Chuen On Rd Tai Po New Territories Hong Kong SAR, China 999077 ； Rutgers University, Department of Computer Science ； University of California, Santa Barbara ； University of Michigan, School of Information ； The College of William \& Mary, School of Computing, Data Sciences \& Physics ； The Chinese University of Hong Kong, Department of Psychiatry 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.CL

Comments 25 pages, 9 figures, 2 tables

Seeing Like a Designer Without One: A Study on Unsupervised Slide Quality Assessment via Designer Cue Augmentation

Tai Inui, Steven Oh, Magdeline Kuan

机构 * Waseda University（早稻田大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.AI

Comments 6 pages