arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

多模态大模型

跨文本、图像、视频、音频等模态的大模型与学习方法。

2026-08-26 至 2026-08-26 共收录 13 信号源:cs.CV, cs.CL, cs.AI, cs.MM, eess.AS

1. 多模态评测 13 篇

2608.23974 2026-08-26 cs.CV cs.MM 新提交 85%

Boot-and-Feedback Framework for Generalist-Expert Model Collaboration in Breast Ultrasound Diagnosis

用于乳腺超声诊断的通才-专家模型协作的引导与反馈框架

Ming Cheng, Hongyu Sun, Zhaolin Chen, Jun Liu, Hossein Rahmani, Qiuhong Ke

机构 * Monash University(莫纳什大学) Renmin University of China(中国人民大学) Lancaster University(兰卡斯特大学)

专题命中 多模态评测 :MLLM(summary_cn,abstract);multimodal(abstract);分类 cs.CV、cs.MM

AI总结 针对乳腺超声诊断中深度学习的可靠性与可解释性难题,提出BooF框架实现MLLM与专家模型协作,经多数据集验证其性能优于现有最优方法。

Comments 5 pages, 2 figures. Published in ICASSP 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.22232 2026-08-26 cs.AI cs.CL cs.CV cs.MM 版本更新 83%

Beyond What Meets the Eye: Unveiling Situational Illusions for Multimodal Large Language Models

超越表象:揭示多模态大语言模型的情境错觉

Zhiming Yang, Zhuoxi Xiong, Donglin Zhou, Wenjun Wei, Shiyao Cui, Jinqiao Shi

专题命中 多模态评测 :multimodal(title,abstract);分类 cs.CV、cs.CL、cs.AI

AI总结 本文针对多模态大语言模型(MLLMs)面临的情境错觉问题,构建分类体系并推出MSIBench基准,发现27种模型配置均易受6类错觉影响,通过提示工程和监督微调最多提升性能20%。

Comments 9 pages, 5 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.16520 2026-08-26 cs.CV cs.AI cs.CL 版本更新 82%

TangramPuzzle: Evaluating Multimodal Large Language Models with Compositional Spatial Reasoning

TangramPuzzle: 通过组合空间推理评估多模态大语言模型

Daixian Liu, Jiayi Kuang, Yinghui Li, Yangning Li, Di Yin, Haoyu Cao, Xing Sun, Ying Shen, Hai-Tao Zheng, Liang Lin, Philip S. Yu

机构 * Tsinghua University(清华大学) Sun-Yat Sen University(孙逸人大学) Tencent Youtu Lab(腾讯优图实验室) University of Illinois Chicago(伊利诺伊大学香槟分校)

专题命中 多模态评测 :multimodal(title,abstract);分类 cs.CV、cs.CL、cs.AI

AI总结 TangramPuzzle通过几何基准测试评估多模态大语言模型的组合空间推理能力,发现模型在匹配轮廓时忽视几何约束,导致碎片变形。

Comments EMNLP 2026 Findings

详情

展开后加载摘要…

URL PDF HTML 收藏
2602.19001 2026-08-26 cs.CV 版本更新 79%

Life-Bench: A Benchmark and Knowledge Graph Framework for Multimodal Personalization Beyond Concept Recognition

一个用于高级多模态个性化研究的基准和知识引导框架

Xia Hu, Honglei Zhuang, Brian Potetz, Alireza Fathi, Bo Hu, Babak Samari, Howard Zhou

机构 * Google(谷歌) DeepMind(深Mind)

专题命中 多模态评测 :multimodal(title,abstract);分类 cs.CV

AI总结 本文提出Life-Bench基准和LifeGraph框架,用于解决高级多模态个性化研究中的复杂任务挑战。

详情

展开后加载摘要…

URL PDF HTML 收藏
2406.05375 2026-08-26 cs.AI cs.LG 版本更新 79%

LEMMA-RCA: A Large Multi-modal Multi-domain Dataset for Root Cause Analysis

LEMMA-RCA:用于根因分析的多模态多领域大型数据集

Lecheng Zheng, Zhengzhang Chen, Dongjie Wang, Chengyuan Deng, Reon Matsuoka, Haifeng Chen

机构 * University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校) NEC Laboratories America(NEC美国实验室) University of Kansas(堪萨斯大学) Rutgers University(罗格斯大学) NEC Laboratories Japan(NEC日本实验室)

专题命中 多模态评测 :multi-modal(title,abstract);分类 cs.AI

AI总结 针对根因分析领域缺乏大规模开源数据集的问题,本文提出多模态多领域大型数据集LEMMA-RCA,在其上评估六种基线方法,验证其可促进RCA技术的公平评估与发展。

Comments Accepted by CIKM 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.23803 2026-08-26 cs.CV cs.AI cs.LG 新提交 76%

LUCAID: Agentic Multimodal AI for Lung Cancer Precision Pathology

LUCAID:用于肺癌精准病理学的智能体多模态AI

Marie-Lisa Eich, Kai Standvoss, Timo Milbich, Alexander Möllers, Miriam Hägele, Philipp Anders, Lars Tharun, Hanna Kontradiuk, Sebastian Kons, Nader Aldoj, Recepcan Adigüzel, Adam Narai, Lukas Hönig, Jonathan Striebel, Binru Yang, Mihnea P. Dragomir, Marvin Sextro, Philipp Keyl, Philipp Jurmeister, Rosemarie Krupar, Evelyn Ramberger, James Wells, Julika Ribbat-Idel, Andreas Kunft, Hussam Shuaib, Christian Grohé, Reinhard Büttner, David Horst, Klaus-Robert Müller, Lukas Ruff, Maximilian Alber, Frederick Klauschen, Simon Schallenberg

机构 * Institute of Pathology, Charité – Universitätsmedizin Berlin(柏林夏里特医学院病理学研究所) Freie Universität Berlin(柏林自由大学) Humboldt-Universität zu Berlin(柏林洪堡大学) Berlin Institute of Health at Charité – Universitätsmedizin Berlin(柏林夏里特医学院柏林卫生研究所) Aignostics GmbH(Aignostics有限公司) Machine Learning Group, Technical University of Berlin(柏林工业大学机器学习组) BIFOLD – Berlin Institute for the Foundations of Learning and Data(BIFOLD——柏林学习与数据基础研究所) MVZ HPH Institut für Pathologie und Hämatopathologie GmbH(HPH病理及血液病理诊断中心有限公司)

专题命中 多模态评测 :multimodal(title);分类 cs.CV、cs.AI

AI总结 该研究开发并临床验证了LUCAID智能体多模态AI系统,其覆盖肺癌病理全流程任务,前瞻性验证中临床决策一致性达93.0%,优于经验丰富的胸病理学家,解决了现有AI工具的不足。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.24436 2026-08-26 cs.LG cs.AI q-bio.QM 新提交 57%

Evaluating Deep Multivariate Imputation Models on Wearable Device Data

评估深度多变量插补模型在可穿戴设备数据上的性能

Skye Goodman, Roussel Desmond Nzoyem, Leandro Junges, Peter Kissack, Yasser Qureshi, Amberly Brigden, Jeff Clark, Nawid Keshtmand

机构 * University of Bristol(布里斯托大学) University of Manchester(曼彻斯特大学) University of Birmingham(伯明翰大学)

专题命中 多模态评测 :multimodal(abstract);分类 cs.AI

AI总结 本研究针对可穿戴设备数据的结构化缺失问题,开发了保留共缺失结构的评估与训练协议,评估BRITS、SAITS等模型性能,发现模型排名依赖评估设计,为改进多传感器可穿戴数据插补策略提供了关键基础。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.23845 2026-08-26 cs.CV 新提交 57%

Object Counting Across Modalities: Taxonomies, Benchmarks, Applications, and Open Challenges

跨模态物体计数:分类体系、基准、应用及开放挑战

Joana Konadu Owusu, Shivanand Venkanna Sheshappanavar

机构 * University of Wyoming(怀俄明大学) Geometric Intelligence Research Lab.(几何智能研究实验室)

专题命中 多模态评测 :multimodal(abstract);分类 cs.CV

AI总结 本综述针对跨模态物体计数领域,提出五轴分类体系,梳理应用领域挑战,给出路线图,强调需构建稳健评估基础设施区分开放世界泛化与基准优化。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.15994 2026-08-26 cs.AI 版本更新 57%

ReactBench: A Benchmark for Topological Reasoning in MLLMs on Chemical Reaction Diagrams

ReactBench: 一种用于在化学反应图上进行拓扑推理的MLLMs基准测试

Qiang Xu, Shengyuan Bai, Yu Wang, He Cao, Leqing Chen, Yuanyuan Liu, Bin Feng, Zijing Liu, Yu Li

机构 * International Digital Economy Academy(国际数字经济学院) University of Wisconsin–Madison(威斯康星大学麦迪逊分校)

专题命中 多模态评测 :multimodal(abstract);分类 cs.AI

AI总结 ReactBench通过化学反应图揭示MLLMs在拓扑推理中的局限性,包含1618个专家标注的问答对,评估17种MLLMs显示锚定任务与整体结构推理任务存在超过30%的性能差距。

Comments Accepted to EMNLP 2026 (Main Conference)

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.00260 2026-08-26 cs.CV 版本更新 57%

C3VDReg: A Benchmark for Local-to-Local Colonoscopic Registration toward Anatomical Localization

C3VDReg:面向解剖定位的局部-局部结肠镜配准基准

Linzhe Jiang, Jiayuan Huang, Sophia Bano, Matthew J. Clarkson, Zhehua Mao, Mobarak I. Hoque

机构 * UCL Hawkes Institute(UCL哈维斯研究所) University College London, University of London(伦敦大学学院, 伦敦大学) Division of Informatics, Imaging and Data Sciences(信息学、成像与数据科学部门) University of Manchester(曼彻斯特大学)

专题命中 多模态评测 :cross-modal(abstract);分类 cs.CV

AI总结 本文提出面向局部-局部结肠镜配准的基准C3VDReg,通过构建点云对评估基线模型,发现高几何重叠不足以保证配准精度,重复管状解剖的平移歧义是主要瓶颈,凸显需更强解剖与上下文约束。

Comments 15 pages, 6 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2506.12006 2026-08-26 eess.IV cs.CV 版本更新 57%

crossMoDA Challenge: Evolution of Cross-Modality Domain Adaptation Techniques for Vestibular Schwannoma and Cochlea Segmentation from 2021 to 2023

crossMoDA挑战赛:2021至2023年前庭神经鞘瘤与耳蜗分割的跨模态域自适应技术演进

Navodini Wijethilake, Reuben Dorent, Marina Ivory, Aaron Kujawa, Stefan Cornelissen, Patrick Langenhuizen, Mohamed Okasha, Anna Oviedova, Hexin Dong, Bogyeong Kang, Guillaume Sallé, Luyi Han, Ziyuan Zhao, Han Liu, Yubo Fan, Tao Yang, Shahad Hardan, Hussain Alasmawi, Santosh Sanjeev, Yuzhou Zhuang, Satoshi Kondo, Maria Baldeon Calisto, Shaikh Muhammad Uzair Noman, Cancan Chen, Ipek Oguz, Rongguo Zhang, Mina Rezaei, Susana K. Lai-Yuen, Satoshi Kasai, Yunzhi Huang, Chih-Cheng Hung, Mohammad Yaqub, Lisheng Wang, Benoit M. Dawant, Cuntai Guan, Ritse Mann, Vincent Jaouen, Tae-Eui Kam, Li Zhang, Jonathan Shapey, Tom Vercauteren

机构 * School of BMEIS, King's College London, London, United Kingdom(伦敦国王学院生物医学工程与信息科学学院) Harvard University, USA(哈佛大学) Elisabeth-TweeSteden Hospital, Tilburg, Netherlands(蒂尔堡埃利斯贝特-特维德登医院) King's College Hospital, London, United Kingdom(伦敦国王学院医院) Center for Data Science, Peking University, Beijing, China(北京大学数据科学中心) Center for Data Science in Health and Medicine, Peking University, Beijing, China(北京大学健康与医学数据科学中心) Department of Artificial Intelligence, Korea University, Seoul, Republic of Korea(韩国大学人工智能系) Department of Radiology and Nuclear Medicine, Radboud University Medical Center, Geert Grooteplein 10, 6525 GA, Nijmegen, The Netherlands(拉德堡德大学医学中心放射科与核医学科) Department of Radiology, The Netherlands Cancer Institute, Plesmanlaan 121, 1066 CX, Amsterdam, The Netherlands(荷兰癌症研究所放射科) Nanyang Technological University, Singapore(南洋理工大学) Vanderbilt University, USA(范德比尔特大学) Department of Automation, Shanghai Jiao Tong University, Shanghai, China(上海交通大学自动化系) Mohamed bin Zayed University of Artificial Intelligence, Abu Dhabi, UAE(阿布扎克穆罕默德·本·扎耶德人工智能大学) School of Computer Science and Technology, Huazhong University of Science and Technology, Wuhan, China(华中科技大学计算机科学与技术学院) Center for Machine Vision and Security Research, Kennesaw State University, Marietta, MA 30060, USA(肯尼斯州立大学机器视觉与安全研究中心) Muroran Institute of Technology, Hokkaido, Japan(北海道Muroran理工学院) Niigata University of Health and Welfare, Niigata, Japan(Niigata健康与福利大学) University of South Florida, Tampa, FL, USA(佛罗里达州立大学) Infervision Advanced Research Institute, Beijing, China(北京Infervision高级研究 institutes) Academy for Multidisciplinary Studies, Capital Normal University, Beijing, China(北京师范大学多学科研究学院) School of Automation, Nanjing University of Information Science and Technology, Nanjing 210044, China(南京信息科学技术大学自动化学院)

专题命中 多模态评测 :cross-modal(abstract);分类 cs.CV

AI总结 该研究回顾2021-2023年crossMoDA挑战赛,分析跨模态域自适应技术在VS与耳蜗分割任务中的演进,发现数据规模与异构性提升可改善分割性能,但耳蜗Dice评分2023年下降,提示需更具挑战性的跨模态任务。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.24162 2026-08-26 cs.RO 新提交 50%

Robust Slip Detection and Material Classification via Spatiotemporal Transformers on a Uniformly-Illuminated Visuo-Tactile Sensor

基于均匀照明视觉-触觉传感器的时空Transformer的鲁棒滑移检测与材料分类

Ziyang Ma, Yuhao Sun, Zichen Ai, Xiangyang Ji, Bin Fang

机构 * School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学人工智能学院)

专题命中 多模态评测 :multi-modal(abstract)

AI总结 本研究开发了带均匀RGB照明的视觉-触觉传感器与统一感知框架,采用双头部TimeSformer网络和ResNet-50主干,实现高精度滑移检测与物体分类,为机器人操作提供多模态感知基线。

Comments Accepted at IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) 2026. 8 pages, 10 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.24513 2026-08-26 cond-mat.mtrl-sci 新提交 50%

Structure-Agnostic Prediction of the Electronic Density of States with a Chemical Language Model

基于化学语言模型的电子态密度的结构无关预测

Ivan D. Rubtsov, Ivan V. Dudakov, Vadim V. Korolev

专题命中 多模态评测 :cross-modal(abstract)

AI总结 该研究提出化学语言模型DOSSIER,无需晶体结构即可直接由元素组成预测电子态密度,在基准测试及合金筛选中表现出良好性能,为未合成化合物的DOS预测提供了结构无关的新方法。

Comments 8 pages, 3 figures, 1 table

详情

展开后加载摘要…

URL PDF HTML 收藏