多模态大模型

GestaltMML: Enhancing Rare Genetic Disease Diagnosis through Multimodal Machine Learning Combining Facial Images and Clinical Text

GestaltMML：通过结合面部图像和临床文本的多模态机器学习增强罕见遗传病诊断

Da Wu, Zhanliang Wang, Hongzhuo Chen, Jingye Yang, Cong Liu, Tzung-Chien Hsieh, Elaine Marchi, Justin Blair, Peter Krawitz, Chunhua Weng, Wendy Chung, Gholson J. Lyon, Ian D. Krantz, Jennifer M. Kalish, Kai Wang

机构 * Raymond G. Perelman Center for Cellular and Molecular Therapeutics, Children’s Hospital of Philadelphia（雷蒙德·G·佩尔曼细胞与分子治疗中心，费城儿童医院） ； Department of Mathematics, University of Pennsylvania（数学系，宾夕法尼亚大学） ； Department of Biomedical Informatics, Columbia University Irving Medical Center（生物医学信息学系，哥伦比亚大学伊万斯医疗中心） ； Department of Human Genetics, New York State Institute for Basic Research in Developmental Disabilities, Staten Island, NY, USA（人类遗传学系，纽约州发育障碍基础研究机构，纽约州史泰登岛） ； Division of Human Genetics, Children’s Hospital of Philadelphia（人类遗传学部，费城儿童医院） ； Department of Pediatrics, Boston Children’s Hospital, Harvard Medical School（儿科系，波士顿儿童医院，哈佛医学院） ； Biology PhD Program, The Graduate Center, The City University of New York（生物学博士项目，纽约市立大学研究生中心） ； Department of Genetics, Perelman School of Medicine, University of Pennsylvania（遗传学系，宾夕法尼亚大学佩尔曼医学学院） ； Department of Pediatrics, Perelman School of Medicine, University of Pennsylvania（儿科系，宾夕法尼亚大学佩尔曼医学学院） ； Department of Pathology and Laboratory Medicine, Perelman School of Medicine, University of Pennsylvania（病理学与实验室医学系，宾夕法尼亚大学佩尔曼医学学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.MM

AI总结 研究针对罕见遗传病诊断难题，提出基于Transformer架构的多模态机器学习方法GestaltMML，整合面部图像、人口统计学信息和临床笔记，提升预测准确性，缩小诊断差距。

Comments Preprint updated

MMBench-Live: A Continuously Evolving Benchmark for Multimodal Models

MMBench-Live：一个持续演进的多模态模型基准

Yuanzhi Liu, Shousheng Zhao, Bo Zhou, Kongming Liang, Zhanyu Ma

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； PRIS-CV 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出MMBench-Live，一个通过多智能体自动化流水线构建的持续演进多模态基准，解决静态基准的时效性、数据污染和维护成本问题，采用分布一致性更新策略，每次更新成本约30美元。

Multi-modal Rail Crossing Safety Analysis

多模态铁路道口安全分析

Paimon Goulart, Chansong Lim, Nícolas Roque dos Santos, Yue Dong, Sheldon Peterson, Jia Chen, Evangelos E. Papalexakis

机构 * University of California, Riverside（加州大学河滨分校） ； Riverside County Transportation Commission（河滨县交通委员会） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出多模态管道，利用视觉线索和事故报告评估铁路道口安全，基于FRA评分实现高风险/低风险分类（F1=0.757）和分数估计（RMSE=0.078）。

Text Over Image: Auditing Multimodal Robustness in Synthetic Medical Image Detection

超越视觉取证：审计多模态鲁棒性用于合成医学图像检测

Ching-Hao Chiu, Hao-Wei Chung, Gelei Xu, Xueyang Li, Pin-Yu Chen, John Kheir, Meysam Ghaffari, Carlos Morato, Ahmed Abbasi, Yiyu Shi

机构 * University of Notre Dame（圣母大学） ； IBM Research（IBM研究院） ； Boston Children’s Hospital（波士顿儿童医院） ； Harvard Medical School（哈佛医学院） ； Optum AI, UnitedHealth Group（Optum AI, 联合健康集团） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 针对合成医学图像检测中多模态鲁棒性不足的问题，提出图像-记录配对基准，揭示视觉语言模型因过度依赖记录上下文而导致的预测偏差。

Comments Accepted at MICCAI 2026. Version 2 is a substantial journal extension of the MICCAI 2026 conference version, with additional provenance perturbations, paired statistical analysis, extended SAVC mitigation experiments, and broader deployment discussion. 19 pages, 3 figures, 2 tables

Evidence Triangulation for Multimodal Fact-Checking in the Wild

野外多模态事实核查的证据三角测量

Stefanos-Iordanis Papadopoulos, Zacharias Chrysidis, Christos Koutlis, Symeon Papadopoulos, Panagiotis C. Petrantonakis

机构 * Information Technologies Institute, Centre for Research & Technology, Hellas（希腊研究与技术中心信息技术研究所） ； Department of Electrical and Computer Engineering, Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学电气与计算机工程系） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.MM

AI总结 针对多模态事实核查中合成数据与真实数据差距大的问题，提出X-POSE基准和TRENT模型，通过三个并行交叉注意力流和关系融合机制进行证据三角测量，在真实数据上优于现有方法。

MMGist: A Comprehensive Multimodal Benchmark for 2027

MMGist：面向2027年的综合多模态基准

Wenzhen Yuan, Jiacheng Ruan, Wutao Xiong, Chengping Zhao, Ting Liu, Yuzhuo Fu

机构 * SJTU（上海交通大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 针对现有视觉语言基准的视觉依赖不足、性能饱和及异常项问题，提出MMGist基准，通过三阶段过滤构建7,262项，覆盖7个能力维度，在保持模型排名高保真度（Spearman ρ=0.98）的同时减少69%评估项并提升78%跨模型区分度。

Same Evidence, Different Answer: Auditing Order Sensitivity in Multimodal Large Language Models

相同证据，不同答案：多模态大语言模型中的顺序敏感性审计

Akshay Paruchuri, Sanmi Koyejo, Ehsan Adeli

机构 * Stanford University（斯坦福大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 提出Facet-Probe审计框架，评估18个多模态大语言模型在五种顺序扰动下的答案翻转率，发现所有模型均非顺序不变，最佳模型仍有13.4%翻转率，提示仅靠提示级缓解难以实现通用顺序鲁棒性。

Comments 22 pages, 4 figures, 5 tables

Cross-Modal Corroboration for Annotation-Free Wildlife Monitoring

跨模态验证实现无标注野生动物监测

Bharath Pillai, Varun Viswapriyan, Christopher Stewart, Tanya Berger-Wolf, Jenna Kline

机构 * The Ohio State University（俄亥俄州立大学） 纠错

专题命中 多模态评测 ：cross-modal(title)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出利用物种活动模式专家知识作为无标注验证信号，通过视觉和声学管道独立恢复活动模式并与行为先验三方一致，实现无需人工标注的野生动物监测。

Comments Presented at the 2026 CV4Animals Workshop, colocated with CVPR

HumaniBench: A Human-Centric Framework for Large Multimodal Models Evaluation

HumaniBench: 一种以人为中心的大型多模态模型评估框架

Shaina Raza, Aravind Narayanan, Vahid Reza Khazaie, Ashmal Vayani, Ahmed Y. Radwan, Mukund S. Chettiar, Amandeep Singh, Mubarak Shah, Deval Pandya

机构 * Vector Institute for Artificial Intelligence（向量人工智能研究院） ； University of Central Florida（中央佛罗里达大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出HumaniBench框架，通过32000个专家验证的图像-问题对评估大型多模态模型在公平性、伦理、包容性等人类中心原则上的对齐情况，揭示了不同模型在伦理、推理和共情方面的权衡。

Confidence Calibration for Multimodal LLMs: An Empirical Study through Medical VQA

多模态大语言模型的置信度校准：基于医学视觉问答的实证研究

Yuetian Du, Yucheng Wang, Ming Kong, Tian Liang, Qiang Long, Bingdi Chen, Qiang Zhu

机构 * College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； School of Computer Science and Technology, Xidian University（西安电子科技大学计算机科学与技术学院） ； Zhihui Medical Technology (Shanghai) Co., Ltd.（智汇医疗科技（上海）有限公司） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 针对多模态大语言模型在医学任务中置信度与准确性不匹配的问题，提出结合多策略融合询问与专家大语言模型评估的方法，在三个医学VQA数据集上将期望校准误差平均降低40%，提升了模型可靠性。

Comments Accepted by MICCAI 2025

CADBench: A Multimodal Benchmark for AI-Assisted CAD Program Generation

CADBench：一个用于AI辅助CAD程序生成的多模态基准

Anna C. Doris, Jacob Thomas Sony, Ghadi Nehme, Era Syla, Amin Heyrani Nobari, Faez Ahmed

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CADBench，一个统一的多模态CAD程序生成基准，包含18000个样本和六类基准，评估11种视觉语言模型，揭示了CAD程序生成中的三种常见失败模式。

Multi-Modal Attention for Automated Disaster Damage Assessment Using Remote Sensing Imagery and Deep Learning

基于遥感影像和深度学习的多模态注意力自动灾害损伤评估

Tewodros Syum Gebre, Jagrati Talreja, Leila Hashemi-Beni

机构 * Built Environment Department, College of Science and Technology, North Carolina A&T State University（北卡罗来纳农工州立大学科技学院建筑环境系） ； United Nations University Institute for Water, Environment and Health（联合国大学水、环境与健康研究所） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出一种多模态注意力机制融合双时相遥感影像的深度学习框架，实现建筑物损伤四分类（无/轻微/严重/毁坏），准确率达94.90%。

Comments This paper has been accepted for publication in ISPRS Congress 2026 and the 47th Canadian Symposium on Remote Sensing (CSRS 2026) Annals

XMedFusion: A Knowledge-Guided Multimodal Perception and Reasoning Framework for Autonomous Medical Systems

XMedFusion：面向自主医疗系统的知识引导多模态感知与推理框架

Hamza Riaz, Arham Haroon, Maha Baig, Muhammad Dawood Rizwan, Muhammad Naseer Bajwa, Muhammad Moazam Fraz

机构 * National University of Sciences and Technology (NUST)（巴基斯坦国立科技大学） ； University of Oxford（牛津大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出XMedFusion模块化AI框架，通过视觉感知、知识图谱构建和检索引导生成等智能体协同，增强放射学报告生成的视觉基础与临床发现捕捉能力，在公共数据集上显著优于基线模型。

Comments Accepted at the 2026 International Conference on Robotics and Automation in Industry (ICRAI)

Journal ref 2026 International Conference on Robotics and Automation in Industry (ICRAI), pp. 1-6, May 2026

SpatialWorld: Benchmarking Interactive Spatial Reasoning of Multimodal Agents in Real-World Tasks

SpatialWorld: 在多模态智能体真实世界任务中基准测试交互式空间推理

Hongcheng Gao, Hailong Qu, Jingyi Tang, Jiahao Wang, Zihao Huang, Hengkang Qiao, Shihong Huang, Junming Yang, Yi Li, Hongyixuan Yuan, Wenjie Li, Bohan Zeng, Wenbo Li, Bo Wang, Jianhui Liu, Olive Huang, Haoyang Huang, Wentao Zhang, Guoqing Huang, Nan Duan, Yinpeng Dong

机构 * Tsinghua University（清华大学） ； Chongqing University（重庆大学） ； Peking University（北京大学） ； ZenoMind AI ； Xi’an Jiaotong University（西安交通大学） ； Beijing Institute of Technology（北京理工大学） ； Southeast University（东南大学） ； Shanghai Jiao Tong University（上海交通大学） ； Joy Future Academy（京东探索研究院） ； The University of Hong Kong（香港大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出SpatialWorld基准，集成8种异构模拟后端，通过760个人工标注任务评估多模态智能体在视觉部分可观测环境中的交互式空间理解，发现最强模型GPT-5任务成功率仅17.4%。

Dual-Domain Equivariant Generative Adversarial Network for Multimodal CT-PET Synthesis

双域等变生成对抗网络用于多模态CT-PET合成

Gabriel Steele, Alzahra Altalib, Alessandro Perelli

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出双域等变生成对抗网络（DDE-GAN），联合空间与频域学习并融入旋转等变性，实现高保真多模态CT-PET图像合成。

Comments 4 pages, 3 figures, 1 table, 2026 IEEE 23rd International Symposium on Biomedical Imaging (ISBI)

Frozen Multimodal Embeddings for AI-Assisted Interview Assessment of Personality and Cognitive Ability

冻结多模态嵌入用于异步视频面试中的个性与认知能力评估

Kuo-En Hung, Hung-Yue Suen, Shih-Ching Yeh, Hsiang-Wen Wang

机构 * Technology Application and Human Resource Development, National Taiwan Normal University（台湾国立台中教育大学技术应用与人力资源发展系） ； Computer Science and Information Engineering, National Central University（台湾国立中央大学计算机科学与资讯工程系） ； Institute of Photonic System, National Yang Ming Chiao Tung University（台湾阳明交通大学光电系统研究所） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 针对异步视频面试中标注数据有限的高维多模态学习问题，提出使用冻结多模态编码器（CLIP、Whisper、RoBERTa等）结合低容量下游模型，在个性预测任务上实现MSE降低19.1%，并发现认知能力预测中存在数据集捷径。

Comments 9 pages, 1 figure, 5 tables

The Synthetic Media Shift: Tracking the Rise, Virality, and Detectability of AI-Generated Multimodal Misinformation

合成媒体的演变：跟踪AI生成多模态虚假信息的兴起、传播与可检测性

Zacharias Chrysidis, Stefanos-Iordanis Papadopoulos, Symeon Papadopoulos

机构 * Centre for Research and Technology Hellas（希腊研究中心） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.AI、cs.MM

AI总结 本文提出CONVEX数据集，研究多模态虚假信息的传播与共识动态，发现AI生成内容虽传播迅速但依赖被动互动，且检测性能随生成模型发展而下降。

FENCE: A Financial and Multimodal Jailbreak Detection Dataset

FENCE：一个金融和多模态越狱检测数据集

Mirae Kim, Seonghun Jeong, Youngjun Kwak

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对金融领域多模态越狱检测资源匮乏的问题，提出FENCE数据集，包含韩英双语文本和图像，用于训练和评估检测器，实验表明基线检测器准确率达99%。

Comments lrec 2026 accepted paper

AgroOmni: A Large-Scale Multi-view Agricultural Dataset for Cross-Scale Multimodal Reasoning

AgroOmni：一个大规模多视角农业数据集用于跨尺度多模态推理

Jiarui Zhang, Junqi Hu, Zurong Mai, Yang Liu, Yuhang Chen, Shuohong Lou, Henglian Huang, Hong Cheng, Lingyuan Zhao, Jianxi Huang, Yutong Lu, Haohuan Fu, Juepeng Zheng

机构 * Sun Yat-sen University（中山大学） ； Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院） ； HuanTian Wisdom Technology Co., Ltd.（慧天智慧科技有限公司） ； China Agricultural University（中国农业大学） ； Southwest Jiaotong University（西南交通大学） ； National Supercomputing Center in Shenzhen（深圳国家超算中心） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出AgroOmni数据集，通过288K视觉问答对覆盖56个专业任务类别，解决多视角跨尺度农业多模态推理中的尺度偏差问题，提出AgroNVILA模型在AgroMind基准上达到62.32%的SOTA成绩。

Hummus: A Dataset of Humorous Multimodal Metaphor Use

Hummus：幽默多模态隐喻使用数据集

Xiaoyu Tong, Zhi Zhang, Pia Sommerauer, Martha Lewis, Ekaterina Shutova

机构 * ILLC, University of Amsterdam, the Netherlands（阿姆斯特丹大学语言学研究所，荷兰） ； Vrije Universiteit Amsterdam, the Netherlands（阿姆斯特丹自由大学，荷兰） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 提出幽默多模态隐喻数据集Hummus，基于不一致理论和概念隐喻理论设计标注方案，测试多模态大语言模型在检测和理解幽默多模态隐喻上的表现，发现现有模型仍存在困难。

MMBU: A Massive Multi-modal Biomedical Understanding Benchmark to Probe the Perception Capabilities of Vision-Language Models

MMBU: 大规模多模态生物医学理解基准，用于探测视觉语言模型的感知能力

Ryan D'Cunha, Alejandro Lozano, Xiaoxiao Sun, Daniel Vela Jarquin, Min Woo Sun, Josiah Aklilu, James Burgess, Yuhui Zhang, Ryan Nayebi, Paola Avila, Robayo, Jin Ye, Ming Hu, Zhongying Deng, Junjun He, Xin Chen, Yue Yao, Robert Tibshirani, Jeffrey J. Nirschl, Serena Yeung-Levy

机构 * Stanford University（斯坦福大学） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Instituto Tecnológico de Monterrey（蒙特雷技术学院） ； Monash University（墨尔本大学） ； University of Cambridge（剑桥大学） ； Shanghai Jiao Tong University（上海交通大学） ； Shandong University（山东大学） 纠错

专题命中 多模态评测 ：multi-modal(title)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出MMBU基准，涵盖35个子模态，通过分类、定位和检测任务系统评估VLM在生物医学领域的视觉感知和泛化能力，发现高准确率可能掩盖感知缺陷。

MCERF: Advancing Multimodal LLM Evaluation of Engineering Documentation with Enhanced Retrieval

MCERF：通过增强检索推进工程文档的多模态大语言模型评估

Kiarash Naghavi Khanghah, Hoang Anh Nguyen, Anna C. Doris, Amir Mohammad Vahedi, Daniele Grandi, Faez Ahmed, Hongyi Xu

机构 * School of Mechanical, Aerospace, and Manufacturing Engineering, University of Connecticut, Storrs, CT 06269（机械、航空航天与制造工程学院，康涅狄格大学，斯托尔斯，CT 06269） ； Department of Mechanical Engineering, Massachusetts Institute of Technology, Cambridge, MA 02139, USA（机械工程系，麻省理工学院，剑桥，MA 02139，美国） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出MCERF框架，结合多模态检索器ColPali与大语言模型推理，通过混合查找、视觉文本融合、高推理和自一致性决策等策略，在DesignQA基准上实现平均准确率相对提升41.1%，无需完整规则书摄入即可处理工程文档中的多模态问答。

MAviS: A Multimodal Conversational Assistant For Avian Species

MAviS：一种用于鸟类物种的多模态对话助手

Yevheniia Kryklyvets, Mohammed Irfan Kurpath, Sahal Shaji Mullappilly, Jinxing Zhou, Fahad Shabzan Khan, Rao Anwer, Salman Khan, Hisham Cholakkal

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出MAviS数据集和MAviS-Chat模型，通过整合图像、音频和文本信息，提升对鸟类物种的细粒度理解与多模态问答能力，并展示了在生态应用中领域适应的多模态大语言模型的重要性。

Comments EMNLP 2025

DraDDP: A Multimodal Multi-Party Dialogue Discourse Parsing Dataset

DraDDP：多模态多方对话话语解析数据集

Shannan Liu, Peifeng Li, Yaxin Fan, Qiaoming Zhu

机构 * School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对现有研究局限于文本或双方对话的问题，构建了基于美剧的首个公开英文多模态多方对话话语解析数据集DraDDP，并验证了多模态信息在捕捉对话结构和关系类型中的价值。

Journal ref Findings of the Association for Computational Linguistics (ACL 2026)

Plan2Map: A Multimodal Benchmark for Document-Grounded Geospatial Boundary Reconstruction from Planning Records

Plan2Map: 基于规划记录的文档驱动地理空间边界重建的多模态基准

Fabian Degen, Oishi Deb, Jindong Gu, Junchi Yu, Samuele Marro, Philip Torr, Jialin Yu

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出Plan2Map基准和GeoPlanAgent系统，通过文档证据提取、定位、地图配准、边界分割等步骤，从英国规划记录中重建地理空间边界，显著优于直接VLM方法。

Comments Project page: https://odeb1.github.io/Plan2Map_Project_Page/. Fabian Degen and Oishi Deb Contributed Equally

FRED: A Multi-Modal Autonomous Driving Dataset for Flooded Road Environments

FRED：面向洪水道路环境的多模态自动驾驶数据集

Connor Malone, Sebastien Demmel, Sebastien Glaser

机构 * Queensland University of Technology（昆士兰理工大学） ； ARC Training Centre for Automated Vehicles in Rural and Remote Regions (AVR3)（农村和偏远地区自动化车辆培训中心（AVR3）） 纠错

专题命中 多模态评测 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出首个针对道路水险场景的多模态自动驾驶数据集FRED，包含相机、LiDAR和IMU数据，并提供语义标签以支持水险检测方法训练与评估。

Vision Inference Former: Sustaining Visual Consistency in Multimodal Large Language Models

Vision Inference Former：在多模态大语言模型中维持视觉一致性

Xinpeng Dong, Min Zhang, Kairong Han, Xu Tan, Fei Wu, Kun Kuang

机构 * Zhejiang University（浙江大学） ； East China Normal University（华东师范大学） ； Zhejiang University of Science and Technology（浙江理工大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 针对多模态大语言模型中视觉信息被弱化的问题，提出Vision Inference Former（VIF）轻量模块，在推理解码阶段持续注入视觉语义，提升生成内容与视觉的一致性。

Back into Plato's Cave: Examining Cross-modal Representational Convergence at Scale

回到柏拉图的洞穴：大规模检验跨模态表示收敛性

A. Sophia Koepke, Daniil Zverev, Shiry Ginosar, Alexei A. Efros

机构 * UC Berkeley（伯克利大学） ； Technical University Munich, MCML（慕尼黑技术大学） ； University of Tübingen, Tübingen AI Center（图宾根大学） ； Toyota Technical Institute at Chicago（芝加哥丰田技术研究所） 纠错

专题命中 多模态评测 ：cross-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文通过大规模数据集实验，质疑了柏拉图表示假说中跨模态表示收敛的证据，发现对齐度随数据规模增大而显著下降，且仅反映粗粒度语义重叠。

Comments Project page: http://akoepke.github.io/cave_umwelten/

Mechanistic Diagnostics of Spatial Lexical Bias in Multimodal Large Language Model Spatial Reasoning

多模态大语言模型空间推理中空间词汇偏差的机制诊断

Chuang Ma, Qianying Liu, Tomoyuki Obuchi, Fei Cheng, Wang Yang, Sudong Cai, Shuyuan Zheng, Akiko Aizawa, Sadao Kurohashi

机构 * Kyoto University（京都大学） ； NII LLMC（日本国立信息与通信技术研究所语言模型中心） ； RIKEN AIP（日本理化学研究所先进理工研究所） ； Case Western Reserve University（凯斯西储大学） ； The Hong Kong Polytechnic University（香港理工大学） ； The University of Osaka（大阪大学） ； University of Tokyo（东京大学） 纠错

专题命中 多模态评测 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 本文发现多模态大语言模型存在空间词汇偏差，即添加空间关系词会吸引模型选择该选项，并通过机制可解释性工具揭示偏差主要源于语言侧而非视觉侧，最后提出轻量级LLM-only DPO更新可有效缓解偏差。

Sandboxed Coding Agents are Competitive Omni-modal Task Solvers

沙盒化编码智能体是竞争性的全模态任务求解器

Dongping Chen, Xuanao Huang, Zhihan Hu, Qingyuan Shi, Dianqi Li, Tianyi Zhou

机构 * University of Maryland（马里兰大学） ； MBZUAI 纠错

专题命中 多模态评测 ：omni-modal(title)；multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出沙盒化编码智能体，仅通过文本+图像访问和工具使用，即可在全模态任务中匹配甚至超越原生全模态模型，并通过技能注入和训练配方Code-X进一步提升性能。

Comments Paper under review