多模态大模型

Loom: Multi-Region Analysis of Spatial Transcriptomics with Local Neighborhoods and Global Trajectories

Loom：利用局部邻域和全局轨迹对空间转录组学进行多区域分析

Siyuan Zhao, Nafiul Nipu, Hossein Fathollahian, Olga Karginova, Hao Chen, Ameen Salahudeen, G. Elisabeta Marai

专题命中 视频多模态 ：multi-modal(abstract)

AI总结 Loom是用于空间转录组学分析的视觉计算系统，利用新颖图形符号和计算框架，应对多模态整合挑战，经案例研究和可用性研究评估，有效支持细胞转变及时空表达动态发现。

Multimodal Model Diffing for Feature Discovery and Control

用于特征发现与控制的多模态模型差异分析

Hunar Batra, Lachin Naghashyar, Ashkan Khakzar, Philip Torr, Christian Schroeder de Witt, Constantin Venhoff, Ronald Clark

机构 * University of Oxford（牛津大学） ； Microsoft（微软公司） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本研究提出MMDiff多模态模型差异分析框架，训练多模态SAEs以识别多模态训练改变的特征，实现特征隔离、检测与控制，在空间、OCR任务及多模态安全攻击评估中展现出良好效果。

Comments Preprint. Accepted at ICML 2026 Trustworthy AI for Good Workshop

The Cost of Language: Centroid Erasure Exposes and Exploits Modal Competition in Multimodal Language Models

语言的成本：质心擦除揭示并利用多模态语言模型中的模态竞争

Akshay Paruchuri, Ishan Chatterjee, Henry Fuchs, Ehsan Adeli, Piotr Didyk

机构 * Stanford University（斯坦福大学） ； University of Washington（华盛顿大学） ； UNC Chapel Hill（北卡罗来纳大学教堂山分校） ； USI Lugano（卢加诺大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 研究发现多模态语言模型在视觉任务中表现不佳，通过质心替换方法揭示语言表征优于视觉，通过文本质心对比解码提升准确率，不同训练方法影响结果。

Comments 37 pages, 8 figures, 28 tables

M$^3$Prune: Hierarchical Communication Graph Pruning for Efficient Multi-Modal Multi-Agent Retrieval-Augmented Generation

M$^3$Prune: 多模态多智能体分层通信图剪枝用于高效多模态多智能体检索增强生成

Weizi Shao, Taolin Zhang, Zijie Zhou, Chen Chen, Chengyu Wang, Xiaofeng He

机构 * East China Normal University（东华大学） ； Hefei University of Technology（合肥工业大学） ； China University of Petroleum（中国石油大学） ； Guangdong university of Finance & Economics（广东财经大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 跨模态检索 ：multi-modal(title,abstract)；分类 cs.AI

AI总结 M$^3$Prune通过分层通信图剪枝提升多模态多智能体检索增强生成的效率和性能。

Comments Critical flaw in Eq.(5)/Alg.1 (Sec 3.2): scoring fails Lipschitz continuity in multi-modal spaces, causing invalid hierarchy. Thus, latency/FLOPs in Tables 2&3 are overestimated & irreproducible. Core defect unfixable by minor update. Withdraw to avoid misleading; will revise theory & experiments

Integrated Multimodal AI System for Retrieval-Augmented Reasoning, Object Sensing, and Damage Analysis

用于检索增强推理、物体感知与损伤分析的集成多模态AI系统

Kalelo Dukuray, Israel Pina, Evan Perez, Erika Ardiles-Cruz, Jie Wei

机构 * City College of New York（纽约城市学院） ； Air Force Research Lab（空军研究实验室） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本研究提出整合RAG、热谱感知等技术的多模态AI系统，用于损伤评估，通过多模块对比实验验证了其在提升推理准确性、鲁棒性及跨场景检测方面的优势。

Perception Before Supervision: Self-Contained Visual Distillation from Counterfactual Blind Spots

监督之前的感知：来自反事实盲区的自包含视觉蒸馏

Shravan Venkatraman, Omkar Thawakar, Ritesh Thawkar, Abdelrahman Shaker, Rao Muhammad Anwer

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Aalto University（阿尔托大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.CV

AI总结 该研究提出首个完全自包含的视觉自蒸馏框架 CVPD，通过识别模型视觉盲区生成密集对比监督，在 Qwen3-VL-8B-Instruct 上的 12 个基准中优于 6 个自进化基线，取得多项指标提升且无性能倒退。

Comments BMVC 2026

FaLCon: Facet-Anchored Retrieval with Late Consensus for Sim2Real Text-Based Person Anomaly Search

FaLCon：用于Sim2Real基于文本的行人异常搜索的基于面锚定的后期共识检索

Hieu Dinh Trung Pham, Phuong Huu Vu Tran, Thuan Duc Mai, Son Nguyen Minh Le, Khang Le Minh, Hoang Vo, Minh-Chi Phung, Huy Minh Nhat Nguyen, Cuong Tuan Nguyen

机构 * Vietnamese-German University（越南-德国大学） ； Ho Chi Minh City University of Technology（胡志明市技术大学） ； University of Information Technology（信息技术大学） ； Ho Chi Minh city University of Science（胡志明市科学大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

AI总结 该研究针对Sim2Real基于文本的行人异常搜索的挑战，提出FaLCon框架，结合全局匹配与细粒度验证，在PAB基准上取得优异性能，代码将开源。

Comments accepted to the ECCV 2026 AI City Challenge Workshop

AquiLLM: An Architecture for Supporting Tacit Knowledge Capture in Research Groups

AquiLLM：支持研究群体中隐性知识捕获的架构

Jack Stark, Srinath Saikrishnan, Vikram Seenivasan, Bernie Boscoe, Andrew Lizarraga, Tuan Do

机构 * Southern Oregon University（南俄勒冈大学） ； University of California, Los Angeles（加利福尼亚大学洛杉矶分校） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.AI

AI总结 AquiLLM是一款采用开放权重模型的开源模块化RAG-LLM框架，经领域专家反馈优化了架构与功能，可支持研究群体捕获隐性知识，助力AI贴合科研实践。

Comments Accepted for publication in the NGEN-AI 2026 proceedings

Steering dense music retrieval with open-vocabulary concept discovery

基于开放词汇概念发现的密集音乐检索控制

Julien Guinot, Alain Riou, Elio Quinton, György Fazekas

专题命中 跨模态检索 ：multimodal(abstract)；分类 eess.AS

AI总结 本研究提出一种轻量无需训练的开放词汇概念发现方法，用于可控音乐检索，可恢复与概念音频示例对齐更紧密的稀疏特征，实现更优的编辑强度与内容保留权衡。

Comments Accepted to ISMIR 2026

CLAP: Isolating Content from Style through Contrastive Learning with Augmented Prompts

Yichao Cai, Yuhang Liu, Zhen Zhang, Javen Qinfeng Shi

机构 * Australian Institute for Machine Learning（澳大利亚机器学习研究所） ； University of Adelaide（阿德莱德大学） 纠错

专题命中 跨模态检索 ：multimodal(abstract)；分类 cs.CV

Comments Accepted as a conference paper at ECCV 2024; v7: Minor corrections to the adversarial robustness results and corresponding text. Conclusions unchanged

Fusing UI Structure & Semantics for Feature-Oriented App Screen Retrieval & Clustering

融合UI结构与语义的面向特征的应用屏幕检索与聚类

Arun Krishna Vajjala, Yanfu Yan, Ajay Krishna Vajjala, Shrunal Pothagoni, Denys Poshyvanyk, Kevin Moran

专题命中 跨模态检索 ：multi-modal(abstract)

AI总结 该研究针对UI编程中代码与图形表示的抽象鸿沟，提出多模态神经符号嵌入技术FRAME，在三项基准测试中提升了屏幕检索与聚类的性能，可增强自动化UI设计与测试工具。

Comments 12 pages, 8 figures, 6 tables. Accepted at the 42nd IEEE International Conference on Software Maintenance and Evolution (ICSME 2026), Benevento, Italy

Towards Expressive and Faithful Audio-to-Image Generation: A Unified Multimodal Dataset and Synthesis Framework

面向表达性与忠实性的音频到图像生成：一个统一的多模态数据集与合成框架

Dongxu Ge, Shansong Liu, Cheng Gong, Xiao-Lei Zhang, Chi Zhang, Xuelong Li

机构 * University of Science and Technology of China（中国科学技术大学） ； China Telecom (TeleAI)（中国电信（电信人工智能研究院）） ； Northwest Polytechnical University（西北工业大学） 纠错

专题命中 多模态生成 ：multimodal(title)；cross-modal(abstract)；audio-visual(abstract)；分类 cs.CV

AI总结 针对音频到图像生成受限于传统数据集的问题，提出A2I-Set数据集与AudioCanvas模型，实现了更优的跨模态对齐与视觉表达性。

Comments 23 pages, 16 figures

FronTalk: Benchmarking Front-End Development as Conversational Code Generation with Multi-Modal Feedback

FronTalk: 以多模态反馈进行对话式代码生成的前端开发基准测试

Xueqing Wu, Zihan Xue, Da Yin, Shuyan Zhou, Kai-Wei Chang, Nanyun Peng, Yeming Wen

机构 * Meta Superintelligence Labs（Meta超智能实验室） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Duke University（杜克大学） 纠错

专题命中 多模态生成 ：multi-modal(title,abstract)；分类 cs.CV、cs.CL

AI总结 提出FronTalk基准，通过多轮对话和多模态反馈（文本与视觉指令）评估前端代码生成，发现模型存在遗忘和视觉反馈理解困难，提出AceCoder方法有效减少遗忘并提升性能。

Comments CoLM 2026

Aero Realtime: Fully Aligned Input-Output Streams for Low-Latency Streaming Multimodal Generation

Aero Realtime：用于低延迟流式多模态生成的完全对齐输入输出流

Kaichen Zhang, Wei Huang, Keming Wu, Bo Li, Xiaojuan Qi

专题命中 多模态生成 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出4B参数流式多模态模型Aero Realtime，采用双工架构实现输入输出流完全对齐，通过时隙对齐等技术降低延迟，在4块NVIDIA A6000 GPU上验证了其低延迟多模态交互的可行性。

ControlRadio: Prompt-Driven Controllable Diffusion for Cross-Modal Radio Map Generation

ControlRadio：用于跨模态无线电地图生成的提示驱动可控扩散模型

Kangjun Liu, Xiying Pan, Shuhang Zhang, Xiang Xiang, Ke Chen, Yaowei Wang

机构 * Pengcheng Laboratory（鹏城实验室） ； South China University of Technology（华南理工大学） ； Peking University（北京大学） ； Huazhong University of Science and Technology（华中科技大学） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） 纠错

专题命中 多模态生成 ：cross-modal(title)；分类 cs.CV

AI总结 ControlRadio是一种可控生成框架，可根据自然语言描述和环境布局生成无线电地图，在不同城市场景中精度和泛化能力领先，计算时间较传统方法减少四个数量级以上，为无线环境建模提供新范式。

Comments 17 pages, 9 figures, 8 tables

Sci-VBench: Evaluating Knowledge- and Reasoning-Intensive Video Generation in Science Domains

Sci-VBench：面向科学领域知识与推理密集型视频生成的评估

Diandian Zhang, Tingyu Song, Lin Fu, Zheyuan Yang, Yilun Zhao

机构 * Zhejiang University（浙江大学） ； UCAS（中国科学院大学） ； Tongji University（同济大学） ； Yale University（耶鲁大学） 纠错

专题命中 多模态生成 ：MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 该研究推出Sci-VBench基准，评估科学领域视频生成，测试16个模型后发现，视觉真实感提升未转化为科学与因果动态建模能力，且专有模型性能优于开源模型。

Comments COLM 2026

ExpertVerse: A General-Purpose Benchmark for Expert-Level Reasoning in Knowledge-Intensive Visual Synthesis

ExpertVerse：知识密集型视觉合成中专家级推理的通用基准

Yuan Wang, Yongchao Du, Mengting Chen, Jinsong Lan, Jiaxuan Luo, Xuetao Feng, Xiaoyong Zhu

专题命中 多模态生成 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 研究针对多模态生成模型在知识密集型生成的不足，开发ExpertVerse基准，涵盖多种认知能力和专家学科，生成相关数据集，训练KnowThinker并提出BPPO优化方法，揭示模型推理缺陷，强调知识密集型基准对下一代视觉生成的重要性。

Comments 14 pages, 6 figures

LEGO-Puzzles: How Good Are MLLMs at Multi-Step Spatial Reasoning?

LEGO-Puzzles：多模态大语言模型（MLLMs）在多步骤空间推理上的表现如何？

Kexian Tang, Junyao Gao, Yanhong Zeng, Haodong Duan, Yanan Sun, Zhening Xing, Wenran Liu, Kai Chen, Kaifeng Lyu

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Tongji University（同济大学） ； Tsinghua University（清华大学） 纠错

专题命中 多模态生成 ：multimodal(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究推出多步骤空间推理基准LEGO-Puzzles，评估29个顶尖MLLMs，发现其在基础空间推理、多步骤规划任务上远逊于人类，凸显其空间推理能力存在关键局限。

Beyond Global Editing: Per-Instance Disentangled Subspaces for Training-Free Hallucination Mitigation in LVLMs

超越全局编辑：用于LVLMs无训练幻觉缓解的实例级解耦子空间

Ali Cheraghian, Hamidreza Dastmalchi, Hamed Barzamini, Morteza Saberi, Mojtaba Golzan, Shafin Rahman, Hossein Rahmani

机构 * Macquarie University（麦考瑞大学） ； York University（约克大学） ； Northern Illinois University（北伊利诺伊大学） ； University of Technology Sydney（悉尼科技大学） ； North South University（北南大学） ； Lancaster University（兰卡斯特大学） ； Australian National University（澳大利亚国立大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 针对LVLMs现有模型编辑技术采用单一全局子空间无法适配多样幻觉模式的问题，提出无训练的实例级解耦子空间框架，经多基准实验验证其鲁棒性、通用性与效率。

Comments BMVC 2026

RAGMesh with FaME-G2E: Long-Form Text-Driven 3D Face Generation and Editing

结合FaME-G2E的RAGMesh：长文本驱动的3D人脸生成与编辑

Hao Li, Ju Dai, Feng Zhou, Mengting Shi, Haofei Wang, Zhen Song, Wei Zhou, Lei Li, Junjun Pan

机构 * Beihang University（北京航空航天大学） ； Pengcheng Laboratory（鹏城实验室） ； Shanxi University of Finance and Economics（山西财经大学） ； North China University of Technology（北方工业大学） ； Cardiff University（卡迪夫大学） ； Beijing Institute of Technology（北京理工大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 该研究构建了含文本-网格等标注的FaME-G2E数据集，提出RAGMesh框架，含MSRF模块与AdaRAGS约束，在3D人脸生成编辑任务上性能优于现有方法。

SI-Edit: Toward Sketch-Instruction Guided Local Image Editing with Pixel-Level Precision

SI-Edit：面向草图-指令引导的像素级精度局部图像编辑

Weixin Ye, Wei Wang, Hongguang Zhu, Xuecheng Nie

机构 * Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学研究所） ； City University of Macau（澳门城市大学） ； Meitu Inc（美图公司） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 针对基于草图的图像编辑缺乏像素级精度及对应数据集、评估指标的问题，提出SI-Edit框架，构建SI-Data数据集并建立评估指标，实现更可靠的结构控制与像素级局部编辑效果。

Comments accepted by ACM MM 2026

LogiShot: Logically Coherent Cross-Shot Video Generation

LogiShot：逻辑连贯的跨镜头视频生成

Shuai Guo, Yuhang Yang, Zeyu Zhang, Pengfei Yu, Wei Zhai, Yang Cao, Zheng-Jun Zha

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 针对跨镜头视频生成的内容脱节问题，提出LogiShot模型，通过联合编码与视觉记忆路径实现逻辑连贯，构建11万样本数据集及基准，性能优于现有方法。

UniPCB: A Generation-Assisted Vision-Based Measurement Framework for PCB Defect Inspection

UniPCB: 一种用于PCB缺陷检测的生成辅助检测框架

Huan Zhang, Lianghong Tan, Yichu Xu, Zishan Su, Jiangzhong Cao, Huanqi Wu, Linwei Zhu, Xu Zhang

机构 * School of Information Engineering, Guangdong University of Technology（广东工业大学信息工程学院） ； School of Computer Science, Wuhan University（武汉大学计算机学院） ； Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院） 纠错

专题命中 多模态生成 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出UniPCB框架，通过多模态条件生成器合成缺陷样本以增强数据，并设计倒残差移位注意力与跨级互补融合模块提升检测性能，在DsPCBSD+上实现98.0% mAP@0.5。

MultiShadow: Multi-Object Shadow Generation for Image Compositing via Diffusion Model

MultiShadow: 基于扩散模型的多物体阴影生成用于图像合成

Waqas Ahmed, Dean Diepeveen, Ferdous Sohel

机构 * School of Information Technology, Murdoch University（信息科技学院，穆尔彻大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出基于扩散模型的多物体阴影生成方法，通过多模态特征融合和注意力对齐损失，实现多物体阴影的物理合理合成。

Comments This work is currently under consideration for publication

Curriculum Generation under Structured Parametric Environments for Robust Navigation Policies

结构化参数环境下用于鲁棒导航策略的课程生成

Prishita Ray

机构 * Cornell University（康奈尔大学） 纠错

专题命中 多模态生成 ：multimodal(abstract)

AI总结 本文针对结构化参数环境提出重参数化课程生成框架，结合分布偏移正则化，在OpenAI Gym的两类连续控制环境中，显著优于多种基线方法，提升了导航策略的鲁棒性。

Comments 22 pages, 5 figures

Leveraging generative models to assist Monte Carlo sampling

利用生成模型辅助蒙特卡洛采样

Marylou Gabrié

专题命中 多模态生成 ：multimodal(abstract)

AI总结 本教程综述介绍了机器学习与计算统计物理交叉领域的新范式——用生成模型辅助蒙特卡洛采样，探讨相关方法方向及优劣势，为相关领域研究者提供入门基础。

Efficient and scalable inter-module switching for distributed quantum computing architectures

分布式量子计算架构的高效可扩展模块间交换

Kamil Bradler

专题命中 多模态生成 ：any-to-any(abstract)

AI总结 针对分布式量子计算模块间的高效可扩展交换需求，基于广义马赫-曾德尔干涉仪构建去中心化交换方案，实现主动光深度随逻辑块数对数缩放且不损失连通性。

Comments v2: an example showing asymptotic scaling of resources and active optical depth added

MMArch: Benchmarking Multimodal Reasoning Grounded in Architectural Evidence

MMArch：基于建筑证据的多模态推理基准测试

Chenxu Du, Kang An, Tengyue Wang, Zhongyu Yang, Xinqi Yang, Yuanchi Zhu, Hebao Zhu, Ziliang Wang, Faqiang Qian, Yunli Yang, Qibing Ren

专题命中 多模态评测 ：multimodal(title,abstract)；MLLM(summary_cn,abstract_cn)；分类 cs.AI

AI总结 研究针对多模态大语言模型（MLLM）在工程多模态推理基准上的表现，构建MMArch基准，发现现有MLLM与人类专家存在差距，为相关研究提供评估基准。

Unified Hallucination Fuzzing for Multimodal Large Language Models

面向多模态大语言模型的统一幻觉模糊测试

Pengfei Zhou, Jiajun Song, Zhiwei Tang, Yixing Ma, Xiaopeng Peng, Donghui Si, Yuhang Xu, Huiqi Song, Yiyuan Miao, Yichen Qian, Weihua Chen, Wangbo Zhao, Bohan Zhuang, Jiasheng Tang, Yang You

专题命中 多模态评测 ：multimodal(title,abstract)；multi-modal(abstract)；分类 cs.CL、cs.AI

AI总结 针对多模态大语言模型的幻觉问题，提出含UniHall基准与SAMF自演化模糊测试的评估框架，发现SOTA模型在模糊测试下性能显著下降，存在有用性-幻觉权衡。

Comments 47 pages, 17 figures

VCU-Bridge: Hierarchical Visual Connotation Understanding via Semantic Bridging

VCU-Bridge: 通过语义桥梁实现层次化视觉隐喻理解

Ming Zhong, Yuanlei Wang, Liuzhou Zhang, Ruichuan An, Renrui Zhang, Hao Liang, Ming Lu, Ying Shen, Wentao Zhang

机构 * Zhejiang University（浙江大学） ； Peking University（北京大学） ； Sun Yat-sen University（中山大学） ； CUHK（香港中文大学） 纠错

专题命中 多模态评测 ：MLLM(summary_cn,abstract)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 VCU-Bridge通过语义桥梁实现层次化视觉隐喻理解，构建了HVCU-Bench基准，并展示了提升MLLM能力的显著效果。