多模态大模型

The 2021 NIST Speaker Recognition Evaluation

Seyed Omid Sadjadi, Craig Greenberg, Elliot Singer, Lisa Mason, Douglas Reynolds

专题命中 多模态评测 ：multimodal(abstract)；audio-visual(abstract)；分类 eess.AS

Systematic Generalization on gSCAN: What is Nearly Solved and What is Next?

Linlu Qiu, Hexiang Hu, Bowen Zhang, Peter Shaw, Fei Sha

专题命中 多模态评测 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CL

Comments EMNLP 2021

See, Hear, Read: Leveraging Multimodality with Guided Attention for Abstractive Text Summarization

Yash Kumar Atri, Shraman Pramanick, Vikram Goyal, Tanmoy Chakraborty

专题命中 多模态评测 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CL

Comments Journal paper accepted in Knowledge Based Systems

Visual Goal-Step Inference using wikiHow

Yue Yang, Artemis Panagopoulou, Qing Lyu, Li Zhang, Mark Yatskar, Chris Callison-Burch

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

Select, Substitute, Search: A New Benchmark for Knowledge-Augmented Visual Question Answering

Aman Jain, Mayank Kothyari, Vishwajeet Kumar, Preethi Jyothi, Ganesh Ramakrishnan, Soumen Chakrabarti

专题命中 多模态评测 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

Comments Accepted at SIGIR 2021

OncoNet: Weakly Supervised Siamese Network to automate cancer treatment response assessment between longitudinal FDG PET/CT examinations

Anirudh Joshi, Sabri Eyuboglu, Shih-Cheng Huang, Jared Dunnmon, Arjun Soin, Guido Davidzon, Akshay Chaudhari, Matthew P Lungren

专题命中 多模态评测 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CV

MuVAM: A Multi-View Attention-based Model for Medical Visual Question Answering

Haiwei Pan, Shuning He, Kejia Zhang, Bo Qu, Chunling Chen, Kun Shi

专题命中 多模态评测 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV

Disentangling Semantic-to-visual Confusion for Zero-shot Learning

Zihan Ye, Fuyuan Hu, Fan Lyu, Linyan Li, Kaizhu Huang

专题命中 多模态评测 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CV

Comments Accepted by IEEE TRANSACTIONS ON MULTIMEDIA (TMM) in 2021

The QXS-SAROPT Dataset for Deep Learning in SAR-Optical Data Fusion

Meiyu Huang, Yao Xu, Lixin Qian, Weili Shi, Yaqin Zhang, Wei Bao, Nan Wang, Xuejiao Liu, Xueshuang Xiang

专题命中 多模态评测 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

Communal Domain Learning for Registration in Drifted Image Spaces

Awais Mansoor, Marius George Linguraru

专题命中 多模态评测 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CV

Comments MLMI-2019

R-VQA: Learning Visual Relation Facts with Semantic Attention for Visual Question Answering

Pan Lu, Lei Ji, Wei Zhang, Nan Duan, Ming Zhou, Jianyong Wang

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

Comments 10 pages, 5 figures, accepted as an oral paper in SIGKDD 2018

Improving Heterogeneous Face Recognition with Conditional Adversarial Networks

Wuming Zhang, Zhixin Shu, Dimitris Samaras, Liming Chen

专题命中 多模态评测 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV

Phoenix-VL 1.5 Medium Technical Report

Phoenix-VL 1.5 中等技术报告

Team Phoenix, :, Arka Ray, Askar Ali Mohamed Jawad, Biondi Lee, Elijah Seah, Eva Lim, Fiona Teo, Grace Toh, Guang Xiang Teo, Jun En Tan, Jia Hui Bong, Jiale Wang, Jonathan Ng, Justin Tan, Kai Zhe Yew, Matthew Ong, Shun Yi Yeo, Wen Jett Lam, Wen Xiu Tan, Ze Yu Zhang, Gee Wah Ng, Chee Wee Ang, Mistral AI, :, Adrien Sadé, Guillaume Kunsch, Jia Sin Loh, Nicolas Schuhl, Rupert Menneer, Umar Jamil, Vincent Maladière, Yimu Pan

机构 * Mistral AI 纠错

专题命中 多模态评测 ：multimodal(abstract,comments)；分类 cs.CV、cs.CL、cs.AI

AI总结 Phoenix-VL 1.5 是一个123B参数的多模态多语言基础模型，适应区域语言和新加坡环境，通过本地化数据集和对齐优化实现深度领域适应，同时在多项基准测试中表现优异。

Comments Release page: https://medium.com/htx-ai/introducing-phoenix-vl-1-5-medium-multimodal-intelligence-uniquely-singaporean-ef8214c8cfa1

Learning Co-Speech Gesture Representations in Dialogue through Contrastive Learning: An Intrinsic Evaluation

Esam Ghaleb, Bulat Khaertdinov, Wim Pouw, Marlou Rasenberg, Judith Holler, Aslı Özyürek, Raquel Fernández

专题命中 多模态评测 ：multimodal(abstract,journal_ref)；分类 cs.CV、cs.AI、eess.AS

Journal ref INTERNATIONAL CONFERENCE ON MULTIMODAL INTERACTION (ICMI 2024)

CP-MoE: Consistency-Preserving Mixture-of-Experts for Continual Learning

CP-MoE：一致性保留的混合专家用于持续学习

Yang Liu, Toan Nguyen, Flora D. Salim

机构 * School of Computer Science and Engineering University of New South Wales（计算机科学与工程学院 新南威尔士大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文提出CP-MoE，一种基于瞬时专家的持续学习框架，通过一致性保留的路由偏置和瞬时专家引导的正则化机制，减少参数干扰和遗忘，同时保留跨任务知识转移。

Comments Accepted at CoLLAs 2026

A Survey of Deep Learning for Geometry Problem Solving

深度学习在几何问题求解中的应用综述

Jianzhe Ma, Wenxuan Wang, Qin Jin

机构 * Renmin University of China（中国人民大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文综述了深度学习在几何问题求解中的应用，涵盖相关任务、方法、评估指标及未来方向，旨在提供实践参考以推动该领域发展。

Comments ACL 2026 Main Conference

ARMOR: A Robust Self-Supervised Framework for Root Cause Analysis in Microservices under Missing Modality

面向缺失数据的多模态融合用于统一微服务故障管理

Wenzhuo Qian, Hailiang Zhao, Ziqi Wang, Zhipeng Gao, Jiayi Chen, Zhiwei Ling, Shuiguang Deng

机构 * Zhejiang University（浙江大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；cross-modal(abstract)

AI总结 本文提出ARMOR框架，通过自监督学习解决微服务故障管理中多模态数据缺失问题，提升异常检测、故障分类和根本原因定位的性能。

Comments Accepted by the Proceedings of the 41st IEEE/ACM International Conference on Automated Software Engineering (ASE '26), 2026. This is the authors' version of the work; the definitive Version of Record is forthcoming

VistaHop: Benchmarking Long-Horizon Visual DeepSearch

VistaHop: 视觉深度搜索的多跳视觉推理基准

Hang He, Chuhuai Yue, Chengqi Dong, Chengcheng Wan, Ting Su, Haiying Sun, Jiajun Chai, Xiaohan Wang, Guojun Yin

机构 * East China Normal University（东华大学） ； Meituan（美团） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出VistaHop基准，通过多跳问答任务评估多模态大推理模型在视觉深度搜索中的迭代图像检查、视觉锚点定位和跨证据链推理能力，实验表明现有模型表现有限。

Artificial Intelligence for Mathematical Reasoning: An Integrated Survey of Language Models, Neuro-symbolic Systems, and Verified Discovery

人工智能数学推理：语言模型、神经符号系统与验证发现的综合综述

Syed Rifat Raiyan, Mohsinul Kabir, Hasan Mahmud, Md Kamrul Hasan, Sophia Ananiadou

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Cambridge（剑桥大学） ； University of Toronto（多伦多大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文综述了数学推理领域从早期规则系统到当代推理模型、多智能体系统及验证发现工作流的演变，沿非正式推理、形式推理、数学发现及推理技术四轴组织，并评估了基准测试、失败模式及未来方向。

Comments Under review, 47 pages, 14 figures, 22 tables

Beyond Single Plots: A Benchmark for Question Answering on Multi-Charts

超越单图：多图表问答的基准测试

Azher Ahmed Efat, Seok Hwan Song, Wallapak Tavanapong

机构 * Department of Computer Science, Iowa State University（计算机科学系，爱荷华州立大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文提出PolyChartQA数据集，用于评估多图表问答性能，通过九种先进多模态语言模型测试，发现人类生成问题的LLM准确率下降27.4%，而本文提出的提示方法提升了5.39%。

LivePhys: Transforming Static Physics Problems into Interactive Simulations via a Scan-to-Play Framework

LivePhys：通过扫描即播放框架将静态物理问题转化为交互式模拟

Xiaowei Dai, Ziyu Luo, Xiangwen Zhang, Xiaoming Chen, Juan Wu, Yonghong Ke

专题命中 多模态评测 ：multimodal(abstract)；cross-modal(abstract)

AI总结 研究针对教科书中静态物理问题学习的高认知负担，提出LivePhys框架，通过多模态处理构建中间表示，用大语言模型推理并由物理引擎执行生成交互式模拟，显著提升模拟性能并降低学习者认知负担。

ENTRAP-VL: A Taxonomic Probe for Dual Contextual Entrainment in Vision-Language Models

ENTRAP-VL：视觉语言模型中双上下文夹带的分类探测器

Karan Goyal, Afreen Hossain, Debojyoti Das, Vishal Bhutani

机构 * IIIT Delhi（德里信息技术学院） ； Dr. Ambedkar Institute of Technology（阿姆贝德卡尔技术学院） ； Heritage Institute of Technology（遗产技术学院） ； PwC（普华永道） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 研究视觉语言模型中上下文夹带现象，提出需构建分类结构化双模态工具。引入ENTRAP-VL数据集，含1500个项目，跨八类，分文本和视觉夹带流，提供工具、分类法及评估协议，助力社区严格研究该现象。

UniLM-Nav: A Unified Framework for Zero-Shot Last-Mile Navigation

UniLM-Nav：零样本最后一英里导航的统一框架

Zhuofan Zhang, Tianxu Wang, Guoxi Zhang, Yixiong Lin, Xilin Wang, Hongming Xu, Qing Li, Song-Chun Zhu, Lifeng Fan

机构 * Tsinghua University（清华大学） ； State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，字节跳动公司人工智能研究院） ； Harbin Institute of Technology（哈尔滨工业大学） ； Peking University（北京大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；MLLM(abstract)

AI总结 研究移动操作中最后一英里导航问题，提出UniLM-Nav统一框架，通过多模态大语言模型后端分解任务为视图选择、功能接地和姿态推理，在OVMM基准上优于现有方法，还验证了在实际机器人上的适用性。

Comments Project page: https://unilm-nav.github.io

IntentVLA: Short-Horizon Intent Modeling for Aliased Robot Manipulation

IntentVLA：用于有歧义机器人操作的短周期意图建模

Shijie Lian, Bin Yu, Xiaopeng Lin, Zhaolong Shen, Laurence Tianruo Yang, Yurun Jin, Haishan Liu, Changti Wu, Hang Yuan, Cong Huang, Kai Chen

机构 * HUST（华中科技大学） ； ZGCA（中钢集团人工智能研究院） ； ZGCI（中钢智能科技有限公司） ； HIT（哈尔滨工业大学） ； HKUST(GZ)（香港科技大学（广州）） ； BUAA（北京航空航天大学） ； ZZU（浙江工业大学） ； ECNU（华东师范大学） ； USTC（中国科学技术大学） ； DeepCybo 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 IntentVLA通过编码近期视觉观测为紧凑的短周期意图表示，提升机器人操作的执行稳定性，并在多个基准测试中优于现有VLA基线。

Comments Code can be found in https://github.com/ZGC-EmbodyAI/IntentVLA

TSAI-MetaFraud: A Benchmark Dataset for Financial Fraud Transaction and Behavioral Risk Detection in Metaverse Ecosystems

TSAI-MetaFraud：用于元宇宙生态系统中金融欺诈交易和行为风险检测的基准数据集

Refat Ishrak Hemel, Ehsan Hallaji, Roozbeh Razavi-Far

机构 * tsai-unb（tsai - 新不伦瑞克大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；cross-modal(abstract)

AI总结 针对元宇宙平台带来的欺诈等新挑战及现有数据集局限性，提出TSAI-MetaFraud基准数据集，整合多类信息与欺诈场景，定义多项基准任务并进行基线评估，为元宇宙生态系统相关研究提供基准。

ProvICS: A Provenance-based Intrusion Detection for Industrial Control Systems

ProvICS：一种基于溯源的工业控制系统入侵检测方法

Md Neyamul Islam Shibbir, Deepak K Tosh

专题命中 多模态评测 ：multimodal(abstract)；cross-modal(abstract)

AI总结 针对工业控制系统因信息技术与运营技术融合面临多阶段网络攻击，且基于溯源的入侵检测系统在工业网络物理系统中适用性待探索的问题，提出ProvICS多模态溯源数据集，经实验验证其能有效检测攻击事件，填补现有基准空白。

BaFCo: A Document Understanding Benchmark for Complex Bangla Form Comprehension

BaFCo：用于复杂孟加拉语表格理解的文档理解基准

Abu Tyeb Azad, Ishita Sur Apan, Fahim Ahmed, Sumaiya Karim Katha, Ezharuddin Jubaer, Armun Alam, Pranjal Kumar Nandi, Amin Ahsan Ali, Aman Chadha, Md Mofijul Islam, AKM Mahbubur Rahman

机构 * Wichita State University（威奇托州立大学） ； Center for Computational & Data Sciences（计算与数据科学中心） ； University of Dhaka（达卡大学） ； Amazon GenAI（亚马逊生成式人工智能） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 针对孟加拉语表格理解因高质量标注数据稀缺受限的问题，引入BaFCo基准数据集，涵盖多领域复杂表格。定义细粒度标注模式，评估多种MLLMs，发现其理解孟加拉语表格有局限，尤其在定位细粒度实体方面。

Comments Accepted at the 19th European Conference on Computer Vision (ECCV), 2026

From Failure Taxonomy to Intervention: A Diagnostic Methodology for Industry-Scale AVLM in Video and Live-Streaming Platform Moderation

从失败分类到干预：面向视频和直播平台审核的工业级AVLM诊断方法

Shuchang Ye, Jinqiang Yu, Zhujun Xiao, Yajing Kong, Yist Y. Lin, Yang Ma, Jiaxi Liu, Xiaolei Xu, Zheng Yu

机构 * TikTok ； The University of Sydney（悉尼大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；audio-visual(abstract)

AI总结 提出一种工业级音视频语言模型（AVLM）诊断方法，通过失败分类法将模型失败映射为可观察的失败特征，并链接到干预空间，应用于大规模视频和直播平台的模型开发与对齐。

EXPLORE-Bench: Egocentric Scene Prediction with Long-Horizon Reasoning

EXPLORE-Bench：具有长视距推理的自我中心场景预测

Chengjun Yu, Xuhan Zhu, Chaoqun Du, Pengfei Yu, Wei Zhai, Yang Cao, Zheng-Jun Zha

机构 * University of Science and Technology of China（中国科学技术大学） ； Foundation Model Team, Li Auto Inc.（蔚来汽车基础模型团队） ； Tsinghua University（清华大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出EXPLORE-Bench基准，通过初始场景图像和动作序列预测最终场景，评估多模态大模型在自我中心长视距推理中的能力，发现与人类存在显著差距。

Beyond One-Size-Fits-All: Diagnosis-Driven Online Reinforcement Learning with Offline Priors

超越一刀切：基于诊断的在线强化学习与离线先验知识

Guozheng Ma, Lu Li, Zilin Wang, Pierre-Luc Bacon, Dacheng Tao

机构 * Nanyang Technical University（南洋理工大学） ； University of Oxford（牛津大学） 纠错

专题命中 多模态评测 ：multimodal(abstract)；multimodal foundation model(abstract)

AI总结 本文提出诊断驱动的张力管理框架，通过三种功能角色表征离线先验知识如何重塑在线优化，并展示跨领域证据，解决先验知识有效性随部署变化的问题。