Building a Video-and-Language Dataset with Human Actions for Multimodal Logical Inference
Ochanomizu University(御茶水女子大学);The University of Tokyo(东京大学);Keio University(庆应义塾大学)
本文介绍了一个新的视频和语言数据集与人类的行动多模态逻辑推理,重点是有意和方面的表达,描述动态的人类行动。该数据集由200个视频、5,554个动作标签和1,942个动作三元组组成,这些三元组的形式为<subject,predicate,object>,可以转换为逻辑语义表示。该数据集有望用于评估视频和语义复杂的句子(包括否定和量化)之间的多模态推理系统。
2021-06-27 cs.CV
Hierarchy-Guided Multimodal Representation Learning for Taxonomic Inference
Brookhaven National Laboratory(布鲁克海文国家实验室);Rutgers University(罗格斯大学)
本文提出两种端到端的多模态学习方法,通过编码生物分类层级结构提升分类鲁棒性,在大规模生物多样性基准上实现超过14%的准确率提升。
2026-03-26 cs.CV cs.LG
MMEdge: Accelerating On-device Multimodal Inference via Pipelined Sensing and Encoding
Hong Kong University of Science and Technology(香港科技大学)
MMEdge提出一种基于流水线传感和编码的设备端多模态推理框架,通过细粒度传感和编码单元实现增量计算,结合轻量级时间聚合模块和自适应配置优化器,降低延迟并保持高精度。
2026-03-29 cs.AI cs.CV cs.LG
Probabilistic Multimodal Modeling for Human-Robot Interaction Tasks
Arizona State University(亚利桑那州立大学)
人机交互极大地受益于多模态传感器输入,因为它们能够提高鲁棒性和泛化精度。尽管如此,很少有HRI方法能够有效地执行多模态系统的推理。在这项工作中,我们介绍了一个重新制定的互动原语,它允许从演示示教学习的互动任务,同时也优雅地处理固有的非线性多模态推理在这种情况下。我们还经验表明,我们的方法比标准的交互原语和其他常见的方法在具有挑战性的HRI场景中更准确,更强大,更快的推理结果。
2019-08-14 cs.CV cs.HC cs.LG
FV2ES: A Fully End2End Multimodal System for Fast Yet Effective Video Emotion Recognition Inference
在最新的社交网络中,越来越多的人更喜欢通过文字、语音、丰富的面部表情,在视频中表达自己的情感。多模态视频情感分析技术可以根据图像中的人类表情和手势、语音中的音调以及识别的自然语言来帮助自动理解用户的内心世界。然而,在现有的研究中,声学模态相对于视觉模态和文本模态长期处于边缘地位。也就是说,提高声学模态对整个多模态情感识别任务的贡献往往更加困难。此外,虽然通过引入常见的深度学习方法可以获得更好的性能,但这些训练模型的复杂结构总是导致推理效率低下,特别是当暴露于高分辨率和长长度视频时。此外,缺乏完全端到端的多模态视频情感识别系统阻碍了其应用。在本文中,我们设计了一个完全多模态的视频到情感系统(FV 2 ES),其优点有三:(1)在声谱上采用层次注意方法,突破了声学模态的有限贡献,在IEMOCAP和CMU-MOSEI数据集上均优于现有模型的性能;(2)引入多尺度视觉提取和单分支推理的思想,在保证预测精度的同时提高了效率;(3)将数据预处理进一步集成到对齐的多模态学习模型中,可以显著降低计算成本和存储空间。
2022-09-21 cs.CV
Mitigating Multimodal LLMs Hallucinations via Relevance Propagation at Inference Time
Technion(以色列理工学院)
本文提出基于逐层相关性传播的无需训练框架LIME,在推理时优化键值表示以增强感知输入相关性,从而缓解多模态大语言模型的幻觉,并在视觉和音频基准上验证了效果。
2026-09-29 cs.CV cs.LG eess.AS
Modeling Multimodal Aleatoric Uncertainty in Segmentation with Mixture of Stochastic Experts
ShanghaiTech University(上海科技大学);Lingang Laboratory(临港实验室)
为预测分割配备校准的不确定性对于安全关键应用至关重要。在这项工作中,我们专注于捕捉分割中的数据固有的不确定性(又名任意不确定性),通常是当输入图像中存在模糊性时。由于高维输出空间和分割模糊图像时潜在的多模式,预测用于分割的校准良好的不确定性仍然具有挑战性。为了解决这个问题,我们提出了一种新的混合随机专家(MoSE)模型,其中每个专家网络估计一个不同的模式的任意不确定性和门控网络预测输入图像被分割在这些模式的概率。这产生了一个有效的两级不确定性表示。为了学习模型,我们开发了一个类似Wasserstein的损失,直接最小化MoSE和地面实况注释之间的分布距离。损失可以很容易地集成传统的分割质量的措施,并通过约束松弛有效地优化。我们在LIDC-IDRI数据集和修改后的多模态Cityscapes数据集上验证了我们的方法。结果表明,我们的方法在所有指标上都达到了最先进或有竞争力的性能。
2023-02-26 cs.CV
Analysis of Image-and-Text Uncertainty Propagation in Multimodal Large Language Models with Cardiac MR-Based Applications
Department of Medical Physics and Biomedical Engineering, University College London, UK(医学物理与生物医学工程系,伦敦大学学院)
本文提出多模态不确定性传播模型MUPM,刻画MLLM中图像、文本及联合输入不确定性间的关系,并在心脏磁共振临床数据上验证其少样本优化、跨任务迁移及不确定性估计与冗余因素识别的临床应用价值。
2025-07-17 cs.CV
Multimodal Adaptive Inference for Document Image Classification with Anytime Early Exiting
Microsoft(微软公司);La Rochelle Université(拉罗谢尔大学);KU Leuven(鲁汶大学)
针对视觉丰富文档理解中大型模型计算成本高的问题,提出融合多种训练策略与退出层设计的多模态早退模型,在保持基线准确率的同时将延迟降低逾20%。
2024-05-21 cs.CL cs.CV cs.LG
Learning to Inference Adaptively for Multimodal Large Language Models
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Purdue University(普渡大学);The University of Hong Kong(香港大学)
AdaLLaVA是一种自适应推理框架,通过动态配置MLLM操作以应对运行时资源变化,实现延迟与准确率的灵活权衡,并跨模型泛化。
2025-08-06 cs.AI cs.CV cs.LG
UNO: Uncertainty-aware Noisy-Or Multimodal Fusion for Unanticipated Input Degradation
Georgia Institute of Technology(佐治亚理工学院)
多传感器模态的融合,特别是通过深度学习架构,一直是一个活跃的研究领域。然而,此类工作的一个未充分探讨的方面是,这些方法是否可以对整个输入模式的退化具有鲁棒性,特别是当它们必须推广到训练期间未看到的退化时。在这项工作中,我们提出了一个不确定性感知的融合方案,有效地融合输入,可能会遭受一系列已知和未知的退化。具体来说,我们分析了一些不确定性的措施,其中每一个捕捉不确定性的不同方面,我们提出了一种新的方法来融合退化的输入缩放模态特定的输出softmax概率。我们还提出了一种新的数据相关的空间温度缩放方法,以补充这些现有的不确定性措施。最后,我们整合不确定性缩放输出从每个模态使用概率噪声或融合方法。在照片般逼真的仿真环境(AirSim)中,我们表明,我们的方法在语义分割任务上取得了显着更好的结果,与最先进的融合架构相比,在一系列退化(例如雾,雪,霜,和各种其他类型的噪声),其中一些是未知的训练过程中。我们在各种降级的平均IoU方面将最新技术水平[1]提高了28%。[1]Abhinav Valada,Rohit Mohan,Wolfram Burgard.多模态语义分割的自监督模型自适应。In:arXiv电子印刷品,arXiv:1808.03833(2018年8月),arXiv:1808.03833。arXiv:1808.03833 [cs.CV]。
2020-03-04 cs.CV cs.LG cs.RO
Inference-Time Dynamic Modality Selection for Incomplete Multimodal Classification
Department of Electrical and Electronic Engineering & I-X(电气与电子工程系及I-X)
本文提出DyMo框架,通过动态选择并融合可靠恢复的模态,解决不完整多模态学习中的丢弃或填补困境,实验显示其在多种缺失数据场景下优于现有方法。
2026-05-13 cs.CV
Multimodal CLIP Inference for Meta-Few-Shot Image Classification
Princeton University(普林斯顿大学);InstaDeep
本研究针对元小样本图像分类问题,探索多模态基础模型CLIP的应用,通过结合其文本与图像编码器的模态信息,无需额外训练即在主流基准上超越现有最优元小样本学习器,验证了多模态基础模型的潜力并提供了基准线。
2024-03-26 cs.CV
Task-Oriented Visual Feature Compression via Residual Vector Quantization for Device-Edge Multimodal Inference
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);China Telecom(中国电信);Institute of Artificial Intelligence (TeleAI), China Telecom(中国电信人工智能研究院(TeleAI))
针对设备-边缘多模态推理中视觉特征传输延迟高的问题,提出查询引导的任务导向特征压缩方法Q-TOFC,利用残差向量量化和查询相关聚合降低负载53.6%,同时保持任务性能。
2026-09-30 cs.CV
LUMA: A Benchmark Dataset for Learning from Uncertain and Multimodal Data
Aix Marseille Univ, CNRS, LIS(阿维尼翁-马赛大学、国家科学研究中心、LIS)
提出多模态数据集 LUMA,通过扩展 CIFAR 10/100 并引入音频与文本数据,支持受控注入不确定性,提供基线模型与三种不确定性量化方法,促进可信赖鲁棒多模态深度学习研究。
2025-08-13 cs.AI cs.CL cs.CV
Uncertainty Quantification for Multimodal Large Language Models with Incoherence-adjusted Semantic Volume
Department of Computer Science, National University of Singapore(新加坡国立大学计算机科学系)
UMPIRE是一种无需训练的多模态大语言模型不确定性量化框架,通过内部特征有效捕捉语义多样性和响应不一致性,提升错误检测和不确定性校准性能。
2026-11-16 cs.AI cs.CL cs.CV
Inf-MLLM: Efficient Streaming Inference of Multimodal Large Language Models on a Single GPU
Shanghai Jiao Tong University(上海交通大学);Fudan University(复旦大学)
针对MLLM长上下文推理KV缓存占用高、难在边缘部署流式推理的问题,本文提出Inf-MLLM框架,基于“注意力鞍点”模式维持受限KV缓存并引入注意力偏置捕捉长依赖,实现单GPU上无限上下文的高效流式推理,性能与速度均优于现有方法。
2024-09-11 cs.AI cs.CV cs.DC
Know Where You're Uncertain When Planning with Multimodal Foundation Models: A Formal Framework
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对多模态基础模型在机器人感知与规划中的不确定性问题,提出解耦、量化并缓解感知与决策不确定性的框架,通过保形预测、FMDP量化及靶向干预,降低变异性40%、提升成功率5%,增强系统可靠性。
2025-04-17 cs.AI cs.CV cs.LG
Attention Misses Visual Risk: Risk-Adaptive Steering for Multimodal Safety Alignment
Seoul National University(首尔大学);KU Leuven(鲁汶大学)
本文提出MoRAS,通过简洁的视觉上下文增强关键安全区域的视觉注意力,以实现多模态安全对齐,减少推理开销并提升泛化能力。
2026-07-15 cs.CV
AI Knows Where You Are: Exposure, Bias, and Inference in Multimodal Geolocation with KoreaGEO
Yonsei University(延世大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
本文提出首个韩国街景细粒度多模态地理定位基准KoreaGEO Bench,通过三路径协议评估十种VLM的定位精度、空间偏差与推理行为,揭示模态驱动偏差及核心城市预测偏向。
2026-10-16 cs.CV
t-READi: Transformer-Powered Robust and Efficient Multimodal Inference for Autonomous Driving
Southern University of Science and Technology(南方科技大学);University of Maryland College Park(马里兰大学帕克分校);Fudan University(复旦大学);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院)
t-READi提出一种自适应多模态推理系统,通过仅调整对变化敏感的特定参数并利用跨模态对比学习补偿缺失模态,在真实传感器变化条件下实现精度提升6%以上、延迟降低近15倍。
2024-11-21 cs.AI cs.CV cs.DC
6D Camera Relocalization in Ambiguous Scenes via Continuous Multimodal Inference
Technical University of Munich(慕尼黑工业大学);Stanford University(斯坦福大学);Siemens AG(西门子股份公司);ETH Zurich(苏黎世联邦理工学院);Johns Hopkins University(约翰斯·霍普金斯大学)
我们提出了一个多模态相机重新定位框架,捕捉模糊性和不确定性与连续混合模型定义的流形上的相机姿势。在高度模糊的环境中,由于场景中的对称性和重复结构,很容易出现这种情况,计算一个合理的解决方案(目前大多数最先进的方法都是回归的)可能是不够的。相反,我们预测多个相机姿势假设以及每个预测的相应不确定性。为了实现这一目标,我们使用宾厄姆分布,建模的相机姿态的方向,和多变量高斯模型的位置,与端到端的深度神经网络。通过结合赢家通吃的训练方案,我们最终获得了一个混合模型,该模型非常适合于解释场景中的模糊性,但不会遭受模式坍塌,这是混合密度网络的一个常见问题。我们引入了一个新的数据集,专门设计用于促进相机定位研究在模糊的环境和详尽的评估我们的方法上的合成以及真实的数据在两个模糊的场景和非模糊的基准数据集。我们计划在$\href{https://multimodal3dvision.github.io}{multimodal3dvision.github.io}$下发布我们的代码和数据集。
2020-07-16 cs.CV cs.LG cs.RO
Parallel Vision Token Scheduling for Fast and Accurate Multimodal LMMs Inference
Xiamen University(厦门大学);Rakuten Asia Pte. Ltd.(拉面亚洲有限公司);Xiamen University, China(厦门大学);Shanghai Innovation Institute, China(上海创新研究院)
ParVTS通过并行调度视觉令牌,高效减少多模态大语言模型推理的计算复杂度,实现高剪枝率与性能损失小的平衡。
2025-11-24 cs.CV cs.MM
LOOK-M: Look-Once Optimization in KV Cache for Efficient Multimodal Long-Context Inference
The Ohio State University(俄亥俄州立大学);Peking University(北京大学);Imperial College London(帝国理工学院);Tencent AI Lab(腾讯AI实验室)
针对长上下文多模态大语言模型推理中KV缓存内存和延迟瓶颈,提出无需微调的LOOK-M方法,利用文本优先压缩与KV对合并补偿,在减少80%缓存时实现1.5倍加速并保持性能。
2024-06-26 cs.CL cs.CV
Mutual Information-calibrated Conformal Feature Fusion for Uncertainty-Aware Multimodal 3D Object Detection at the Edge
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文提出一种结合共形推断与互信息校准的多模态特征融合方法,在VAE框架下融合RGB相机与LiDAR数据,实现轻量级免蒙特卡洛不确定性估计,并在KITTI基准上验证了其在边缘机器人实时3D目标检测中的有效性。
2023-09-18 cs.CV cs.IT cs.RO
Active Speaker Detection as a Multi-Objective Optimization with Uncertainty-based Multimodal Fusion
NXP Semiconductors(恩智浦半导体);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心)
现在从各种研究中已经很好地建立了,在检测活动说话者时,结合视频和音频数据有显著的好处。然而,任何一种形式都可能通过诱导不可靠或欺骗性的信息来误导视听融合。本文概述了主动说话人检测作为一个多目标的学习问题,利用最好的每一个模态使用一种新的自注意,基于不确定性的多模态融合计划。结果表明,所提出的多目标学习架构在提高mAP和AUC分数方面优于传统方法。我们进一步证明,我们的融合策略超越,在主动说话人检测,其他模态融合方法在各个学科的报告。我们最后表明,该方法显着提高了AVA-ActiveSpeaker数据集的最新技术水平。
2021-09-15 cs.CL cs.CV cs.SD
Visual Goal-Step Inference using wikiHow
University of Pennsylvania(宾夕法尼亚大学)
了解完成目标所需的步骤顺序可以帮助人工智能系统对人类活动进行推理。NLP过去的工作已经研究了文本的目标步骤推理任务。我们引入视觉模拟。我们提出了视觉目标-步骤推理(VGSI)任务,其中模型被赋予文本目标,并且必须选择四个图像中的哪一个代表朝着该目标的合理步骤。通过从wikiHow收集的由772,277张代表人类行为的图像组成的新数据集,我们证明了我们的任务对于最先进的多模态模型来说是具有挑战性的。此外,从我们的数据中学习的多模态表示可以有效地转移到其他数据集,如HowTo 100 m,将VGSI的准确性提高了15 - 20%。我们的任务将促进程序事件的多模态推理。
2021-09-10 cs.AI cs.CL cs.CV
Towards Understanding Ambiguity Resolution in Multimodal Inference of Meaning
University of Pittsburgh(匹兹堡大学);Carnegie Mellon University(卡内基梅隆大学)
研究外语学习中多模态语境下推断生词含义的新设定,分析影响人类推断成功的数据与语言背景特征,并探讨AI系统推理人类表现的能力与未来改进方向。
2025-10-10 cs.AI cs.CV
MrM: Black-Box Membership Inference Attacks against Multimodal RAG Systems
Tsinghua University(清华大学);Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出首个面向多模态RAG系统的黑盒成员推理攻击框架MrM,通过对象感知扰动、反事实掩码选择和查询统计特征实现隐私泄露推断,并在多个商业模型上验证其有效性与鲁棒性。
2025-06-09 cs.AI cs.CV
Mitigating Visual Hallucinations in Multimodal Systems through Retrieval-Augmented Reliability-Aware Inference
University of Massachusetts, Dartmouth(马萨诸塞大学达特茅斯分校)
提出一种检索增强的可靠性感知推理框架,利用外部视觉证据库和多个可靠性指标进行决策门控,在不重训练模型的情况下减少视觉幻觉,将接受预测准确率从85.84%提升至88.88%。
2026-08-04 cs.AI cs.CV
Seeing Heat with Color -- RGB-Only Wildfire Temperature Inference from SAM-Guided Multimodal Distillation using Radiometric Ground Truth
Dept. of Electrical and Computer Engineering, Clemson University(电子与计算机工程系,克莱姆森大学)
本文提出SAM-TIFF教师-学生蒸馏框架,首次实现仅用RGB无人机影像进行像素级野火温度回归与分割,并在FLAME 3数据集上验证了泛化性能,为低成本无热传感器野火监测奠定基础。
2025-05-03 cs.AI cs.CV eess.IV
MAGIC: Multimodal relAtional Graph adversarIal inferenCe for Diverse and Unpaired Text-based Image Captioning
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学);Ningbo University(宁波大学)
基于文本的图像描述(TextCap)需要同时理解视觉内容和阅读图像的文本以生成自然语言描述。虽然任务可以教机器进一步理解复杂的人类环境,因为文本在我们的日常环境中无处不在,但它对正常的字幕提出了额外的挑战。基于文本的图像直观地包含丰富而复杂的多模态关系内容,即图像细节可以从多个视图而不是单个标题中进行描述。当然,我们可以引入额外的成对训练数据来显示图像描述的多样性,这个过程对于带有额外文本的TextCap对注释来说是劳动密集型和耗时的。基于上述见解,我们研究了如何使用不成对的训练范例生成专注于不同图像部分的多样化字幕。我们提出了多模态关系图逆向推理(MAGIC)框架,多样和不成对的文本帽。该框架可以自适应地构造多个图像的多模态关系图,并对图之间的复杂关系进行建模,以表示描述的多样性。此外,一个级联的生成对抗网络开发从建模图,以推断在图像-句子特征对齐和语言连贯性水平的不成对的字幕生成。我们验证了MAGIC的有效性,从不同的关系信息项的图像生成不同的字幕。实验结果表明,MAGIC可以生成非常有希望的结果,而无需使用任何图像-字幕训练对。
2022-03-04 cs.AI cs.CV
MQuant: Unleashing the Inference Potential of Multimodal Large Language Models via Full Static Quantization
Southeast University(东南大学);Xi'an Jiaotong University(西安交通大学)
本文提出训练后量化框架 MQuant,通过模态特定静态量化、注意力不变灵活切换和旋转幅度抑制技术,在保持接近浮点精度(下降<1%)的同时将推理延迟降低高达30%,解决了多模态大语言模型的全静态量化难题。
2025-08-10 cs.AI cs.CV
Boosting Multimodal Large Language Models with Visual Tokens Withdrawal for Rapid Inference
Xiamen University(厦门大学);Shanghai Innovation Institute(上海创新研究院);Skywork AI(天穹智算)
本文提出即插即用模块VTW,基于注意力沉与信息迁移现象,在MLLMs深层撤回视觉tokens以加速推理,在保持性能的同时降低超40%计算开销。
2025-01-25 cs.AI cs.CV
Task-Oriented Feature Compression for Multimodal Understanding via Device-Edge Co-Inference
Institute of Artificial Intelligence (TeleAI) of China Telecom(中国电信人工智能研究所);School of Electronic and Information Engineering, Harbin Institute of Technology(哈尔滨工业大学电子与信息工程学院);Department of Electronic and Computer Engineering, Hong Kong University of Science and Technology(香港科技大学电子与计算机工程系);School of Software and Microelectronics, Peking University(北京大学软件与微电子学院)
针对边缘设备上多模态理解的高延迟问题,提出任务导向特征压缩(TOFC)方法,通过聚类和自适应熵模型在设备-边缘协同推理框架中减少视觉特征数量,在保持任务性能的同时显著降低传输开销与系统延迟。
2025-10-27 cs.CV eess.SP
Certainly Uncertain: A Benchmark and Metric for Multimodal Epistemic and Aleatoric Awareness
Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学);Microsoft(微软公司);Samaya AI(萨马亚人工智能公司)
针对视觉语言 AI 的不确定性感知,本文区分认知与偶然不确定性,构建含 17.8 万 VQA 对比样本的 CertainlyUncertain 基准,并提出置信度加权准确率指标。
2024-07-02 cs.AI cs.CL cs.CV
Efficient Audiovisual Speech Processing via MUTUD: Multimodal Training and Unimodal Deployment
Meta
本文提出MUTUD框架,通过多模态训练与单模态部署策略,利用TAME模块估计缺失模态信息,在缩小多模态与单模态性能差距的同时,显著减少模型大小和计算量。
2026-09-30 cs.CV cs.MM cs.SD