ProCAP: Probabilistic Cross-Attentive Prompt Learning for Vision-Language Models
University of Kurdistan(库尔德斯坦大学);The University of Queensland(昆士兰大学)
提出ProCAP,一种概率交叉注意力提示学习框架,通过双向交叉注意力连接视觉与文本提示令牌,并用高斯参数化及KL/L2正则化减少过拟合,在不更新CLIP权重下提升少样本泛化与迁移性能。
2026-09-28 cs.CV
PARIC: Probabilistic Attention Regularization for Language Guided Image Classification from Pre-trained Vison Language Models
Uppsala University(乌普萨拉大学);IT University of Copenhagen(哥本哈根信息技术大学);Science for Life Laboratory(生命科学实验室)
针对预训练视觉语言模型确定性注意力图忽视跨模态映射多值性的问题,本文提出概率框架 PARIC,通过生成含不确定性的参考注意力图提升分类准确率、公平性、一致性与鲁棒性。
2025-03-14 cs.AI cs.CV cs.LG
CLAP4CLIP: Continual Learning with Probabilistic Finetuning for Vision-Language Models
University of New South Wales (UNSW Sydney)(新南威尔士大学(新南威尔士大学悉尼分校));CSIRO’s Data61(澳大利亚联邦科学与工业研究组织Data61)
针对预训练视觉语言模型CLIP在持续学习微调中确定性方法的不足,提出概率微调框架CLAP,利用预训练知识缓解遗忘,性能超越主流确定性方法,还具备优秀的不确定性估计能力。
2024-10-31 cs.CV
Meanings and Measurements: Multi-Agent Probabilistic Grounding for Vision-Language Navigation
Arizona State University(亚利桑那州立大学);Haverford College(哈弗福德学院)
本文提出MAPG框架,通过分解语言查询并利用VLM进行语义 grounding,解决复杂度量-语义语言查询的难题,同时引入MAPG-Bench评估指标,展示在现实机器人中的应用效果。
2026-03-19 cs.AI cs.CL cs.CV
Probabilistic Prompt Learning for Dense Prediction
Yonsei University(延世大学);Hyundai Motor Company R&D Division(现代汽车公司研发部门);NAVER LABS(NAVER实验室);Korea Institute of Science and Technology (KIST)(韩国科学技术研究院)
提出概率提示学习方法,通过引入可学习的类无关属性提示并结合类信息与视觉上下文知识定义类特定文本分布,利用概率像素-文本匹配损失指导密集预测任务,显著提升了模型的稳定性和泛化能力。
2023-04-03 cs.AI cs.CV
ProbMCL: Simple Probabilistic Contrastive Learning for Multi-label Visual Classification
University of Toronto(多伦多大学)
针对多标签图像分类现有方法计算复杂、可解释性差的问题,提出概率多标签对比学习框架ProbMCL,结合有监督对比学习与混合密度网络,在多领域数据集上以更低计算开销取得优于SOTA的性能,且保留语义拓扑。
2024-04-12 cs.CV cs.LG
Revisiting the Role of Language Priors in Vision-Language Models
CMU(卡内基梅隆大学);Meta
该研究探究生成式视觉-语言模型的零样本图文检索性能,提出VisualGPTScore匹配分数,发现语言偏致部分基准性能偏差,给出无需微调的概率去偏后处理方案,提升了零样本基线性能。
2024-05-15 cs.AI cs.CL cs.CV
How Much Information Can a Vision Token Hold? A Scaling Law for Recognition Limits in VLMs
City University of Hong Kong(香港城市大学);The Hong Kong Polytechnic University(香港理工大学);The Hong Kong University of Science and Technology(香港理工大学);Centre for Artificial Intelligence and Robotics, Chinese Academy of Sciences(中国科学院人工智能与机器人研究院)
本研究通过压力测试揭示了视觉标记的信息上限,提出了一种统一的缩放定律,为优化视觉上下文压缩的效率-精度权衡提供了实证依据。
2026-01-28 cs.CV cs.LG
Probabilistic Language-Image Pre-Training
NAVER AI Lab(NAVER AI实验室)
针对现有视觉-语言模型依赖确定性嵌入、简化图文多对多关系的问题,提出仅用概率目标预训练的ProLIP,通过无额外参数的不确定性token和包含损失实现高效不确定性估计,提升零/少样本性能与下游任务效果。
2025-10-05 cs.CV cs.LG
FUSE: Quantifying Uncertainty in Vision-Language Models by Bayesian Fusing Epistemic and Aleatoric Uncertainty
Massachusetts Institute of Technology(麻省理工学院)
提出FUSE概率框架,通过贝叶斯融合视觉语言模型中的偶然不确定性和认知不确定性,生成标量不确定性度量,用于可靠预测输出正确性,实现SOTA不确定性校准。
2026-06-16 cs.CV
Bayesian-guided Label Mapping for Visual Reprogramming
The University of Melbourne(墨尔本大学);Singapore University of Technology and Design(新加坡科技设计大学)
针对视觉重编程中现有一一标签映射忽略标签间复杂关系的问题,提出贝叶斯引导标签映射方法,通过迭代更新的概率矩阵建模标签成对关系,在多种预训练模型上取得优于现有方法的性能。
2024-10-31 cs.CV cs.LG
A Probabilistic Jump-Diffusion Framework for Open-World Egocentric Activity Recognition
CSSE Department, Auburn University(安全科学与工程系,阿伯丁大学)
提出基于跳跃-扩散的概率残差搜索框架ProbRes,通过结合常识先验与VLM优化,在多开放度级别下高效识别未见第一人称活动并达到SOTA性能。
2025-05-28 cs.CV
ProbRes: Probabilistic Jump Diffusion for Open-World Egocentric Activity Recognition
CSSE Department, Auburn University(计算机科学与工程系,阿伯丁大学)
针对开放世界第一人称活动识别的挑战,提出基于跳跃扩散的概率残差搜索框架ProbRes,结合常识先验与VLMs进行高效搜索,在多个基准上达到SOTA并建立了开放世界识别分类法。
2025-10-10 cs.CV
Linear Spaces of Meanings: Compositional Structures in Vision-Language Models
AWS AI Labs(AWS人工智能实验室)
本文从几何和概率视角研究视觉-语言模型嵌入中的组合结构,将表示近似为少量“理想词语”向量的组合,并在CLIP上验证其可用于分类、去偏和检索等任务。
2024-01-11 cs.AI cs.CL cs.CV
The Probabilistic Object Detection Challenge
Queensland University of Technology(昆士兰科技大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心)
我们介绍了计算机和机器人视觉的一个新的挑战,第一ACRV机器人视觉挑战,概率目标检测。概率目标检测是传统目标检测任务的一种新的变化,需要估计空间和语义的不确定性。我们扩展了传统的限界框格式的目标检测表示空间不确定性使用高斯分布的方块角。该挑战引入了一个新的视频序列测试数据集,旨在更接近机器人系统可用的数据类型。我们使用一种新的基于概率的检测质量(PDQ)的措施来评估概率检测。创建此挑战的目标是将计算机和机器人视觉社区聚集在一起,将目标检测解决方案应用于实际的机器人应用。
2019-04-08 cs.CV cs.LG cs.RO
HalLoc: Token-level Localization of Hallucinations for Vision Language Models
Seoul National University(首尔国立大学)
针对现有视觉语言模型幻觉检测方法计算成本高、输出确定性强的问题,研究提出带15万token级标注的HalLoc数据集及低开销基线模型,可实现概率性并行幻觉检测,提升模型可靠性。
2025-06-12 cs.CV
Intrinsic Gradient Suppression for Label-Noise Prompt Tuning in Vision-Language Models
University of Science and Technology of China(中国科学技术大学);Tsinghua University(清华大学)
提出双Softmax提示调优(DSPT),通过内在梯度抑制机制自适应压制高错误噪声样本的梯度,实现标签噪声下的鲁棒提示调优。
2026-06-16 cs.CV
Vision-Language Introspection: Mitigating Overconfident Hallucinations in MLLMs via Interpretable Bi-Causal Steering
The Hong Kong University of Science and Technology (Guangzhou)(香港理工大学(广州));The Hong Kong University of Science and Technology(香港理工大学);LIGHTSPEED
VLI通过可解释的双因果引导方法,有效减少大语言模型中的对象幻觉,提升多模态任务的准确性和可靠性。
2026-01-08 cs.AI cs.CV
Beyond Self-Attention: Sub-Quadratic Vision Transformers for Fast Image Captioning
Department of Computer Science and Engineering(计算机科学与工程系);National Institute of Technology Durgapur(德里apur国立学院);Durgapur, India(印度德里apur)
提出基于高斯混合模型和EM算法的概率Transformer,将自注意力复杂度从二次降至线性,在Flickr30K上实现高效图像描述。
2026-06-16 cs.AI cs.CV
MedProbCLIP: Probabilistic Adaptation of Vision-Language Foundation Model for Reliable Radiograph-Report Retrieval
Texas A&M University-San Antonio(德克萨斯A&M大学-圣安东尼奥分校);Boise State University(博伊州立大学)
MedProbCLIP 通过概率适应提升放射影像与报告检索的可靠性,优于现有基线方法。
2026-02-17 cs.AI cs.CV
MedCLIPSeg: Probabilistic Vision-Language Adaptation for Data-Efficient and Generalizable Medical Image Segmentation
Concordia University(康考迪亚大学)
MedCLIPSeg通过概率视觉语言适应方法,提升医学图像分割的数据效率和泛化能力,提供可解释的不确定性图。
2026-02-23 cs.CL cs.CV
Probabilistic Vision-Language Representation for Weakly Supervised Temporal Action Localization
Sejong University(世宗大学);Electronics and Telecommunications Research Institute(电子通信研究院)
针对弱监督时序动作定位中任务差异与细粒度运动捕捉难的问题,提出在概率嵌入空间对齐动作与VLP知识的框架,结合分布内外对比学习增强表示,性能超越现有最优方法。
2024-08-12 cs.CV
Answering Image Riddles using Vision and Reasoning through Probabilistic Soft Logic
Arizona State University(亚利桑那州立大学);University of Maryland, College Park(马里兰大学学院市分校)
在这项工作中,我们探讨了一种类型的难题(“图像谜语”),其中涉及一组图像和一个问题。解决这些难题需要视觉检测(包括物体、活动识别)和基于知识或常识推理的能力。我们编译了一个超过3k个谜语的数据集,每个谜语由4个图像和一个地面真相答案组成。使用众包评价验证注释。我们还定义了一个自动评估指标来跟踪未来的进展。我们的任务与通常用于测试智力的常见智商任务,如类比解决,序列填充具有相似性。我们开发了一种基于概率推理的方法,利用概率常识知识来回答这些谜语具有合理的准确性。我们展示了我们的方法使用自动和人工评估的结果。我们的方法取得了一些有希望的结果,这些谜语,并为未来的尝试提供了一个强有力的基线。我们在ImageRiddle网站(http://bit.ly/22f9Ala)上向社区公开了整个数据集和相关材料。
2016-11-17 cs.AI cs.CV
Probabilistic Conceptual Explainers: Trustworthy Conceptual Explanations for Vision Foundation Models
Rutgers University(罗格斯大学)
针对视觉Transformer事后可信解释方法不足的问题,提出含五项评判标准的变分贝叶斯解释框架PACE,通过建模图像块嵌入分布提供多层级概念解释,实验表明其性能优于现有最优方法。
2024-10-31 cs.AI cs.CV cs.LG
A probabilistic framework for handwritten text line segmentation
Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学)
我们成功地结合期望最大化算法和变分方法的参数学习和计算推理的马尔可夫随机场。这是一种通用的方法,可以应用于许多计算机视觉任务。在本文中,我们将其应用到手写文本行分割。我们进行了几个实验,证明我们的方法处理这个任务的常见问题,如复杂的文档布局或非拉丁脚本。所获得的结果证明,我们的方法在不同的基准数据集上实现了最先进的性能,而无需任何特定的微调步骤。
2018-05-15 cs.CV cs.LG
Supervised Multilabel Image Classification Using Residual Networks with Probabilistic Reasoning
Amrita School of Computing(阿姆里塔计算学院);Amrita Vishwa Vidyapeetham(阿姆里塔世界学院)
针对多标签图像分类任务,提出融合概率推理的改进ResNet-101模型,在COCO-2014上取得0.794 mAP,优于ResNet-SRN、ViT基线,性能接近当前最优。
2025-11-15 cs.CV
Objective, Probabilistic, and Generalized Noise Level Dependent Classifications of sets of more or less 2D Periodic Images into Plane Symmetry Groups
Portland State University(波特兰州立大学)
晶体学对称性分类从现实世界的图像与周期性在两个维度(2D)的兴趣晶体学家和从业者的计算机视觉研究一样。目前,这些分类通常是由两个社区以主观的方式作出的,依赖于任意的判断阈值,并以确定的名义报告,这是不可能的。此外,计算机视觉社区倾向于使用直接空间方法来进行这种分类,而不是更强大和计算效率更高的傅立叶空间方法。这是因为这些方法的正常运行需要比计算机视觉社区分析的图像中通常存在的单位单元基序更多的周期性重复。我们展示了一种新的方法,平面对称群分类,使健一Kanatani的几何赤池信息准则和相关的几何赤池权重。我们的方法利用了在傅立叶空间中工作的优势,非常适合于处理晶体对称性的层次性质,并产生概率结果,是广义噪声水平相关的。后一个功能意味着当噪声较少的图像数据和更准确的处理算法变得可用时,可以更新晶体对称性分类。我们证明了我们的方法的能力,客观地估计平面对称性和伪对称性的合成的2D周期性图像与不同量的红,绿,蓝和传播噪声。此外,我们提出了一个简单的解决方案,在输入图像的傅立叶空间方法的实际应用中的周期性重复太少的问题。在这样做的过程中,我们有效地解决了几十年的历史和迄今为止棘手的问题,从计算机视觉的对称性检测和分类的图像中存在的噪声。
2020-12-15 cs.CV
Energy-Based Models for Deep Probabilistic Regression
Uppsala University(乌普萨拉大学);ETH Zürich(苏黎世联邦理工学院)
虽然基于深度学习的分类通常使用标准化方法来处理,但回归采用了各种各样的技术。在计算机视觉中,一种特别流行的这种技术是基于置信度的回归,其需要预测每个输入-目标对(x,y)的置信度值。虽然这种方法已经证明了令人印象深刻的结果,但它需要重要的任务相关的设计选择,并且预测的置信度缺乏自然的概率意义。我们解决这些问题,提出了一个通用的和概念上简单的回归方法,一个明确的概率解释。在我们提出的方法中,我们创建了条件目标密度p(y)的基于能量的模型|x),使用深度神经网络从(x,y)预测未归一化的密度。这个模型p(y| x)通过直接最小化相关的负对数似然来训练,使用Monte Carlo抽样近似。我们对四个计算机视觉回归任务进行了综合实验。我们的方法优于直接回归,以及其他基于概率和置信度的方法。值得注意的是,我们的模型在COCO数据集上的目标检测方面比Faster-RCNN实现了2.2%的AP改进,并且在应用于限界框估计时,在视觉跟踪方面设置了新的最先进技术。与基于信心的方法相比,我们的方法也被证明是直接适用于更一般的任务,如年龄和头部姿势估计。代码可在www.example.com上获得。
2020-07-19 cs.CV cs.LG stat.ML
Gaussian Process Priors for View-Aware Inference
Aalto University(阿尔托大学);GenMind Ltd.(GenMind有限公司)
虽然使用深度神经网络的帧无关预测已经成为许多计算机视觉任务的突出解决方案,但利用帧之间的相关性的潜在好处却很少受到关注。尽管概率机器学习提供了将相关性编码为推理的先验知识的能力,但将概率方法应用于现代视觉问题的理论和实践之间存在明显的差距。为此,我们推导出一个原则框架,将相机姿态(平移和方向)与深度模型之间的信息耦合结合起来。我们提出了一种新的视图核,推广了$\mathrm{SO}(3)$中的标准周期核。我们展示了这种软先验知识如何帮助几个姿势相关的视觉任务,如新颖的视图合成和预测生成模型的潜在空间中的任意点,指向帧间推理的一系列新应用。
2021-03-03 cs.CV cs.LG stat.ML
Inverse Graphics with Probabilistic CAD Models
MIT(麻省理工学院);Microsoft Research Cambridge(微软研究院剑桥实验室)
最近,基于计算机图形学的生成模型的概率反演的视觉问题的多种配方已经被提出。然而,从自然图像的3D感知的应用程序集中在低维的潜在场景,由于建模和推理的挑战。通过逼真的生成模型来解释3D对象形状和2D外观的巨大变化似乎很难,甚至将3D场景与2D图像链接的多对多计算的简单版本进行反演也是如此。本文提出并评估了解决这两个挑战的关键方面的方法。我们表明,它是可能的,以解决具有挑战性的,现实世界的3D视觉问题的近似推理生成模型的图像的基础上渲染的概率CAD(PCAD)程序的输出。我们的PCAD对象几何先验生成对应于合理对象的可变形3D网格,并应用仿射变换将它们放置在场景中。图像似然度基于特征空间中的相似性,该特征空间基于视觉文献中的标准中级图像表示。我们的推理算法集成了单站点和局部阻塞Metropolis-Hastings建议,Hamilton Monte Carlo和歧视性数据驱动的建议,从我们的模型生成的训练数据中学习。我们将这种方法应用于3D人体姿态估计和物体形状重建从单一的图像,实现定量和定性的性能改进超过国家的最先进的基线。
2014-07-04 cs.AI cs.CV stat.ML
DINOv3 as a Frozen Encoder for CRPS-Oriented Probabilistic Rainfall Nowcasting
Advanced Data Analysis and Management, University of Feira de Santana(费拉德桑塔大学高级数据分析与管理中心);National Institute of Metrology, Quality and Technology(计量与技术质量国家研究院);Georgia Institute of Technology(佐治亚理工学院);University of West Bohemia in Pilsen(比尔森大学)
针对概率降雨临近预报任务,提出将搭配V-JEPA投影器与轻量概率头的冻结DINOv3-SAT493M编码器以RPS为目标端到端优化,在Weather4Cast 2025基准上CRPS达3.5102,较最优3D-UNET提升约26%。
2025-11-19 cs.AI cs.CV
DistMedVL: Distributional Vision-Language Alignment for Uncertainty-Aware Medical Image Segmentation
University of Nottingham Ningbo China(宁波诺丁汉大学);University of Nottingham(诺丁汉大学)
针对医学图像分割中视觉-语言跨模态对齐的不确定性问题,提出DistMedVL概率框架,含PCM-Adapter等模块,在8个基准上以6.3M参数实现优于SOTA的性能,数据效率等更优。
2026-08-07 cs.AI cs.CV cs.MM
Transframer: Arbitrary Frame Prediction with Generative Models
DeepMind(深度思维)
我们提出了一个通用的框架,图像建模和视觉任务的基础上概率帧预测。我们的方法统一了广泛的任务,从图像分割,到新颖的视图合成和视频插值。我们将这个框架与我们称为Transframer的架构配对,该架构使用U-Net和Transformer组件来调节注释的上下文框架,并输出稀疏的压缩图像特征序列。Transframer是各种视频生成基准的最新技术,在Few-Shot视图合成方面与最强的模型竞争,并且可以从单个图像生成连贯的30秒视频,而无需任何明确的几何信息。一个通用的Transframer同时产生8个任务,包括语义分割,图像分类和光流预测,没有特定任务的架构组件,表明多任务计算机视觉可以使用概率图像模型来解决。我们的方法原则上可以应用于广泛的应用程序,需要学习的条件结构的注释图像格式的数据。
2022-05-09 cs.CV cs.LG
Improved Probabilistic Image-Text Representations
NAVER AI Lab(NAVER AI实验室)
针对概率图像-文本匹配中Monte Carlo计算开销大和假负样本导致损失饱和的问题,本文提出具有闭式概率距离、伪正样本和混合样本增强的PCME++,并在多个基准上验证其性能与鲁棒性。
2024-04-09 cs.CV cs.LG
MetaCOG: A Hierarchical Probabilistic Model for Learning Meta-Cognitive Visual Representations
Yale University(耶鲁大学);Princeton University(普林斯顿大学);Basis Research Institute(贝斯研究所);Zuckerman Institute(扎克曼研究所);Data Science Institute(数据科学研究所);Columbia University(哥伦比亚大学);Wu Tsai Institute(蔡氏研究所)
受人类元认知能力启发,提出可附加于神经目标检测器的分层概率模型MetaCOG,通过贝叶斯推理学习检测器性能表征,结合物体恒存性做联合推理,能在无真值时提升系统准确率并具备误差鲁棒性。
2024-07-09 cs.AI cs.CV
Structured Uncertainty Similarity Score (SUSS): Learning a Probabilistic, Interpretable, Perceptual Metric Between Images
University of Sussex(Sussex大学);University College London(伦敦大学学院)
SUSS通过学习图像特定的线性变换和去相关残差,提供可解释的感知度量,实现与人类视觉紧密对齐的图像相似度评估。
2025-12-03 cs.CV
Imitation Learning of Robot Policies by Combining Language, Vision and Demonstration
Intel AI Lab(英特尔人工智能实验室)
在这项工作中,我们提出了一种新的端到端的模仿学习方法,结合自然语言,视觉和运动信息,产生一个抽象的任务表示,这反过来又是用来合成特定的运动控制器在运行时。这种多模式的方法能够推广到各种各样的环境条件,并允许最终用户通过口头沟通来指导机器人策略。我们经验验证我们的方法与广泛的一组模拟,并表明它实现了高的任务成功率在各种条件下,同时保持服从概率可解释性。
2019-11-26 cs.CL cs.CV cs.LG
LiDAR Point Cloud Image-based Generation Using Denoising Diffusion Probabilistic Models
Johannes Kepler University Linz(约翰·凯撒大学林茨);Department Intelligent Transport Systems(智能交通系统部门)
本研究针对自动驾驶LiDAR真实数据采集耗时、易受噪声稀疏影响的问题,提出基于改进去噪扩散概率模型(DDPM)的LiDAR点云图像生成方法,通过新型噪声调度与时间步嵌入技术生成高质量合成数据,提升自动驾驶3D视觉系统性能。
2025-09-23 cs.AI cs.CV
VLGrammar: Grounded Grammar Induction of Vision and Language
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
认知语法认为语言语法的习得是建立在视觉结构的基础上的。语法是自然语言的基本表征,但它也普遍存在于视觉中,表现了部分-整体的层次结构。在这项工作中,我们研究接地语法归纳的视觉和语言的联合学习框架。具体来说,我们提出了VLGrammar,一种方法,使用复合概率上下文无关文法(复合PCFG),同时归纳的语言语法和图像语法。我们提出了一个新的对比学习框架来指导这两个模块的联合学习。为了提供一个基准的接地语法归纳任务,我们收集了一个大规模的数据集,\textsc{PartIt},其中包含人类写的句子,描述部分级语义的3D对象。在\textsc{PartIt}数据集上的实验表明,VLGrammar在图像语法归纳和语言语法归纳方面优于所有基线。学习的VLGrammar自然会使相关的下游任务受益。具体来说,该算法将图像无监督聚类的准确率提高了30%,在图像检索和文本检索中表现良好。值得注意的是,归纳语法表现出优越的概括性,很容易概括到看不见的类别。
2021-03-24 cs.AI cs.CL cs.CV
Generative AI in Vision: A Survey on Models, Metrics and Applications
University of Maryland(马里兰大学)
本文综述了视觉生成式人工智能中的扩散模型与传统模型,涵盖其理论基础、关键技术和在文本到图像、图像修复、超分辨率等任务中的应用,旨在为研究者提供全面理解并启发未来创新。
2024-02-26 cs.AI cs.CV cs.LG