Latent Denoising Improves Visual Alignment in Large Multimodal Models
University of Southern California(南加州大学);DEVCOM ARL Army Research Office(DEVCOM ARL陆军研究办公室)
本文提出通过潜在去噪框架改进大多模态模型的内部视觉特征对齐和多模态理解,采用掩码和高斯噪声混合腐蚀视觉token,并利用解码器恢复教师特征,提升模型在分布偏移下的鲁棒性。
2026-08-06 cs.CV
Semantic-Preserving Augmentation for Robust Image-Text Retrieval
Seoul National University(首尔国立大学)
图像文本检索是一个任务,以搜索适当的文本描述的视觉世界,反之亦然。这项任务的一个挑战是输入图像和文本损坏的脆弱性。这种损坏在训练期间通常是未观察到的,并且大大降低了检索模型决策质量。在本文中,我们提出了一种新的图像文本检索技术,称为鲁棒视觉语义嵌入(RVSE),它包括新的基于图像和基于文本的增强技术,称为图像(SPAugI)和文本(SPAugT)的语义保持增强。由于SPAugI和SPAugT以保留其语义信息的方式改变原始数据,因此我们强制特征提取器生成语义感知的嵌入向量,而不管损坏情况如何,从而显着提高模型的鲁棒性。从大量的实验使用基准数据集,我们表明,RVSE优于传统的检索方案的图像-文本检索性能。
2023-03-10 cs.CV
ClipTTT: CLIP-Guided Test-Time Training Helps LVLMs See Better
Max Planck Institute for Informatics, Saarland Informatics Campus(马克斯·普朗克信息学研究所,萨尔兰信息学园区)
本文提出ClipTTT方法,通过CLIP模型的图像-文本对齐能力,在测试时引导LVLMs适应退化条件,减少幻觉并提升描述准确性。
2026-03-27 cs.CV
RobustNav: Towards Benchmarking Robustness in Embodied Navigation
Georgia Tech(佐治亚理工学院);Allen Institute of AI(艾伦人工智能研究所);University of Washington(华盛顿大学)
作为一种尝试对评估的鲁棒性的具身导航代理,我们提出RobustNav,一个框架,量化的性能时,暴露于各种各样的视觉影响RGB输入-和动态-影响过渡动态-腐败的具身导航代理。视觉导航的最新努力通常集中在推广到具有相似外观和动态特性的新目标环境。与RobustNav,我们发现,一些标准的具身导航代理显着表现不佳(或失败)的视觉或动态腐败的存在。我们系统地分析了这种代理人在腐败情况下的行为所表现出的特质。最后,对于RobustNav中的视觉损坏,我们表明,虽然提高鲁棒性的标准技术(如数据增强和自监督自适应)提供了一些zero-shot阻力和导航性能的改善,但相对于干净的“非损坏”设置,在恢复丢失的性能方面还有很长的路要走,需要在这个方向上进行更多的研究。我们的代码可在https://github.com/allenai/robustnav上获得
2021-06-08 cs.CV cs.RO
Readout is not Recovery: Dissociating Coordinate Emission from Visual-Corruption Repair in Vision-Language Models
本研究通过Qwen3-VL和Kimi-VL实验,发现坐标令牌读出与视觉损坏修复在层间解离,端点坐标分流可作为电路先验,但遮挡恢复需独立基准。
2026-09-29 cs.AI cs.CV cs.LG
$C^3$ASD: Multi-Level Consistency-Driven Representation Learning for Robust Active Speaker Detection
Chung-Ang University(中央大学)
研究视频中活跃说话者检测问题,提出$C^3$ASD框架,含嵌入级、序列级和预测级一致性约束,提升跨模态表示鲁棒性,在多种损坏下有显著改进。
2026-09-29 cs.CV cs.SD
Towards Robust 2D Convolution for Reliable Visual Recognition
The Hong Kong Polytechnic University(香港理工大学);Xidian University(西安电子科技大学)
2D卷积(Conv 2d)负责从输入图像中提取特征,是卷积神经网络(CNN)的关键模块之一。然而,Conv 2d容易受到图像损坏和对抗性样本的影响。能否设计一种更健壮的Conv 2d替代方案来实现更可靠的特征提取是一个重要但很少研究的问题。在本文中,受最近开发的可学习稀疏变换的启发,学习将CNN特征转换为紧凑和稀疏的潜在空间,我们设计了一种新的构建块,表示为RConv-MK,以加强提取的卷积特征的鲁棒性。我们的方法利用一组不同大小的可学习内核来提取不同频率的特征,并采用归一化软阈值算子来自适应地去除不同腐败级别的噪声和琐碎特征。对干净图像、受损图像以及对抗性样本的大量实验验证了所提出的鲁棒模块的有效性,以实现可靠的视觉识别。源代码随附在提交材料中。
2022-03-18 cs.CV
Can Self-Supervised Representation Learning Methods Withstand Distribution Shifts and Corruptions?
Luleå Tekniska Universitet(吕勒奥理工大学);Fraunhofer Heinrich-Hertz-Institut(弗劳恩霍夫海因里希·赫兹研究所)
本文通过实验系统评估自监督表示学习方法在分布偏移和图像损坏下的鲁棒性,发现偏移与损坏越严重则所学表示性能下降越明显,并呼吁未来研究优先关注安全性与鲁棒性。
2023-08-11 cs.CV
Towards Blind Bitstream-corrupted Video Recovery via a Visual Foundation Model-driven Framework
School of EEE, Nanyang Technological University(南洋理工大学电子工程系);School of EIC, Huazhong University of Science and Technology(华中科技大学电子信息学院);Dept. of EEE, The Hong Kong Polytechnic University(香港理工大学电子工程系)
针对现有码流损坏视频恢复方法需手动标注损坏区域、残差信息易误导恢复的问题,提出融合视觉基础模型的盲恢复框架,含DAC损坏检测模型与CFC特征补全模块,无需手动掩码即可实现优异恢复性能。
2025-07-30 cs.AI cs.CV cs.MM
Processing and acquisition traces in visual encoders: What does CLIP know about your camera?
The University of Osaka(大阪大学);VRG, FEE, Czech Technical University in Prague(捷克理工大学电气工程学院视觉识别组)
研究分析了视觉编码器对图像获取过程参数的编码能力,发现这些参数能影响语义预测,取决于其与语义标签的相关性。
2026-04-01 cs.CV
NSA: Naturalistic Support Artifact to Boost Network Confidence
University of British Columbia(不列颠哥伦比亚大学);TrojAI Inc.(TrojAI公司);Western University(韦仕敦大学)
本文提出自然主义支持伪影(NSA),通过DC-GAN生成高保真自然外观物体,在不访问模型参数时提升视觉AI对自然损坏和对抗攻击的鲁棒性,实验显示预测置信度提升四倍,对抗准确率平均提高8%。
2023-07-27 cs.CV cs.LG
Robust Group Synchronization via Quadratic Programming
Princeton University(普林斯顿大学);University of Minnesota(明尼苏达大学)
我们提出了一种新的二次规划公式估计腐败水平组同步,并使用这些估计来解决这个问题。我们的目标函数利用组的周期一致性,因此我们将我们的方法称为结构一致性检测和估计(DESC)。这个一般框架可以扩展到其他代数和几何结构。我们的公式具有以下优点:它可以容忍高达信息理论界的腐败,它不需要一个很好的初始化组元素的估计,它有一个简单的解释,并在一些温和的条件下,我们的目标函数的全局最小值正好恢复腐败水平。我们证明了我们的方法在合成和真实数据实验旋转平均的竞争力的准确性。
2022-06-17 cs.CV cs.LG cs.NA
A Comprehensive Study of Image Classification Model Sensitivity to Foregrounds, Backgrounds, and Visual Attributes
University of Maryland(马里兰大学);NVIDIA(英伟达)
虽然具有单标签监督的数据集推动了图像分类的快速发展,但为了定量评估模型如何进行预测,还需要额外的注释。为此,对于ImageNet样本的子集,我们收集整个对象的分割掩码和$18$信息属性。我们将此数据集称为RIVAL 10(带有本地化的RIch视觉属性),它大致由$10$类上的$26k$实例组成。使用RIVAL 10,我们评估了一系列广泛的模型对前景,背景和属性中噪声污染的敏感性。在我们的分析中,我们考虑了各种最先进的架构(ResNets,Transformers)和训练过程(CLIP,Simplified,DeiT,对抗训练)。我们发现,有点令人惊讶的是,在ResNets中,对抗性训练使模型对背景比对前景更敏感。同样,对比训练的模型在Transformers和ResNet中也具有较低的相对前景敏感度。最后,我们观察到有趣的自适应能力的Transformers,以增加相对前景灵敏度的腐败水平的增加。使用显着性方法,我们自动发现驱动模型的背景敏感性的虚假特征,并评估显着性图与前景的对齐。最后,我们定量地研究了神经功能的属性问题,通过比较特征显着性与地面实况本地化的语义属性。
2022-01-26 cs.CV
A simple way to make neural networks robust against diverse image corruptions
University of Tübingen(蒂宾根大学);International Max Planck Research School for Intelligent Systems(国际马克斯·普朗克智能系统研究学院)
人类的视觉系统对各种自然发生的变化和破坏(如雨或雪)非常强大。相比之下,现代图像识别模型的性能大大降低时,以前看不见的腐败进行评估。在这里,我们证明了一个简单但经过适当调整的加性高斯和斑点噪声训练可以令人惊讶地很好地推广到看不见的腐败,很容易达到腐败基准ImageNet-C(使用ResNet 50)和MNIST-C的最新技术水平。我们建立在这些强大的基线结果之上,并表明针对不相关的最坏情况噪声分布的识别模型的对抗性训练会导致性能的额外提高。这种正则化可以与以前提出的防御方法相结合,以进一步改进。
2020-07-22 cs.CV cs.LG stat.ML
Visual-Aware CoT: Achieving High-Fidelity Visual Consistency in Unified Models
The Hong Kong University of Science and Technology(香港科技大学);Kling Team, Kuaishou Technology(快手科技 Kling 团队)
本文提出视觉感知的CoT方法,通过自适应视觉规划和迭代视觉修正提升统一模型的多模态生成能力,实现更高的视觉一致性。
2025-12-22 cs.CV
Effective and Robust Adversarial Training against Data and Label Corruptions
School of Information Technology & Electrical Engineering, the University of Queensland(昆士兰大学信息技术与电气工程学院);School of Software, Shandong University(山东大学软件学院)
针对数据扰动与标签噪声共存问题,提出ERAT框架,通过混合对抗训练和类别重平衡的半监督样本选择提升模型鲁棒性,实验验证其优越性。
2024-05-07 cs.CV cs.LG
Robust-U1: Can MLLMs Self-Recover Corrupted Visual Content for Robust Understanding?
University of Science and Technology of China(中国科学技术大学)
提出Robust-U1框架,通过监督微调、强化学习和多模态推理,使多模态大模型具备显式视觉自恢复能力,在真实和对抗性损坏下达到最先进鲁棒性。
2026-06-06 cs.AI cs.CL cs.CV
Improving Robustness of Vision-Language-Action Models by Restoring Corrupted Visual Inputs
Department of Electronics, Information, and Bioengineering(电子信息与生物工程系)
本研究提出CRT模块,通过对抗训练恢复损坏的视觉输入,提升VLA模型在现实环境中的鲁棒性与性能稳定性。
2026-02-01 cs.CV cs.RO
Generalizable Image Repair for Robust Visual Control
University of Florida AI Scholars Program(佛罗里达大学人工智能学者计划);Trustworthy Engineered Autonomy (TEA) Lab(可信工程自主性实验室);Department of Electrical and Computer Engineering(电气与计算机工程系)
针对视觉控制中图像损坏导致感知退化、现有方法泛化性差的问题,提出结合CycleGAN与pix2pix、引入控制导向损失的实时图像修复模块,在模拟赛车环境中显著提升了鲁棒性与控制性能。
2025-07-31 cs.CV cs.RO
Understanding Robustness of Visual State Space Models for Image Classification
School of Computer Science, University of Sydney(悉尼大学计算机科学学院)
本文系统研究视觉状态空间模型VMamba的鲁棒性,发现其对抗鲁棒性优于Transformer但存在可扩展性弱点,并揭示其新颖组件的脆弱性与防御能力。
2024-03-16 cs.CV
Combining Different V1 Brain Model Variants to Improve Robustness to Image Corruptions in CNNs
University of California, Davis(加州大学戴维斯分校);MIT(麻省理工学院);McGovern Institute for Brain Research, MIT(麻省理工学院麦戈文脑科学研究所);Harvard University(哈佛大学);Center for Brains, Minds and Machines, MIT(麻省理工学院大脑、心智与机器中心)
虽然一些卷积神经网络(CNN)在对象分类方面已经超越了人类的视觉能力,但它们往往难以识别被不同类型的常见噪声模式破坏的图像中的对象,这突出了这一系列模型的主要局限性。最近,研究表明,在CNN前端模拟初级视觉皮层(V1)会导致对这些图像扰动的鲁棒性略有改善。在这项研究中,我们首先观察到,V1模型的不同变体显示出特定腐败类型的收益。然后,我们使用集成技术构建一个新模型,该技术将多个单独的模型与不同的V1前端变体相结合。该模型集成利用了每个模型的优势,从而显著提高了所有腐败类别的鲁棒性,平均比基础模型高出38%。最后,我们表明,使用蒸馏,它是可能的部分压缩集成模型中的知识到一个单一的模型与V1前端。虽然这里使用的集成和蒸馏技术在生物学上几乎不合理,但这里给出的结果表明,通过结合V1中不同神经元回路的特定强度,可以提高CNN对各种扰动的鲁棒性。
2021-12-07 cs.CV eess.IV q-bio.NC
Towards Dependable Optical Flow: Benchmarks for Real-World Spatiotemporal Corruptions
Zhejiang University(浙江大学);Hunan University(湖南大学)
本文针对光流估计缺乏常见损坏鲁棒性评测的问题,提出7种时序损坏和17种单图像损坏,构建KITTI-FC与GoPro-FC基准及三项鲁棒性指标,评估29个模型变体并给出设计建议。
2026-10-14 cs.CV cs.RO eess.IV
How Robust is OCR-Reasoning? Evaluating OCR-Reasoning Robustness of Vision-Language Models under Visual Perturbations
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);Engineering Research Center of Knowledge-Driven Human-Machine Intelligence, MOE, China(教育部知识驱动人机智能工程研究中心);International Center of Future Science, Jilin University(吉林大学未来科学国际合作中心)
提出OCR-Robust基准,通过5种扰动类型和3种严重程度评估18个VLM在OCR推理任务上的鲁棒性,发现高干净精度不保证强鲁棒性,图表比文档更脆弱。
2026-06-25 cs.CL cs.CV
Rotation Adaptive Visual Object Tracking with Motion Consistency
Indian Institute of Space Science and Technology(印度空间科学技术研究院)
视觉目标跟踪的研究在过去的几年里有了很大的发展。跟踪范式中的检测跟踪方法的出现在许多方面都相当成功。最近,深度卷积神经网络已被广泛用于大多数成功的跟踪器。然而,标准方法是基于相关性或特征选择,对运动一致性考虑最少。因此,仍然需要通过运动一致性来捕获各种物理约束,这将提高准确性、鲁棒性以及更重要的旋转适应性。因此,本文的一个主要方面是研究旋转自适应视觉目标跟踪的结果。在其他关键贡献中,该论文还包括各种不同的方法,这些方法在许多具有挑战性的序列中比当前最先进的方法非常有效。
2017-11-22 cs.CV
Be Consistent! Enhancing Robust Visual Reasoning in LVLMs with Consistency Constraints
University of Texas at Dallas(德克萨斯大学达拉斯分校);Amazon Web Services(亚马逊网络服务公司)
研究针对LVLMs在视觉推理任务中较脆弱的问题,引入ConVBench基准及逻辑一致性等评估指标,提出ConVLM,通过基于GRPO的强化学习及一致性奖励改进LVLM推理,利用自动生成的问答对和双重奖励设计提升模型表现。
2026-07-27 cs.CV
RoboDepth: Robust Out-of-Distribution Depth Estimation under Corruptions
National University of Singapore(新加坡国立大学);Huazhong University of Science and Technology(华中科技大学);Carnegie Mellon University(卡内基梅隆大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);IPAL, CNRS IRL 2955(法国国家科学研究中心国际联合实验室2955(IPAL));CerCo, CNRS UMR 5549, Université Toulouse III(图卢兹第三大学法国国家科学研究中心混合研究单位5549(CerCo))
本文提出鲁棒性测试套件 RoboDepth,涵盖 18 种损坏类型,对 42 个深度估计模型在室内外场景下的抗损坏能力进行基准测试,并探讨预训练、数据增强、模态等因素对模型鲁棒性的影响,为推进分布外深度估计提供基础平台。
2023-10-23 cs.CV cs.RO
Temporal Knowledge Consistency for Unsupervised Visual Representation Learning
Megvii Technology(旷视科技)
实例判别范式在无监督学习中已成为主流。它总是采用一种师生框架,在这种框架中,教师提供嵌入式知识作为对学生的监督信号。学生学习有意义的表征,通过实施实例空间一致性与教师的意见。然而,在不同的训练阶段,教师的输出可能会在同一实例上发生巨大变化,从而引入意想不到的噪音,并导致由不一致的目标引起的灾难性遗忘。本文首先将实例的时间一致性问题融入到现有的实例判别范式中,提出了一种新的强有力的时间知识一致性算法(TKC)。具体来说,我们的TKC动态地集成时态教师的知识和自适应地选择有用的信息,根据其重要性学习实例的时间一致性。实验结果表明,TKC在ResNet和AlexNet上都能在线性评估协议上学习到更好的视觉表示,并能很好地转移到下游任务。实验结果表明,该方法具有较好的有效性和推广性.
2021-08-24 cs.CV
Logical Implications for Visual Question Answering Consistency
University of Bern(伯尔尼大学)
尽管视觉问答(VQA)模型最近取得了相当大的进展,但不一致或矛盾的答案继续对其真正的推理能力产生怀疑。然而,大多数提出的方法使用间接策略或强假设对问题和答案,以加强模型的一致性。相反,我们提出了一种新的策略,旨在通过直接减少逻辑不一致来提高模型性能。为此,我们引入了一个新的一致性损失术语,该术语可以被广泛的VQA模型使用,并且依赖于知道问题和答案对之间的逻辑关系。虽然这样的信息通常是不可用的VQA数据集,我们建议推断这些逻辑关系,使用一个专用的语言模型,并使用这些在我们提出的一致性损失函数。我们在VQA Introspect和DME数据集上进行了广泛的实验,并表明我们的方法为最先进的VQA模型带来了改进,同时在不同的架构和设置中具有鲁棒性。
2023-03-16 cs.CV
Cross-Hierarchical Bidirectional Consistency Learning for Fine-Grained Visual Classification
University of Science and Technology of China(中国科学技术大学);Key Laboratory of the Ministry of Education for Mathematical Foundations and Applications of Digital Technology(教育部数学基础与数字技术应用重点实验室)
针对细粒度视觉分类中类间差异小、类内差异大的问题,提出跨层级双向一致性学习框架,利用树层级关系并通过双向一致性损失提升分类准确性与一致性。
2025-04-18 cs.CV
Style-Hallucinated Dual Consistency Learning: A Unified Framework for Visual Domain Generalization
National University of Singapore(新加坡国立大学);Singapore University of Technology and Design(新加坡科技设计大学);University of Trento(特伦托大学);University of Nottingham(诺丁汉大学)
提出统一框架SHADE,通过风格一致性、回溯一致性约束及风格幻觉模块生成多样化样本,显著提升图像分类、分割和检测等视觉任务的域泛化能力。
2023-11-24 cs.CV
DFD-Lab: A Modular Audio-Visual Deepfake Detection Pipeline
Warsaw University of Technology(华沙理工大学)
提出DFD-Lab模块化流水线,集成三种音视频深度伪造检测器,通过实验揭示训练增强提升AUROC但降低准确率,强调跨数据集检测挑战及指标互补性。
2026-09-22 cs.CV cs.SD
ConsistI2V: Enhancing Visual Consistency for Image-to-Video Generation
University of Waterloo(滑铁卢大学);Vector Institute(矢量研究所)
ConsistI2V通过第一帧时空注意力与低频带噪声初始化增强图像到视频生成的视觉一致性,并提出I2V-Bench基准验证其优越性。
2024-07-01 cs.CV
Self-supervised Visual-LiDAR Odometry with Flip Consistency
Zhejiang University(浙江大学);Zhejiang Lab(之江实验室)
大多数基于学习的方法通过利用视觉传感器来估计自我运动,这会受到剧烈的照明变化和无纹理场景的影响。在本文中,我们将稀疏但准确的深度测量激光雷达获得克服视觉方法的局限性。为此,我们设计了一个自我监督的视觉激光雷达测距(Self-VLO)框架。它将单目图像和从3D激光雷达点投影的稀疏深度图作为输入,并以端到端学习的方式产生姿态和深度估计,而不使用任何地面实况标签。为了有效地融合两种模式,我们设计了一个双通道编码器,从视觉和深度图像中提取特征,并通过我们的融合模块将编码特征与解码器中的特征在多个尺度上融合。我们还采用了连体结构,并设计了一个自适应加权翻转一致性损失,以促进我们的VLO的自监督学习。在KITTI里程计基准上的实验表明,该方法优于所有自监督视觉或激光雷达里程计。它的性能也优于完全监督的VO,展示了融合的力量。
2021-01-05 cs.CV
CANVAS: Consistency-Aware Navigation via Visual Adaptive Sampling for Long-Context Text-to-SVG Generation
University of Nottingham(诺丁汉大学);Lancaster University(兰卡斯特大学);Peking University(北京大学)
本文提出无训练的CANVAS框架,通过视觉自适应采样提升长上下文文本到SVG生成的全局一致性,无需额外训练即可在多基准上取得良好效果。
2026-09-01 cs.CV
Adaptive Visual Conditioning for Semantic Consistency in Diffusion-Based Story Continuation
School of Computer Engineering, Iran University of Science and Technology(伊朗科学技术大学计算机工程学院)
AVC框架通过自适应控制先前视觉在扩散过程中的影响,并利用CLIP检索和重新标注数据,提升了故事续写的语义一致性与视觉保真度。
2025-10-15 cs.CV
DICS: Exploring Data Intrinsic Consistency for Visual Instruction Selection
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);MAIS, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Alibaba Token Hub, Alibaba Group(阿里巴巴集团)
提出基于数据内在一致性(DIC)的自适应视觉指令选择方法DICS,仅用25%数据就超越现有最优方法,还构建600万样本语料库,用不足25%训练数据达到InternVL3-8B-Instruct的94.52%性能
2026-09-03 cs.CV
Joint Visual and Temporal Consistency for Unsupervised Domain Adaptive Person Re-Identification
Peking University(北京大学)
由于源域和目标域之间存在较大的域间隙,以及目标域上标记数据的缺乏,无监督域自适应人员重新识别(ReID)具有挑战性。本文通过结合局部单热分类和全局多类分类来联合执行视觉和时间一致性来应对这一挑战。局部独热分类算法在一个训练批中分配不同的人物ID,然后采用自适应分类(SAC)模型对它们进行分类。全局多类分类是通过使用基于记忆的时间引导聚类(MTC)在整个未标记的训练集上预测标签来实现的。MTC通过考虑视觉相似性和时间一致性来预测多类标签,以确保标签预测的质量。这两个分类模型结合在一个统一的框架中,有效地利用了未标记的数据进行区分性特征学习。在三个大规模ReID数据集上的实验结果表明,该方法在无监督和无监督域自适应ReID任务中均具有较好的性能.例如,在无监督设置下,我们的方法优于最近的无监督域自适应方法,后者利用更多的标签进行训练。
2020-07-21 cs.CV
The Price of Consistency: Exploiting Visual Anchors for Multimodal Jailbreaking in Video Generation
University of Chinese Academy of Sciences(中国科学院大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Hunan University(湖南大学);Beijing University of Posts and Telecommunications(北京邮电大学)
本文揭示视频生成中参考图像作为视觉锚点会阻止内容偏离有害意图从而增加安全风险,提出免训练多模态越狱框架DIVA,通过解耦意图和双标准选择实现高攻击成功率,并贡献首个多条件视频生成安全基准TI2VSafetyBench。
2026-09-09 cs.CV
Sparse Coding and Counting for Robust Visual Tracking
Dalian University of Technology(大连理工大学)
本文提出了一种新的稀疏编码和计数方法下的贝叶斯框架下的视觉跟踪。与现有方法相比,该方法采用L0和L1范数的组合来正则化增量更新线性基的线性系数。稀疏性约束使跟踪器能够有效地处理困难的挑战,例如遮挡或图像损坏。为了实现实时处理,我们提出了一个快速有效的数值算法求解所提出的模型。虽然这是一个NP难问题,建议加速邻近梯度(APG)的方法是保证快速收敛到一个解决方案。此外,我们提供了一个封闭的解决方案,结合L0和L1正则化表示,以获得更好的稀疏性。在具有挑战性的视频序列上的实验结果表明,该方法在准确性和速度上都达到了最先进的结果。
2016-05-28 cs.CV
Do 3D Medical Foundation Models See Through MRI Artifacts? A Controlled Study of Representation Robustness
Pioneer Centre for AI, University of Copenhagen(哥本哈根大学先锋人工智能中心)
本文对照评估五种三维医学基础模型的表示鲁棒性,发现其鲁棒性与模型及伪影类型相关,部分模型对伪影更敏感,仅靠大规模预训练无法保证伪影不变性,需部署前评估鲁棒性。
2026-08-10 cs.AI cs.CV
Benchmarking Answer-Grounding Consistency in Remote Sensing Visual Question Answering
Waseda University(早稻田大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Dalian University of Technology(大连理工大学)
该研究针对遥感视觉问答中答案与证据一致性评估的缺失问题,提出AESP协议并构建G-RSVQA基准,实验发现7个模型在三类问题中均存在证据支持失败的情况。
2026-10-12 cs.CV
Modularity Trumps Invariance for Compositional Robustness
Massachusetts Institute of Technology(麻省理工学院);Artificial Intelligence Laboratory(人工智能实验室);Fujitsu Limited(富士通有限公司);Fujitsu Research of America, Inc.(美国富士通研究公司)
针对视觉场景组合鲁棒性需求,构建组合图像分类任务,发现增强不变性提升有限,提出模块化架构实现更优组合鲁棒性,且分布内损坏表征不变性与分布外组合鲁棒性无相关性。
2023-06-15 cs.AI cs.CV cs.LG
TerraVis: Towards Evaluation of World-Grounded Visual Consistency in Text-to-Image Generation via MLLM Workflows
AIML, Adelaide University(阿德莱德大学AIML);xAI;Responsible AI Research Centre(负责任AI研究中心)
针对文生图模型生成图像违反现实世界合理性的问题,提出TerraVis框架,通过结构化分类体系和MLLM多阶段评估量化世界一致性违规,在多个模型和基准上达到与人类判断最强相关性,补充了传统评估指标。
2026-10-27 cs.CV
Video Representation Learning with Visual Tempo Consistency
The Chinese University of Hong Kong(香港中文大学);Nanyang Technological University(南洋理工大学)
描述动作速度的视觉节奏在监督动作识别中显示出了其潜力。在这项工作中,我们表明,视觉节奏也可以作为一个自我监督信号的视频表示学习。我们建议通过分层对比学习(VTHCL)最大限度地提高慢视频和快视频表示之间的互信息。具体来说,通过分别以慢帧速率和快帧速率对同一实例进行采样,我们可以获得共享相同语义但包含不同视觉节奏的慢视频帧和快视频帧。在UCF-101(82.1%)和HMDB-51(49.2%)上,从VTHCL学习的视频表示在动作识别的自我监督评估协议下达到了竞争性能。此外,全面的实验表明,学习到的表示可以很好地推广到其他下游任务,包括AVA上的动作检测和Epic-Kitchen上的动作预测。最后,我们提出实例对应图(ICM)可视化共享语义捕获的对比学习。
2020-12-18 cs.CV
Beyond Photometric Consistency: Gradient-based Dissimilarity for Improving Visual Odometry and Stereo Matching
University of Bonn(波恩大学)
姿态估计和地图构建是自主机器人的核心组成部分,通常依赖于传感器数据的配准。在本文中,我们研究了一种新的度量注册的图像,建立在光度误差的想法。我们的方法结合了梯度方向为基础的度量与幅度相关的缩放项。我们集成到立体声估计以及视觉里程计系统,并显示出明显的优势,典型的差距和直接图像配准任务时,使用我们提出的度量。我们的实验评估表明,我们的度量导致更强大,更准确的估计场景深度以及相机轨迹。因此,该度量提高了相机姿态估计,进而提高了移动机器人的映射能力。我们相信,一系列现有的视觉里程计和视觉SLAM系统可以受益于本文报道的研究结果。
2020-04-08 cs.CV
Edge Reliability Gap in Vision-Language Models: Quantifying Failure Modes of Compressed VLMs Under Visual Corruption
Marmara University, Institute of Pure and Applied Sciences(马尔马拉大学纯科学与应用科学研究所)
本文比较了压缩的视觉-语言模型在视觉损坏下的失败模式,发现紧凑模型在COCO上表现出更高的语义漂移和对象盲区,且置信度校准存在显著差异。
2026-03-24 cs.AI cs.CV
Cycle-Consistency Uncertainty Estimation for Visual Prompting based One-Shot Defect Segmentation
AI Tech Team, LG Energy Solution(LG能源解决方案 AI技术团队)
针对视觉提示方法在工业缺陷检测中的过度自信问题,提出基于循环一致性的不确定性估计方法,通过计算恢复提示掩码与原始掩码的mIoU量化不确定性,在VISION24挑战赛中取得0.9175的良率。
2024-09-21 cs.CV
JVID: Joint Video-Image Diffusion for Visual-Quality and Temporal-Consistency in Video Generation
Imperial College London(伦敦帝国学院);Friedrich-Alexander-Universität(弗里德里希-亚历山大大学);University of Birmingham(伯明翰大学)
JVID通过联合潜在图像扩散模型与潜在视频扩散模型,在反向扩散过程中兼顾视觉质量与时间一致性,从而提升视频生成效果。
2024-09-27 cs.CV
Consistency and Uncertainty: Identifying Unreliable Responses From Black-Box Vision-Language Models for Selective Visual Question Answering
Northeastern University(东北大学)
针对黑盒视觉-语言模型无法访问内部或重训练的问题,提出用小代理模型近似采样问题邻域,并依据邻域一致性识别不可靠回答,支持选择性视觉问答。
2024-04-16 cs.CV
FreeStory: Training-Free Character Consistency for Free-Form Visual Storytelling
Department of Computer Science, Georgetown University(乔治城大学计算机科学系)
提出FreeStory框架,通过实体锚定的特征复用,在自由形式提示下实现角色一致性,无需训练,并引入FreeStoryBench基准。
2026-07-07 cs.CV
Learning from Untrimmed Videos: Self-Supervised Video Representation Learning with Hierarchical Consistency
Huazhong University of Science and Technology(华中科技大学);National University of Singapore(新加坡国立大学);Alibaba Group(阿里巴巴集团)
自然视频为自监督学习提供了丰富的视觉内容。然而,大多数现有的方法学习时空表示依赖于手动修剪的视频,导致有限的多样性的视觉模式和有限的性能增益。在这项工作中,我们的目标是通过利用未经修剪的视频中更丰富的信息来学习表示。为此,我们建议学习视频中的视频的层次结构,即,视觉一致性和主题一致性,分别对应于当被短时间间隔分开时倾向于视觉上相似的剪辑对和当被长时间间隔分开时共享相似主题的剪辑对。具体而言,分层一致性学习框架HiCo,其中视觉上一致的对被鼓励具有相同的表示通过对比学习,而主题一致的对耦合通过主题分类器,区分它们是否是主题相关的。此外,我们提出了一个渐进的采样算法的层次一致性学习,并证明了其理论上的优越性。从经验上讲,我们表明,不仅HiCo可以生成更强的表示未修剪的视频,它也提高了表示质量时,应用到修剪的视频。这与标准的对比学习形成对比,标准的对比学习不能从未经修剪的视频中学习适当的表示。
2022-04-06 cs.CV
Rethinking Visual Prompt Learning as Masked Visual Token Modeling
Shanghai Jiao Tong University(上海交通大学);Huawei Inc.(华为公司);Soochow University(苏州大学)
该研究提出基于生成式预训练视觉模型的VPTM方法,将下游视觉分类重构为掩码视觉令牌预测任务,搭配原型言语化器实现标签映射,性能优于现有视觉提示方法且鲁棒性、效率优异。
2023-12-15 cs.CV
Cycle-Consistency for Robust Visual Question Answering
Facebook AI Research(脸书人工智能研究院);Georgia Institute of Technology(佐治亚理工学院)
尽管这些年来在视觉问答方面取得了显著的进步,但今天的VQA模型的鲁棒性还有很多需要改进的地方。我们介绍了一个新的评估协议和相关的数据集(VQA-Rephrasings),并表明,最先进的VQA模型是出了名的脆弱的语言变化的问题。VQA-Rephrasings包含3个人工提供的Rephrasings,涉及VQA v2.0验证数据集的40 k个图像的40 k个问题。作为提高VQA模型鲁棒性的一步,我们提出了一个利用周期一致性的模型不可知框架。具体来说,我们训练模型,使其不仅回答问题,而且还生成以答案为条件的问题,使得针对所生成的问题预测的答案与原始问题的基本事实答案相同。在不使用额外注释的情况下,我们表明,当在VQA-Rephrasings数据集上进行评估时,我们的方法对语言变化的鲁棒性比最先进的VQA模型要高得多。此外,在具有挑战性的VQA v2.0数据集上,我们的方法在标准VQA和可视化问题生成任务上的表现优于最先进的方法。
2019-02-15 cs.CV
DiTailed: Ensuring Visual Object Consistency in Text-Image-to-Image Flow Matching Models
Amazon(亚马逊);Faculty(学院)
研究文本引导图像编辑中生成模型视觉对象一致性问题,提出ABO-Edit数据集,发现图像编辑整流流模型条件嵌入空间特性,进而提出FlowMirror无参数辅助损失,无需架构改变提升了生成质量。
2026-07-15 cs.CV