Estimating the Robustness Radius for Randomized Smoothing with 100$\times$ Sample Efficiency
Fraunhofer IKS(弗劳恩霍夫智能与通信系统研究所);National Technical University of Athens(雅典国家技术大学);Chalmers University of Technology(查尔姆斯理工大学)
本文提出一种方法,通过将样本数量减少一到两个数量级,在相同置信度下仍能计算出略小的鲁棒性半径(约20%减小),从而以100倍样本效率估计随机平滑的鲁棒性。
2024-04-26 cs.CV cs.LG
Adversarial Robustness as a Prior for Learned Representations
MIT(麻省理工学院)
深度学习的一个重要目标是学习输入数据的通用、高级特征表示。然而,标准网络的表示似乎具有缺点,正如我们所示,阻止他们完全实现这一目标。在这项工作中,我们证明了鲁棒优化可以重新作为一种工具,用于在深度神经网络学习的特征上执行先验。事实证明,通过鲁棒模型学习的表示解决了上述缺点,并在学习输入的高级编码方面取得了重大进展。特别是,这些表示是近似可逆的,同时允许显着输入特征的直接可视化和操纵。更广泛地说,我们的研究结果表明对抗鲁棒性是改进学习表示的一个有前途的途径。我们用于重现这些结果的代码和模型可在https://git.io/robust-reps上获得。
2019-09-27 cs.CV cs.LG cs.NE
Improving Multi-generation Robustness of Learned Image Compression
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
学习图像压缩(LIC)由于其灵活的网络设计和端到端的联合优化方法,近年来表现出了优异的编码性能和实际可行性。然而,现有的压缩模型遭受严重的多代损失,这总是发生在图像编辑和转码。在反复编解码的过程中,图像质量会迅速下降,产生各种失真,极大地限制了LIC的实际应用。本文对连续图像压缩(SIC)中产生损失的原因进行了深入的分析。指出并解决了影响SIC的量化漂移问题,提出了可逆性损失函数和信道松弛方法,进一步降低了产生损失。实验表明,通过使用我们提出的解决方案,LIC可以达到相当的性能,即使在50倍的重新编码后,没有任何改变的网络结构的BPG的第一次压缩。
2022-10-31 cs.CV eess.IV
Failure Cases Are Better Learned But Boundary Says Sorry: Facilitating Smooth Perception Change for Accuracy-Robustness Trade-Off in Adversarial Training
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州))
本文发现对抗训练中困难样本过度学习导致决策边界退化,提出鲁棒感知目标及RPAT方法,促进感知平滑变化,缓解精度-鲁棒性权衡,在多个数据集上超越现有方法。
2025-08-04 cs.CV
Deep CNN Frame Interpolation with Lessons Learned from Natural Language Processing
University of Southern California(南加州大学)
深度学习的一个主要发展领域是卷积神经网络的研究和实现。深度学习社区对图像识别中卷积神经网络(CNN)的鲁棒性的一般解释基于CNN能够提取局部特征的想法。然而,自然语言处理等领域的最新发展表明,这种范式可能是不正确的。在本文中,我们分析了该领域的现状有关CNN的,并提出了一个假设,提供了一个新的解释的鲁棒性的CNN模型。从那里,我们展示了我们的方法的有效性,提出了新的深度CNN帧插值架构,这是与最先进的插值模型的复杂性的一小部分。
2018-09-17 cs.CV
Improving Robustness of Feature Representations to Image Deformations using Powered Convolution in CNNs
Tohoku University(东北大学)
在这项工作中,我们解决了使用卷积神经网络(CNN)学习图像变形的特征表示的鲁棒性提高的问题。我们认为,更高的矩统计特征分布可能会转移,由于图像变形,和移位导致性能下降,不能减少普通的归一化方法在实验分析中观察到的。为了减弱这种影响,我们通过将幂函数与可学习参数结合到卷积运算中,在CNN中应用额外的非线性。在实验中,我们观察到采用所提出的方法的CNN在使用大规模基准数据集的各种类型的变形下的泛化性能和鲁棒性都得到了显着的提高。例如,与参考模型相比,配备了所提出的方法的模型在使用变形图像的Pascal Voc目标检测任务中的mAP中获得了3.3%的性能提升,而两种模型使用原始图像提供相同的性能。据我们所知,这是第一项研究使用CNN学习的深度特征对对象识别和检测的各种变形的鲁棒性的工作。
2017-07-25 cs.CV
DaliID: Distortion-Adaptive Learned Invariance for Identification Models
University of Colorado, Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校);Universidade Estadual de Campinas(坎皮纳斯州立大学)
在不受约束的场景中,人脸识别和人员重新识别会受到诸如运动模糊、大气湍流或上采样伪影等失真的影响。为了提高在这些情况下的鲁棒性,我们提出了一种称为失真自适应学习不变性识别(DaliID)模型的方法。我们认为,失真增强,降低图像质量,可以成功地利用到更大的程度比文献中所示。借助于自适应加权计划,在训练过程中,在严重的水平上应用一种新的失真增强。这种训练策略增加了特征级对失真的不变性,并减少了向无约束场景的域转移。在推理时,我们使用来自并行模型的特征的幅度加权融合来保持图像范围内的鲁棒性。DaliID模型在包括IJB-S、TinyFace、DeepChange和MSMT 17在内的七个基准数据集上实现了最先进的人脸识别和人员重新识别(SOTA)。此外,我们还提供了在750米以上距离处重新捕获的评估数据,并在真实的长距离人脸图像上进行了进一步验证。
2023-02-11 cs.CV
Beyond Local Linearity: Scale-Resolved Geometry of Learned Image Encoders
Adam Mickiewicz University in Poznań(波兹南亚当·密茨凯维奇大学);IDEAS NCBR
本文提出尺度分辨统计量,发现图像编码器特征响应随扰动增大呈平台-上升-峰值-衰减的“凸起”轮廓,该轮廓依赖训练数据与目标,标志学习塑造的表示几何。
2026-10-01 cs.CV
From Snow to Rain: Evaluating Robustness, Calibration, and Complexity of Model-Based Robust Training
MIT Lincoln Laboratory(MIT林肯实验室)
本文研究了基于模型的鲁棒训练方法,通过学习噪声变化模型生成真实腐蚀,实验表明该方法在不同腐蚀强度下表现更优,且在计算成本较低的情况下仍能保持鲁棒性。
2026-01-14 cs.CV
GC-ART: Global Learnable Second-Order Rational Tone Curves for Illumination Robustness
Microsoft(微软公司);Massachusetts Institute of Technology(麻省理工学院)
GC-ART通过全局可学习的有理色调曲线提升图像分类鲁棒性,采用轻量可微预处理模块,在CIFAR-10上实现对比度腐蚀的最佳性能。
2026-05-08 cs.CV
Toward Sub-1 kB Identity-Preserving Face Compression: A Benchmark of Codecs, a Custom Learned Codec, and Studies of Resolution, Demographic Fairness, Recompression, and Adversarial Robustness
Innovatrics(因诺维特克斯(Innovatrics))
该研究针对亚千字节人脸压缩需求,基准测试了10种编解码器,提出定制学习型编解码器,发现512字节预算下编解码器排名会变化,为身份保留人脸压缩的实际部署提供依据。
2026-08-25 cs.CV
Interpretable Computer Vision Models through Adversarial Training: Unveiling the Robustness-Interpretability Connection
Vasil Drumev High School of Mathematics and Natural Sciences(瓦西尔·德鲁梅夫数学与自然科学高等中学)
该研究通过SHAP、Integrated Gradients等局部特征重要性方法和特征可视化技术广泛检验模型,证明了对抗训练在提升计算机视觉模型鲁棒性的同时,也使其学习到的特征表示更接近真实特征且更具人类可解释性。
2023-11-19 cs.CV
Do learned representations respect causal relationships?
Michigan State University(密歇根州立大学)
数据通常有许多语义属性,这些属性之间存在因果关系。但是,数据的特定属性习得表征也尊重同样的因果关系吗?我们分三步回答这个问题。首先,我们介绍NCINet,一种从高维数据中发现观测因果关系的方法。它完全基于合成生成的表示进行训练,可以应用于真实表示,并且专门设计用于缓解两者之间的域差距。其次,我们应用NCINet来识别不同属性对的图像表示之间的因果关系,标签之间具有已知和未知的因果关系。为此,我们考虑学习图像表示来预测3D ESTA,CelebA和CASIA-WebFace数据集上的属性,我们用多个多类属性进行注释。第三,我们分析了在表示学习中,不同的设计选择对所学习表征之间潜在因果关系的影响。我们的实验表明,(1)NCINet在估计随机样本对之间的因果关系方面明显优于现有的观察因果发现方法,无论是在存在还是不存在未观察到的混淆因素的情况下,(2)在受控场景下,学习表示确实可以满足其各自标签之间的潜在因果关系,因果关系与表征的预测能力呈正相关。
2022-04-07 cs.CV
MALICE: Manipulation Attacks on Learned Image ComprEssion
Huazhong University of Science and Technology(华中科技大学);Beijing University of Posts and Telecommunications(北京邮电大学);University of Calgary(卡尔加里大学);New York University(纽约大学)
深度学习技术在图像压缩方面已经显示出有希望的结果,具有竞争力的比特率和来自压缩的潜在的图像重建质量。然而,虽然图像压缩已经朝着更高的峰值信噪比(PSNR)和更少的每像素比特数(bpp)发展,但它们对对抗图像的鲁棒性从未得到考虑。在这项工作中,我们,第一次,调查的鲁棒性的图像压缩系统中,不可感知的扰动输入图像可以沉淀显着增加其压缩的潜在的比特率。为了表征最先进的学习图像压缩的鲁棒性,我们安装白盒和黑盒攻击。我们的白盒攻击采用快速梯度符号方法对比特流的熵估计作为其比特率近似。我们提出了DCT-Net模拟JPEG压缩,具有架构简单和轻量级训练作为黑盒攻击的替代品,并实现了快速的对抗性转移。我们在六种图像压缩模型上的结果显示,每种模型都具有六种不同的比特率质量(总共36种模型),它们是惊人的脆弱,其中白盒攻击实现了高达56.326x和黑盒1.947x的bpp变化。为了提高鲁棒性,我们提出了一种新的压缩架构factorAtn,它结合了注意力模块和基本的因子分解熵模型,从而在率失真性能和对对抗攻击的鲁棒性之间取得了很好的平衡,超过了现有的学习图像压缩器。
2022-08-23 cs.AI cs.CR cs.CV
Towards Adversarial Robustness And Backdoor Mitigation in SSL
Centre for Development of Advanced Computing(高级计算开发中心)
本研究针对自监督学习(SSL)易受后门攻击的问题,提出计算高效且泛用的防御方法,结合频域增强提升对抗鲁棒性,在多基准上验证其可缓解后门攻击并维持下游任务性能。
2024-09-16 cs.CV
A Simple Algebraic Solution for Estimating the Pose of a Camera from Planar Point Features
I3S, CNRS, Université Côte d’Azur(I3S、CNRS、法国埃克塞大学);Insitut Universitaire de France(法国大学研究院);INRIA Sophia Antipolis(Sophia Antipolis INRIA);I3S Sophia Antipolis(Sophia Antipolis I3S)
本文提出一种分层代数方法,利用至少四个平面点特征及其方位测量,依次求解平面法向量、相机位置、距离和完整姿态,并通过平均化方法提升抗噪性,实验验证了其精度与鲁棒性。
2025-08-03 cs.CV cs.RO
Estimating Regression Predictive Distributions with Sample Networks
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);University of Toronto Institute for Aerospace Studies(多伦多大学航空航天研究所);University of Toronto(多伦多大学)
估计深度神经网络预测中的不确定性对于许多现实应用至关重要。一种常见的建模不确定性的方法是选择一个参数分布,并使用最大似然估计来拟合数据。选择的参数形式可能与数据生成分布拟合不佳,导致不可靠的不确定性估计。在这项工作中,我们提出了SampleNet,一个灵活的和可扩展的架构建模的不确定性,避免指定一个参数形式的输出分布。SampleNets通过定义一个经验分布来做到这一点,该分布使用的样本是用能量分数学习的,并用Sinkhorn Divergence正则化。SampleNets被证明能够很好地拟合广泛的分布,并在大规模的真实回归任务中优于基线。
2022-11-24 cs.CV cs.LG
Learned Multi-Patch Similarity
ETH Zurich(苏黎世联邦理工学院);Vuforia, PTC(PTC公司Vuforia);KU Leuven(鲁汶大学)
从场景的多个视图估计深度图是计算机视觉中的基本任务。只要有两个以上的视点可用,就面临着如何在>2个图像块之间测量相似性的非常基本的问题。令人惊讶的是,不存在直接的解决方案,相反,它是常见的回落到或多或少的两个视图相似性的鲁棒平均。受到机器学习的成功,特别是卷积神经网络的鼓舞,我们建议学习一个匹配函数,它直接将多个图像块映射到标量相似性得分。在多个多视图数据集上的实验表明,该方法优于基于两两块相似性的方法。
2017-08-21 cs.CV cs.LG
What Affects Learned Equivariance in Deep Image Recognition Models?
Delft University of Technology(代尔夫特理工大学);Synerise
本文提出改进的等变性度量方法,发现习得平移等变性与ImageNet验证准确率相关,并证实数据增强、降低模型容量和卷积归纳偏置能提升神经网络中的习得等变性。
2023-04-07 cs.AI cs.CV
Transferable Learned Image Compression-Resistant Adversarial Perturbations
Rutgers University(罗格斯大学);Vanderbilt University(范德堡大学);Tencent America(腾讯美国);Wuhan University(武汉大学)
针对基于学习的图像压缩后处理分类系统,提出基于显著性评分采样的对抗扰动生成方法,增强跨压缩模型的可迁移性。
2024-11-06 cs.CV cs.MM eess.IV
Susceptibility of Continual Learning Against Adversarial Attacks
COMSATS University Islamabad(伊斯兰堡COMSATS大学);Bacha Khan University(巴赫汗大学);Chung-Ang University(中央大学);Institute of Space Technology(空间技术研究所);Georgia State University(佐治亚州立大学)
该研究聚焦持续学习的对抗鲁棒性空白,验证三类持续学习场景下的7种主流方法均存在任意类别易被误分类为其他任务目标类别的漏洞,指出现有算法难以直接部署到真实场景。
2023-10-08 cs.CV cs.LG
A comparative evaluation of learned feature descriptors on hybrid monocular visual SLAM methods
Institute of Computing, State University of Campinas - Unicamp(坎皮纳斯州立大学计算研究所)
经典的视觉同时定位与地图构建(VSLAM)算法在机器人运动或环境过于复杂的情况下容易失效。使用深度神经网络来增强VSLAM算法最近取得了令人鼓舞的结果,我们称之为混合方法。在本文中,我们比较了不同的学习特征描述符的混合单目VSLAM方法的性能。为此,我们提出了一组实验来评估不同的环境下,相机运动,相机传感器噪声的算法的鲁棒性。在KITTI和Euroc MAV数据集上进行的实验证实,学习的特征描述符可以创建更强大的VSLAM系统。
2021-03-31 cs.CV cs.RO
On the Structures of Representation for the Robustness of Semantic Segmentation to Input Corruption
Georgia Institute of Technology(佐治亚理工学院)
语义分割是安全关键型应用的核心场景理解任务,在安全关键型应用中,对损坏输入的鲁棒性至关重要。隐式背景估计(IBE)已被证明是一种很有前途的技术,以提高语义分割模型对分布外输入的鲁棒性,几乎没有成本。在本文中,我们提供了分析,比较了使用Softmax,IBE和Sigmoid优化目标的结果,以提高对它们与鲁棒性关系的理解。作为分析的结果,我们建议将Sigmoid与IBE(SCrIBE)相结合以提高鲁棒性。最后,我们证明了SCrIBE在所有损坏和严重程度上都表现出卓越的分割性能,与IBE 40.3和Softmax Baseline 37.5相比,mIOU为42.1。
2020-09-02 cs.CV eess.IV
Generative Image Compression by Estimating Gradients of the Rate-variable Feature Distribution
University of Electronic Science and Technology of China(电子科技大学)
本文提出一种基于扩散的生成式图像压缩框架,将压缩过程重新解释为SDE控制的前向扩散路径,通过逆向神经网络直接逆转压缩过程进行重建,无需高斯噪声初始化,在多项指标上优于现有方法。
2025-05-27 cs.CV eess.IV