Leveraging Class Similarity to Improve Deep Neural Network Robustness
University of Denver(丹佛大学);University of California, Berkeley(加州大学伯克利分校)
传统上,人工神经网络(ANN)通过最小化所提供的地面实况增量分布(编码为独热向量)与ANN的预测softmax分布之间的交叉熵来训练。然而,似乎不能接受的惩罚网络之间的分类错误平等。将类“Automobile”与类“Truck”相混淆的惩罚应该小于将类“Automobile”与类“Donkey”相混淆的惩罚。为了避免这种表示问题,并学习网络中更清晰的分类边界,本文提出了一种交叉熵损失的变化,它不仅取决于样本类,而且还取决于以矩阵形式编码的类之间的数据驱动的先验“类相似性分布”。我们探索使用数据驱动方法学习类相似性分布,然后表明通过使用我们修改的相似性驱动损失进行训练,我们在多个架构和数据集上获得了略好的泛化性能,并在嘈杂的测试场景中获得了更好的性能。
2018-12-27 cs.CV
Adversarial Robustness in RGB-Skeleton Action Recognition: Leveraging Attention Modality Reweighter
Tianjin University(天津大学);Lappeenranta-Lahti University of Technology(拉彭兰塔-拉蒂理工大学);Great Bay University(大湾区大学)
本文研究RGB-骨架动作识别模型的对抗鲁棒性,提出即插即用的注意力模态重加权器(AMR),利用注意力层重新加权两种模态以学习更鲁棒特征,在NTU-RGB+D 60数据集上抵御PGD20攻击时性能提升43.77%。
2024-07-29 cs.CV
ExMap: Leveraging Explainability Heatmaps for Unsupervised Group Robustness to Spurious Correlations
UiT The Arctic University of Norway(挪威北极大学)
针对深度学习模型因伪相关产生偏差的问题,提出无监督两阶段机制ExMap,利用可解释性热力图聚类生成伪标签替代真实标签进行训练,有效提升群体鲁棒性并缓解多重捷径问题。
2024-03-20 cs.CV cs.LG
Smooth-Reduce: Leveraging Patches for Improved Certified Robustness
New York University(纽约大学);Bosch Center for AI(博世人工智能中心)
随机平滑(RS)已被证明是一种快速,可扩展的技术,用于证明深度神经网络分类器的鲁棒性。然而,基于RS的方法需要用大量的噪声来增强数据,这导致准确性显著下降。我们提出了一种无需训练的改进平滑方法Smooth-Reduce,该方法利用修补和聚合来提供改进的分类器证书。我们的算法对从输入图像中提取的重叠补丁进行分类,并聚合预测的logits以证明输入周围的更大半径。我们研究了两个聚合方案-最大值和平均值-并表明,这两种方法提供更好的证书认证的准确性,平均认证半径和precision率相比,并发的方法。我们还提供了这样的证书的理论保证,并在经验上显示出显着的改进,比其他随机平滑方法,需要昂贵的再培训。此外,我们将我们的方法扩展到视频,并为视频分类器提供有意义的证书。项目页面可以在https://nyu-dice-lab.github.io/SmoothReduce/上找到
2022-05-12 cs.CV cs.LG
TRUST: Leveraging Text Robustness for Unsupervised Domain Adaptation
提出TRUST方法,利用语言模态鲁棒性指导视觉模型的无监督域适应,通过基于描述生成伪标签并估计其不确定性来重新加权分类损失,同时引入多模态软对比学习损失对齐特征空间,在DomainNet和GeoNet上达到SOTA。
2025-08-08 cs.CV cs.LG
Contextual fusion enhances robustness to image blurring
University of California, San Diego(加利福尼亚大学圣迭戈分校)
本文提出融合 ImageNet 与 Places365 训练的 CNN 前景和背景特征的模型,在 MS COCO 上验证其能提升对图像模糊等扰动的鲁棒性,尤其在上下文变异性大的类别上效果更佳。
2024-06-07 cs.CV
An Effective Fusion Method to Enhance the Robustness of CNN
随着科技的飞速发展,卷积神经网络的应用提高了我们生活的便利性。然而,在图像分类领域,人们发现当图像中加入一些扰动时,CNN会对图像进行误分类,因此人们提出了各种防御方法。以前的方法只考虑了如何在网络中合并模块以提高鲁棒性,但没有关注模块的合并方式。在本文中,我们设计了一种新的融合方法,以提高CNN的鲁棒性。我们使用基于点积的方法为ResNet18添加去噪模块和注意力机制,以进一步提高模型的鲁棒性。在CIFAR10上的实验结果表明,该方法在FGSM和PGD攻击下的性能优于现有方法。
2022-06-22 cs.CV
Erosion Attack for Adversarial Training to Enhance Semantic Segmentation Robustness
Huazhong University of Science and Technology(华中科技大学);National University of Singapore(新加坡国立大学);Griffith University(格里菲斯大学)
本文提出EroSeg-AT框架,通过生成具有上下文语义关系的对抗示例,提升语义分割模型在对抗攻击下的鲁棒性。
2026-01-21 cs.CV
Leveraging Model Interpretability and Stability to increase Model Robustness
CentraleSupelec(中央理工-高等电力学院);Valeo(法雷奥)
最先进的深度神经网络(DNN)现在可以在图像分类任务上实现高于人类水平的准确性。然而,它们出色的性能伴随着复杂的推理机制,使它们成为难以解释的模型。为了理解DNN的潜在预测规则,Dhamdhere等人提出了一种可解释性方法,将DNN预测得分分解为其隐藏单元贡献的总和,以称为电导的度量的形式。通过分析DNN隐藏单元的电导,我们发现在推断错误和正确预测的方式上存在差异。我们确定可区分的模式隐藏单元激活错误和正确的预测。然后,我们在DNN之上使用二进制分类器形式的错误检测器,根据其隐藏单元激活自动区分DNN的错误和正确预测。检测到的错误预测被丢弃,增加了模型的鲁棒性。Wang等人提出了一种不同的方法来区分DNN的错误和正确预测,其方法基于这样的前提:导致DNN做出错误预测的输入样本对DNN权重变化的稳定性低于正确分类的输入样本。在我们的研究中,我们比较了这两种方法,并发现通过结合它们可以更好地检测错误的预测。
2019-11-05 cs.CV cs.LG stat.ML
The Constant Eye: Benchmarking and Bridging Appearance Robustness in Autonomous Driving
本文提出navdream基准测试,通过生成像素对齐的风格迁移,评估自动驾驶算法在极端天气等外观变化下的鲁棒性,并提出通用感知接口实现零样本泛化。
2026-02-13 cs.CV
Advanced Feature Manipulation for Enhanced Change Detection Leveraging Natural Language Models
Texas A&M University(德克萨斯农工大学);Columbia University(哥伦比亚大学);Miami University(迈阿密大学);The University of Chicago(芝加哥大学);The Kyoto College of Graduate Studies for Informatics(京都信息学研究生院);New York University(纽约大学)
针对双时相图像变化检测,本文提出利用预训练 LLM 提取特征并通过辅助网络与特征操控增强语义相关性,从而改进现有 LLM 方法。
2024-06-13 cs.CV
Leveraging Video Coding Knowledge for Deep Video Enhancement
深度学习技术的最新进展显着提高了压缩视频的质量。然而,以前的方法没有充分利用压缩视频的运动特性,例如视频内容和压缩视频的分层编码结构之间的运动的剧烈变化。这项研究提出了一种新的框架,利用视频压缩的低延迟配置,以增强现有的最先进的方法,BasicVSR++。我们采用了上下文自适应的视频融合方法,以提高压缩视频的最终质量。所提出的方法已在NTIRE22挑战,视频恢复和增强的基准进行了评估,并实现了改进的定量指标和视觉质量相比,以前的方法。
2023-02-27 cs.CV eess.IV
Leveraging Persistence Image to Enhance Robustness and Performance in Curvilinear Structure Segmentation
University of Science and Technology of China(中国科学技术大学)
本文提出PIs-Regressor和Topology SegNet,通过直接学习持续图像来增强曲率结构分割的鲁棒性和性能,实验表明拓扑特征能有效提升医学图像分割的准确性。
2026-01-25 cs.AI cs.CV
Are Classification Robustness and Explanation Robustness Really Strongly Correlated? An Analysis Through Input Loss Landscape
University of Science and Technology of China(中国科学技术大学)
本文质疑分类鲁棒性与解释鲁棒性强相关的传统观点,通过聚类评估解释鲁棒性,并提出调整解释损失景观的训练方法,发现两者并不强相关。
2026-06-08 cs.CV cs.LG
DINO-VO: A Feature-based Visual Odometry Leveraging a Visual Foundation Model
School of Electrical Engineering, Korea Advanced Institute of Science and Technology(电气工程学院,韩国科学技术院)
DINO-VO利用DINOv2视觉基础模型,通过定制显著关键点检测器、融合细粒度几何特征和Transformer匹配器,实现高效鲁棒的视觉里程计,在多个数据集上优于现有方法。
2025-07-17 cs.AI cs.CV cs.RO
Visual Token Compression Enhances Robustness of MLLMs
Hefei University of Technology(合肥工业大学)
研究如何增强多模态大语言模型的鲁棒性,核心方法是通过测量视觉令牌与语言特征空间的距离来识别并剪枝分布外视觉令牌,该方法能有效防御越狱攻击、减轻幻觉,提升模型在通用数据集上的表现。
2026-07-28 cs.CV cs.LG
Contrastive View Design Strategies to Enhance Robustness to Domain Shifts in Downstream Object Detection
University of Pittsburgh(匹兹堡大学)
对比学习已经成为目标检测的一种有竞争力的预训练方法。尽管取得了这一进展,但在面对域偏移时,对对比预训练检测器的鲁棒性的研究很少。为了解决这个差距,我们进行了对比学习和域外目标检测的实证研究,研究对比视图设计如何影响鲁棒性。特别是,我们进行了以检测为重点的借口任务实例定位(InsLoc)的案例研究,并提出了策略,以增加视图,并提高鲁棒性的外观转移和上下文转移的情况下。在这些策略中,我们提出了对裁剪的更改,例如更改使用的百分比,添加IoU约束,以及集成基于显着性的对象先验。我们还探讨了增加捷径减少增强,如泊松混合,纹理平坦化和弹性变形。我们对这些策略进行了抽象,天气和上下文域转换的基准测试,并在单对象和多对象图像数据集的预训练中说明了将它们结合起来的强大方法。总的来说,我们的结果和见解显示了如何通过选择对比学习中的视图来确保鲁棒性。
2022-12-09 cs.AI cs.CV cs.LG
Take One Gram of Neural Features, Get Enhanced Group Robustness
École des Ponts(巴黎路桥学院);Conservatoire National des Arts et Métiers(法国国立工艺学院);Sorbonne University(索邦大学)
使用经验风险最小化(ERM)训练的机器学习模型的预测性能可能在分布偏移下显著降低。训练数据集中虚假相关性的存在导致ERM训练的模型在对不存在这种相关性的少数群体进行评估时显示出很高的损失。已经进行了广泛的尝试来开发提高最坏组鲁棒性的方法。然而,它们需要每个训练输入的组信息,或者至少需要一个带有组标签的验证集来调整它们的超参数,这可能是昂贵的或先验未知的。在本文中,我们解决了在训练或验证过程中没有组注释的情况下提高组鲁棒性的挑战。为此,我们建议将训练数据集划分为基于由“识别”模型提取的特征的Gram矩阵的组,并基于这些伪组应用鲁棒优化。在没有分组标签的现实环境中,我们的实验表明,我们的方法不仅提高了ERM的分组鲁棒性,而且优于所有最近的基线
2023-02-07 cs.CV cs.LG
Enforcing Linearity in DNN succours Robustness and Adversarial Image Generation
Mobiliya
最近对神经网络对抗脆弱性的研究表明,以最小化所有可能对抗扰动的最坏情况损失上限为目标训练的模型可以提高对对抗攻击的鲁棒性。除了利用对抗训练框架外,我们还表明,通过强制深度神经网络(DNN)在变换后的输入和特征空间中保持线性,可以显着提高鲁棒性。我们还证明了通过用局部Lipschitz正则化器增强目标函数,进一步提高了模型的鲁棒性。我们的方法优于最复杂的对抗训练方法,并在MNIST,CIFAR10和SVHN数据集上达到了最先进的对抗精度。在本文中,我们还提出了一种新的对抗图像生成方法,该方法利用了对抗训练的深度神经网络分类器的逆表示学习和线性方面。
2019-10-21 cs.CV cs.LG stat.ML
Leveraging 3D LiDAR Sensors to Enable Enhanced Urban Safety and Public Health: Pedestrian Monitoring and Abnormal Activity Detection
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
该研究提出融合LiDAR与IoT的双模型框架,用改进PV-RCNN做3D检测、PointNet分类行人活动,还通过Blender构建模拟数据集解决数据稀缺问题,助力城市交通管理与公共健康。
2024-04-17 cs.AI cs.CV cs.LG