Adaptive Loss-aware Quantization for Multi-bit Networks
ETH Zurich(苏黎世联邦理工学院);Singapore Management University(新加坡管理大学)
我们通过将其权重和激活量化为多个二进制基(称为多位网络(MBN))来研究深度神经网络的压缩,这加速了推理并减少了在低资源移动和嵌入式平台上部署的存储。我们提出了自适应损失感知量化(ALQ),一个新的MBN量化流水线,能够实现平均位宽低于一位,而不会显着损失的推理精度。与先前的MBN量化解决方案(其通过最小化误差来训练量化器以重构全精度权重)不同,ALQ直接最小化损失函数上的量化引起的误差,其既不涉及梯度近似也不涉及全精度维持。ALQ还利用了自适应位宽、平滑位宽减少和迭代训练量化等策略,以允许更小的网络大小而不损失准确性。在流行的图像数据集上的实验结果表明,ALQ在存储和准确性方面优于最先进的压缩网络。代码可在https://github.com/zqu1992/ALQ上获得
2020-07-04 cs.CV cs.LG
A Sub-band Approach to Deep Denoising Wavelet Networks and a Frequency-adaptive Loss for Perceptual Quality
AAC Technologies(AAC科技)
在本文中,我们提出了两个贡献的神经网络为基础的去噪。首先,我们建议将单独的卷积层应用于离散小波变换(DWT)的每个子带,而不是将所有子带连接起来并应用单个卷积层的DWT的常见用法。我们表明,我们的方法使用离散小波变换在神经网络显着提高了准确性,由于保持子带顺序未损坏之前逆离散小波变换。我们的第二个贡献是基于频域中前k %错误的去噪损失。用这种损失训练的神经网络自适应地关注在每次迭代中最不能恢复的频率。我们表明,这种损失的结果到更好的感知质量,提供一个图像,更平衡的频率分量的误差。
2021-02-16 cs.CV cs.LG
Meta-Learning with Task-Adaptive Loss Function for Few-Shot Learning
Seoul National University(首尔大学);Hyundai Motor Group(现代汽车集团)
在少样本学习场景中,挑战在于当每个任务只有很少的标记示例可用时,对新的未见过的示例进行概括并表现良好。模型不可知元学习(MAML)以其灵活性和对不同问题的适用性,作为少样本学习的代表性方法之一,得到了广泛的应用。然而,MAML及其变体通常采用简单的损失函数,而没有任何辅助的损失函数或正则化项,可以帮助实现更好的泛化。问题在于,每个应用和任务可能需要不同的辅助损失函数,特别是当任务是不同的和独特的。我们引入了一个新的元学习框架,该框架具有适应每个任务的损失函数,而不是试图为每个应用程序和任务手工设计辅助损失函数。我们提出的框架,命名为元学习与任务自适应损失函数(金属),证明了有效性和灵活性,在各个领域,如Few-Shot分类和Few-Shot回归。
2021-10-17 cs.CV cs.LG
Active Regression with Adaptive Huber Loss
Istituto Italiano di Tecnologia(意大利理工学院);University of Genova(热那亚大学);University of Verona(维罗纳大学)
本文通过一种新的解决方案来解决标量回归问题,以精确优化一般半监督设置中的Huber损失,该解决方案结合了多视图学习和流形正则化。我们提出了一个原则性的算法,以1)避免计算昂贵的迭代方案,同时2)以数据驱动的方式调整Huber损失阈值,3)主动平衡标记数据的使用,以在训练阶段去除噪声或不一致的注释。在广泛的实验评估,处理不同的应用程序,我们评估我们的范例,这是能够结合对噪声的鲁棒性与强大的性能和低计算成本的优越性。
2016-06-26 cs.CV cs.LG
DAAL: Density-Aware Adaptive Line Margin Loss for Multi-Modal Deep Metric Learning
Pokhara University(博卡拉大学);Universita di Verona(维罗纳大学);Eng. for Innovative Medicine(创新医学工程学院)
本文提出密度感知自适应线形间隔损失(DAAL),通过保持嵌入密度分布并形成自适应子簇,增强类内方差和类间分离,在细粒度数据集上取得优越性能,推进多模态深度度量学习。
2024-11-05 cs.CV cs.LG
OWAdapt: An adaptive loss function for deep learning using OWA operators
University of Chile(智利大学);Instituto Sistemas Complejos de Ingeniería (ISCI)(工程复杂系统研究所(ISCI));Universidad de los Andes, Chile(智利洛斯安第斯大学);Universidad Diego Portales(迭戈·波塔莱斯大学)
本文提出OWAdapt,一种基于OWA算子的模糊自适应损失函数,通过迭代加权类别级误差分量来应对类别不平衡和噪声,在二分类与多分类任务中优于交叉熵和焦点损失。
2023-10-12 cs.CV cs.LG
Adaptive Neuron-wise Discriminant Criterion and Adaptive Center Loss at Hidden Layer for Deep Convolutional Neural Network
Hiroshima University(广岛大学)
深度卷积神经网络(CNN)已广泛用于图像分类中,并且比其他技术提供更好的分类精度。softmax交叉熵损失函数通常用于分类任务。有一些工作是在目标函数中引入额外的项进行训练,以使输出层的特征更具鉴别力。神经元判别准则通过将判别准则引入到每个特征中来使输出层中的每个神经元的输入特征具有判别性。类似地,在用于人脸识别的softmax激活函数之前的特征中引入中心损失,以使深层特征具有区分性。ReLU函数通常用于网络,作为CNN隐藏层中的活动函数。然而,观察到通过使用ReLU函数训练的深度特征不够有区分力,并且显示出细长的形状。在本文中,我们建议在输出层使用神经元判别准则,在隐藏层使用中心损失。此外,我们介绍了在线计算的平均值的每一类指数遗忘。我们分别将它们命名为自适应神经元判别准则和自适应中心损失。通过MNSIT、FashionMNIST、CIFAR10、CIFAR100和STL 10的实验,证明了自适应神经元判别准则和自适应中心丢失的集成的有效性。源代码位于https://github.com/i13abe/Adaptive-discriminant-and-center
2020-04-17 cs.CV
Target Driven Adaptive Loss For Infrared Small Target Detection
NEC Corporation(日本电气股份有限公司)
本文提出目标驱动自适应(TDA)损失,通过图像块机制和自适应调整策略增强红外小目标检测对小尺度、低对比度目标的鲁棒性,并在三个数据集上验证其优于现有损失函数。
2025-06-02 cs.CV
Adaptive additive classification-based loss for deep metric learning
Amazon(亚马逊)
最近的工作表明,深度度量学习算法可以受益于来自另一种输入模态的弱监督。这种额外的模态可以作为距离直接结合到流行的基于三重态的损失函数中。最近,分类损失和基于代理的度量学习已经被观察到导致更快的收敛以及更好的检索结果,而不需要复杂和昂贵的采样策略。在本文中,我们提出了一种对现有自适应余量的扩展,用于基于分类的深度度量学习。我们的扩展为每个样本的每个负代理引入了一个单独的保证金。这些边界是在训练期间根据其他模态中的类的预先计算的距离来计算的。我们的结果在亚马逊时尚检索数据集和公共DeepFashion数据集上都建立了新的最先进的技术。这在基于fastText和BERT的嵌入中观察到,用于额外的文本模态。我们的结果是实现了更快的收敛速度和更低的代码复杂度比现有的国家的最先进的。
2020-06-25 cs.CV cs.LG
Locally Adaptive Learning Loss for Semantic Image Segmentation
Beijing NetPosa Technologies Co., Ltd.(北京网罗科技有限公司);Institut National des Sciences Appliquées de Lyon(里昂应用科学学院)
我们提出了一种新的局部自适应学习估计器,用于增强深度神经网络的内部和内部区分能力,它可以用作语义图像分割任务的改进损失层。大多数损失层计算特征图和地面实况之间的像素成本,忽略空间布局和具有相同对象类别的相邻像素之间的交互,因此网络不能有效地对类内连接敏感。该方法首先对预测特征图进行自适应池化滤波操作,目的是合并一小组具有相同类别的相邻像素的预测分布,然后计算合并后的分布向量与其类别标签之间的成本。这样的设计可以使来自相同类别的相邻预测的组参与关于其类别的预测正确性的估计,并且因此训练网络以基于其类别对相邻像素之间的区域连接更敏感。在Pascal VOC 2012分割数据集上的实验中,一致改进的结果表明,我们提出的方法实现了比以前的同行更好的分割掩模。
2018-04-16 cs.CV cs.LG
Adaptive Wing Loss for Robust Face Alignment via Heatmap Regression
Oregon State University(俄勒冈州立大学);JD Digits(京东数字科技)
深度网络热图回归已经成为定位面部标志的主流方法之一。然而,很少研究热图回归的损失函数。在本文中,我们分析了人脸对齐问题中热图回归的理想损失函数性质。然后,我们提出了一种新的损失函数,称为自适应Wing损失,它能够使其形状适应不同类型的地面实况热图像素。这种适应性惩罚损失更多的前景像素,而较少的背景像素。为了解决前景和背景像素之间的不平衡,我们还提出了加权损失图,它为前景和困难的背景像素分配高权重,以帮助训练过程更多地关注对地标定位至关重要的像素。为了进一步提高人脸对齐精度,我们引入了边界预测和边界坐标CoordConv。在COFW、300W和WFLW等不同基准测试上进行的大量实验表明,我们的方法在各种评估指标上的性能都明显优于最先进的方法。此外,自适应翼损失也有助于其他热图回归任务。代码将在https://github.com/protossw512/AdaptiveWingLoss上公开。
2020-05-19 cs.CV
Adaptive Adversarial Logits Pairing
Beijing Jiaotong University(北京交通大学);University of Science and Technology of China(中国科学技术大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
对抗性实例为理解图像分类系统提供了机会,也提出了挑战。基于对对抗性训练解决方案Adversarial Logits Pairing(ALP)的分析,我们在这项工作中观察到:(1)与脆弱的特征相比,对抗性鲁棒模型的推理倾向于依赖较少的高贡献特征。(2)ALP算法的训练目标对部分样本的拟合效果不佳,过分强调了logits配对损失,阻碍了分类损失的最小化。受这些观察的启发,我们通过修改ALP的训练过程和训练目标,设计了自适应对抗性对数配对(AALP)解决方案。具体来说,AALP由一个自适应特征优化模块和一个自适应样本加权模块组成,该自适应特征优化模块具有Guided Dropout以系统地追求较少的高贡献特征,该自适应样本加权模块通过设置样本特定的训练权重来平衡logits配对损失和分类损失。所提出的AALP解决方案在多个数据集上表现出优异的防御性能,并进行了大量的实验。
2021-04-16 cs.CV cs.LG
Adaptive Sparse Pairwise Loss for Object Re-Identification
Tsinghua University(清华大学);Meituan Inc.(美团公司)
提出稀疏成对(SP)损失及自适应变体AdaSP损失,通过减少不相似正对并动态适应类内变化,显著提升目标重识别性能。
2023-03-31 cs.CV
Self-supervised Learning of Occlusion Aware Flow Guided 3D Geometry Perception with Adaptive Cross Weighted Loss from Monocular Videos
基于自监督深度学习的3D场景理解方法可以克服获取密集标记的地面实况的困难,并且已经取得了很多进展。然而,遮挡和移动对象仍然是一些主要的限制。在本文中,我们探讨了可学习的遮挡感知光流引导的自监督深度和相机姿态估计的自适应交叉加权损失,以解决上述限制。首先,我们探索训练可学习的遮挡掩模融合光流网络的遮挡感知光度损失的时间补充信息和相邻视图的前后一致性。在此基础上,设计了一种自适应的深度位姿损失与几何和光度误差的光流损失交叉加权方法,以区分违反静态场景假设的运动目标。我们的方法在多个任务下对KITTI,Make3D和Cityscapes数据集显示了有希望的结果。我们也表现出良好的泛化能力,在各种具有挑战性的情况下。
2021-10-22 cs.CV
Adaptive Real-Time Multi-Loss Function Optimization Using Dynamic Memory Fusion Framework: A Case Study on Breast Cancer Segmentation
Faculty of Electrical Engineering, Shahrood University of Technology(沙霍德技术大学电气工程学院)
针对多损失函数需手动选择与加权的问题,提出 dynamic memory fusion 框架,结合历史损失实时调权、辅助损失与 class-balanced dice loss,在乳腺超声分割中提升多项指标。
2025-07-27 cs.CV cs.LG
Fast and Accurate Road Crack Detection Based on Adaptive Cost-Sensitive Loss Function
University of Chinese Academy of Sciences(中国科学院大学);Chinese Academy of Sciences(中国科学院);University of International Business and Economics(对外经济贸易大学)
计算机视觉中的许多检测问题,包括道路裂缝检测,都受到前景-背景不平衡的影响。幸运的是,对损失函数的修改似乎一劳永逸地解决了这个难题。在本文中,我们提出了一个基于像素的自适应加权交叉熵损失结合Jaccard距离,以促进高质量的像素级道路裂缝检测。我们的工作深刻地展示了损失函数对检测结果的影响,并揭示了在裂纹检测领域的复杂的连续改进。具体来说,为了验证所提出的损失的有效性,我们在四个公共数据库上进行了广泛的实验,即,CrackForest、AigleRN、Crack 360和BJN 260。与传统的加权交叉熵相比,该方法在保持测试精度的同时,显著加快了训练过程。
2021-09-14 cs.CV
AdaFocal: Calibration-aware Adaptive Focal Loss
M Health Info. Systems(3M健康信息系统公司);Carnegie Mellon University(卡内基梅隆大学)
本文提出AdaFocal,一种校准感知的自适应焦点损失,通过动态调整γ参数改善模型校准,同时保持准确率并提升分布外检测性能。
2023-06-16 cs.CV cs.LG
ACR Loss: Adaptive Coordinate-based Regression Loss for Face Alignment
University of Denver(丹佛大学)
尽管深度神经网络在解决面部对齐问题上已经达到了合理的精度,但这仍然是一项具有挑战性的任务,特别是当我们处理面部图像、遮挡或极端头部姿势时。基于热图的回归(Heatmap-based Regression,HBR)和基于坐标的回归(Coordinate-based Regression,CBR)是人脸对齐的两种主要方法。CBR方法需要较少的计算机内存,但其性能低于HBR方法。在本文中,我们提出了一个自适应的基于坐标的回归(ACR)损失,以提高人脸对齐的CBR的准确性。受主动形状模型(ASM)的启发,我们生成平滑面部对象,这是一组与地面真实地标点相比变化较少的面部地标点。然后,我们介绍了一种方法,通过比较地面实况标志点和相应的Smooth-Face对象的分布来估计预测网络每个标志点的难度。我们提出的ACR损失可以自适应地修改其曲率和损失的影响的基础上预测的每个特征点在一个脸上的难度水平。因此,ACR损失引导网络朝向挑战点而不是更容易的点,这提高了面部对准任务的准确性。我们的广泛的评估表明,建议的ACR损失在预测各种面部图像中的面部标志点的能力。
2022-09-14 cs.CV
Revisiting AP Loss for Dense Object Detection: Adaptive Ranking Pair Selection
University of Electronic Science and Technology of China(电子科技大学);Shenzhen Institute for Advanced Study(深圳高等研究院)
平均精度(AP)损失最近在密集目标检测任务上显示出有希望的性能。然而,从成对排序的角度来看,AP损失如何影响检测器还没有得到深入的理解。在这项工作中,我们重新审视了平均精度(AP)损失,并揭示了关键因素是在正负样本之间选择排序对。基于这一观察,我们提出了两种策略来改善AP损失。第一个是一种新的自适应成对误差(APE)损失,专注于在正负样本中对配对进行排序。此外,我们选择更准确的排名对利用归一化的排名分数和本地化分数与聚类算法。在MSCOCO数据集上进行的实验支持了我们的分析,并证明了我们所提出的方法与目前的分类和排名损失相比的优越性。该代码可在https://github.com/Xudangliatiger/APE-Loss上获得。
2022-07-25 cs.CV
Robust Surface Reconstruction from Gradients via Adaptive Dictionary Regularization
University of Michigan(密歇根大学)
本文介绍了一种新的方法,强大的表面重建光度立体法向量地图,特别适合于重建表面从噪声梯度。具体而言,我们提出了一种自适应字典学习的方法,试图同时整合的梯度场,而稀疏表示的空间补丁的重建表面在自适应字典域。我们表明,我们的配方学习的表面的底层结构,有效地作为一个自适应正则化,执行重建表面上的平滑约束。我们的方法是通用的,可以与文献中的许多现有的方法,以提高重建表面的完整性。我们证明了我们的方法对合成数据以及真实的光度立体数据的性能,并评估其对噪声的鲁棒性。
2017-09-30 cs.CV stat.ML
Hierarchy-Consistent Learning and Adaptive Loss Balancing for Hierarchical Multi-Label Classification
Ocean University of China(中国海洋大学)
本文提出HCAL分类器,通过原型对比学习、自适应任务加权和原型扰动机制解决层次多标签分类中的结构一致性与损失平衡问题,并引入HVR指标评估层次一致性,在三个数据集上取得优于基线模型的精度和一致性。
2025-08-19 cs.CV cs.LG
Adaptive Learning for Multi-view Stereo Reconstruction
Jinggangshan University(井冈山大学);Jinan Vocational College(济南职业学院);Tongji University(同济大学);Peking University(北京大学)
本文针对深度MVS损失函数研究不足的问题,提出自适应Wasserstein损失和偏移模块,在DTU等多个基准上取得最先进性能。
2024-04-08 cs.CV
AdaptiveClick: Clicks-aware Transformer with Adaptive Focal Loss for Interactive Image Segmentation
College of Computer Science and Electronic Engineering, Hunan University(湖南大学计算机与电子工程学院);Institute for Artificial Intelligence, the University of Stuttgart(斯图加特大学人工智能学院)
AdaptiveClick提出点击感知Transformer与自适应焦点损失,解决交互式图像分割中的交互歧义,首个掩码自适应IIS框架,在九个数据集上超越现有方法。
2024-03-14 cs.AI cs.CV eess.IV
Evaluating the Adversarial Robustness of Adaptive Test-time Defenses
University of Tübingen(图宾根大学);DeepMind(深度思维);Everyday Robots(日常机器人公司)
自适应防御在测试时进行优化,有望提高对抗鲁棒性。我们对这种自适应测试时间防御进行分类,解释其潜在的优点和缺点,并评估图像分类的最新自适应防御的代表性品种。不幸的是,当我们仔细的案例研究评估时,没有一个显著改善静态防御。有些甚至削弱了底层的静态模型,同时增加了推理计算。虽然这些结果令人失望,但我们仍然相信自适应测试时间防御是一个有前途的研究途径,因此,我们提供了对其进行彻底评估的建议。我们扩展了Carlini et al.(2019)的清单,提供了适应性防御的具体步骤。
2022-07-13 cs.CR cs.CV cs.LG
Prostate Capsule Segmentation from Micro-Ultrasound Images using Adaptive Focal Loss
Department of Physics(物理系);Computer Science, Wilfrid Laurier University(计算机科学,威廉·劳里尔大学)
本研究针对微超声图像中前列腺包膜边界模糊问题,提出一种自适应焦点损失函数,通过动态调整困难区域权重并结合专家与非专家标注差异,在测试集上取得0.940的平均Dice系数和1.949 mm的平均豪斯多夫距离,显著提升了分割精度。
2025-09-19 cs.CV eess.IV
A weakly supervised adaptive triplet loss for deep metric learning
Amazon.com Services Inc(亚马逊服务公司);University of Maryland(马里兰大学)
我们解决了视觉相似性搜索中的距离度量学习问题,定义为学习图像嵌入模型,该模型将图像投影到欧几里得空间中,在该空间中,语义和视觉相似的图像更接近,不同的图像彼此距离更远。我们提出了一种弱监督自适应三元组损失(ATL),能够捕获细粒度的语义相似性,鼓励学习的图像嵌入模型,以及跨域数据的推广。该方法使用弱标记的产品描述数据来隐式地确定细粒度的语义类,避免了需要注释大量的训练数据。我们评估亚马逊时尚检索基准和DeepFashion店内检索数据。该方法在跨域数据上将三重丢失基线的性能提高了10.6%,并且在所有评估指标上都优于最先进的模型。
2019-09-27 cs.CV
Improved Adversarial Training Through Adaptive Instance-wise Loss Smoothing
King’s College London(伦敦国王学院)
深度神经网络很容易被欺骗,通过对抗性扰动(人类无法感知的人工噪声)破坏输入来做出错误的预测。到目前为止,对抗性训练是对抗这种对抗攻击最成功的防御手段。这项工作的重点是改进对抗训练,以提高对抗鲁棒性。我们首先从实例的角度分析了对抗性脆弱性在对抗性训练过程中的演变。我们发现,在训练过程中,通过牺牲相当大比例的训练样本来更容易受到对抗攻击,从而导致数据中对抗脆弱性的不均匀分布,从而实现了对抗损失的整体减少。这种“不均匀的脆弱性”在几种流行的健壮训练方法中普遍存在,更重要的是,与对抗训练中的过度拟合有关。基于这一观察,我们提出了一种新的对抗训练方法:实例自适应平滑增强对抗训练(ISEAT)。它以一种自适应的、特定于实例的方式联合平滑输入和减肥景观,以增强具有较高对抗脆弱性的样本的鲁棒性。大量的实验表明,我们的方法优于现有的防御方法。值得注意的是,我们的方法,结合最新的数据增强和半监督学习技术,实现了最先进的鲁棒性对$\ell_{\infty}$范数约束攻击CIFAR 10的59.32%的宽ResNet 34 -10没有额外的数据,和61.55%的宽ResNet 28 -10与额外的数据。代码可在https://github.com/TreeLLi/Instance-adaptive-Smoothness-Enhanced-AT上获得。
2023-03-27 cs.AI cs.CV cs.LG
Content-Adaptive Pixel Discretization to Improve Model Robustness
University of Michigan(密歇根大学);Portland State University(波特兰州立大学)
预处理防御,如像素离散化,是有吸引力的,以消除对抗攻击,由于其简单性。然而,除了在像MNIST这样的简单数据集上,它们已经被证明是无效的。我们假设,现有的离散化方法失败,因为使用固定的码本的整个数据集限制了他们的能力,以平衡图像表示和码字的可分性。我们首先正式证明,自适应码本可以提供更强的鲁棒性保证比固定码本作为预处理防御一些数据集。基于这一认识,我们提出了一种称为Essential Features的内容自适应像素离散化防御方法,该方法将图像离散化为每个图像的自适应码本,以减少颜色空间。然后,我们发现,基本特征可以进一步优化,通过应用自适应模糊之前的离散化,以推动扰动像素值回到它们的原始值之前,确定码本。针对自适应攻击,我们表明,内容自适应像素离散化扩展了受益于L_2和L_infinity鲁棒性的数据集的范围,其中先前固定的码本被发现失败。我们的研究结果表明,内容自适应像素离散化应该是使模型鲁棒的剧目的一部分。
2022-10-11 cs.CR cs.CV cs.LG
Anticipating Traffic Accidents with Adaptive Loss and Large-scale Incident DB
National Institute of Advanced Industrial Science and Technology (AIST)(国立先进工业科学技术研究所(AIST));Keio University(庆应义塾大学)
在本文中,我们提出了一种新的交通事故预测方法,通过(一)早期预测自适应损失(AdaLEA)和(ii)一个大规模的自注释事件数据库的预期。建议的AdaLEA允许模型随着训练的进行逐渐学习更早的预测。损失函数根据模型在每个历元的交通事故发生时间自适应地分配惩罚权重。此外,我们还建立了一个用于预测的未遂事件数据库。该数据库包含大量的交通事故视频和注释,用于两个任务的详细评估,风险预测和风险因素预测。在我们的实验结果中,我们发现我们的建议在风险预测(平均平均精度(mAP)上比之前的平均碰撞时间(ATTC)提高了6.6%,提前了2.36秒)和风险因素预测(mAP上比之前的ATTC提高了4.3%,提前了0.70秒)方面取得了最高的分数。
2018-04-08 cs.CV
Penalizing small errors using an Adaptive Logarithmic Loss
University of Glasgow(格拉斯哥大学);University of York(约克大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);NAAMII(尼泊尔应用数学与信息学研究所)
损失函数是量化预测与其对应的地面实况之间的差异的误差度量。从根本上说,它们定义了梯度下降遍历的功能景观。尽管迄今为止已经提出了许多损失函数来处理各种机器学习问题,但很少有人关注增强这些函数以更好地遍历损失情况。在本文中,我们同时和显着减轻医学图像分割中的两个突出问题,即:i)前景和背景像素之间的类不平衡和ii)差的损失函数收敛。为此,我们提出了一个自适应对数损失函数。我们将此损失函数与ISIC 2018数据集、核分割数据集以及DRIVE视网膜血管分割数据集上现有的最新技术进行了比较。我们在基准指标上衡量我们方法的性能,并展示最先进的性能。更一般地说,我们证明了我们的系统可以用作更好地训练深度神经网络的框架。
2021-04-07 cs.CV eess.IV
A Robust Optimization Method for Label Noisy Datasets Based on Adaptive Threshold: Adaptive-k
Yildiz Technical University(耶尔德兹理工大学)
SGD不会在带有标签噪声的数据集上产生稳健的结果。因为根据噪声样本的损失计算的梯度导致优化过程朝着错误的方向发展。在本文中,作为SGD的替代方案,我们建议使用损失小于优化过程中确定的阈值的样本,而不是使用小批量中的所有样本。我们提出的方法Adaptive-k旨在从优化过程中排除标签噪声样本,并使该过程鲁棒。在有噪声的数据集上,我们发现使用基于阈值的方法(如Adaptive-k)比使用所有样本或小批量中固定数量的低损失样本产生更好的结果。基于我们的理论分析和实验结果,我们表明,自适应k方法是最接近的预言机的性能,其中噪声样本完全从数据集中删除。自适应k是一种简单但有效的方法。它不需要数据集噪声比的先验知识,不需要额外的模型训练,也不会显著增加训练时间。Adaptive-k的代码可在www.example.com上获得
2022-03-26 cs.AI cs.CV cs.LG
Few-shot NeRF by Adaptive Rendering Loss Regularization
Nanyang Technological University(南洋理工大学);Huazhong University of Science and Technology(华中科技大学);Centre for Frontier AI Research(前沿人工智能研究中心);A*STAR(新加坡科技研究局)
本文提出 AR-NeRF,通过两阶段渲染监督和自适应渲染损失权重学习对齐位置编码频率与渲染损失,解决少样本 NeRF 中的不一致性问题,在物体级和复杂场景数据集上取得最先进性能。
2024-10-23 cs.CV
Adaptive Mean-Residue Loss for Robust Facial Age Estimation
Nanyang Technological University(南洋理工大学)
自动面部年龄估计在多媒体分析中具有多种现实应用,例如,视频监控和人机交互。然而,由于衰老过程的随机性和模糊性,年龄评估具有挑战性。大多数研究工作的主题,把任务作为一个年龄回归,分类和排名的问题,并不能很好地利用年龄分布表示标签的年龄歧义。在这项工作中,我们提出了一个简单而有效的损失函数的鲁棒面部年龄估计通过分布学习,即,自适应均值-残差损失,其中,均值损失惩罚估计的年龄分布的均值与地面真实年龄之间的差,而残差损失惩罚分布中动态top-K之外的年龄概率的熵。在数据集FG-NET和CLAP 2016上的实验结果验证了所提出的损失的有效性。我们的代码可在https://github.com/jacobzhaoziyuan/AMR-Loss上获得。
2022-03-31 cs.AI cs.CV eess.IV
CurricularFace: Adaptive Curriculum Learning Loss for Deep Face Recognition
Tencent(腾讯);Zhejiang University(浙江大学);Michigan State University(密歇根州立大学)
作为人脸识别领域的一个新兴课题,设计基于边缘的损失函数可以增加不同类别之间的特征边缘,从而提高人脸的区分度。最近,采用基于挖掘的策略的思想来强调错误分类的样本,取得了可喜的成果。然而,在整个训练过程中,现有方法要么没有基于其重要性明确强调样本,使得硬样本没有被充分利用;要么明确强调半硬/硬样本的影响,即使在早期训练阶段也可能导致收敛问题。在这项工作中,我们提出了一种新的自适应课程学习损失(CurricularFace),将课程学习的思想嵌入到损失函数中,以实现一种新的深度人脸识别训练策略,该策略主要解决早期训练阶段的简单样本和后期训练阶段的困难样本。具体来说,我们的CurricularFace在不同的训练阶段自适应地调整简单和困难样本的相对重要性。在每个阶段中,根据不同的样本对应的难度,赋予不同的重要性。在流行的基准测试上进行的大量实验结果表明,我们的CurricularFace优于最先进的竞争对手。
2020-04-01 cs.CV
X2-Softmax: Margin Adaptive Loss Function for Face Recognition
Jinan University(暨南大学);University of Macau(澳门大学)
针对固定角度边距损失函数在人脸样本分布不平衡时存在的收敛难、特征判别性不足问题,提出具备角度自适应边距的X2-Softmax损失,经多基准测试验证可有效提升人脸识别效果。
2023-12-19 cs.CV
Energy Score-based Pseudo-Label Filtering and Adaptive Loss for Imbalanced Semi-supervised SAR target recognition
Chongqing University(重庆大学)
针对不平衡半监督SAR目标识别,提出基于动态能量分数的伪标签过滤和自适应损失方法,在标签稀缺与数据不平衡下实现高精度识别。
2024-11-06 cs.AI cs.CV
Unimodal-Concentrated Loss: Fully Adaptive Label Distribution Learning for Ordinal Regression
Hikvision Research Institute(海康威视研究院)
从标签分布学习已经在诸如面部年龄和头部姿态估计等有序回归任务上取得了令人鼓舞的结果,其中自适应标签分布学习(ALDL)的概念最近因其理论上的优越性而引起了人们的广泛关注。然而,与假设固定形式标签分布的方法相比,ALDL方法并没有取得更好的性能。我们认为,现有的ALDL算法没有充分利用序数回归的内在属性。在本文中,我们着重总结了有序回归任务的自适应标签分布的学习应遵循三个原则。首先,对应于地面实况的概率应该是标签分布中最高的。其次,相邻标签的概率应该随着远离地面实况的距离的增加而减小,即,分布是单峰的。第三,标签分布应该随着样本的变化而变化,甚至对于具有相同标签的不同实例是不同的,这是由于不同的难度和歧义水平。在这些原则的前提下,我们提出了一种新的损失函数的完全自适应标签分布学习,即单峰集中损失。具体地,从学习排序策略导出的单峰损失将分布约束为单峰。此外,估计误差和方差的预测分布为一个特定的样本被集成到建议的集中损失,使预测分布最大化的地面真理和根据预测的不确定性。在年龄和头部姿态估计等典型有序回归任务上的大量实验结果表明,与现有的损失函数相比,我们提出的单峰集中损失具有优越性。
2022-04-01 cs.CV
Learning Crisp Boundaries Using Deep Refinement Network and Adaptive Weighting Loss
Guangxi University of Science and Technology(广西科技大学)
在卷积神经网络的帮助下,边界检测取得了重大进展。最近的边界检测模型不仅关注真实对象的边界检测,而且关注“清晰”边界(沿着对象的轮廓精确定位)。有两种方法来评估脆边界性能。一种是使用更严格的公差来测量地面实况和检测到的轮廓之间的距离。另一种方法是对等值线图进行评价,而不进行任何后处理。在这项研究中,我们分析了这两种方法,并得出结论,这两种方法是脆轮廓评价的两个方面。因此,我们提出了一种新的网络命名为深度细化网络(DRNet),堆叠多个细化模块,以实现更丰富的特征表示和一个新的损失函数,它结合了交叉熵和骰子损失通过有效的自适应融合。实验结果表明,我们实现了国家的最先进的性能几个可用的数据集。
2021-03-03 cs.CV
Adaptive Logit Adjustment Loss for Long-Tailed Visual Recognition
Tsinghua University(清华大学);ByteDance(字节跳动);Microsoft(微软)
现实世界中的数据往往呈现长尾标签分布,这给视觉识别中的神经网络训练带来了巨大的挑战。现有的方法主要从数据量的角度来解决这个问题,即,每个类别中的样本数量。具体来说,他们更关注尾部类,比如对logit应用更大的调整。然而,在训练过程中,数据的数量和难度是两个相互交织、同样关键的问题。对于某些尾类,其实例的特征具有明显的区分性,也能带来令人满意的准确率;对于某些头类,虽然样本足够,但由于与其他类的语义相似度高,缺乏区分性特征,准确率会很差。基于这些观察结果,我们提出了自适应Logit调整损失(ALA损失)应用自适应调整项的logit。自适应调整项由两个互补因子组成:1)数量因子,它更关注尾类; 2)难度因子,它在训练过程中自适应地更关注硬实例。难度因子可以缓解尾部但容易的实例的过度优化和头部但困难的实例的优化不足。这两个因素的协同作用不仅可以进一步提高尾类的性能,而且还可以提高头类的准确性。与以往的logit调整方法只关注数据量不同,ALA Loss从更全面、细粒度和自适应的角度解决了长尾问题。大量的实验结果表明,我们的方法在具有挑战性的识别基准测试中达到了最先进的性能,包括ImageNet-LT,iNaturalist 2018和Places-LT。
2021-09-23 cs.CV
PoseFace: Pose-Invariant Features and Pose-Adaptive Loss for Face Recognition
AiBee Inc.(爱比公司);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);The University of Sydney(悉尼大学);Northwestern Polytechnical University(西北工业大学);Mininglamp Technology(明略科技);University of Chinese Academy of Sciences(中国科学院大学)
尽管深度学习方法在人脸识别中取得了巨大的成功,但在无约束环境中(例如,在监视和照片标记的情况下)。为了解决这个问题,当前的方法要么部署特定于姿势的模型,要么通过额外的模块来正面化面部。尽管如此,他们忽略了身份信息应该在各个姿势之间保持一致的事实,并且没有意识到在训练过程中正面和侧面人脸图像之间的数据不平衡。在本文中,我们提出了一个有效的PoseFace框架,它利用面部地标解开姿态不变的功能,并利用姿态自适应损失自适应地处理不平衡的问题。在Multi-PIE、CFP、CPLFW和IJB的实验结果表明了该方法的优越性。
2021-07-25 cs.CV
A Novel Adaptive Hybrid Focal-Entropy Loss for Enhancing Diabetic Retinopathy Detection Using Convolutional Neural Networks
School of Computer Science and Engineering(计算机科学与工程学院);Vellore Institute of Technology(韦洛尔理工大学)
针对糖尿病视网膜病变检测中类别不平衡问题,提出自适应混合焦点-熵损失(AHFE),结合焦点与熵损失并自适应加权,在多个CNN模型上显著提升准确率,最高达99.79%。
2025-04-23 cs.AI cs.CV cs.LG
MARC: Multi-Label Adaptive Retrieval Contrastive Loss for Remote Sensing Images
本文提出MACL方法,通过标签感知采样、频率敏感加权和动态温度缩放,解决遥感图像多标签检索中的语义重叠、标签分布不平衡和类间共现模式复杂等问题,实验表明其在三个基准数据集上优于对比损失基线。
2026-04-04 cs.CV
Steerable Pyramid Weighted Loss: Multi-Scale Adaptive Weighting for Semantic Segmentation
Meinig School of Biomedical Engineering(迈宁生物医学工程学院);Cornell University(康奈尔大学)
本文提出基于可操纵金字塔的SPW损失函数,利用多频带动态生成自适应权重图并结合网络预测进行细化,在三个数据集上以低计算开销超越11种主流损失函数,显著提升精细结构分割精度。
2025-03-09 cs.CV
Multi-view Self-Constructing Graph Convolutional Networks with Adaptive Class Weighting Loss for Semantic Segmentation
Norwegian Computing Center(挪威计算中心);UiT the Arctic University of Norway(挪威北极大学)
我们提出了一种新的架构称为多视图自构造图卷积网络(MSCG-Net)的语义分割。最近提出的自构造图(SCG)模块,它利用可学习的潜在变量,直接从输入功能,而不依赖于手动构建的先验知识图谱,我们利用多个视图,以明确地利用机载图像的旋转不变性的基础图形的建设。我们进一步开发了一个自适应类加权损失,以解决类的不平衡。我们证明了所提出的方法在视觉挑战数据集上的有效性和灵活性,与相关的基于纯CNN的工作相比,我们的模型以更少的参数和更低的计算成本实现了非常有竞争力的结果(0.547 mIoU)。代码将在:github.com/samleoqh/MSCG-Net
2020-04-21 cs.CV
Hybrid Classification-Regression Adaptive Loss for Dense Object Detection
本文提出混合分类-回归自适应损失HCRAL,通过RCI模块、条件因子和EATSS策略同时解决任务不一致性与难训练样本问题,在COCO上验证了其提升一阶段检测器性能的有效性。
2024-08-30 cs.CV
SSP-RACL: Classification of Noisy Fundus Images with Self-Supervised Pretraining and Robust Adaptive Credal Loss
Fudan University(复旦大学)
针对眼底图像标签噪声损害深度模型性能的问题,提出SSP-RACL框架,结合MAE自监督预训练与RACL超集学习抑制记忆效应,并通过临床知识驱动的非对称噪声模拟验证其优于现有方法。
2024-10-24 cs.CV
Attribute Adaptive Margin Softmax Loss using Privileged Information
West Virginia University(西弗吉尼亚大学)
我们提出了一个新的框架,利用特权信息识别,这是只在训练阶段提供。在这里,我们专注于识别任务,其中图像作为主视图提供,软生物特征(属性)作为特权数据(仅在训练阶段可用)提供。我们证明,通过实施深度网络来调整利用属性的类之间的自适应边缘,可以学习更具区分力的特征空间。这种严格的约束也有效地减少了本地数据邻域中固有的类不平衡,从而在本地雕刻出更平衡的类边界,并更有效地使用特征空间。在五个不同的数据集上进行了大量的实验,结果表明,我们的方法相比,在人脸识别和人的重新识别任务的最先进的模型的优越性。
2020-09-04 cs.CV
CLAMP: Contrastive Learning with Adaptive Multi-loss and Progressive Fusion for Multimodal Aspect-Based Sentiment Analysis
Minzu University of China(中央民族大学)
针对MABSA中的跨模态对齐噪声与细粒度一致性不足问题,提出CLAMP框架,通过渐进注意力融合、多任务对比学习和不确定性动态多损失聚合提升性能。
2025-07-21 cs.AI cs.CV
Adaptive Affinity Loss and Erroneous Pseudo-Label Refinement for Weakly Supervised Semantic Segmentation
Xidian University(西安电子科技大学);Xi’an Jiaotong University(西安交通大学);University of Leicester(莱斯特大学)
语义分割在过去的十年中得到了不断的研究,并且大多数已建立的技术都是基于监督模型的。近年来,图像级弱监督语义分割(WSSS),包括单阶段和多阶段的过程,吸引了大量的关注,由于数据标记效率。在本文中,我们提出将多阶段方法的亲和学习嵌入到单阶段模型中。具体来说,我们引入了自适应的亲和力损失,以彻底学习局部成对亲和力。因此,深度神经网络用于在训练阶段传递全面的语义信息,同时提高最终预测模块的性能。另一方面,考虑到伪标签中存在错误,我们提出了一种新的标签重分配损失来减轻过拟合。在PASCAL VOC 2012数据集上进行了大量的实验,以评估我们提出的方法的有效性,该方法优于其他标准的单阶段方法,并与几种多阶段方法实现了相当的性能。
2021-08-03 cs.CV
AdaFace: Quality Adaptive Margin for Face Recognition
Michigan State University(密歇根州立大学)
低质量人脸数据集的识别是具有挑战性的,因为面部属性是模糊和退化的。基于边缘的损失函数的进步已经导致了嵌入空间中人脸的增强的可辨别性。此外,以前的研究已经研究了自适应损失的影响,以分配更多的重要性,错误分类(硬)的例子。在这项工作中,我们介绍了另一个方面的适应性的损失函数,即图像质量。我们认为,强调误分类样本的策略应根据其图像质量进行调整。具体而言,容易或困难样品的相对重要性应基于样品的图像质量。我们提出了一个新的损失函数,强调样本的不同困难的基础上,他们的图像质量。我们的方法通过用特征范数近似图像质量来实现自适应裕度函数的形式。大量的实验表明,我们的方法AdaFace在四个数据集(IJB-B,IJB-C,IJB-S和TinyFace)上提高了人脸识别性能。代码和模型在https://github.com/mk-minchul/AdaFace上发布。
2023-02-16 cs.CV
Adaptive Reconstruction Network for Weakly Supervised Referring Expression Grounding
Key Lab of Intell. Info. Process., Inst. of Comput. Tech., CAS(中国科学院计算技术研究所智能信息处理重点实验室);University of Chinese Academy of Sciences(中国科学院大学);University of Science and Technology of China(中国科学技术大学);Peng Cheng Laboratory(鹏城实验室)
弱监督指称表达式接地的目的是根据语言查询定位图像中的指称对象,其中指称对象和查询之间的映射在训练阶段是未知的。为了解决这个问题,我们提出了一种新的端到端自适应重建网络(ARN)。该方法以自适应的方式建立图像区域建议和查询之间的对应关系:自适应接地和协作重建。具体来说,我们首先提取的主题,位置和上下文功能,分别代表的建议和查询。然后,我们设计了自适应接地模块,计算每个建议和查询之间的匹配得分的层次注意力模型。最后,基于注意力分数和建议特征,我们重建输入查询的语言重建损失,自适应重建损失,和属性分类损失的协作损失。这种自适应机制有助于我们的模型,以减轻不同的指称表达的差异。在四个大规模数据集上的实验表明,ARN的性能大大优于现有的最先进的方法。定性结果表明,建议的ARN可以更好地处理的情况下,一个特定类别的多个对象位于一起。
2019-08-28 cs.CV
KappaFace: Adaptive Additive Angular Margin Loss for Deep Face Recognition
Sungkyunkwan University(成均馆大学)
针对深度人脸识别中的类别不平衡问题,提出 KappaFace 自适应加性角度间隔损失,依据类别难度与集中度动态调节间隔,并在多个基准上超越现有方法。
2023-12-06 cs.CV
Domain-Adaptive Learning: Unsupervised Adaptation for Histology Images with Improved Loss Function Combination
Indian Institute of Technology Mumbai(印度理工学院孟买分校)
针对H&E组织学图像的UDA难题,提出融合新型与精选损失函数的DAL方法,利用组织结构和细胞形态提升对齐、收敛与泛化,并在FHIST上显著超越ViT/CNN基线。
2023-09-29 cs.CV
Adaptive Multi-Modal Cross-Entropy Loss for Stereo Matching
College of Information Science and Electronic Engineering, Zhejiang University(浙江大学信息科学与电子工程学院)
提出自适应多模态交叉熵损失(ADL)以建模立体匹配中边缘像素的多模态分布,并优化视差估计器,使经典网络如GANet在KITTI基准上达到最先进性能。
2024-03-15 cs.CV