An Approximate Bayesian Long Short-Term Memory Algorithm for Outlier Detection
University of South Carolina（南卡罗来纳大学）
采用梯度下降和反向传播训练的长短期记忆网络在各种应用中获得了巨大的成功。然而，网络权重的点估计容易出现过拟合问题，并且缺乏与估计相关的重要不确定性信息。然而，精确贝叶斯神经网络方法是棘手的，不适用于现实世界的应用。在这项研究中，我们提出了一个近似估计的权重的不确定性，使用Entrance卡尔曼滤波器，这是很容易扩展到大量的权重。此外，我们优化的协方差的噪声分布在合奏更新步骤中使用最大似然估计。为了评估所提出的算法，我们将其应用于从Twitter平台检索的五个真实事件中的离群值检测。
2019-06-04 cs.LG stat.ML
Robust artificial neural networks and outlier detection. Technical report
Deakin University（迪肯大学）；University of Ballarat（巴拉瑞特大学）
大的离群值会破坏线性和非线性回归模型。稳健的回归方法允许人们在构建模型时过滤掉离群值。通过用最小二乘准则代替传统的最小二乘准则，其中一半的数据被视为潜在的离群值，可以将精确的回归模型拟合到强污染数据。高崩溃方法在线性回归中已经非常成熟，但直到最近才开始应用于非线性回归。在这项工作中，我们研究了使用最小修剪平方标准将人工神经网络拟合到受污染数据的问题。我们引入了一个惩罚的最小修剪平方标准，防止不必要的删除有效数据。人工神经网络的训练导致具有挑战性的非光滑全局最优化问题。我们比较了几种无导数最优化方法在解决它的效率，并表明我们的方法正确识别异常值时，人工神经网络用于非线性回归。
2011-10-02 cs.CV cs.NA cs.NE
Outlier Detection using Generative Models with Theoretical Performance Guarantees
University of Iowa（爱荷华大学）；University of Texas, Austin（德克萨斯大学奥斯汀分校）
本文考虑了在许多应用中出现的从被稀疏野值污染的压缩测量中恢复信号的问题。在本文中，我们提出了一个生成模型神经网络方法重建稀疏离群的地面真值信号。我们提出了一种迭代交替方向乘子法（ADMM）算法来解决基于$\ell_1$范数最小化的离群点检测问题，并提出了一种梯度下降算法来解决基于平方$\ell_1$范数最小化的离群点检测问题.我们建立了恢复保证重建的信号使用生成模型中存在的离群值，并给出了一个上限的离群值允许恢复的数量。我们的结果适用于线性生成神经网络和任意层数的非线性生成神经网络。我们使用变分自动编码器和深度卷积生成对抗网络进行了广泛的实验，实验结果表明，使用我们的方法可以在离群值下成功重建信号。我们的方法优于传统的Lasso和$\ell_2$最小化方法。
2018-10-26 cs.CV cs.IT eess.IV
PyOD: A Python Toolbox for Scalable Outlier Detection
Carnegie Mellon University（卡内基梅隆大学）；University of Toronto（多伦多大学）；Northeastern University Toronto（东北大学多伦多校区）
PyOD是一个开源的Python工具箱，用于对多变量数据执行可扩展的离群值检测。独特的是，它提供了对广泛的离群值检测算法的访问，包括已建立的离群值集合和最近的基于神经网络的方法，在一个单一的，文档齐全的API下，专为从业者和研究人员使用。考虑到健壮性和可扩展性，单元测试、持续集成、代码覆盖率、可维护性检查、交互式示例和并行化等最佳实践被强调为工具箱开发的核心组成部分。PyOD与Python 2和3兼容，可以通过Python包索引（PyPI）或https://github.com/yzhao062/pyod安装。
2019-06-10 cs.IR cs.LG stat.ML
Test Distribution-Aware Active Learning: A Principled Approach Against Distribution Shift and Outliers
University of Oxford（牛津大学）
在MacKay（1992）的基础上，我们认为传统的基于模型的主动学习方法（如BALD）有一个根本的缺陷：它们不能直接解释输入变量的测试时间分布。这可能导致采集策略中的病态，因为对于模型参数最大信息量的可能不是对于预测最大信息量的：例如，当池集中的数据比最终预测任务的数据更分散时，或者当池和测试样本的分布不同时。为了纠正这一点，我们重新审视了一种收购策略，该策略基于最大化获得的有关未来可能预测的预期信息，将其称为预期预测信息增益（EPIG）。由于EPIG不能很好地扩展批量收购，我们进一步研究了一种替代策略，BALD和EPIG之间的混合，我们称之为联合预期预测信息增益（JEPIG）。我们考虑在各种数据集上使用贝叶斯神经网络进行主动学习，检查池集中分布偏移下的行为。
2021-11-21 cs.LG stat.ML
Optimizing Transformer Neural Network for Real-Time Outlier Detection on FPGAs
研究如何优化Transformer神经网络推理时间用于金融时间序列实时异常检测，探索不同架构在FPGA板上的高效实现，以最小化延迟进行时间序列异常检测。
2026-07-28 cs.AI cs.AR cs.DC
Efficient variational Bayesian neural network ensembles for outlier detection
Imperial College London（帝国理工学院）
在这项工作中，我们进行离群值检测使用的神经网络的集合通过变分近似的贝叶斯神经网络设置中的后验。变分参数通过梯度下降法从真实后验样本中采样得到。我们表明，我们的离群值检测结果与使用其他有效的集成方法获得的结果相当。
2017-04-22 cs.LG stat.ML
Improving Neural Network Quantization without Retraining using Outlier Channel Splitting
Cornell University（康奈尔大学）
量化可以改善神经网络在商用GPU和专用加速器上的执行延迟和能效。现有的大多数文献都集中在训练量化的DNN上，而这项工作则研究了在没有（重新）训练的情况下量化浮点模型的研究较少的主题。DNN权重和激活在训练后遵循钟形分布，而实际硬件使用线性量化网格。这导致在处理分布中的异常值方面的挑战。先前的工作已经通过裁剪离群值或使用专门的硬件来解决这个问题。在这项工作中，我们提出了离群通道分裂（OCS），它复制包含离群值的通道，然后将通道值减半。网络在功能上保持相同，但受影响的离群值被移向分布的中心。OCS不需要额外的培训，可以在商用硬件上工作。对ImageNet分类和语言建模的实验评估表明，OCS可以以较小的开销胜过最先进的裁剪技术。
2019-05-22 cs.LG stat.ML
OverQ: Opportunistic Outlier Quantization for Neural Network Accelerators
Cornell University（康奈尔大学）；Microsoft（微软）
权重和激活中的异常值对神经网络的定点量化提出了关键挑战。虽然它们可以通过微调来解决，但这对ML服务提供商来说是不实际的（例如，Google或Microsoft），他们经常收到没有训练数据的客户模型。用于处理激活异常值的专用硬件可以实现低精度神经网络，但代价是非平凡的面积开销。相反，我们提出了覆盖量化（OverQ），一个轻量级的硬件技术，机会主义地增加激活离群值的位宽由附近的零。它有两种主要的操作模式：范围覆盖和精度覆盖。范围覆盖重新分配位以增加离群值的范围，而精度覆盖则重复使用零以增加非离群值的精度。将范围覆盖与简单的级联逻辑相结合，我们处理了绝大多数离群值，以显着提高低位宽下的模型精度。我们的实验表明，通过适度的级联，我们可以始终如一地处理超过90%的离群值，并在4位的量化ResNet-50上实现+5%的ImageNet Top-1准确度。我们的ASIC原型表明，OverQ可以有效地实现在现有的重量固定脉动阵列的顶部，每个处理元件的面积增加很小。我们想象这种技术可以补充现代DNN加速器设计，以微不足道的面积开销提供精度的小幅提高。
2021-05-27 cs.LG stat.ML
Attention Sinks and Outliers in Attention Residuals
Department of Computer Science, Northwestern University（西北大学计算机科学系）；Department of Computer Science and Engineering, University of Michigan（密歇根大学计算机科学与工程系）；Department of Statistics and Data Science, University of California Los Angeles（加州大学洛杉矶分校统计与数据科学系）；Department of Electrical and Computer Engineering, University of California San Diego（加州圣地亚哥大学电气与计算机工程系）；Department of Computer Science, Rutgers University-New Brunswick（新泽西州立大学鲁特学院计算机科学系）；Department of Computer Science and Engineering, Texas A&M University（德克萨斯农工大学计算机科学与工程系）；Department of Computer Science, Columbia University（哥伦比亚大学计算机科学系）
本文提出OASIS技术，通过层间空信号来解决注意力残差架构中注意力沉底、激活异常值以及推理稳定性下降的问题，通过双归一化设计和实验验证提升了模型的结构鲁棒性和量化鲁棒性。
2026-09-28 cs.AI cs.LG
Power of masking methods for adaptive testing in a multivariate normal means problem
Columbia University（哥伦比亚大学）；University of Pennsylvania（宾夕法尼亚大学）
研究了掩蔽方法在多变量正态均值问题中的适应性测试中的功效比较，分析了不同机制和调参选择对功效的影响，并探讨了非掩蔽方法的效率。
2026-03-31 math.ST stat.ME stat.TH
Meta-survey on outlier and anomaly detection
CEREMADE, CNRS, UMR 7534, Université Paris-Dauphine, PSL University（巴黎第九大学（多菲纳大学）CEREMADE实验室，法国国家科学研究中心，UMR 7534，PSL大学）；LAMSADE, CNRS, UMR 7243, Université Paris-Dauphine, PSL University（巴黎第九大学（多菲纳大学）LAMSADE实验室，法国国家科学研究中心，UMR 7243，PSL大学）
本文首次开展离群点与异常检测领域的系统性元调研，筛选出25篇高质量通用综述，梳理了领域20年发展脉络、学界写作范式，并总结了该领域的共识与争议问题。
2023-12-12 cs.AI math.ST stat.TH
NullSpaceNet: Nullspace Convoluional Neural Network with Differentiable Loss Function
University of British Columbia（不列颠哥伦比亚大学）；Memorial University of Newfoundland（纽芬兰纪念大学）
我们提出了NullSpaceNet，这是一种新的网络，它从像素级输入映射到联合零空间（与传统的特征空间相反），其中新学习的联合零空间特征具有更清晰的解释并且更可分离。NullSpaceNet确保来自同一个类的所有输入都被折叠到这个新的联合零空间中的一个点，而不同的类被折叠到具有高分离裕度的不同点。此外，提出了一种新的可微损失函数，具有封闭形式的解决方案，没有自由参数。NullSpaceNet在4个不同数据集上对具有全连接层的VGG16进行测试时表现出卓越的性能，准确率提高高达4.55%，可学习参数从135M减少到19M，推理时间减少99%，有利于NullSpaceNet。这意味着NullSpaceNet只需要不到传统CNN 1%的时间就能以更好的准确度对一批图像进行分类。
2020-04-25 cs.LG stat.ML
Symbiotic Hybrid Neural Network Watchdog For Outlier Detection
Baylor University（贝勒大学）
神经网络在很大程度上是黑箱。被训练来对水果进行分类的神经网络可以将长颈鹿的图片分类为香蕉。一个神经网络看门狗的工作是识别这些输入，允许分类器忽略这些数据。我们研究看门狗是否应该从神经网络分离或共生连接。我们提出的经验证据表明，共生看门狗的性能优于当神经网络是不相交的。
2021-04-21 cs.LG eess.IV
Recovery guarantees for polynomial approximation from dependent data with outliers
Dalhousie University（达尔豪斯大学）；University of Waterloo（滑铁卢大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
从噪声、有限和/或相关数据中学习非线性系统是包括统计学、工程学、计算机科学、数学等在内的各个科学领域的重要任务。一般来说，这个学习任务是不适定的;然而，关于数据结构或未知函数行为的额外信息可以使任务适定。在这项工作中，我们研究的问题，学习非线性函数从损坏和相关的数据。学习问题被改写为一个稀疏鲁棒线性回归问题，我们将未知系数和腐败的基础追求框架。我们的论文的主要贡献是提供了一个重建保证相关的$\ell_1$ -优化问题的采样矩阵是从依赖的数据。具体地说，我们证明了抽样矩阵满足零空间性质和稳定零空间性质，只要数据是紧凑的，并满足适当的浓度不等式。我们表明，我们的恢复结果是适用于各种类型的相关数据，如指数强$α$ -混合数据，几何$\mathcal{C}$ -混合数据，均匀遍历马尔可夫链。我们的理论结果通过几个数值模拟进行了验证。
2018-11-25 cs.IT cs.LG math.IT
Robustness Against Outliers For Deep Neural Networks By Gradient Conjugate Priors
Peoples’ Friendship University of Russia（俄罗斯人民友谊大学）；Free University Berlin（柏林自由大学）
我们分析了一种新的鲁棒的方法重建的概率分布的观测数据中存在的输出离群值。它基于所谓的梯度共轭先验（GCP）网络，该网络输出先验的参数。通过严格研究GCP学习过程的动力学，我们导出了一个明确的公式，用于校正所获得的边缘分布的方差，并消除训练集中离群值引起的偏差。假设一个高斯（输入依赖）地面真值分布污染的比例$\varepsilon$的离群值，我们表明，拟合的平均值是在一个$c e^{-1/\varepsilon}$ -附近的地面真值平均值和校正方差是在一个$b\varepsilon$ -附近的地面真值方差，而未经校正的方差的边缘分布甚至可以是无限的。我们明确地发现$b$作为GCP网络的输出的函数，而没有离群值（可能依赖于输入）分布的先验知识。合成和真实世界的数据集的实验表明，GCP网络与标准的优化器拟合优于其他强大的回归方法。
2019-05-21 cs.AI cs.LG math.DS
Autoencoder Watchdog Outlier Detection for Classifiers
Baylor University（贝勒大学）
神经网络通常被描述为黑盒子。一个被训练来区分小猫和小狗的通用神经网络会把一张橘子的照片分类为小猫或小狗。自动编码器看门狗在处理之前筛选经训练的分类器/回归机器输入候选，例如，以首先测试神经网络输入是小狗还是小猫。使用卷积神经网络和卷积自动编码器看门狗使用MNIST图像的初步结果。
2021-02-10 cs.LG
LUNAR: Unifying Local Outlier Detection Methods via Graph Neural Networks
School of Computing, National University of Singapore（新加坡国立大学计算学院）；Institute of Data Science, National University of Singapore（新加坡国立大学数据科学研究所）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）
许多成熟的异常检测方法使用样本与其局部邻域中的样本的距离：所谓的“局部离群值方法”，如LOF和DBSCAN。它们因其简单的原理和在许多实际应用中常见的非结构化、基于特征的数据上的强大性能而广受欢迎。然而，由于缺乏可训练的参数，它们无法学习适应特定的数据集。在本文中，我们开始统一的本地离群值的方法，表明他们是特殊情况下，更一般的消息传递框架中使用的图神经网络。这使我们能够将可学习性引入到局部离群值方法中，以神经网络的形式，以获得更大的灵活性和表现力：具体而言，我们提出了LUNAR，一种新颖的基于图神经网络的异常检测方法。LUNAR学习以可训练的方式使用来自每个节点最近邻居的信息来发现异常。我们表明，我们的方法比现有的局部离群值方法以及最先进的深基线表现得更好。我们还表明，我们的方法的性能对局部邻域大小的不同设置更加鲁棒。
2021-12-10 cs.AI cs.LG
Out-of-Distribution Detection Using Outlier Detection Methods
Friedrich-Schiller-University Jena（耶拿弗里德里希·席勒大学）
分布外检测（OOD）处理神经网络的异常输入。在过去，已经提出了专门的方法来拒绝对异常输入的预测。类似地，示出了结合离群值检测算法的特征提取模型非常适合于检测异常输入。我们使用离群值检测算法来检测异常输入，其可靠性与OOD领域的专业方法一样。不需要神经网络自适应;检测基于模型的softmax得分。我们的方法使用隔离森林进行无监督工作，并且可以通过使用梯度提升等监督学习方法来进一步改进。
2022-01-24 cs.LG
Three Revisits to Node-Level Graph Anomaly Detection: Outliers, Message Passing and Hyperbolic Neural Networks
Duke Kunshan University（昆山杜克大学）
该研究从离群点注入、消息传递影响、双曲神经网络应用三方面重新审视无监督节点级图异常检测，发现消息传递会导致性能下降，明确了双曲网络的关键设计，为该领域方法优化提供了通用策略。
2024-03-06 cs.LG
Neural Relation Graph: A Unified Framework for Identifying Label Noise and Outlier Data
Seoul National University（首尔大学）；NAVER AI Lab（NAVER AI实验室）
本文提出神经关系图框架，利用特征嵌入空间中的关系结构统一检测标签噪声和离群数据，并配套可视化工具，在ImageNet、ESC-50和SST2上取得最先进的检测性能。
2023-10-30 cs.LG
Ghosts in Neural Networks: Existence, Structure and Role of Infinite-Dimensional Null Space
RIKEN AIP（日本理化学研究所Advanced Institute for Physical Research）；CyberAgent, Inc（CyberAgent公司）；Kyoto University（京都大学）；The University of Osaka（大阪大学）
研究连续宽度二层全连接神经网络参数非唯一性，提出求解神经网络方程\(S[\gamma]=f\)的方法，通过傅里叶表达式等得到脊波展开，确定最小范数参数分布，给出伴随脊波函数，还展示了零元素离散化及参数扰动特性。
2026-07-21 cs.LG stat.ML
Vacant Holes for Unsupervised Detection of the Outliers in Compact Latent Representation
Delft University of Technology（代尔夫特理工大学）；University of Piraeus（比雷埃夫斯大学）
针对经典变分自编码器（VAE）的理论缺陷与异常检测难题，通过亚历山德罗夫延拓和固定利普希茨常数实现潜在空间紧凑化，发现异常输入易落入空间空缺孔洞，设计专用检测分数，在多基准上取得良好无监督异常检测效果。
2023-06-16 cs.LG stat.ML
Less is More: Culling the Training Set to Improve Robustness of Deep Neural Networks
University of California, Davis（加州大学戴维斯分校）
深度神经网络容易受到对抗性样本的攻击。以前的防御试图通过改变网络架构或使用对抗性示例来增强训练集，使深度网络更加强大，但两者都有固有的局限性。最近的研究表明，训练集中的离群值对训练模型有很大的负面影响，我们研究了模型鲁棒性和训练集质量之间的关系。我们首先表明，离群点给模型更好的泛化能力，但较弱的鲁棒性。接下来，我们提出了一个对抗性示例检测框架，在该框架中，我们设计了两种方法来从训练集中去除离群值以获得净化模型，然后通过计算原始模型和净化模型之间的输出差异来检测对抗性示例。我们评估了MNIST和SVHN的框架。基于Kullback-Leibler散度测量的差异，我们可以检测到准确率在94.67%到99.89%之间的对抗性示例。
2018-12-08 cs.CR cs.LG stat.ML
Outlier Exposure with Confidence Control for Out-of-Distribution Detection
University of Southern California（南加州大学）
深度神经网络在过去几年中在分类任务中取得了巨大成功。然而，通往人工智能的道路的一个主要问题是神经网络不能准确地从新的类分布中检测样本，因此，大多数现有的分类算法假设所有类在训练阶段之前都是已知的。在这项工作中，我们提出了一种方法来训练一个神经网络，使其能够有效地检测出的分布（OOD）的例子，而不损害其分类精度的测试样本从已知的类。我们提出了一种新的损失函数，产生了一种新的方法，离群暴露与置信度控制（OECC），它实现了卓越的结果，在OOD检测与OE的图像和文本分类任务，而不需要访问OOD样本。此外，我们通过实验表明，OECC与最先进的训练后OOD检测方法（如Mahalanobis检测器（MD）和Gramian矩阵（GM）方法）相结合，进一步提高了它们在OOD检测任务中的性能，展示了将训练和训练后方法相结合进行OOD检测的潜力。
2021-02-02 cs.CV cs.LG stat.ML
Probabilistic Outlier Detection and Generation
Qatar Computing Research Institute（卡塔尔计算研究所）；Walmart Labs（沃尔玛实验室）
通过将数据提升到概率分布的空间中，引入了一种新的离群值检测和生成方法，该概率分布不可解析表达，但可以使用神经生成器从中提取样本。给定未知潜在内点和离群点分布的混合，使用Wasserstein双自动编码器来检测和生成内点和离群点。所提出的方法，命名为WALDO（Wasserstein Autoencoder for Learning the Distribution of Outliers），在经典数据集上进行了评估，包括MNIST，CIFAR10和KDD99的检测精度和鲁棒性。我们给出了一个真实的零售销售数据集上的离群值检测的例子和一个模拟入侵攻击的离群值生成的例子。然而，我们预见到WALDO可以使用的许多应用场景。据我们所知，这是第一个研究离群值检测和生成一起工作。
2020-12-22 cs.LG
NullaNet: Training Deep Neural Networks for Reduced-Memory-Access Inference
University of Southern California（南加州大学）
深度神经网络已成功部署在包括计算机视觉和语音识别在内的各种应用中。然而，这些模型的计算和存储复杂性迫使大多数计算在高端计算平台或云上执行。为了应对这些模型的计算和存储复杂性，本文提出了一种训练方法，通过布尔逻辑最小化实现深度神经网络的完全不同的方法。上述实现完全去除了访问存储器以获得模型参数的耗能步骤，与使用浮点运算的实现相比，消耗大约两个数量级的计算资源，并且具有显著更低的延迟。
2018-08-27 cs.LG cs.NE stat.ML
S2D: Selective Spectral Decay for Quantization-Friendly Conditioning of Neural Activations
Amazon（亚马逊公司）；Carnegie Mellon University（卡内基梅隆大学）
S2D通过选择性谱衰减减少神经激活异常值，提升模型在量化过程中的准确性和部署效率。
2026-02-16 cs.AI cs.LG stat.ML
Outliers with Opposing Signals Have an Outsized Effect on Neural Network Optimization
Carnegie Mellon University（卡内基梅隆大学）
该研究发现自然数据中带相反信号的成对异常值会显著影响神经网络优化，解释了渐进锐化等现象，通过实验与理论分析验证，并为优化训练方法提供新视角。
2023-11-07 cs.AI cs.CV cs.LG
Understanding and Minimising Outlier Features in Neural Network Training
ETH Zürich（苏黎世联邦理工学院）；University of Geneva（日内瓦大学）；ETH AI Center（苏黎世联邦理工学院人工智能中心）
本研究提出度量离群特征的指标，并引入离群保护块和非对角预条件优化器，显著减少神经网络训练中的离群特征，改善量化性能，在70亿参数规模下验证了有效性。
2024-11-06 cs.LG
DORA: Exploring Outlier Representations in Deep Neural Networks
Leibniz Institute for Agriculture and Bioeconomy (ATB)（莱布尼茨农业与生物经济研究所（ATB））；Technical University of Berlin（柏林工业大学）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所（BIFOLD））；Korea University（高丽大学）；Max Planck Institut für Informatik（马克斯·普朗克信息学研究所）；Google Research（谷歌研究院）；University of Potsdam（波茨坦大学）；UiT Arctic University of Norway（挪威北极大学）
本文提出首个数据无关的DORA框架及极端激活（EA）距离度量，通过分析最高激活数据点上的激活模式来识别深度神经网络内部表示中的离群概念，从而有效发现模型学习到的虚假相关性和伪影特征。
2023-07-10 cs.AI cs.CV cs.LG
OpenMix: Exploring Outlier Samples for Misclassification Detection
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
深度神经分类器的可靠置信度估计在高风险应用中是一个具有挑战性的基本要求。不幸的是，现代深度神经网络往往对错误的预测过于自信。在这项工作中，我们利用容易获得的离群样本，即，来自非目标类的未标记样本，用于帮助检测误分类错误。特别是，我们发现，众所周知的离群暴露，这是强大的检测出的分布（OOD）样本从未知的类，不提供任何增益识别误分类错误。基于这些观察结果，我们提出了一种新的方法，称为OpenMix，它通过学习拒绝通过离群值变换生成的不确定伪样本来融合开放世界知识。OpenMix显著提高了各种场景下的置信可靠性，建立了一个强大而统一的框架，用于检测来自已知类的错误分类样本和来自未知类的OOD样本。该代码可在https://github.com/Impression2805/OpenMix上公开获取。
2023-03-30 cs.AI cs.LG
On the Powerfulness of Textual Outlier Exposure for Visual OoD Detection
Seoul National University（首尔大学）
本文首次探索文本异常值暴露用于视觉 OoD 检测，提出多种生成文本异常值的方法，并在大规模基准上取得竞争力，总结出近分布、描述性和视觉语义三大设计标准。
2023-10-25 cs.AI cs.CV cs.LG
Graph Neural Network to Dilute Outliers for Refactoring Monolith Application
IBM Research（IBM研究院）
微服务正在成为软件架构的实际设计选择。它涉及将软件组件划分为更精细的模块，以便开发可以独立进行。当部署在云上时，它还提供了自然的好处，因为资源可以根据需求动态分配给必要的组件。因此，作为其云之旅的一部分，企业越来越多地寻求将其单体应用重构为一个或多个候选微服务;其中每个服务包含一组软件实体（例如，类）负责公共功能。图形是表示软件系统的自然选择。每个软件实体可以表示为节点，其与其他实体的依赖关系表示为链接。因此，这个重构问题可以被看作是一个基于图的聚类任务。在这项工作中，我们提出了一种新的方法来适应图神经网络的最新进展，在代码的上下文中，以更好地理解软件，并将其应用于聚类任务。在这个过程中，我们还识别了图中的异常值，这些异常值可以直接映射到软件中的顶级重构候选者。与软件工程和现有的基于图形表示的技术相比，我们的解决方案能够提高最先进的性能。
2021-02-07 cs.AI cs.LG cs.SE
Null Space Properties of Neural Networks with Applications to Image Steganography
University of New Hampshire（新罕布什尔大学）
本文将零空间概念扩展至非线性神经网络，利用输入中不影响预测的零空间分量实现图像隐写，并在 MNIST 上证明网络可被诱导识别隐藏类别。
2024-01-01 cs.AI cs.CR cs.CV
Outlier Robust Extreme Learning Machine for Multi-Target Regression
Federal University of Espírito Santo（圣埃斯皮里图联邦大学）
基于极限学习机（ELM）的算法在过去几年中越来越流行，它可以用于训练单层前馈神经网络（SLFN）。它们已成功应用于广泛的分类和回归任务。最常用的方法是基于最小化误差的$\ell_2$范数的方法，这不适合处理离群值，特别是在回归任务中。在离群鲁棒ELM（OR-ELM）中，提出了$\ell_1$范数的使用，定义为一维输出。本文利用误差$\ell_{2,1}$范数和弹性网络理论，将OR-ELM推广到多目标回归问题，得到一个更稀疏的网络，从而得到我们的方法--广义离群鲁棒ELM（Generalized Outlier Robust ELM，简称OR-ELM）。我们使用交替方向乘法（ADMM）来解决由此产生的优化问题。还提出了一个增量版本的EST-ELM。我们选择了15个公开的真实世界多目标回归数据集来测试我们的方法。我们进行的实验表明，它们在统计学上优于其他基于ELM的技术，当考虑数据污染离群值，并相当于他们，否则。
2019-07-16 cs.LG stat.ML
Skin cancer detection based on deep learning and entropy to detect outlier samples
Federal University of Espírito Santo（圣埃斯皮里图联邦大学）；Dalhousie University（达尔豪斯大学）；University of Stirling（斯特林大学）
我们描述了我们的方法，分别在ISIC挑战2019中的任务1和任务2中获得第三和第四名。这项挑战的目标是使用图像和元数据提供皮肤癌的诊断。数据集中有九个类，然而，其中一个是异常值，并且不存在于数据集中。为了解决这个问题，我们应用了一个分类器集成，它有13个卷积神经网络（CNN），我们开发了两种方法来处理异常值类，我们提出了一种简单的方法来使用元数据和图像。在本报告中，我们详细介绍了每种方法和参数，以便轻松复制我们的工作。所得到的结果是根据以前的挑战和方法来检测离群类和解决元数据似乎是正常工作。
2020-01-05 cs.CV cs.LG stat.ML
Efficient Neural Network based Classification and Outlier Detection for Image Moderation using Compressed Sensing and Group Testing
IIT Bombay（印度理工学院孟买分校）
针对图像审核计算成本高的问题，提出基于压缩感知与分组测试的QMPNN网络及池化深度异常检测，通过矩阵池化降低计算量，实现高效分类与异常检测。
2023-05-12 cs.CV cs.LG
Dimensionality-induced information loss of outliers in deep neural networks
Corporate Research and Development Center, Toshiba Corporation（东芝公司企业研究开发中心）；The University of Tokyo（东京大学）；Center for Advanced Intelligence Project, RIKEN（理化学研究所先进智能项目中心）
该研究通过实验探究DNN特征的层依赖性，发现网络内在低维化是OOD样本与ID样本差异随深度增加的核心原因，提出维度感知OOD检测方法，以更低计算成本实现了多数据集上的高性能检测。
2024-10-29 cs.LG
DOS: Diverse Outlier Sampling for Out-of-Distribution Detection
Southern University of Science and Technology（南方科技大学）；Nanjing University（南京大学）
针对OOD检测中离群点采样易偏向特定类型的问题，本文提出DOS多样化离群点采样策略，通过特征聚类选取多样且信息丰富的离群点，在CIFAR-100上使FPR95最多降低25.79%。
2024-02-25 cs.LG
Are Deep Neural Networks "Robust"?
Rutgers University（罗格斯大学）
将离群值与内值分离是计算机视觉中鲁棒性的定义。本文描述了深度神经网络与典型的鲁棒估计器的不同之处。深度神经网络在传统定义下并不健壮。
2020-08-25 cs.CV cs.LG
naPINN: Noise-Adaptive Physics-Informed Neural Networks for Recovering Physics from Corrupted Measurement
Department of Industrial Engineering（工业工程系）；Seoul National University（首尔国立大学）
提出噪声自适应物理信息神经网络(naPINN)，通过嵌入能量模型学习残差分布并自适应过滤异常值，从非高斯噪声和离群点损坏的测量中鲁棒恢复物理解。
2026-06-01 cs.AI cs.LG
Toward Scalable and Unified Example-based Explanation and Outlier Detection
Singapore University of Technology and Design（新加坡科技设计大学）；Ben-Gurion University of the Negev（内盖夫本-古里安大学）；University of Oslo（奥斯陆大学）
当神经网络被用于高风险决策时，希望它们能为它们的预测提供解释，以便我们理解有助于决策的特征。同时，重要的是要标记潜在的离群值，以便领域专家进行深入验证。在这项工作中，我们提出了统一的两个不同方面的可解释性与离群值检测。我们主张更广泛地采用基于原型的学生网络，能够为他们的预测提供基于示例的解释，同时识别预测样本和示例之间的相似区域。这些例子是通过我们新颖的迭代原型替换算法从训练集中采样的真实原型案例。此外，我们建议使用原型相似性分数来识别离群值。我们比较了我们提出的网络与其他基线在分类，解释质量和离群值检测方面的性能。我们表明，我们基于原型的网络超越相似性内核提供了有意义的解释和有前途的离群值检测结果，而不影响分类精度。
2022-05-08 cs.LG
A Unified Neural Network Approach for Estimating Travel Time and Distance for a Taxi Trip
Wayne State University（韦恩州立大学）；DiDi Research America（滴滴美国研究院）；DiDi Research（滴滴研究院）
在构建出租车或拼车服务等智能交通系统时，准确预测出行时间和距离对于客户体验和资源管理至关重要。使用纽约出租车数据集，其中包含从支持GPS的出租车收集的出租车行程数据[23]，本文研究了使用深度神经网络来联合预测出租车行程时间和距离。我们提出了一个模型，称为ST-NN（时空神经网络），它首先预测的起点和目的地的GPS坐标之间的旅行距离，然后将此预测与一天中的时间预测旅行时间。ST-NN的美妙之处在于它只使用原始行程数据，而不需要进一步的特征工程，并提供旅行时间和距离的联合估计。我们比较了ST-NN的性能，国家的最先进的旅行时间估计方法，我们观察到，所提出的方法比国家的最先进的方法更好地推广。我们表明，ST-NN方法显着降低了平均绝对误差预测行程时间和距离，约17%的行程时间预测。我们还观察到，所提出的方法是更强大的离群值存在于数据集通过测试的性能的ST-NN的数据集和没有离群值。
2017-10-12 cs.LG stat.ML
Meta-Learner with Linear Nulling
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
我们提出了一个元学习算法，利用线性Transformer进行零空间投影的神经网络输出。其主要思想是构造一个替代的分类空间，使得在少样本学习期间的误差信号在该空间上被快速地强制为零，从而使得在低数据上的可靠分类成为可能。查询的最终决策是利用网络输出和参考向量之间的零空间投影距离度量获得的，这两者都是在初始学习阶段训练的。在具有给定模型大小的已知方法中，我们的元学习器使用Omniglot和miniImageNet数据集实现了最佳或接近最佳的图像分类精度。
2018-12-05 cs.LG stat.ML
Computing frustration and near-monotonicity in deep neural networks
Division of Automatic Control, Dept. of Electrical Engineering, Linköping University（自动控制系，电气工程系，林雪平大学）；Division of Communication Systems, Dept. of Electrical Engineering, Linköping University（通信系统系，电气工程系，林雪平大学）
本研究通过计算深度神经网络的挫折度，发现其低于零模型，表明网络函数呈近单调性，体现有序行为，并提出一种隐式正则化形式。
2025-10-06 cond-mat.dis-nn cs.LG stat.ML
Z-Error Loss for Training Neural Networks
Osmo Labs（Osmo实验室）
本文提出Z-Error Loss，通过批次级统计自动检测并屏蔽分布外离群点，减少错误梯度影响，提升神经网络训练的鲁棒性和泛化能力，并为数据清洗提供诊断。
2025-06-02 cs.AI cs.LG
Wave-RVFL: A Randomized Neural Network Based on Wave Loss Function
Indian Institute of Technology Indore（印度印多尔理工学院）
针对传统RVFL网络易受噪声异常值影响、需矩阵求逆导致可扩展性差的问题，提出融合Wave损失函数的Wave-RVFL，用Adam算法求解优化，在多UCI数据集上验证了其更优的性能与鲁棒性。
2024-10-05 cs.LG
SplitQuant: Layer Splitting for Low-Bit Neural Network Quantization
The Hong Kong University of Science and Technology（香港科技大学）；Nota Inc.（Nota公司）
本文提出 SplitQuant 方法，通过将可量化层拆分为三个数学等价层并对权重和偏置进行三簇聚类，在保留离群值的同时提高低比特量化分辨率，在 BERT-Tiny 上显著提升 INT2 量化精度。
2025-02-06 cs.AI cs.LG
Can Dense Connectivity Benefit Outlier Detection? An Odyssey with NAS
Duke University（杜克大学）
提出基于NAS的离群点检测器密集连接搜索范式DCSOD，通过分层搜索空间探索CNN密集连接，并引入演化蒸馏提升评估稳定性，在CIFAR基准上实现SOTA性能。
2024-06-04 cs.CV cs.LG
VOS: Learning What You Don't Know by Virtual Outlier Synthesis
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
由于分布外检测在神经网络的安全部署中的重要性，最近受到了广泛的关注。其中一个关键挑战是模型缺乏来自未知数据的监督信号，因此可能会对OOD数据产生过度自信的预测。以前的方法依赖于真实的离群数据集进行模型正则化，这可能是昂贵的，有时在实践中是不可行的。在本文中，我们提出了VOS，一个新的框架OOD检测自适应合成虚拟离群值，可以有意义地规范模型的决策边界在训练过程中。具体而言，VOS从特征空间中估计的类条件分布的低似然区域中采样虚拟离群值。此外，我们还引入了一种新的未知感知训练目标，该目标对比性地塑造了ID数据和合成离群数据之间的不确定性空间。VOS在目标检测和图像分类模型上都实现了具有竞争力的性能，与之前的目标检测器最佳方法相比，将FPR 95降低了9.36%。代码可在https://github.com/deeplearning-wisc/vos上获得。
2022-05-09 cs.CV cs.LG
UniOD: A Universal Model for Outlier Detection across Diverse Domains
UniOD通过统一特征提取和图神经网络实现跨领域异常检测，无需超参数调优，提升实际应用的便捷性和准确性。
2026-03-14 cs.LG
Utilizing a null class to restrict decision spaces and defend against neural network adversarial attacks
Binary Cognition, LLC（二进制认知有限责任公司）
尽管最近取得了进展，但深度神经网络通常仍然容易受到所谓的对抗性示例的影响-输入图像具有小的扰动，可能导致输出分类的变化，尽管对人类观众的语义含义没有这种变化。即使对于像MNIST数字分类任务这样看似简单的挑战也是如此。在某种程度上，这表明这些网络并不依赖于人类用来进行这些分类的同一组对象特征。在本文中，我们研究了一个额外的，而且在很大程度上未被探索的，这种现象背后的原因-即，使用传统的训练范式，其中整个输入空间被包裹在训练类。由于这种范式，学习的决策空间的个别类跨越输入空间的过大的区域，并包括图像，没有语义相似性的图像在训练集中。在这项研究中，我们训练模型，包括一个空类。也就是说，模型可以“选择退出”将输入图像分类为数字类别之一。在训练过程中，通过各种方法创建空图像，试图为数字类创建更紧密和更有语义意义的决策空间。表现最好的模型将几乎所有对抗性样本分类为null，而不是将它们误认为是不正确的数字类的成员，同时在未扰动的测试集上保持高准确性。空类的使用和本文提出的训练范例可以为某些应用提供针对对抗攻击的有效防御。复制本研究的代码将在https://github.com/mattroos/null_class_adversarial_defense上提供。
2020-02-24 cs.CV cs.LG
Robust LassoNet: Enhancing Feature Selection in Neural Networks via Robust Loss Functions
针对神经网络特征选择对异常值敏感的问题，提出鲁棒LassoNet，通过引入Huber、Cauchy等鲁棒损失函数，在保持优化框架的同时提升污染数据下的预测与特征选择性能。
2026-10-12 cs.LG math.PR stat.ML
