Peak Criterion for Choosing Gaussian Kernel Bandwidth in Support Vector Data Description
SAS Institute（SAS研究所）
支持向量数据描述（SVDD）是一种用于单类分类和离群点检测的机器学习技术。带核函数的SVDD公式提供了一个灵活的数据边界。核函数参数的值影响数据边界的性质。例如，可以观察到，在高斯核的情况下，随着核带宽的值降低，数据边界从球形变为摆动。球形的数据边界会导致欠拟合，而极度波动的数据边界会导致过拟合。在本文中，我们提出了经验准则，以获得良好的值的高斯核带宽参数。这个标准提供了一个平滑的边界，捕捉数据的基本几何特征。
2017-08-08 cs.LG stat.AP stat.ML
Local projections for high-dimensional outlier detection
在本文中，我们提出了一种用于离群值检测的新方法，称为局部投影，其基于局部离群值因子（LOF）的概念（Breunig等人，2000）和RobPCA（Hubert等人，2005年）。通过使用这两种方法的各个方面，我们的算法对噪声变量是鲁棒的，并且能够在多组情况下执行离群值检测。我们进一步不依赖于特定的底层数据分布。对于数据集的每个观测，我们基于k-最近邻算法的修改来识别密集附近观测的局部组，我们称之为核心。通过将数据集投影到这些观测所跨越的空间上，揭示了两个方面。首先，我们可以分析从观测到投影空间内的核心中心的距离，以提供通过投影对观测的描述质量的度量。其次，我们考虑观察到投影空间的距离，以评估核心是否适合描述观察的异常性。这些新颖的解释导致基于所有局部投影上的聚合的异常度的单变量测量，其优于LOF和RobPCA以及其他流行方法如PCOut（Filzmoser等人，2008）和基于子空间的离群值检测（Kriegel等人，2009）在我们的模拟设置。在实际应用中，采用不同维度的数据集的实验证明了局部投影的优势。
2017-08-04 stat.ME
Fast Incremental SVDD Learning Algorithm with the Gaussian Kernel
SAS Institute Inc.（SAS研究所）
支持向量数据描述（SVDD）是一种用于单类分类和离群点检测的机器学习技术。SVDD的思想是找到一组定义数据边界的支持向量。当处理在线数据或大数据时，现有的批处理SVDD方法必须在每次迭代中被重新配置。我们提出了一个增量学习算法的SVDD，使用高斯核。该算法建立在边界上的所有支持向量到高斯核函数映射的高维特征空间中的球心的距离相同的观察基础上。每次迭代只涉及现有的支持向量和新的数据点。此外，该算法是完全基于矩阵操作，支持向量和它们相应的拉格朗日乘子$α_i$的自动选择和确定在每次迭代。可以看出，我们的算法在每次迭代中的复杂度仅为$O(k^2)$，其中$k$是支持向量的数量。在真实数据集上的实验结果表明，FISVDD在不损失异常点检测精度和目标函数值的情况下，提高了效率。
2018-11-01 cs.LG stat.ML
Kernel Bandwidth Selection for SVDD: Peak Criterion Approach for Large Data
SAS Institute Inc.（赛仕软件研究所）
支持向量数据描述（SVDD）为多变量数据的单类分类和离群点检测提供了一种有效的描述方法，具有广泛的实际应用。在SVDD公式中使用的高斯核允许由指定为支持向量的观测定义的灵活的数据描述。这种描述的数据边界是非球形的，并且符合数据的几何特征。通过改变高斯核带宽参数，SVDD生成的边界可以变得更平滑（更球形）或更紧密/锯齿状。前者可能导致欠拟合，而后者可能导致过拟合。峰值准则已被提出来选择一个最佳值的核带宽之间的数据边界的平滑性和它的能力，以捕捉数据的一般几何形状的平衡。峰值准则涉及在核带宽参数的各种值下训练SVDD。当训练数据集很大时，根据Peak方法获得高斯核带宽参数的最佳值所需的时间可能会变得非常大。本文提出了一种扩展的峰值方法的情况下，大数据。当应用于多个数据集时，所提出的方法给出了良好的结果。两个现有的替代方法计算高斯核带宽参数（变异系数和距离的Faradian邻居）进行了修改，以便与所提出的方法的收敛性进行比较。实证比较表明了该方法的优越性。
2017-05-19 cs.LG stat.ML
Generating Artificial Outliers in the Absence of Genuine Ones -- a Survey
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
根据定义，离群值在现实中很少被观察到，因此难以检测或分析。人工异常值近似于这些真正的异常值，并且可以例如帮助检测真正的异常值或对异常值检测算法进行基准测试。该文献的特点是不同的方法来产生人为的离群值。然而，这些方法的系统比较仍然缺乏。本文对这些方法进行了调查和比较。我们首先澄清该领域的术语，这是不同的出版物，我们提出了一个一般的问题制定。我们对生成离群值与其他研究领域（如实验设计或生成模型）的联系的描述构成了人工离群值领域的框架。除了提供简洁的描述外，我们还根据它们的一般概念以及它们如何利用真正的实例对这些方法进行了分组。一个广泛的实验研究揭示了生成方法之间的差异时，最终被用于离群值检测。这项调查表明，现有的方法已经涵盖了广泛的概念，基本的一代，但该领域仍然有进一步发展的潜力。我们的实验研究证实了预期的质量的生成方法变化很大，例如，在数据集上，他们使用。最终，在特定的上下文中，我们提出了一个适当的一般决策过程，以指导选择的生成方法。总之，这项调查包括，描述和连接所有有关人工离群值生成的相关工作，并可作为指导该领域进一步研究的基础。
2020-06-05 cs.LG stat.ML
On the use of the M-quantiles for outlier detection in multivariate data
本文研究了用于异常值检测的M-quantiles，K-transform，证明了在奇数维度d>=3中其与密度成正比的是多重拉普拉斯算子而非梯度，，揭示了该机制在异常值检测中的存在放大效应缺陷。
2024-01-10 math.OC math.ST stat.TH
Anomaly-Injected Deep Support Vector Data Description for Text Outlier Detection
Tencent America（腾讯美国）；University of Utah（犹他大学）
异常检测或离群点检测是各个领域的常见任务，近年来吸引了大量的研究工作。现有的工作主要集中在结构化的数据，如数值或分类数据，而非结构化的文本数据的异常检测很少关注。在这项工作中，我们针对文本异常检测问题，并提出了一个深度异常注入支持向量数据描述（AI-SVDD）框架。AI-SVDD不仅学习了数据超球体的更紧凑的表示，而且还采用了少量的已知异常来提高区分能力。为了处理文本输入，我们采用多层感知器（MLP）网络结合BERT，以获得丰富的文本表示。我们在三个多数据集的文本异常检测应用程序上进行实验。实验结果表明，所提出的AI-SVDD是有前途的，优于现有的工作。
2021-10-27 cs.CL cs.LG
Causal explanations of outliers in systems with lagged time-dependencies
AMS-Osram（艾迈斯欧司朗）；University of Hamburg（汉堡大学）
本文提出了一种针对具有滞后时间依赖性的系统中异常值的因果解释方法，通过两种截断方法处理无限依赖图，并在能源管理场景中验证了其有效性。
2026-02-04 cs.LG stat.ML
A Mathematical Optimization Approach to Multisphere Support Vector Data Description
Institute of Mathematics (IMAG), Universidad de Granada（格拉纳达大学数学研究所）；Dpt. of Stats. & Operations Research, Universidad de Cádiz（卡迪斯大学统计与运筹学系）
本文提出一种基于混合整数二阶锥模型的数学优化框架，通过构建超球体并利用核技巧检测多模态数据中的异常值，在准确性和鲁棒性上优于现有启发式方法。
2025-07-15 cs.LG math.OC
Unsupervised Time Series Outlier Detection with Diversity-Driven Convolutional Ensembles -- Extended Version
Aalborg University（奥尔堡大学）；Huawei Cloud Database Innovation Lab（华为云数据库创新实验室）；University of Electronic Science and Technology of China（电子科技大学）
针对时间序列异常检测在准确性和效率上的不足，提出一种基于卷积序列到序列自编码器的多样性驱动卷积集成方法，通过维持模型多样性提升准确性，并利用高度并行化和参数迁移提高效率。
2021-11-22 cs.LG
Two-level histograms for dealing with outliers and heavy tail distributions
Orange Labs（奥兰治实验室）
针对G-Enum直方图在异常值与重尾分布下的局限，提出基于对数变换划分子集、再构建聚合子直方图的双层启发式方法，实验验证了其有效性。
2023-06-09 cs.LG
The Mean and Median Criterion for Automatic Kernel Bandwidth Selection for Support Vector Data Description
SAS Institute Inc.（SAS研究所公司）
支持向量数据描述（SVDD）是一种流行的异常检测技术。SVDD分类器将整个空间划分为内点区域和离群点区域，内点区域由靠近训练数据的区域组成，离群点区域由远离训练数据的点组成。SVDD分类器的计算需要核函数，高斯核是核函数的常见选择。高斯核有一个带宽参数，其值对于良好的结果很重要。小的带宽导致过拟合，并且所得到的SVDD分类器高估了异常的数量。大的带宽导致欠拟合，并且分类器无法检测到许多异常。在本文中，我们提出了一种新的自动，无监督的方法来选择高斯核带宽。所选的值可以快速计算，并且与现有的带宽选择方法具有竞争力。
2017-08-21 cs.AI cs.LG stat.ML
TagFog: Textual Anchor Guidance and Fake Outlier Generation for Visual Out-of-Distribution Detection
Sun Yat-sen University（中山大学）；Peng Cheng Laboratory（鹏城实验室）
针对视觉模型仅用分布内数据训练易对分布外样本过度自信的问题，提出TagFog框架，结合拼图伪造OOD样本与ChatGPT生成的ID知识文本锚点引导图像编码器训练，可适配现有后处理方法，在多个基准上取得SOTA性能。
2024-11-22 cs.CV cs.LG
Model-free quantification of completeness, uncertainties, and outliers in atomistic machine learning using information theory
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；University of California（加州大学）
提出基于信息论的无模型理论框架，利用原子中心环境分布的信息熵量化原子机器学习中的信息内容，实现可靠的认知不确定性预测与分布外样本检测。
2024-09-18 cond-mat.mtrl-sci cs.LG physics.chem-ph
Understanding and Exploiting Anisotropy in Post-Training
本文揭示LLM训练后阶段中残差通道各向异性并非缺陷，而是连贯性基底与推理适应的分工，并提出SphereGate方法利用该特性，以极少参数超越参数高效基线并媲美全模型GRPO。
2026-09-29 cs.CL cs.LG
Description and Discussion on DCASE 2021 Challenge Task 2: Unsupervised Anomalous Sound Detection for Machine Condition Monitoring under Domain Shifted Conditions
Hitachi, Ltd.（日立制作所）；Doshisha University（同志社大学）；Google（谷歌）；NTT Corporation（日本电报电话公司）
我们介绍了DCASE 2021挑战任务2的任务描述和结果讨论。2020年，我们组织了一项无监督的异常声音检测（ASD）任务，在没有异常训练数据的情况下识别给定声音是正常还是异常。在2021年，我们组织了一个在领域转移条件下的高级无监督ASD任务，重点关注ASD系统实际使用中不可避免的问题。该任务的主要挑战是检测未知的异常声音，其中训练样本和测试样本的声学特性不同，即，域转移由于季节、制造产品和/或环境噪声的变化，该问题经常发生。我们收到了来自26个团队的75份参赛作品，在这次挑战中开发了几种新颖的方法。在对评估结果进行分析的基础上，我们发现TOP-5获胜团队采用了两种类型的显着方法：1）基于“离群点检测”（OE）的检测器和基于“内点建模”（IM）的检测器的集成方法，以及2）基于IM的机器识别任务中学习的特征检测方法。
2021-09-27 cs.LG cs.SD eess.AS
EasyQuant: An Efficient Data-free Quantization Algorithm for LLMs
Tencent（腾讯）
针对现有LLM量化方法依赖训练数据影响泛化的问题，提出无需训练、无数据依赖的EasyQuant纯权重量化算法，通过保留少量离群值、优化量化范围实现近无损量化，速度超数据依赖方法10倍。
2024-03-05 cs.AI cs.LG
Eigen-Spike Emergence and Quadratic Equivalents for Conjugate Kernels on Nonlinearly Separable Data
Department of Mathematics ICSI and Department of Statistics（数学系ICSI和统计系）；University of California, San Diego, USA（美国加州大学圣地亚哥分校）；University of California, Berkeley, USA（美国加州大学伯克利分校）；Department of Mathematics ICSI, LBNL and Department of Statistics（数学系ICSI、劳伦斯伯克利国家实验室和统计系）
针对非线性可分数据（XOR问题），通过共轭核矩阵的二次等价模型，分析异常特征值涌现及其与标签对齐的BBP型相变，揭示样本复杂度、信噪比、激活函数和预训练特征对非线性可学习性的影响。
2026-06-17 cs.LG math.PR math.ST
The Trace Criterion for Kernel Bandwidth Selection for Support Vector Data Description
Internet of Things, SAS Institute Inc., Cary, NC, 27513（物联网，SAS公司，北卡罗来纳州卡里，27513）
本文提出了一种新的无监督方法，用于选择支持向量数据描述（SVDD）中高斯核的带宽，通过利用核矩阵的低秩表示来建议带宽值，该方法在低维数据中与当前最佳方法竞争，并在许多高维数据类别中表现极佳。
2020-02-05 cs.LG cs.NA math.NA
Identification of Abnormal States in Videos of Ants Undergoing Social Phase Change
University of Lincoln（林肯大学）；Arizona State University（亚利桑那州立大学）
生物学既是一个重要的应用领域，也是先进机器学习技术发展的动力来源。尽管已经对由高通量测序产生的大而复杂的数据集给予了很多关注，但是高质量视频记录技术的进步已经开始产生类似的丰富数据集，这需要来自计算机视觉和时间序列分析的复杂技术。此外，正如研究一种生物体的基因表达模式可以揭示适用于其他生物体的一般原理一样，在实验上易于处理的模型系统（如实验室蚁群）中研究复杂的社会相互作用可以提供有关其他社会群体动态的一般原理。在这里，我们专注于一个这样的例子，从研究的生殖调节小实验室殖民地的50多个Harpegnathos蚂蚁。这些蚂蚁可以被人工诱导开始一个大约20天的等级改革过程。虽然这个过程的结论对人类观察者来说是显而易见的，但仍然不清楚过渡期间的哪些行为对这个过程有贡献。为了解决这个问题，我们探讨了一类分类（OC）的潜在应用，以检测异常状态的蚁群中的行为数据，只有在正常的社会条件下训练。具体来说，我们建立在深度支持向量数据描述（DSVDD）的基础上，并引入了内部异常值生成器（IO-GEN），该生成器在训练过程中合成了靠近DSVDD数据描述中心的假“内部异常值”观测值。我们表明，相对于其他DSVDD基线，IO-GEN提高了最终OC分类器的可靠性。该方法可用于筛选需要额外人工观察的视频帧。
2021-08-14 cs.CV cs.LG eess.IV
