Tight Nonparametric Convergence Rates for Stochastic Gradient Descent under the Noiseless Linear Model
INRIA（法国国家信息与自动化研究所）；Ecole Normale Supérieure（高等师范学校）；PSL Research University（巴黎文理研究大学）
在统计监督学习的上下文中，无噪声线性模型假设在随机输出$Y$和随机特征向量$Φ(U)$之间存在确定性线性关系$Y = \langle θ_*, X \rangle$，即输入$U$的潜在非线性变换。在此模型下，我们分析了单遍固定步长随机梯度下降算法对最小二乘风险的收敛性。迭代到最佳$θ_*$的收敛和泛化误差的衰减遵循多项式收敛速率，其指数都取决于最佳$θ_*$和特征向量$Φ(u)$的对数。我们解释了我们的结果在再生核希尔伯特空间框架。作为一个特殊的情况下，我们分析了一个在线算法，用于估计一个真正的功能上的单位间隔从无噪声观察其值在随机采样点的收敛性取决于Sobolev光滑的功能和所选择的内核。最后，我们将我们的分析应用于监督学习设置之外，以获得平均过程的收敛速度（也称为收敛速度）。gossip算法）上的图取决于它的谱维数。
2020-10-27 cs.LG cs.MA math.OC
Subsampling for supervised learning in reproducing kernel Hilbert spaces
针对大数据的计算成本问题，提出基于Horvitz-Thompson加权的经验风险最小化子采样方法，通过协方差算子迹的最优采样方案，实现非参数回归的降本增效。
2026-06-23 cs.LG stat.ML
Semi-supervised learning for linear extremile regression
本文针对高维环境下非参数极值分位数回归的不足，提出线性极值分位数回归新定义及估计方法，并引入半监督学习提升估计效率，即使模型误设也有效，模拟和实证验证了其有限样本性能。
2025-07-02 stat.ME stat.ML
Learning from Label Proportions: A Mutual Contamination Framework
University of Michigan（密歇根大学）
从标签比例学习（LLP）是一种弱监督的分类设置，其中未标记的训练实例被分组到袋子中，每个袋子都用该袋子中出现的每个类的比例进行注释。以前的工作LLP尚未建立一个一致的学习程序，也不存在一个理论上合理的，通用的培训标准。在这项工作中，我们解决这两个问题，提出LLP的相互污染模型（MCMs），最近已成功地应用于研究各种其他弱监管设置。在这个过程中，我们建立了几个新的技术成果的MCMs，包括无偏损失和推广误差界下的非iid抽样计划。我们还指出了一个共同的实验设置LLP的局限性，并提出了一个新的MCM框架的基础上。
2020-06-12 cs.LG stat.ML
Model Interpretation: A Unified Derivative-based Framework for Nonparametric Regression and Supervised Machine Learning
Wells Fargo（富国银行）
解释具有许多预测因子的非参数回归模型是一个具有挑战性的问题。由于机器学习算法的广泛使用以及理解和解释其输入-输出关系的困难，人们对这个主题重新产生了兴趣。本文使用基于导数的方法，在文献中现有的工具，包括部分依赖图，边际图和累积效应图开发了一个统一的框架。它提出了一种新的解释技术，称为累积总导数效应图，并演示了如何使用其组件来开发具有相关预测因子的复杂回归模型的广泛见解。通过仿真结果说明了该技术。
2018-09-08 cs.LG stat.ML
Efficient semi-supervised inference for logistic regression under case-control studies
Fudan University（复旦大学）；The Chinese University of Hong Kong（香港中文大学）；Hong Kong University of Science and Technology（香港科技大学）
针对病例对照抽样下有标签二值数据截距不可识别的问题，本文利用无标签数据构建似然函数并通过迭代算法获得最大似然估计量，证明其具有一致性、渐近正态性和半参数有效性，同时提升斜率参数估计效率并准确估计边际病例比例。
2024-02-23 cs.LG stat.ML
Semi-Supervised Learning on Graphs using Graph Neural Networks
School of Mathematical Sciences, Xiamen University（厦门大学数学科学学院）；Department of Statistics, University of Chicago（芝加哥大学统计系）；ESSEC Business School（ESSEC商学院）；Department of Applied Mathematics, University of Twente（特文特大学应用数学系）
本文提出了一种基于图神经网络的聚合-读出模型，通过理论分析和实验验证，揭示了GNN在半监督学习中性能与标签比例及图依赖性的关系。
2026-02-19 cs.LG stat.ML
Mixture Proportion Estimation via Kernel Embedding of Distributions
IBM Research（IBM研究院）；Indian Institute of Science（印度科学学院）；University of Michigan（密歇根大学）
混合比例估计（MPE）是估计混合物中组分分布的权重的问题，给定混合物和组分的样本。这个问题构成了许多“弱监督学习“问题的关键部分，例如使用正样本和未标记样本进行学习，使用标签噪声进行学习，异常检测和众包。虽然已经提出了几种方法来解决这个问题，据我们所知，没有一个有效的算法证明收敛速度对这个问题的真实比例存在。我们填补了这一空白，构建一个可证明正确的算法MPE，并在一定的假设下，对分布的收敛速度。我们的方法是基于嵌入分布到RKHS，实现它只需要解决一个简单的凸二次规划问题几次。我们在几个标准的分类数据集上运行我们的算法，并证明它在大多数数据集上的性能优于或优于其他算法。
2016-05-31 cs.LG stat.ML
Deep Dimension Reduction for Supervised Representation Learning
University of Iowa（爱荷华大学）；Wuhan University（武汉大学）；Duke-NUS Medical School（杜克-新加坡国立大学医学院）；East China Normal University（华东师范大学）
有监督表示学习的目标是构建有效的数据表示用于预测。在高维复杂数据的理想非参数表示的所有特征中，充分性、低维性和去纠缠性是最基本的特征。我们提出了一种深度降维方法来学习具有这些特征的表示。该方法是充分降维方法的非参数推广。我们制定了理想的表示学习任务，找到一个非参数表示，最大限度地减少了目标函数的特征条件独立性和促进解开人口水平。然后，我们使用深度神经网络在样本水平上非参数地估计目标表示。我们证明了估计的深度非参数表示在其超额风险收敛到零的意义上是一致的。我们使用模拟和真实基准数据进行的广泛数值实验表明，在分类和回归背景下，所提出的方法比几种现有的降维方法和标准深度学习模型具有更好的性能。
2022-09-01 cs.LG stat.ML
Semi-supervised Learning with Sparse Autoencoders in Phone Classification
KTH Royal Institute of Technology（KTH皇家理工学院）；School of Computer Science（计算机科学学院）
我们提出了一种半监督学习方法的应用，以提高基于深度神经网络的自动语音识别声学建模的性能。与监督微调后的无监督初始化相反，我们的方法通过小批量随机梯度下降同时利用未标记和标记数据。我们测试的方法与不同比例的标记与未标记的意见，基于帧的音素分类的TIMIT数据库。我们的实验表明，该方法优于标准的监督训练等量的标记数据，并提供有竞争力的错误率相比，最先进的基于图的半监督学习技术。
2016-10-03 cs.CL cs.LG stat.ML
Parsimonious Online Learning with Kernels via Sparse Projections in Function Space
University of Pennsylvania（宾夕法尼亚大学）；U.S. Army Research Laboratory（美国陆军研究实验室）
尽管它们的吸引力，流行的看法是，非参数函数逼近技术不扩展到流数据，由于它们需要的存储量的棘手的增长。为了以内存负担得起的方式解决这个问题，我们提出了一种基于函数随机梯度下降的在线技术，并结合基于贪婪函数子空间投影的监督稀疏化。该方法，称为简约的在线学习与内核（POLK），提供了一个可控的权衡？它的解决方案的准确性和它所需要的内存量之间的关系。我们得出的条件下，生成的函数序列几乎肯定收敛到最优函数，我们建立的内存需求仍然有限。我们评估POLK内核多类逻辑斯谛回归和内核铰链损失分类三个典型的数据集：合成高斯混合模型，MNIST手写数字，和Brodatz纹理数据库。在所有这三个任务中，我们观察到一个有利的权衡目标函数评估，分类性能，和复杂性的非参数回归提取的方法。
2016-12-13 cs.LG stat.ML
A Flexible Generative Framework for Graph-based Semi-supervised Learning
University of Michigan（密歇根大学）
我们考虑一系列问题，这些问题涉及基于一小部分标记样本对大多数未标记的图结构数据样本进行预测。数据样本之间的关系信息，通常编码在图/网络结构中，被证明是有助于这些半监督学习任务。然而，传统的基于图的正则化方法和最近的图神经网络没有充分利用特征、图和标签之间的相互关系。在这项工作中，我们提出了一个灵活的生成框架，基于图的半监督学习，它接近的节点特征，标签和图结构的联合分布。借用网络科学文献中随机图模型的见解，这种联合分布可以使用各种分布族来实例化。对于缺失标签的推理，我们利用最新进展的可扩展变分推理技术来近似贝叶斯后验。我们对基于图的半监督学习的基准数据集进行了深入的实验。结果表明，所提出的方法优于国家的最先进的模型在大多数情况下。
2019-11-02 cs.LG stat.ML
Sinkhorn Label Allocation: Semi-Supervised Classification via Annealed Self-Training
Stanford University（斯坦福大学）
自我训练是半监督学习的标准方法，其中学习者自己对未标记数据的预测在训练期间用作监督。在本文中，我们重新解释这个标签分配过程的例子和类之间的最佳运输问题，其中的成本分配一个例子到一个类是介导的分类器的当前预测。这种提法有利于标签分配的实际退火策略，并允许通过灵活的上限约束的类比例的先验知识。这些分配问题的解决方案可以有效地近似使用Sinkhorn迭代，从而使其在标准随机优化算法的内环中使用。我们证明了我们的算法的有效性CIFAR-10，CIFAR-100，和SVHN数据集相比，FixMatch，一个国家的最先进的自训练算法。我们的代码可在https://github.com/stanford-futuredata/sinkhorn-label-allocation上获得。
2021-06-12 cs.LG stat.ML
Classification using log Gaussian Cox processes
McCullagh和Yang（2006）提出了一系列基于Cox过程的分类算法。我们进一步研究了对数高斯变量，它有一些吸引人的属性。在协变量的条件下，标签上的分布由一种条件马尔可夫随机场给出。在监督的情况下，单个测试点的预测概率的计算与训练点的数量成线性关系，并且多类泛化是直接的。我们展示了监督方法和经典非参数方法之间的新联系。我们给出了一个详细的分析的两两图表示的马尔可夫随机场，我们使用扩展模型的半监督学习问题，并提出了一种推理方法的基础上图最小割。我们给出了监督和半监督数据集上的第一个实验分析，并显示出良好的经验性能。
2014-06-20 stat.CO stat.ME stat.ML
Determinantal Clustering Processes - A Nonparametric Bayesian Approach to Kernel Based Semi-Supervised Clustering
University of Cambridge（剑桥大学）
半监督聚类是将数据点聚类成簇的任务，其中只有一小部分点被标记。数据中聚类的真实数量通常是未知的，大多数模型都需要这个参数作为输入。狄利克雷过程混合模型是有吸引力的，因为它们可以从数据中推断出聚类的数量。然而，这些模型不能很好地处理高维数据，并且在推理中会遇到困难。我们提出了一种新的非参数贝叶斯内核为基础的方法来聚类数据点，而不需要预先指定集群的数量或模型复杂的密度，数据点被假定为从生成。关键的见解是使用核矩阵的子矩阵的行列式作为一组点之间的距离的度量。我们探讨了模型的一些理论性质，并推导出一个基于自然吉布斯的算法与MCMC超参数学习。该模型在各种合成和真实世界的数据集上实现。
2013-09-26 cs.LG stat.ML
High-dimensional semi-supervised learning: in search for optimal inference of the mean
Institute of Statistics and Big Data, Renmin University of China（中国人民大学统计与大数据研究院）；Department of Mathematics, University of California San Diego（加州大学圣地亚哥分校数学系）
本文探讨了半监督学习中高维数据下均值推断的最优方法，提出了一种新的k折交叉拟合双重稳健估计器，适用于非参数或半参数模型。
2026-05-09 stat.ME stat.ML
Nonparametric Stochastic Compositional Gradient Descent for Q-Learning in Continuous Markov Decision Problems
University of Pennsylvania（宾夕法尼亚大学）；U.S. Army Research Laboratory（美国陆军研究实验室）
本文提出非参数随机组合梯度下降法用于连续马尔可夫决策问题中的Q学习，通过将贝尔曼最优性方程转化为嵌套非凸随机优化问题，并利用核诱导再生核希尔伯特空间进行参数化，最终证明算法在概率意义下收敛于问题的 stationary 点。
2018-04-19 cs.LG cs.SY eess.SY
Optimistic Rates for Learning from Label Proportions
TTIC（芝加哥理工学院）；Google Research（谷歌研究院）；University of Southern California（南加州大学）
研究弱监督LLP问题，证明经典EPRM规则在可实现下收敛快但不可知下失效，提出去偏比例平方损失和EasyLLP规则在两种设定下均达最优样本复杂度的乐观速率。
2024-06-01 cs.AI cs.LG stat.ML
Semi-Supervised Learning of Bearing Anomaly Detection via Deep Variational Autoencoders
Georgia Institute of Technology（佐治亚理工学院）；University of California, Berkeley（加州大学伯克利分校）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
迄今为止，大多数应用于轴承故障诊断的数据驱动方法都是建立在监督学习范式下的，这通常需要收集大量的先验标记数据。然而，在实际应用中，基于实时轴承条件获得准确的标签可能比简单地使用各种传感器收集大量未标记的数据更具挑战性。因此，在本文中，我们提出了一种使用基于变分自编码器（VAE）的深度生成模型进行轴承异常检测的半监督学习方法，该方法允许在只有一小部分数据具有标签时有效利用数据集。最后，使用凯斯西储大学（CWRU）轴承数据集和辛辛那提大学智能维护系统中心（IMS）数据集进行了一系列实验。实验结果表明，在不同的标记样本比例下，该方法的分类精度提高了3%~ 30%，大大优于两种主流的半监督学习方法和一种基线监督卷积神经网络方法.
2019-12-09 cs.LG eess.SP stat.ML
The supervised hierarchical Dirichlet process
Google Inc.（谷歌公司）；University of Edinburgh（爱丁堡大学）
我们提出了监督分层狄利克雷过程（sHDP），一组观测值和一个与整个组直接相关的响应变量的联合分布的非参数生成模型。我们比较sHDP与另一种领先的分组数据回归方法，监督潜在狄利克雷分配（sLDA）模型。我们评估我们的方法在两个现实世界的分类问题和两个现实世界的回归问题。贝叶斯非参数回归模型的基础上的狄利克雷过程，如狄利克雷过程广义线性模型（DP-GLM）先前已被探索，这些模型允许灵活的非线性关系建模。然而，到目前为止，分层狄利克雷过程（HDP）混合物在分组数据的监督问题中还没有得到显着的应用，因为HDP在分组数据上的直接应用会导致无法预测响应的学习聚类。sHDP通过允许从组结构和分配给每个组的标签中联合学习集群来解决这个问题。
2014-12-17 cs.LG stat.ML
Nonparametric Matrix Estimation with One-Sided Covariates
Cornell University（康奈尔大学）
考虑矩阵估计的任务，其中数据集$X \in \mathbb{R}^{n\times m}$被观察到具有稀疏性$p$，并且我们想要估计$\mathbb{E}[X]$，其中$\mathbb{E}[X_{ui}] = f(α_u, β_i)$对于某些Holder平滑函数$f$。我们考虑行协变量$α$未观察到但列协变量$β$观察到的设置。我们提供了一个算法和相应的分析表明，我们的算法改进后，天真地估计每行单独的行数不太小时。此外，当矩阵是适度的比例，我们的算法实现了极大极小最优的非参数率的预言机算法，知道行协变量。在模拟实验中，我们表明我们的算法优于其他基线在低数据制度。
2021-10-26 cs.LG stat.ML
Iterative Regularization for Learning with Convex Loss Functions
我们考虑凸损失函数的监督学习问题，并提出了一种新的形式的迭代正则化的次梯度方法的基础上。与其他正则化方法不同，在迭代正则化中不考虑约束或惩罚，并且通过（早期）停止经验迭代来实现泛化。在再生核Hilbert空间的框架下，考虑了非参数情形，证明了在一般正则条件下，超额风险的有限样本界.我们的研究提供了一类新的高效正则化学习算法，并对机器学习中统计和优化之间的相互作用提供了见解。
2015-04-01 math.OC stat.ML
Regularization for supervised learning via the "hubNet" procedure
我们提出了一种新的监督学习方法。hubNet过程将基于hub的图形模型拟合到预测器，以估计每个预测器与其他预测器的“连接”量。这会产生一组预测器权重，然后将其用于正则化回归，例如套索或弹性网。由此产生的过程是很容易实现的，有时可以产生更高的预测精度的套索，并可以提供洞察的潜在结构的预测。HubNet还可以无缝地推广到其他监督问题，如正则化逻辑斯谛回归（和其他GLM），Cox比例风险模型和非线性过程，如随机森林和提升。我们证明了一个专门的模型下的一些恢复结果，并说明了真实和模拟数据的方法。
2016-08-19 stat.ME
Imputations for High Missing Rate Data in Covariates via Semi-supervised Learning Approach
数据收集技术的进步和数据资源的异质性可能会产生很高比例的变量观测值缺失，例如块级缺失数据。在缺失数据的情况下，传统的方法，如简单平均值，$k$ -最近邻，多重和回归插补可能会导致结果不稳定或无法计算。受半监督学习概念的启发（参见，例如，Zhu和Goldberg，2009年以及Chapelle等人，2010），我们提出了一种新的方法来填补缺失率高的协变量中的缺失值。具体而言，我们将任何协变量中的缺失和非缺失受试者分别视为未标记和标记的目标输出，并将其相应的响应视为未标记和标记的输入。这种创新的设置使我们能够估算大量的缺失数据，而无需强加任何模型假设。此外，所得插补对于连续协变量具有封闭形式，并且可以有效地计算。一个类似的程序适用于离散协变量。我们进一步采用非参数技术来显示插补协变量的理论性质。仿真研究和在线消费金融的例子来说明所提出的方法的实用性。
2022-05-15 stat.ME
Anomaly and Novelty detection for robust semi-supervised learning
在监督和半监督分类中经常遇到三个重要问题：类成员对于某些训练单元是不可靠的（标签噪声），一部分观察可能偏离数据的主要结构（离群值），测试集中的新组可能在学习阶段的早期没有遇到（未观察的类）。目前的工作介绍了一个强大的和自适应的判别分析规则，能够处理的情况下，一个或多个上述问题的发生。提出了两种基于EM的分类器：第一种是联合利用训练集和测试集（转导方法），第二种是使用测试集扩展参数估计，以完成从训练集学习的组结构（归纳方法）。人工掺杂的合成和真实数据的实验，强调所提出的方法的好处。
2020-05-29 stat.AP
Semi-Supervised Deep Sobolev Regression: Estimation and Variable Selection by ReQU Neural Network
Wuhan University（武汉大学）；School of Mathematics and Statistics, Wuhan University（武汉大学数学与统计学院）；National Center for Applied Mathematics in Hubei（湖北国家应用数学中心）；Hubei Key Laboratory of Computational Science, Wuhan University（武汉大学湖北省计算科学重点实验室）
提出半监督深度Sobolev回归器SDORE，利用深度ReQU神经网络与无标签数据实现回归函数及梯度的非参数估计，证明了其极小极大最优收敛率，并支持非参数变量选择。
2025-01-30 cs.LG stat.ML
Semi-supervised Logistic Learning Based on Exponential Tilt Mixture Models
Rutgers University（罗格斯大学）
考虑用于分类的半监督学习，其中标记和未标记的数据都可用于训练。我们的目标是利用这两个数据集来实现更高的预测精度，而不仅仅是使用标记数据。通过扩展逻辑斯谛回归和指数倾斜模型之间的统计等价性，提出了一种基于指数倾斜混合模型的半监督逻辑学习方法.我们研究了极大非参数似然估计，并导出了新的目标函数，证明了它们是Fisher相容的。我们还提出了正则化估计和构造简单和高度可解释的期望最大化算法。最后，我们提出的数值结果表明，所提出的方法相比，现有的方法的优势。
2019-06-19 cs.LG stat.ML
Nonparametric Estimation of Heterogeneous Treatment Effects: From Theory to Learning Algorithms
University of Cambridge（剑桥大学）；UCLA（加利福尼亚大学洛杉矶分校）；The Alan Turing Institute（艾伦·图灵研究所）
评估治疗效果的需求在大多数实证科学中普遍存在，并且对灵活研究效果异质性的兴趣正在迅速增长。为此，近年来提出了许多与模型无关的非参数元学习器。此类学习器将处理效应估计问题分解为单独的子问题，每个子问题都可以使用标准的监督学习方法来解决。以数据驱动的方式在不同的元学习者之间进行选择是困难的，因为它需要访问反事实信息。因此，最终的目标是建立更好地理解的条件下，一些学习者可以预期比其他人表现更好的先验，我们从理论上分析了四个广泛的元学习策略，依赖于插件估计和伪结果回归。我们强调这种理论推理可以用来指导原则性算法设计，并将我们的分析转化为实践，考虑各种神经网络架构作为基础学习者的讨论元学习策略。在模拟研究中，我们展示了不同的数据生成过程下的学习者的相对优势。
2021-02-25 cs.LG stat.ML
On semi-supervised estimation using exponential tilt mixture models
Rutgers University（罗格斯大学）；New York University（纽约大学）
本研究针对半监督二元分类，提出基于指数倾斜混合模型的非参数似然估计方法，推导其渐近性质，证明在随机与分层抽样下比监督逻辑回归更高效，并统一了与半参数效率理论的关系，模拟验证了理论结果。
2023-11-14 cs.LG stat.ML
Nonparametric Bayesian Lomax delegate racing for survival analysis with competing risks
McCombs School of Business（麦克库姆斯商学院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们建议Lomax代表比赛（LDR）明确建模生存机制下的竞争风险，并解释如何协变量加速或减速的时间事件。LDR通过竞争潜在无限数量的子风险来解释非单调协变量效应，因此放松了可能过于限制的无处不在的比例风险假设。此外，LDR自然不仅能够对删失进行建模，而且还能够对缺失的事件时间或事件类型进行建模。对于推理，我们为中等大小的数据开发了一个数据增强下的Gibbs采样器，以及一个用于大数据应用的随机梯度下降最大后验推理算法。说明性的实验提供了合成和真实的数据集，并与各种基准算法的生存分析与竞争风险的比较证明了出色的性能LDR。
2019-01-01 cs.LG stat.AP stat.ME
Multilayer bootstrap networks
Northwestern Polytechnical University（西北工业大学）；School of Marine Science and Technology（海洋科学与技术学院）；Center for Intelligent Acoustics and Immersive Communications（智能声学与沉浸式通信中心）；China（中国）
多层Bootstrap网络建立了一个自自底向上的逐渐变窄的多层非线性网络，用于无监督的非线性降维。网络的每一层都是一个非参数密度估计。它由一组k-质心聚类组成。每个聚类随机选择具有随机选择的特征的数据点作为其质心，并通过单最近邻优化来学习独热编码器。在几何上，每一层的非参数密度估计器将输入数据空间投影到均匀分布的离散特征空间，其中离散特征空间中两个数据点的相似性通过它们共同共享的最近质心的数量来测量。多层网络通过在原始数据空间上隐式地建立大量的层次树，从自底向上的逐渐减少数据的非线性变化。理论上，由非参数密度估计引起的估计误差与聚类之间的相关性成正比，这两者都被随机化步骤减小。
2018-03-06 cs.LG cs.NE stat.ML
On consistent estimation of the missing mass
给定$n$样本来自一个属于不同类型且比例未知的个体群体，我们如何估计在第$(n+1)$次抽取时发现新类型的概率？这是统计学中的一个经典问题，通常被称为缺失质量估计问题。Ohannesian和Dahleh \citet{Oha12}以及Mossel和Ohannesian \citet{Mos15}的最新结果表明：i）在不对类型比例施加进一步的结构假设的情况下，估计（学习）缺失的质量是不可能的; ii）在类型比例的尾部作为具有参数$α\in(0,1)$的规则变化函数衰减到零的假设下，缺失质量的古德-图灵估计量的一致性。在本文中，我们依靠贝叶斯nonparametrics工具提供了一种替代的，更简单的，证明了不可能的分布免费估计的失踪质量。据我们所知，使用贝叶斯思想来研究缺失质量的大样本渐近性是新的，它可能是独立的兴趣。仍然依赖于贝叶斯非参数工具，然后，我们表明，根据经常变化的类型比例的良好的图灵估计的收敛速度是最好的速度，任何估计可以实现，直到一个缓慢变化的功能，和极大极小率必须至少是$n^{-α/2}$。最后，我们讨论了我们的结果，并通过证明，良好的图灵估计是一个率最优的极大极小估计下定期变化的类型比例。
2018-06-25 math.ST stat.ML stat.TH
Online Multivariate Anomaly Detection and Localization for High-dimensional Settings
University of South Florida（南佛罗里达大学）
本文研究高维系统中异常的实时检测问题。目标是快速准确地检测异常，以便在系统可能受到损害之前及时采取适当的对策。我们提出了一个顺序和多元异常检测方法，以及高维数据集的规模。所提出的方法遵循非参数，即，数据驱动和半监督方法，即，仅在标称数据上训练。因此，它适用于广泛的应用程序和数据类型。由于其多变量性质，它可以快速准确地检测具有挑战性的异常，例如相关结构的变化和隐形低速率网络攻击。综合分析了其渐近最优性和计算复杂性。结合检测方法，还提出了一种有效的技术定位异常数据维。我们进一步扩展所提出的检测和定位方法的监督设置，其中一个额外的异常数据集是可用的，并结合所提出的半监督和监督算法，以获得半监督框架下的在线学习算法。在DDoS攻击缓解中展示了所提出的算法的实际用途，并使用真实的物联网僵尸网络数据集和模拟来评估其性能。
2020-07-14 cs.LG stat.ML
InClass Nets: Independent Classifier Networks for Nonparametric Estimation of Conditional Independence Mixture Models and Unsupervised Classification
University of Florida（佛罗里达大学）
我们引入了一种新的基于机器学习的方法，我们称之为独立分类器网络（InClass网）技术，条件独立混合模型（CIMM）的非参数估计。我们将CIMM的估计视为多类分类问题，因为将数据集划分为不同类别自然会导致混合模型的估计。InClass网络由多个独立的分类器神经网络（NN）组成，每个网络处理CIMM的一个变量。通过使用合适的成本函数同时训练各个NN来执行CIMM对数据的拟合。神经网络逼近任意函数的能力使得我们的技术是非参数的。进一步利用NN的能力，我们允许模型的条件独立变量是单独的高维，这是我们的技术相对于现有的非机器学习方法的主要优势。我们得到了一些新的结果的非参数可识别的二元CIMM的形式的一个必要条件和一个（不同的）充分条件的二元CIMM是可识别的。我们提供了一个名为RainDancesVI的Python包，并通过几个示例验证了我们的InClass网技术。我们的方法在无监督和半监督分类问题中也有应用。
2020-08-31 cs.LG econ.EM hep-ph
Robust Density Estimation under Besov IPM Losses
Carnegie Mellon University（卡内基梅隆大学）
研究了Huber污染模型中非参数密度估计的Minimax收敛速度，其中一部分数据来自未知的离群分布.我们提供了这个问题的第一个结果下的一个大家庭的损失，称为Besov积分概率距离（IPM），其中包括$\mathcal{L}^p$，Wasserstein，Kolmogorov-Smirnov，和其他常见的概率分布之间的距离。具体而言，根据一系列的人口和离群分布的平滑假设，我们表明，重新缩放阈值小波级数估计实现极大极小最优收敛速度下各种各样的损失。最后，基于最近在IPM损失下的非参数密度估计与生成对抗网络（GANs）之间的联系，我们证明了某些GAN架构也可以实现这些极大极小化率。
2021-09-06 cs.LG math.ST stat.ML
Supervised classification for a family of Gaussian functional models
在函数型数据的监督分类（判别）框架下，证明了对于一类具有“三角形”协方差函数的高斯过程，可以显式地得到最优分类规则。这种明确的知识有两个实际后果。首先，为所指示的过程类建立众所周知的最近邻分类器（在具有功能数据的问题中不能保证）的一致性。其次，更重要的是，参数和非参数插件分类器可以通过估计未知元素的最佳规则。这些新的插件分类器的性能检查，积极的结果，通过模拟研究和一个真实的数据例子。
2010-04-28 math.ST stat.ML stat.TH
Supervised Learning and Model Analysis with Compositional Data
University of Copenhagen（哥本哈根大学）；Helmholtz Munich（亥姆霍兹慕尼黑中心）；Technical University of Munich（慕尼黑工业大学）
针对成分数据监督学习现有方法的缺陷，提出核框架KernelBiome，兼具优异预测性能与可解释性，已应用于微生物组研究并开源。
2022-11-11 cs.LG stat.AP stat.ML
Bayesian Nonparametric Detection of Anomalies in Multivariate Functional Data
McGill University（麦吉尔大学）
提出一种贝叶斯非参数方法，通过无限混合多输出高斯过程建模多元函数数据，自动确定混合分量数，利用切片采样和Besov先验实现稀疏表示，并引入Carlin-Chib步骤选择协方差核，从而无需预设异常数量即可检测异常。
2026-06-18 stat.ME stat.ML
Nonparametric Bayesian Double Articulation Analyzer for Direct Language Acquisition from Continuous Speech Signals
Ritsumeikan University（立命馆大学）
人类婴儿可以直接从未分割的语音信号中发现单词，而无需任何明确标记的数据。在本文中，我们开发了一种新的机器学习方法，称为非参数贝叶斯双清晰度分析器（NPB-DAA），可以直接从观察到的连续语音信号获取语言和声学模型。为此，我们提出了一个综合的生成模型，结合了语言模型和声学模型到一个单一的生成模型称为“层次狄利克雷过程隐藏语言模型“（HDP-HLM）。HDP-HLM是通过扩展Johnson等人提出的分层Dirichlet过程隐半马尔可夫模型（HDP-HSMM）而得到的，并利用HDP-HSMM的分块Gibbs采样器导出了HDP-HLM的推理过程.该过程使得能够从连续的语音信号同时和直接地推断语言和声学模型。基于HDP-HLM及其推理过程，我们开发了一种新的双清晰度分析器。通过假设HDP-HLM作为观测时间序列数据的生成模型，并通过推断模型的潜在变量，该方法可以分析潜在的双发音结构，即，分层组织的潜在单词和音素，以无监督的方式的数据。新型无监督双清晰度分析器被称为NPB-DAA。该算法能自动估计出语音信号中的双清晰度结构。我们还进行了两个评价实验，使用合成数据和实际的人连续语音信号代表日本元音序列。在单词获取和音素分类任务中，NPB-DAA优于传统的双清晰度分析器（DAA）和基线自动语音识别系统，其声学模型以监督的方式进行训练。
2016-03-09 cs.AI cs.CL cs.LG
Likelihood-based semi-supervised model selection with applications to speech processing
Johns Hopkins University（约翰斯·霍普金斯大学）；Harvard University（哈佛大学）
在传统的监督模式识别任务中，模型选择通常通过使一组所谓的开发数据的分类错误率最小化来完成，所述开发数据经受人类专家或一些其他手段的地面实况标记。然而，在语音处理系统和其他大规模实际应用的背景下，这种标记的开发数据通常是昂贵的并且难以获得。本文提出了一种基于似然的模型选择的替代半监督框架，该框架通过使用表示每个模型的训练分类器来自动生成推定标签，从而利用未标记的数据。从这个自动标签的结果的错误，被证明是服从于结果从强大的统计，这反过来又提供了最小最优删失似然比检验，恢复非参数符号测试作为一个限制性的情况下。然后，使用最先进的自动语音识别系统，使用仅可能包含测试中的单词的实例的未标记的语音数据，在候选单词发音之间进行选择，实验验证了这种方法。研究结果为这种方法的实用性提供了支持证据，并表明它也可以用于机器学习的其他应用中。
2009-11-20 cs.CL cs.LG stat.AP
Semi-supervised Inference: General Theory and Estimation of Means
我们提出了一个一般的半监督推理框架，重点是估计的人口平均值。通常在半监督设置中，存在协变量向量的未标记样本和由协变量向量以及实值响应（“标签”）组成的标记样本。否则，该公式是“精简的”，因为没有对数据的统计或函数形式施加任何主要条件。我们考虑了理想的半监督设置无限多的未标记的样本，以及普通的半监督设置，其中只有有限数量的未标记的样本是可用的。估计量提出了相应的置信区间的人口平均值。给出了该方法的渐近分布和$\ell_2$ -风险的理论分析。令人惊讶的是，建议的估计，基于一个简单的形式的最小二乘法，优于普通的样本均值。简单，透明的形式的估计借给信心的看法，其渐近改善普通样本均值也几乎持有，即使是中等规模的样本。该方法进一步扩展到非参数设置，其中预言率可以渐近实现。所提出的估计进一步说明了模拟研究和一个真实的数据例子，涉及无家可归的人口估计。
2018-08-14 math.ST stat.ME stat.ML
