Nonparametric Uniform Inference in Binary Classification and Policy Values
School of Economics, Shandong University（山东大学经济学院）；Department of Economics, Vanderbilt University（范德堡大学经济系）；Department of Economics, University of Toronto（多伦多大学经济系）
本文提出了一种非参数均匀推断方法，用于成本敏感二元分类和政策价值的推断，通过严格凸替代损失函数实现点识别，并在模拟和实际应用中验证了其有效性。
2025-12-13 econ.EM math.ST stat.ME
On the Effect of Bias Estimation on Coverage Accuracy in Nonparametric Inference
非参数方法在现代实证研究中起着核心作用。虽然他们提供的推理程序是更强大的参数误设定偏差，他们可能是相当敏感的调整参数的选择。我们研究了核密度和局部多项式回归估计中偏差校正对置信区间覆盖率的影响，证明了偏差校正可以优先于欠平滑，以最小化覆盖率误差并增加对调整参数选择的鲁棒性。这是使用一种新颖而简单的学生化方法来实现的，它导致了一种新的构建基于内核的偏差校正置信区间的方法。此外，对于实际情况下，我们得出的覆盖误差的最佳带宽，并讨论易于实现的带宽选择器。对于内点，我们表明，MSE最优带宽的原始点估计（偏差校正前）提供最快的覆盖误差衰减率偏差校正后，当二阶（等效）内核采用，但否则是次优的，因为它是太“大”。最后，对于奇数度的本地多项式回归，我们表明，与点估计，覆盖误差自动适应边界点时，适当的学生化，但是，MSE最优带宽的原始点估计是次优的。所有的结果都是建立在有效的Edgeworth展开，并与模拟数据。我们的研究结果有重要的影响，实证工作，因为它们表明，偏差校正的置信区间，加上适当的标准误差，具有较小的覆盖误差和调整参数的选择，在实际相关的情况下，额外的平滑度是不太敏感的。
2018-03-07 econ.EM math.ST stat.TH
Active set algorithms for estimating shape-constrained density ratios
在许多情况下，对密度的形状施加约束是合理且灵活的假设。它提供了一种替代参数模型，可以是过于刚性和其他非参数方法，需要选择调整参数。本文在一个统一的框架下，用有效集算法讨论对数凹或对数凸密度比的非参数估计。在对数凹密度的设置中，新算法与以前考虑的活动集方法类似，但速度要快得多。对数凸性是一种不太常见的形状约束，被一些作者描述为“尾部膨胀”。这里提出的有效集方法在这方面是新颖的。作为一个副产品，新的拟合优度测试的单一假设制定和被证明是更强大的比更高的批评测试在模拟研究。
2020-12-08 stat.CO
Nonparametric specification for non-stationary time series regression
我们研究了广义似然比检验（GLRT）的行为（范，张和张[安。29（2001）153-193]），其中回归量和误差是非平稳时间序列并且可以互相关。研究发现，在弱相关和非平稳的情况下，广义似然比保持了局部选择检测的极大极小率。然而，在一般情况下，Wilks现象以及经典的残差自助法是敏感的条件异方差的错误，非平稳性或时间依赖性。平均测试建议，以减轻带宽的选择测试的敏感性，并示出比基于单一带宽的测试更强大。提出了一种可供选择的自举方法，并证明了该方法在对非平稳时间序列的时变系数模型进行推断时是一致的。
2014-02-04 math.ST stat.TH
Combining List Experiment and Direct Question Estimates of Sensitive Behavior Prevalence
受访者可能会在被直接询问敏感问题时给出不真实的答案。近年来，研究人员转向列表实验（也称为项目计数技术）来克服这一困难。虽然列表实验可能比直接提问更不容易产生偏见，但列表实验也更容易受到抽样变异的影响。我们表明，研究人员不必完全放弃直接提问，以获得列表实验的优势。我们开发了一个非参数估计的敏感行为的患病率，结合列表实验和直接提问。我们证明了这种估计是渐近更有效的比标准的差分均值估计，我们使用Wald型置信区间的推断提供了一个基础。此外，利用直接提问的信息，我们得出两个非参数安慰剂测试的列表实验的识别假设。我们证明了我们的联合估计和安慰剂测试与原始调查实验的有效性。
2014-06-01 stat.AP stat.ME
Nonparametric estimation of simplified vine copula models: comparison of methods
在过去的十年中，简化的葡萄藤copula模型一直是一个活跃的研究领域。他们从边际密度和二元copula密度的乘积中构建了一个高维概率密度。除了参数模型外，人们还提出了几种对葡萄系Copula函数进行非参数估计的方法。在这篇文章中，我们扩展了这些方法，并在广泛的模拟研究和实际数据应用中进行比较。我们确定了几个因素驱动的相对性能的估计。最重要的是依赖的强度。没有一种方法被认为是一致优于所有其他方法。总体而言，核估计表现最好，但做差于惩罚B样条估计时，有弱的依赖性和没有尾部依赖。
2017-04-05 stat.ME
Enhancements of nonparametric generalized likelihood ratio test: Bias-correction and dimension reduction
非参数广义似然比检验是回归模型检验中常用的方法。然而，有两个问题可能是其强大的障碍。第一，在其limingnull分布中的偏倚项导致检验不能很好地控制第一类错误，因此需要蒙特卡罗近似法来确定临界值。其次，由于使用多元非参数函数估计，它严重遭受维数灾难。因此，本文的目的是双重的：一个偏置校正建议，这个测试和一个降维为基础的模型自适应增强建议，以提高功率性能。该检验仍具有Wilks现象，且检验统计量能以更快的速度收敛到其极限，比原协变量维数为1的非参数广义似然比检验对其他模型更敏感.模拟研究进行评估有限样本的性能，并与其他常用的测试进行比较。最后以一个实际数据进行了分析。
2015-07-22 stat.ME
Nonparametric Estimation for a Log-concave Distribution Function with Interval-censored Data
针对混合案例区间删失数据下的潜在事件时间估计问题，提出对数凹分布函数假设下的非参数极大似然方法，建立估计量性质并开发R包，相比现有方法更具灵活性与平衡性能。
2024-11-29 stat.CO stat.ME
Harmonic Map Regression: Rate-Optimal Nonparametric Estimation on Manifolds with Topological Recovery
University at Buffalo（布法罗大学）
本文提出调和映射回归方法，通过狄利克雷能量惩罚实现流形上非参数估计，揭示拓扑恢复现象，推导出Sobolev阶s的最小最大速率，并在多个流形上验证理论有效性。
2026-04-10 math.ST stat.ME stat.TH
Indirect Active Learning
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
传统的主动学习模型假设学习者可以直接操作或查询协变量$X$，以便研究其与响应$Y$的关系。然而，如果$X$是复杂系统的一个特征，则可能只能通过操纵控制变量$Z$来间接影响$X$，这种情况我们称为间接主动学习。在一个非参数模型下的间接主动学习与固定的预算，我们研究了极小极大收敛速度估计之间的关系$X$和$Y$本地在一个点，获得不同的速度依赖于$Z$和$X$之间的关系和$X$和$Y$的复杂性和噪声水平。我们还确定了极小极大率被动学习可比的假设。在许多情况下，我们的研究结果表明，虽然主动学习有一个渐进的好处，这种好处是完全实现了一个简单的两阶段学习，运行两个被动的实验顺序。
2023-01-21 cs.IT cs.LG math.IT
Rate-optimal graphon estimation
网络分析正成为统计学中最活跃的研究领域之一。近年来，网络分析的理论、方法和算法的发展取得了重大进展。然而，对最优估计的基础研究却很少。本文建立了图子估计的最优收敛速度。对于$k$簇的随机块模型，我们证明了在均方误差下的最优速率是$n^{-1}\log k+k^2/n^2$。极大极小上界通过求解二次方程的技巧改进了文献中已有的结果。当$k\leq\sqrt{n\log n}$时，随着集群$k$数量的增长，极大极小化率缓慢增长，仅具有对数阶$n^{-1}\log k$。建立下界的一个关键步骤是构造一个新的参数空间的子集，然后应用Fano引理，从中我们看到了一个明显的区别，从经典的非参数回归，由于缺乏可识别的节点的顺序在可交换的随机图模型的非参数图子估计问题。作为一个直接的应用，我们考虑非参数graphon估计的Hölder类光滑$α$。当光滑$α\geq1$时，最优收敛速度是$n^{-1}\log n$，与$α$无关，而对于$α\in(0,1)$，速度是$n^{-2α/(α+1)}$，令人惊讶的是，这与经典的非参数速度相同。
2015-11-17 math.ST stat.TH
Nonparametric sequential change-point detection for multivariate time series based on empirical distribution functions
序贯变点检测的目的是当被监测的观测值的某些概率属性发生变化时发出警报。这项工作是关注的非参数，闭端检验程序的基础上的经验分布函数，旨在特别敏感的变化，在当代的多元时间序列分布的差异。建议的检测器是适应的统计数据中使用的后验（离线）变点测试，并涉及加权允许给予更多的重要性，最近的观察。由此产生的顺序变化点检测程序进行比较的检测器，通过估计的阈值函数，使假警报的概率保持近似恒定的监测期间。一个通用的结果的渐近有效性，这样一种方法估计的阈值函数的陈述。作为一个推论，渐进有效性的研究序贯检验的基础上，经验分布函数证明了这些进行时，使用一个依赖的乘数引导多变量时间序列。大规模的蒙特卡罗实验表明，所得到的程序具有良好的有限样本性质。衍生的序贯检验的应用说明了金融数据。
2020-10-25 stat.ME
Nonparametric Estimation of Path-specific Effects in Presence of Nonignorable Missing Covariates
本文提出一种完全非参数方法，利用影子变量通过序列优化确定冗余函数，解决不可忽略缺失协变量下路径特定效应的估计与推断问题，并应用于NHANES数据集验证。
2024-09-02 stat.ME
Causal isotonic regression
在观察性研究中，潜在的混杂因素可能会扭曲暴露与结果之间的因果关系。然而，在某些条件下，因果剂量反应曲线可以恢复使用G计算公式。当暴露是连续的时，估计这种曲线的大多数经典方法依赖于限制性参数假设，这带来了模型错误设定的重大风险。在这种情况下，非参数估计是具有挑战性的，因为在非参数模型中，这些曲线不能以常规速率估计。许多可用的非参数估计是敏感的某些调整参数的选择，并执行有效的推断与这样的估计可能是困难的。在这项工作中，我们提出了一个非参数估计的因果剂量反应曲线已知是单调的。我们表明，我们提出的估计程序推广了经典的最小二乘保序回归估计的单调回归函数。具体而言，它不涉及调整参数，并且对于曝光变量的严格单调变换是不变的。我们描述了我们提出的估计的理论性质，包括其不规则的极限分布和潜在的双重鲁棒推理。此外，我们通过数值研究说明了它的性能，并使用它来评估BMI和HIV疫苗试验中的免疫反应之间的关系。
2019-12-16 stat.ME
Nonparametric contaminated Gaussian mixture of regressions
University of Pretoria（比勒陀利亚大学）；University of California, Riverside（加州大学河滨分校）
本文提出半参数和非参数污染高斯回归混合模型，通过EM和ECM算法实现鲁棒估计，用于观测聚类和异常值检测。
2026-01-10 stat.ME
Nonparametric Method for Clustered Data in Pre-Post Factorial Design
在涉及聚类单元的重复测量析因设计中，使用参数方法（如线性混合效应模型）来处理受试者内相关性。然而，这些参数模型的假设，如连续性和正态性通常是很难得到在许多情况下。同方差假设在实践中很难验证。此外，这些假设甚至可能不现实，当数据是在一个非度量尺度测量时，就像通常发生的那样，例如，在生活质量结果中。在这篇文章中，非参数效应量措施的聚集数据的析因设计与前后测量将被介绍。效应量指标提供了治疗和时间效应的直观可解释和信息丰富的概率比较。在治疗组之间，聚类内的观察结果之间的依赖性可以是任意的。将讨论效应量估计量及其用于计算置信区间和进行假设检验的渐近性质。本文研究了在小样本下保持某些最优渐近行为的具有$χ^2$近似的ANOVA型统计量。在每个治疗组中，我们允许一些聚类涉及干预前后的观察结果（称为完整聚类），而另一些聚类仅包含干预前后的观察结果（称为不完整聚类）。我们的方法被证明是，特别有效的存在多种形式的聚类。所开发的非参数方法说明了从三臂随机试验的室内木材烟雾减少的数据。该研究考虑了两种积极的治疗方法，以改善生活在使用木材炉取暖的家庭中的儿童的哮喘症状。
2021-04-11 stat.ME
Amortized Active Learning for Nonparametric Functions
Technical University of Berlin（柏林工业大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
针对非参数函数主动学习中GP训练与采集优化代价高的问题，提出用GP先验构建模拟器并预先训练神经网络策略，实现零样本泛化、实时选点及与耗时基线相当的性能。
2024-09-10 cs.LG
Plug-in Approach to Active Learning
Georgia Institute of Technology（佐治亚理工学院）
提出了一种基于回归函数非参数估计的主动学习算法。我们的调查提供了概率界的收敛速度的泛化误差所提出的方法实现了广泛的一类潜在的分布。我们还证明了极大极小的下界，这表明所获得的速度几乎是紧的。
2011-11-02 cs.LG math.ST stat.TH
Active Learning with Neural Networks: Insights from Nonparametric Statistics
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本文提出基于非参数统计学的深度主动学习方法，首次提供了近最优的标签复杂性保证，无需低噪声假设，并扩展至Radon BV²空间。
2025-12-30 cs.LG stat.ML
Adaptive-to-model hybrid of tests for regressions
在回归模型检验中，基于非参数估计的检验通常具有易处理的极限零分布，并且对振荡的替代模型敏感，但是遭受维数灾难。相比之下，基于经验过程的测试可以以最快的速度检测与空模型不同的局部替代方案，但对振荡替代模型和难以处理的限制空分布不太敏感。如何构造一个既能充分继承这两类考试优点又能避免其缺点的考试，一直是一个值得研究的问题。在本文中，我们提出了一个通用的自适应模型的混合矩和条件矩为基础的测试，以实现这一目标。此外，该方法的一个显著特点是使基于非参数估计的检验在备选方案下也具有现有基于经验过程的检验的优点。这种方法可以很容易地应用到其他类型的数据和构建其他杂交。作为充分降维领域的副产品，残差相关中心子空间的估计被用来指示用于模型自适应的底层模型。一个系统的研究，致力于显示当替代模型可以指示，当不能。这种估计是有意义的，也可以应用于其他类型数据的问题。数值研究进行了验证所提出的测试的强大性。
2019-03-09 stat.ME
Amortized Safe Active Learning for Real-Time Data Acquisition: Pretrained Neural Policies From Simulated Nonparametric Functions
Technical University of Berlin（柏林工业大学）；University of Helsinki（赫尔辛基大学）；Robotics Institute Germany（德国机器人研究所）；Bosch Center for Artificial Intelligence（博世人工智能中心）；Baden-Württemberg Cooperative State University, Mannheim（巴登-符腾堡州立合作大学曼海姆校区）
本文提出了一种用于回归的 amortized 主动学习和 amortized 安全主动学习方法，通过预训练神经策略替代昂贵的在线计算，提升实时决策效率，同时保持学习质量。
2026-04-06 cs.LG
Nuances in Margin Conditions Determine Gains in Active Learning
Columbia University（哥伦比亚大学）
我们认为非参数分类与平滑回归函数，这是众所周知的，在$E[Y|X]$的利润率的概念确定快速或慢速主动和被动学习。在这里，我们阐明了这两种设置之间的显著区别。也就是说，我们表明，一些看似良性的细微差别，在利润的概念-涉及贝叶斯分类器的独特性，并没有明显的影响率在被动学习-决定是否任何主动学习者可以优于被动学习率。特别是，对于Audibert-Tsybakov的边际条件（允许具有非唯一贝叶斯分类器的一般情况），没有主动学习者可以在通常研究的设置中获得被动学习，其中$X$的边际接近均匀。因此，我们的研究结果否定了过去文献中的通常直觉，即在非参数设置中，主动利率应优于被动利率。
2022-02-25 cs.LG stat.ML
Optimal Sampling Density for Nonparametric Regression
Berlin Institute of Technology（柏林工业大学）；BIFOLD-Berlin Institute for the Foundations of Learning and Data（BIFOLD-柏林学习与数据基础研究所）；Korea University（高丽大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；RIKEN AIP（理化学研究所人工智能研究中心）
我们提出了一种新的回归主动学习策略，该策略是模型不可知的，对模型失配具有鲁棒性，并且是可解释的。假设有少量的初始样本可用，我们推导出最佳训练密度，该密度使局部多项式平滑（LPS）的泛化误差最小化，其内核带宽在局部进行了调整：我们采用平均积分平方误差（MISE）作为推广标准，并使用MISE的渐近行为以及局部最优带宽（LOB）-在渐近极限中最小化MISE的带宽函数。然后，我们的目标的渐近表达式揭示了MISE对训练密度的依赖性，从而实现了解析最小化。因此，我们得到了最佳的训练密度在一个封闭的形式。因此，我们的方法几乎无模型的性质，有助于编码的目标问题的基本属性，提供了一个强大的和模型无关的主动学习策略。此外，所获得的训练密度以透明和可解释的方式分解了局部函数复杂度、噪声水平和测试密度的影响。我们验证了我们的理论在数值模拟，并表明，所提出的主动学习方法优于现有的国家的最先进的模型不可知的方法。
2021-07-24 cs.LG
A unified framework for closed-form nonparametric regression, classification, preference and mixed problems with Skew Gaussian Processes
Trinity College（都柏林圣三一学院）；Dalle Molle Institute for Artificial Intelligence Research (IDSIA)（达尔莫尔人工智能研究所（IDSIA））
斜高斯过程将有限维向量上的多元统一斜正态分布推广到函数上的分布。SkewGP比高斯过程更通用和灵活，因为SkewGP也可以表示不对称分布。在最近的一篇文章中，我们证明了SkewGP和probit似然是共轭的，这使我们能够计算非参数二元分类和偏好学习的精确后验。在本文中，我们推广了以前的结果，我们证明了SkewGP是共轭的正常和仿射概率似然，更一般地说，与他们的产品。这使我们能够（i）在一个统一的框架中处理分类、偏好、数值和序数回归以及混合问题;（ii）导出相应后验分布的封闭形式表达式。我们的经验表明，提出的框架的基础上SkewGP提供了更好的性能比高斯过程中的主动学习和贝叶斯（约束）优化。这两项任务是实验设计和数据科学的基础。
2021-01-27 cs.LG math.ST stat.ML
Nonparametric Link Prediction in Dynamic Networks
University of California, Berkeley（加利福尼亚大学伯克利分校）；Facebook（脸书公司）；Yahoo! Research（雅虎研究院）
我们提出了一个非参数的链接预测算法的序列图快照随时间的推移。该模型基于其端点的特征以及端点周围的局部邻域的特征来预测链接。这允许图中有不同类型的社区，每个社区都有自己的动态（例如，增长或缩小社区）。我们证明了我们的估计的一致性，并给出了一个快速实现基于局部敏感哈希。模拟以及五个真实世界的动态图的实验表明，我们优于最先进的，特别是当急剧波动或非线性存在。
2012-06-27 cs.LG cs.SI stat.ML
K-NN active learning under local smoothness assumption
University of Mons（蒙斯大学）
无论是被动学习还是主动学习，都有大量关于收敛速度的研究。在这里，我们首先概述了已经获得的一些主要结果，更具体地说，在关于回归函数（或类之间的边界）的平滑性和边缘噪声的假设下，在非参数设置中。我们将主动学习与被动学习的最新研究放在一起，讨论这些基本假设的相对优点。我们设计了一个主动学习算法的收敛速度优于被动学习，使用一个特定的平滑假设定制的k-最近的邻居。与以前的主动学习算法不同，我们使用了一个平滑的假设，提供了一个依赖于实例空间的边缘分布。此外，我们的算法避免了强密度假设，假设存在的实例空间的边缘分布的密度函数，因此更普遍适用。
2020-07-12 cs.LG math.ST stat.ML
Locally Private Nonparametric Contextual Multi-armed Bandits
School of Statistics, Renmin University of China（中国人民大学统计学院）；School of Management, Fudan University（复旦大学管理学院）；Mendoza College of Business, University of Notre Dame（圣母大学门多萨商学院）；Center for Applied Statistics, School of Statistics, Renmin University of China（中国人民大学应用统计中心）；Department of Statistics, University of Warwick（华威大学统计系）
针对敏感数据序贯决策中的隐私问题，本文提出统一置信界型估计器及跳跃启动方案，解决LDP下非参数化上下文MAB的极小化极大最优性，并通过实验验证。
2025-03-25 cs.LG stat.ME stat.ML
Privacy-preserving Active Learning on Sensitive Data for User Intent Classification
Amazon Research（亚马逊研究院）
主动学习有望在保持合理模型性能的同时显著降低数据注释成本。但是，它需要将数据发送给注释器进行标记。当训练集包括敏感的用户数据时，这存在可能的隐私泄漏。在本文中，我们描述了一种方法进行隐私保护主动学习与量化的保证。我们评估我们的方法，显示隐私，实用程序和注释预算之间的权衡二进制分类任务中的主动学习设置。
2019-03-26 cs.CL cs.LG stat.ML
MaxiMin Active Learning in Overparameterized Model Classes}
Wisconsin Institute of Discovery（威斯康星发现研究所）；University of Wisconsin（威斯康星大学）
生成标记的训练数据集已经成为机器学习（ML）管道中的主要瓶颈。Active ML旨在通过设计学习算法来解决这个问题，这些算法可以自动和自适应地选择信息量最大的示例进行标记，这样人类的时间就不会浪费在标记不相关、冗余或琐碎的示例上。本文提出了一种新的方法，主动ML与非参数或过参数化的模型，如核方法和神经网络。在二元分类的背景下，新的方法被证明具有各种理想的属性，允许主动学习算法自动和有效地识别决策边界和数据集群。
2020-04-28 cs.AI cs.LG stat.ML
Active Learning for Cost-Sensitive Classification
Microsoft Research（微软研究院）；Uber Advanced Technology Center（优步先进技术中心）
我们设计了一个主动学习算法的成本敏感的多类分类：不同的错误有不同的成本的问题。我们的算法COAL通过回归每个标签的成本并预测最小的成本来进行预测。在一个新的例子中，它使用了一组对过去数据表现良好的回归器来估计每个标签的可能成本。它只查询可能是最好的标签，忽略了肯定会失败的标签。我们证明了COAL可以有效地实现任何回归家庭，承认平方损失优化，它也享有强有力的保证方面的预测性能和标签的努力。我们将COAL与被动学习和几个主动学习基线进行了经验比较，显示出在真实世界数据集上标记工作和测试成本方面的显着改进。
2021-10-11 cs.LG stat.ML
Nonparametric Filtering, Estimation and Classification using Neural Jump ODEs
Department of Mathematics ETH Zurich（数学系，苏黎世联邦理工学院）；Department of Statistics UC Berkeley（统计系，伯克利大学）；Department of Mathematics Albert-Ludwigs-Universität Freiburg（数学系，弗赖堡阿尔伯特-路易斯大学）
本文提出基于神经跳ODEs的非参数滤波与分类方法，通过理论保证和实验证明其在复杂分布下的优越性能，适用于金融和健康监测等实时性要求高的领域。
2025-08-15 cs.LG cs.NA math.NA
Cost-Sensitive Active Learning for Intracranial Hemorrhage Detection
University of California Berkeley（加州大学伯克利分校）；University of California San Francisco School of Medicine（加州大学旧金山分校医学院）
用于临床应用的深度学习受到严格的性能要求，这就需要大型标记数据集。然而，标记医疗数据的巨大成本使得这一点具有挑战性。针对头部CT图像中颅内出血的检测和分割问题，建立了一个代价敏感的主动学习系统。我们表明，我们的合奏方法相比，与国家的最先进的，同时运行速度更快，使用更少的内存。此外，我们的实验是使用比以前关于这个主题的论文大得多的数据集完成的。由于标记时间在不同的示例中可能会有很大的差异，我们对标记时间进行建模并优化投资回报。我们通过在我们的大型标记数据集上选择核心集并使用来自野外的数据来增长它来验证这个想法。
2018-09-08 cs.CV cs.LG
Nonparametric Bayesian Estimation of Periodic Functions
Tufts University（塔夫茨大学）；Harvard-Smithsonian Center for Astrophysics（哈佛-史密森尼天体物理中心）；Harvard University（哈佛大学）
许多现实世界的问题都表现出具有周期性行为的模式。例如，在天体物理学中，周期性变星在理解我们的宇宙中发挥着关键作用。在分析这些过程的数据时，一个重要的步骤是识别周期的问题：根据在不规则间隔的时间点进行的噪声观测来估计周期函数的周期。尽管在不同学科中进行了广泛的研究，但这个问题仍然是一个困难的挑战。本文对解决这一问题做出了几点贡献。首先，我们提出了一个非参数贝叶斯模型的周期发现，高斯过程（GP）的基础上，不做强假设的周期函数的形状。正如我们的实验表明，新的模型导致显着更好的结果时，目标函数是非正弦的周期估计。其次，我们开发了一种新的算法，用于GP的参数优化，这是有用的，当似然函数是非常敏感的超参数的设置与众多的局部极小值，在周期估计的情况下。该算法结合了梯度优化和网格搜索，并结合了多种机制，以克服与GP推理的高复杂性。第三，我们开发了一种新的方法，使用领域知识，在概率生成模型的形式，并将其纳入周期估计算法。天体物理数据上的实验结果验证了我们的方法，显示出显着的改善，在这一领域的最先进的。
2012-03-07 astro-ph.IM cs.LG
A Nonparametric Bayes Approach to Online Activity Prediction
Politecnico di Milano（米兰理工大学）；Amazon.com Inc（亚马逊公司）；University of Torino（都灵大学）；Collegio Carlo Alberto（卡洛·阿尔贝托学院）；University of Washington（华盛顿大学）
针对在线实验中用户活动预测需求，提出基于贝叶斯非参数的方法，推导新增用户闭式表达式与蒙特卡洛算法，在多类数据上表现优于现有方法。
2024-01-26 cs.LG stat.AP stat.ME
K-nn active learning under local smoothness condition
有大量的工作收敛速度无论是在被动或主动学习。在这里，我们概述了一些已经获得的结果，更具体地说，在一个非参数设置下的平滑度和裕度噪声的假设。我们还讨论了这些基本假设的相对优点，把主动学习的角度与最近的被动学习的工作。我们提供了一种新的主动学习算法的收敛速度优于被动学习，使用一个特定的平滑假设定制的$k$ -最近的邻居。与其他最近的算法不同，这种平滑性假设提供了对实例空间的边缘分布的依赖。因此，我们的算法避免了强密度假设，假设存在的密度函数的边缘分布的实例空间，因此更普遍适用。
2021-05-04 cs.LG stat.ML
Active Learning for Matching Problems
University of Toronto（多伦多大学）
有效地学习用户偏好对于减轻用户在各种类型的匹配问题中的负担至关重要。同样重要的是主动查询选择，以进一步减少用户必须提供的偏好信息量。我们解决的问题，主动学习的用户偏好的匹配问题，引入一种新的方法来确定概率匹配，并开发了几个新的主动学习策略，是敏感的特定的匹配目标。在不同领域的真实数据集上的实验表明，匹配敏感的主动学习
2012-06-18 cs.AI cs.IR cs.LG
Bayesian Active Learning for Classification and Preference Learning
University of Cambridge（剑桥大学）
信息论主动学习在概率模型中得到了广泛的研究。对于简单回归，最优近视策略是容易处理的。然而，对于其他任务和更复杂的模型，如非参数模型的分类，最佳解决方案更难计算。目前的方法是通过近似来实现易处理性。我们提出了一种方法，表示信息增益的预测熵，并将此方法应用于高斯过程分类器（GPC）。我们的方法使最小的近似，充分的信息理论的目标。我们的实验性能媲美许多流行的主动学习算法，并具有相同或更低的计算复杂度。我们比较好的决策理论的方法，这是更多的信息，需要更多的计算时间。其次，通过将二进制偏好学习问题转化为分类问题，将算法扩展到高斯过程偏好学习问题。
2011-12-24 cs.LG stat.ML
Online Body Schema Adaptation through Cost-Sensitive Active Learning
Institute for Systems and Robotics（系统与机器人研究所）；Instituto Superior Técnico（里斯本高等理工学院）；Universidade de Lisboa（里斯本大学）
人形机器人具有复杂的身体和运动链，具有多个自由度（DoF），这是难以建模的。学习运动学模型的参数可以通过观察机器人连杆在预期运动期间的位置并最小化预测误差来实现。本文提出了一种基于Denavit-Hartenberg（DH）参数的人形机器人手臂体模在线估计方法。采用基于A-Optimality准则的代价敏感主动学习方法选择最优关节构型。所选择的关节配置同时最大限度地减少身体图式估计中的误差，并最大限度地减少样本之间的移动。这减少了能耗，以及机械疲劳和磨损，同时不会影响学习精度。这项工作是在模拟环境中实现的，使用iCub机器人模拟器的7 DoF手臂。手的姿势是通过放置在机器人的手掌和手背上的标记用单个相机测量的。提出了一种非参数遮挡模型，以避免选择标记不可见的关节配置，从而防止无用的尝试。结果表明，成本敏感的主动学习具有类似的准确性，标准的主动学习的方法，而减少了约一半的执行动作。
2022-02-10 cs.AI cs.CV cs.LG
Task-similarity Aware Meta-learning through Nonparametric Kernel Regression
KTH Royal Institute of Technology（瑞典皇家理工学院）；Linköpings University（林雪平大学）
本文研究了使用非参数核回归来获得任务相似性感知的元学习算法。我们的假设是，使用tasksimilarity有助于元学习时，可用的任务是有限的，可能包含离群值/不相似的任务。虽然现有的元学习方法隐含地假设任务是相似的，但通常不清楚如何量化这种任务相似性并将其用于学习。因此，大多数流行的元学习方法不主动使用任务之间的相似性/相异性，而是依赖于大量任务的可用性。我们的贡献是一个新的框架，明确使用任务相似性的内核和相关的元学习算法的形式的元学习。我们将特定于任务的参数建模为属于再生核希尔伯特空间，其中核函数捕获任务之间的相似性。该算法迭代学习一个元参数，用于为每个任务分配一个特定于任务的描述符。任务描述符，然后使用量化的任务相似性，通过核函数。我们展示了我们的方法如何在概念上概括流行的元学习方法模型不可知元学习（MAML）和Meta-随机梯度下降（Meta-SGD）方法。回归任务的数值实验表明，我们的算法优于这些方法时，任务的数量是有限的，即使在存在离群值或不相似的任务。这支持了我们的假设，即任务相似性有助于提高元学习绩效的任务限制和不利的设置。
2020-10-12 cs.LG stat.ML
Active Learning for Risk-Sensitive Inverse Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；University of Michigan（密歇根大学）；Xi’an Jiaotong University（西安交通大学）
逆向强化学习（IRL）中的一个典型假设是人类专家采取行动来优化具有固定分布的随机成本的期望效用。这一假设偏离了人类在歧义情况下的实际行为。风险敏感逆强化学习（RS-IRL）通过假设人类根据相对于一组主观扭曲的分布而不是固定分布的随机成本来行动来弥合这种差距。这样的假设提供了额外的灵活性，以模拟人类的风险偏好，表示的风险信封，在安全关键的任务。然而，像其他示教学习技术一样，RS-IRL也可能由于冗余的示教而导致学习效率低下。受主动学习概念的启发，本研究推导出一个概率扰动采样方案，使RS-IRL代理查询专家支持，这可能会暴露未透露的边界的专家的风险信封。实验结果表明，我们的方法加快了RS-IRL算法的收敛速度，具有较低的方差，同时仍然保证无偏收敛。
2019-09-23 cs.LG cs.RO stat.ML
CS-AF: A Cost-sensitive Multi-classifier Active Fusion Framework for Skin Lesion Classification
University of South Florida（南佛罗里达大学）
卷积神经网络（CNN）在皮肤病变分析中已经达到了最先进的性能。与单个CNN分类器相比，通过融合方法将多个分类器的结果相结合，显示出更有效和鲁棒性。由于皮肤病变数据集通常是有限的并且在统计上有偏差，因此在设计有效的融合方法时，重要的是不仅要考虑每个分类器在训练/验证数据集上的性能，而且要考虑相对区分能力（例如，置信度），这需要主动融合方法。此外，在皮肤病变分析中，某些类别的数据（例如，良性病变）通常是丰富的，使得它们成为过度代表的大多数，而一些其它类别的数据（例如，癌症病变）是缺乏的，使他们成为代表性不足的少数群体。更重要的是精确地识别来自代表性不足的样本（即，就数据量而言）但是更重要的少数类（例如，某些癌性病变）。换句话说，将更严重的病变错误分类为良性或不太严重的病变应该具有相对更多的成本（例如，金钱、时间甚至生命）。为了解决这些挑战，我们提出了CS-AF，一个成本敏感的多分类器主动融合框架的皮肤病变分类。在实验评估中，我们在ISIC研究数据集上准备了96个基础分类器（12个CNN架构）。我们的实验结果表明，我们的框架始终优于静态融合的竞争对手。
2020-09-09 cs.CV cs.LG eess.IV
Acquisition Conditioned Oracle for Nongreedy Active Feature Acquisition
University of North Carolina（北卡罗来纳大学）
我们开发了新的主动特征获取方法（AFA），研究如何顺序获取动态（每个实例的基础上）的功能子集，最大限度地减少采集成本，同时仍然产生准确的预测。AFA框架可以在无数的领域中有用，包括医疗保健应用，其中为患者获取附加特征的成本（在时间、金钱、风险等方面）在医疗保健应用中是最低的。可以与诊断性能的预期改善进行权衡。以前的AFA方法采用了：深度学习RL技术，由于稀疏的奖励和复杂的动作空间，难以在AFA MDP中训练策略;深度学习代理生成模型，需要对复杂的多维条件分布进行建模;或贪婪策略，无法考虑联合特征采集如何一起提供信息以进行更好的预测。在这项工作中，我们表明，我们可以绕过许多这些挑战与一种新的，非参数的Oracle为基础的方法，我们硬币的收购条件的Oracle（ACO）。大量的实验表明，先进的AFA方法的ACO的优越性时，获取功能的预测和一般的决策。
2023-02-27 cs.LG
Cost-Sensitive Reference Pair Encoding for Multi-Label Learning
National Taiwan University（国立台湾大学）
多标签分类的标签空间扩展（MLC）是一种在训练之前将原始标签向量编码为更高维度的代码并在测试期间将预测代码解码回标签向量的方法。该方法已被证明，以提高性能的MLC算法时，与现成的纠错码的编码和解码。然而，这样的编码方案实现起来可能很复杂，并且不能容易地满足成本敏感的MLC的共同应用需求-适应感兴趣的不同评估标准。在这项工作中，我们表明，一个更简单的编码方案的基础上的概念的参考对标签向量实现成本敏感性更自然。特别是，我们提出的成本敏感的参考对编码（CSRPE）算法包含基于聚类的编码，基于权重的训练和基于投票的解码步骤，所有利用成本信息。此外，我们利用CSRPE的代码空间中嵌入的成本信息，提出了一种新的主动学习算法成本敏感的MLC。大量的实验结果验证了CSRPE在不同MLC标准下的性能优于最先进的算法。实验结果还表明，CSRPE支持的主动学习算法优于现有的主动MLC算法，并进一步证明了CSRPE的有用性。
2018-10-26 cs.LG stat.ML
Sample Efficient Active Algorithms for Offline Reinforcement Learning
Department of Computer Science and Automation, Indian Institute of Science, Bengaluru, INDIA（计算机科学与自动化系，印度科学研究所，班加罗尔）
本文提出了一种用于离线强化学习的主动算法，通过高斯过程建模实现了样本高效的价值函数收敛。
2026-02-01 cs.AI cs.LG
Inverse Reinforcement Learning via Nonparametric Spatio-Temporal Subgoal Modeling
Signal Processing Group（信号处理组）；Institute for Robotics and Cognitive Systems（机器人与认知系统研究所）；Autonomous Systems Labs（自主系统实验室）；Bioinspired Communication Systems（生物启发通信系统）
本文提出了一种基于非参数时空子目标建模的逆强化学习方法，通过局部上下文更高效地解释单条轨迹，实现更紧凑的行为表示，并构建隐式意图模型以预测未观察到的情况，从而在处理意图变化和主动学习场景中表现出色。
2018-11-30 cs.AI cs.LG cs.RO
Neural Active Learning Meets the Partial Monitoring Framework
Université Laval（拉瓦尔大学）；Thales Research and Technology (cortAIx)（泰勒斯研究与技术（cortAIx））；Mila - Québec AI Institute（米拉-魁北克人工智能研究所）；Institut Intelligence et Données（智能与数据研究所）
研究在线主动学习设置，基于部分监测为OAL任务提出新基础，表明相关任务是部分监测实例，引入成本敏感型任务扩展潜力，提出NeuralCBP策略，实验显示其在多类OAL任务上性能优于基线。
2026-07-14 cs.LG
Active Multi-Information Source Bayesian Quadrature
University of Tübingen（蒂宾根大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Amazon Research（亚马逊研究院）
贝叶斯求积（Bayesian quadrature，BQ）是一种样本效率高的概率数值方法，用于求解计算成本高的黑箱函数的积分，但目前的主动BQ学习方法只关注被积函数本身作为信息源，不考虑从成本低的相关函数中传递信息.在这里，我们为BQ中的主动学习设置场景，当可变成本的多个相关信息源（在输入和源中）可访问时。例如，当评估被积函数需要运行复杂的模拟时，可以通过以较低的复杂程度和较低的费用进行模拟来近似。我们构建了有意义的成本敏感的多源采集率作为一个扩展，从香草BQ（VBQ）常见的效用函数，并讨论了陷阱，从盲目推广。此外，我们表明，VBQ收购政策是一个角落的情况下，所有考虑成本敏感的收购计划，崩溃到一个单一的退化政策的情况下，一个源和恒定的成本。在概念验证实验中，我们仔细检查了我们的广义获取功能的行为。在一个流行病学模型上，我们证明了主动多源BQ（AMS-BQ）比VBQ更有效地分配预算，以获得更好的积分精度。
2021-02-12 cs.LG stat.ML
Active multi-fidelity Bayesian online changepoint detection
Princeton University（普林斯顿大学）；Arm ML Research Lab（Arm机器学习研究实验室）
用于检测变化点或时间序列的行为中的突然转变的在线算法通常利用有限的资源来部署，移动电话或工业传感器等边缘计算环境。在这些情况下，将收集环境测量的成本与该测量的质量或"保真度"以及测量如何影响变点估计进行交易可能是有益的。例如，可以在惯性测量或GPS之间做出决定，以确定运动的变化点。贝叶斯变点检测方法特别有吸引力，因为我们可以表示关于变点的后验不确定性，并对数据保真度做出积极的、成本敏感的决策，以减少这种后验不确定性。此外，通过主动保真切换，总成本可以大大降低，同时对数据分布的变化保持鲁棒性。我们提出了一个多保真度的方法，使成本敏感的决定，收集数据保真度的基础上最大限度地提高信息增益的变化点。我们对合成，视频和音频数据的框架进行了评估，并表明这种基于信息的方法可以在降低总成本的同时实现准确的预测。
2021-07-25 cs.LG stat.ML
Towards Cost Sensitive Decision Making
UNC-Chapel Hill（北卡罗来纳大学教堂山分校）
针对传统RL无法兼顾特征获取成本与决策收益的问题，提出AA-POMDP框架与基于深度生成模型的分层RL算法，在主动获取特征的部分观测环境中实现了更优的决策性能。
2024-10-04 cs.AI cs.LG
Combing for Credentials: Active Pattern Extraction from Smart Reply
University of Virginia（弗吉尼亚大学）；Microsoft（微软）；Microsoft Research（微软研究院）
本研究提出一种主动提取攻击，利用规范模式从智能回复模型中仅用少量查询即可提取训练数据中的敏感信息，并验证差分隐私可有效防御此类攻击。
2023-09-02 cs.CL cs.CR cs.LG
Learning Objective-Specific Active Learning Strategies with Attentive Neural Processes
University of Amsterdam（阿姆斯特丹大学）；Canadian Institute for Advanced Research（加拿大高等研究院）；European Lab for Learning and Intelligent Systems（欧洲学习与智能系统实验室）；Microsoft Research（微软研究院）
本文提出了一种基于Attentive Conditional Neural Process的新型学习主动学习方法，通过从近视oracle学习，使模型能够适应非标准目标的分类任务，并在实验中表现出优于基线方法的性能和更强的数据集稳定性。
2023-09-11 cs.LG
