Nonparametric Quantile Regression: Non-Crossing Constraints and Conformal Prediction
The Hong Kong Polytechnic University(香港理工大学);The Chinese University of Hong Kong(香港中文大学)
我们提出了一种非参数分位数回归方法,使用深度神经网络与整流线性单位罚函数,以避免分位数交叉。该罚函数在多维非参数分位数回归中对非交叉约束的处理是可行的。我们建立了所提出的非参数分位数回归函数估计的超额风险的非渐近上界。我们的误差界达到最佳的极小极大收敛速度的持有人类,和前因子的误差界多项式依赖于预测的维度,而不是指数。基于提出的非交叉惩罚深度分位数回归,我们构造了完全适应异质性的共形预测区间。在合理的条件下,建议的预测区间具有良好的性能,在有效性和准确性。我们还推导出了所提出的非交叉共形预测区间和理论预言区间之间的长度差的非渐近上界。数值实验,包括模拟研究和实际数据的例子来证明所提出的方法的有效性。
2022-10-18 cs.LG math.ST stat.ML
Efficient Nonparametric Conformal Prediction Regions
Carnegie Mellon University(卡内基梅隆大学);Harvard University(哈佛大学)
我们研究并扩展了Vovk,Gammerman和Shafer(2005)的共形预测方法来构建非参数预测区域。这些区域保证了无分布、有限的样本覆盖率,而没有对分布或带宽的任何假设。明确的收敛速度的损失函数建立在标准的正则性条件下的区域。简化实现的近似和数据驱动的带宽选择方法也进行了讨论。我们的方法的理论特性,通过模拟证明。
2011-11-06 cs.LG math.ST stat.TH
Conformal Prediction for Nonparametric Instrumental Regression
本文提出一种非参数工具变量回归中无分布预测区间构造方法,提供有限样本覆盖保证。基于符合推断的条件保证框架,将条件覆盖转化为IV位移类$\mathcal{F}$上的边际覆盖。方法可与任意NPIV估计器结合,如sieve 2SLS及其他机器学习方法。理论分析建立无分布、有限样本覆盖。
2026-03-26 cs.LG econ.EM stat.AP
Empirical Risk Minimization for Time Series: Nonparametric Performance Bounds for Prediction
Universitat Pompeu Fabra(庞培法布拉大学);Barcelona Graduate School of Economics(巴塞罗那经济学院)
经验风险最小化是学习理论中选择算法的标准原则。本文研究了时间序列经验风险最小化的性质。进行分析的一般框架,涵盖不同类型的预测应用中遇到的文献。我们关注的是由参数驱动过程产生的单变量时间序列的1步预测。针对时间序列的预测问题,提出了一类递归算法。算法是递归的,在这个意义上说,在一个给定的时期内产生的预测是预测的滞后值和时间序列的函数。时间序列的生成机制和算法类别之间的关系未指定。我们的主要结果建立了由经验风险最小化选择的算法渐近地实现了在该类算法内可达到的最优预测性能。
2021-08-11 cs.LG stat.ML
Low-Complexity Nonparametric Bayesian Online Prediction with Universal Guarantees
Amadeus SAS(艾玛迪斯公司);Université Côte d’Azur(蔚蓝海岸大学);Inria(法国国家信息与自动化研究所)
我们提出了一种新的非参数在线预测的离散标签条件下的多变量连续功能。该预测器基于由具有随机选择的方向和递归贝叶斯分布的完整k-d树引起的特征空间离散化,其允许自动学习表征条件分布的最相关特征尺度。我们证明了它的逐点普适性,即,它实现了标准化的对数损失性能,其渐近地与给定特征的标签的真实条件熵一样好。处理第$n$个样本点的时间复杂度是相对于生成数据点的分布的概率的$O(\log n)$,而其他精确的非参数方法需要处理所有过去的观测。在具有挑战性的数据集上的实验表明,与标准和最先进的方法相比,我们的算法的计算和统计效率。
2020-01-31 cs.IT cs.LG math.IT
Nonparametric Uncertainty Quantification for Single Deterministic Neural Network
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究所);Technology Innovation Institute(技术创新研究所);HSE University(高等经济大学);Nuro, Inc.(Nuro公司);Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学);AIRI;Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
提出了一种快速、可扩展的机器学习模型预测不确定性量化方法。首先,我们展示了基于Nadaraya-Watson的条件标签分布的非参数估计来测量分类器预测的不确定性的原则性方法。重要的是,所提出的方法可以明确地解开任意性和认识的不确定性。所得到的方法直接在特征空间中工作。然而,可以通过考虑由网络引起的数据的嵌入将其应用于任何神经网络。我们展示了该方法在文本分类问题和各种真实图像数据集(如MNIST,SVHN,CIFAR-100和几个版本的ImageNet)的不确定性估计任务中的强大性能。
2022-10-27 cs.LG stat.ML
A Nonparametric Delayed Feedback Model for Conversion Rate Prediction
Chiba Institute of Technology(千叶工业大学);CyberAgent, Inc.(CyberAgent公司)
预测显示广告中的转化率(CVR)(例如,预测购买物品的用户的比例(即,转换)在其相应的广告被点击之后)在测量向用户显示的广告的效果和理解用户的兴趣时是重要的。通常存在时间延迟(即,所谓的{ \it延迟反馈})。由于延迟的反馈,在观察周期之后转换的样本可以被视为负的。为了克服这个缺点,已经提出了假设时间延迟遵循指数分布的CVR预测。然而,在实践中,不能保证延迟是从指数分布产生的,并且表示延迟的最佳分布取决于数据。在本文中,我们提出了一个非参数延迟反馈模型CVR预测,表示的时间延迟的分布,而不假设一个参数分布,如指数或威布尔分布。因为时间延迟的分布是根据广告的内容和用户的特征来建模的,所以可以潜在地表示分布的各种形状。在实验中,我们表明,该模型可以捕获的时间延迟的分布在一个合成的数据集,即使当分布是复杂的。此外,在一个真实的数据集上,我们证明了该模型在转换率预测方面优于现有的假设时间延迟为指数分布的方法。
2018-02-01 cs.LG stat.AP stat.ML
Nonparametric Basis Pursuit via Sparse Kernel-based Learning
信号处理的基本任务,如采样,重建,最小均方误差插值和预测,可以被视为再生核希尔伯特空间的棱镜下。赋予这一优势与当代稀疏感知建模和处理的进步,促进了本文所倡导的非参数基追求,作为基于核的学习(KBL)方法融合的总体框架,利用稀疏线性回归,核范数正则化和字典学习。新的稀疏KBL工具箱超越了将稀疏参数方法转化为非参数方法,并结合了多核选择和矩阵平滑等新的可能性。稀疏KBL信号处理应用的影响,说明通过测试案例,从认知无线电传感,微阵列数据填补,网络流量预测。
2013-02-21 cs.CV cs.IT cs.LG
Real-time Mortality Prediction Using MIMIC-IV ICU Data Via Boosted Nonparametric Hazards
Texas A&M University(德克萨斯农工大学);Emory University(埃默里大学)
电子健康记录(EHR)系统以高频率提供关键、丰富和有价值的信息。EHR数据最令人兴奋的应用之一是利用生存分析工具开发实时的【形】死亡率预警系统。然而,最近使用的大多数生存分析方法都是基于使用静态协变量的(半)参数模型。这些模型没有利用随时间变化的EHR数据所传达的信息。在这项工作中,我们提出了一个高度可扩展的生存分析方法,BoXHED 2.0开发一个实时的【形】在ICU死亡率预警指标的基础上MIMIC IV数据集的应用。重要的是,BoXHED可以以完全非参数的方式纳入时间依赖性协变量,并得到理论的支持。我们的ICU内死亡率模型在样本外实现了0.41的AUC-PRC和0.83的AUC-ROC,证明了实时的【形】监测的益处。
2021-11-10 cs.LG
Fast Nonparametric Conditional Density Estimation
条件密度估计通过对全密度f(yjx)而不仅仅是期望值E(yjx)建模来推广回归。这对于许多任务都很重要,包括处理多模态和生成预测区间。尽管非参数条件密度估计是基本的且广泛适用,但统计学家对它的关注相对较少,机器学习社区对它的关注也很少或根本没有。这些工作都没有应用于大于二元数据,可能是由于数据驱动的带宽选择的计算难度。我们描述了双核条件密度估计和推导出快速双树为基础的算法,带宽选择使用极大似然标准。在我们的实验中,这些技术的加速高达380万,并使第一个应用程序,以前棘手的大型多元数据集,包括从斯隆数字巡天的红移预测问题。
2012-06-20 cs.LG stat.ME stat.ML
A Nonparametric Bayes Approach to Online Activity Prediction
Politecnico di Milano(米兰理工大学);Amazon.com Inc(亚马逊公司);University of Torino(都灵大学);Collegio Carlo Alberto(卡洛·阿尔贝托学院);University of Washington(华盛顿大学)
针对在线实验中用户活动预测需求,提出基于贝叶斯非参数的方法,推导新增用户闭式表达式与蒙特卡洛算法,在多类数据上表现优于现有方法。
2024-01-26 cs.LG stat.AP stat.ME
Selective Nonparametric Regression via Testing
HSE University(高等经济大学);Institute for Information Transmission Problems RAS(俄罗斯科学院信息传输问题研究所);Moscow Institute of Science and Technology (MIPT)(莫斯科科学技术学院(MIPT));Skolkovo Institute of Science and Technology (Skoltech)(斯科尔科沃科学技术研究院(Skoltech));Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学(MBZUAI))
针对非参数异方差回归,本文提出通过检验给定点条件方差并纳入方差预测器不确定性来决定是否弃权(不执行),给出风险的非渐近界与多种收敛机制,并通过模拟和真实数据实验验证。
2023-09-28 cs.LG stat.ML
Nonparametric Online Learning Using Lipschitz Regularized Deep Neural Networks
Technion - Israel Institute of Technology(以色列理工学院)
深度神经网络被认为是许多离线机器学习任务中最先进的模型。然而,他们在在线学习任务中的表现和概括能力却鲜为人知。因此,我们专注于在线学习,并解决具有挑战性的问题,其中底层过程是平稳和遍历的,从而消除了独立同分布。假设和允许观察任意地相互依赖。我们证明了Lipschitz正则化深度神经网络的泛化能力,并表明通过使用这些网络,可以保证收敛到最佳预测策略。
2019-05-26 cs.LG stat.ML
Long-Term Pipeline Failure Prediction Using Nonparametric Survival Analysis
Data61-The Commonwealth Scientific and Industrial Research Organisation (CSIRO)(联邦科学与工业研究组织(CSIRO)Data61);Monash University(莫纳什大学);University of Technology Sydney(悉尼科技大学)
澳大利亚的水利基础设施已有一百多年的历史,因此已经开始通过水管故障显示其年龄。我们的工作涉及澳大利亚主要城市的大约50万条管道,这些管道为家庭和企业供水,为500多万客户提供服务。这些被埋资产的故障会造成财产损失和供水中断。我们应用了机器学习技术,为这些澳大利亚城市的管道故障问题找到了一个具有成本效益的解决方案,这些城市平均每年发生1500起水管故障。为了实现这一目标,我们通过开发一个机器学习模型,利用历史故障记录、管道描述符和其他环境因素来评估和预测水管破裂的故障可能性,从而构建了对水管网络行为的详细描述和理解。我们的研究结果表明,我们的系统结合了非参数生存分析技术,称为“随机生存森林”优于几个流行的算法和专家预测的长期预测。此外,我们构建了一个统计推断技术来量化与长期预测相关的不确定性。
2020-11-11 cs.AI cs.LG
Small-Variance Asymptotics for Nonparametric Bayesian Overlapping Stochastic Blockmodels
Indian Institute of Technology, Kanpur(印度理工学院坎普尔分校)
潜在特征关系模型(LFRM)是一种用于图结构数据的生成模型,用于学习图中每个节点的二进制向量表示。二进制向量表示节点在一个或多个社区中的成员资格。在其核心,LFRM miller2009非参数是一个重叠随机块模型,它定义了任何一对节点之间的链接概率作为其社区成员向量的双线性函数。此外,使用非参数贝叶斯先验(印度自助过程)可以从数据中自动学习社区数量。然而,尽管LFRM具有吸引人的特性,但LFRM中的推理仍然是一个挑战,并且通常通过MCMC方法进行。这可能很慢,并且可能需要很长时间才能收敛。在这项工作中,我们开发了一个小方差渐近为基础的非参数贝叶斯LFRM的框架。这导致目标函数保留了LFRM的非参数贝叶斯风格,同时使我们能够为该模型设计确定性推理算法,这些算法易于实现(使用通用或专门的优化例程)并且在实践中速度很快。我们在几个基准数据集上的结果表明,我们的算法与MCMC等方法相比具有竞争力,同时速度更快。
2018-07-10 cs.LG stat.ML
Protocol for implementing quantum nonparametric learning with trapped ions
South China Normal University(华南师范大学);Nanjing University(南京大学);The University of Hong Kong(香港大学)
非参数学习能够通过从一组新的输入数据和所有样本之间的相似性中提取信息来进行可靠的预测。在这里,我们指出了一个量子范式的非参数学习,它提供了一个指数加速的样本大小。通过将数据编码到量子特征空间中,将数据之间的相似性定义为量子态的内积。引入一个量子训练态,将所有样本数据叠加在一起,将相关信息编码在其二分纠缠谱中进行学习。利用量子矩阵工具箱,我们证明了通过纠缠谱变换可以得到一个用于预测的训练态。我们进一步设计了一个可行的方案来实现囚禁离子的量子非参数学习,并展示了量子叠加在机器学习中的强大功能。
2020-01-08 cs.LG quant-ph
Distribution-Free Model-Agnostic Regression Calibration via Nonparametric Methods
Imperial College Business School, Imperial College London(帝国理工学院商学院)
本文提出无分布、模型无关的非参数回归校准方法,首次以最小假设同时实现个体校准和有限样本保证,并建立匹配的校准误差上下界。
2023-10-26 cs.LG stat.ME stat.ML
Nonparametric Distribution Regression Re-calibration
本文提出了一种基于条件核均值嵌入的非参数重校准算法,用于改进分布回归中的校准误差,无需参数假设,且在多种回归基准中表现更优。
2026-08-04 cs.AI cs.LG stat.ML
Nonparametric active learning for cost-sensitive classification
University of Mons(蒙斯大学)
本文提出一种用于代价敏感分类的通用非参数主动学习算法,通过置信界和最小代价查询实现最优交互复杂度,并证明其相对被动学习的增益及上下界近最优性。
2023-09-30 cs.LG math.ST stat.TH
Estimating Koopman operators for nonlinear dynamical systems: a nonparametric approach
University of Padova(帕多瓦大学)
Koopman算子是一种数学工具,它允许对非线性系统进行线性描述,但在无限维空间中工作。动态模式分解和扩展动态模式分解是最流行的有限维近似。在本文中,我们捕捉他们的核心本质作为一个双重版本的同一个框架,将它们纳入内核框架。为此,我们利用RKHS作为学习Koopman动力学的合适空间,这要归功于其内在的有限维性质,由数据塑造。最后,我们建立了核方法和Koopman算子之间的强有力的联系,导致后者通过核函数的估计。我们还提供模拟与标准程序进行比较。
2021-03-25 cs.LG
Latent Distance Estimation for Random Geometric Graphs
Laboratoire de Math\'ematiques d'Orsay (LMO) Universit\'e Paris-Sud 91405 Orsay Cedex \
随机几何图是网络潜在点生成模型的流行选择。它们的定义是基于一个样本的$n$点$X_1,X_2,\cdots,X_n$上的欧几里德球~ $\mathbb{S}^{d-1}$,它代表了潜在的位置的节点的网络。节点之间的连接概率由在潜在点之间的距离处评估的未知函数(称为“链接”函数)确定。我们引入了一个谱估计的潜在点之间的成对距离,我们证明了它的收敛速度是相同的$\mathbb{S}^{d-1}$上的函数的非参数估计,对数因子。此外,我们提供了一个有效的谱算法来计算这个估计没有任何知识的非参数连接函数。作为副产品,我们的方法也可以一致地估计潜在空间的维度$d$。
2019-09-15 cs.LG stat.ML
Improving Nonparametric Classification via Local Radial Regression with an Application to Stock Prediction
Kyoto University(京都大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);The Institute of Statistical Mathematics(统计数学研究所);NOMURA Asset Management Co., Ltd.(野村资产管理株式会社)
对于监督分类问题,本文考虑估计查询的标签概率,通过局部回归使用观察到的协变量。著名的非参数核平滑器和$k$ -最近邻($k$ -NN)估计,它采取标签平均超过一个球周围的查询,是一致的,但渐近偏置,特别是对于一个大半径的球。为了消除这种偏差,局部多项式回归(LPoR)和多尺度$k$ -NN(MS- $k$ -NN)通过查询周围的局部回归来学习偏差项,并将其外推到查询本身。然而,它们的理论最优性已被证明是无限数量的训练样本的限制。为了用较少的观测值校正渐近偏差,结合LPoR和MS- $k$ -NN的优点,提出了一种\emph{local radial regression (LRR)}及其逻辑斯谛回归变体\emph{local radial logistic regression~(LRLR)}.这个想法很简单:我们通过仅将径向距离作为解释变量来将局部回归拟合到观察到的标签,然后将估计的标签概率外推到零距离。所提出的方法的实用性的理论和实验。我们证明了$L^2$风险LRR的收敛速度参考MS- $k$ -NN,我们的数值实验,包括现实世界的股票指数数据集,表明LRLR优于LPoR和MS- $k$ -NN。
2022-07-22 cs.AI cs.LG stat.ME
Nonparametric regression with modified ReLU networks
Institute of Environmental and Agricultural Biology (X-BIO), University of Tyumen(秋明大学生态与农业生物学研究所(X-BIO));University of Mississippi(密西西比大学)
我们考虑使用修改的ReLU神经网络进行回归估计,其中网络权重矩阵首先由函数$α$修改,然后乘以输入向量。我们给出了一个连续的分段线性函数$α$的例子,对于该函数,具有$l_1$和平方$l_2$惩罚的修改后的ReLU网络类上的经验风险最小化器达到了未知$β$ -平滑函数的最小最大预测率,直到对数因子。
2022-07-17 cs.LG math.ST stat.ML
Lazily Adapted Constant Kinky Inference for Nonparametric Regression and Model-Reference Adaptive Control
Dept. of Engineering Science University of Oxford, UK(工程科学系 奥克斯福德大学 英国)
本文提出了一种惰性适应的常数Kinky推断方法,用于非参数回归和模型参考自适应控制,通过在线估计Hölder常数并建立强通用逼近保证,展示了在密集数据下学习任意连续函数的能力。
2021-03-10 cs.AI cs.LG cs.SY
Covering Numbers for Deep ReLU Networks with Applications to Function Approximation and Nonparametric Regression
本文推导了深度ReLU网络的覆盖数上下界,揭示了稀疏性、量化等对网络性能的影响,并改进了非参数回归的预测误差上界。
2026-03-02 cs.AI cs.IT cs.LG
Nonparametric adaptive control and prediction: theory and randomized algorithms
Courant Institute of Mathematical Sciences, New York University(纽约大学柯朗数学科学研究所);Google Brain Robotics(谷歌大脑机器人部门);Massachusetts Institute of Technology(麻省理工学院)
非线性适应控制理论中的一个关键假设是系统的不确定性可以用一组已知基函数的线性跨度来表示。虽然这个假设导致了有效的算法,但它将应用限制在非常特定的系统类别。我们介绍了一种新的非参数自适应算法,估计一个无限维密度的参数在线学习一个未知的动态再生核希尔伯特空间。令人惊讶的是,所得到的控制输入承认的分析表达式,使其实施,尽管其底层的无限维结构。虽然这种自适应输入是丰富和富有表现力的-例如,包含传统的线性参数化-但其计算复杂性随时间线性增长,使得其相对于其参数化对应物更昂贵。利用随机傅立叶特征的理论,我们提供了一个有效的随机实现,恢复经典参数方法的复杂性,同时可证明地保留了非参数输入的表达能力。特别是,我们的显式边界只依赖于多项式的系统的底层参数,使我们提出的算法有效地扩展到高维系统。作为该方法的一个例子,我们展示了随机近似算法学习一个60维系统的预测模型的能力,该系统由通过牛顿引力相互作用的10个点质量组成。通过将其重新解释为特定损失的梯度流,我们得出结论,将基于内核的自适应算法自然扩张到深度神经网络。我们的经验表明,深度表示提供的额外表现力可以提高性能,但代价是闭环稳定性,这是严格保证和一致观察内核机器。
2022-08-25 cs.LG math.OC
MENGLAN: Multiscale Enhanced Nonparametric Gas Analyzer with Lightweight Architecture and Networks
Zhongnan University of Economics and Law(中南财经政法大学);Wuhan SecureScape Technology Co., Ltd.(武汉SecureScape科技有限公司)
本文提出轻量化气体分析仪MENGLAN,通过集成双流结构、混合多头注意力机制与特征重激活模块,实现实时且高精度的混合气体乙烯浓度预测,相比现有方法具有更优性能与可部署性。
2025-06-24 cs.LG eess.SP
Semi-nonparametric Latent Class Choice Model with a Flexible Class Membership Component: A Mixture Model Approach
American University of Beirut(贝鲁特美国大学);Technical University of Denmark (DTU)(丹麦技术大学)
本研究提出一种基于混合模型的半非参数潜在类别选择模型,通过EM算法估计,实验证明该方法在提升预测精度和异质性表示的同时保留了行为与经济学可解释性。
2020-07-06 cs.LG econ.EM stat.ME
Kronecker-Structured Nonparametric Spatiotemporal Point Processes
Celonis AI
本文提出KSTPP模型,通过克罗内克结构高斯过程建模时空事件关系,提升建模灵活性并实现可解释性,采用分离乘积核和张量积高斯-勒让德求积方案提升计算效率。
2026-07-13 cs.LG
Distribution Free Prediction Bands
Carnegie Mellon University(卡内基梅隆大学)
我们研究分布自由,非参数预测带,特别关注他们的有限样本行为。首先,我们调查和发展有限样本覆盖保证的不同概念。然后,我们结合“共形预测“(Vovk et al. 2009)和非参数条件密度估计的思想,给出了一种新的预测带估计。与传统的共形预测估计相比,本文提出的共形优化预测集(COPS)具有更强的有限样本保证。在正则条件下,估计量以极小极大最优速率收敛到预言带.提出了一种快速逼近算法和一种数据驱动的带宽选择方法。首先在模拟数据中说明该方法。应用结果表明,与传统的线性回归建模方法相比,该方法能自动给出理想的预测区间。
2012-03-24 cs.LG math.ST stat.ME
Sequential Nonparametric Testing with the Law of the Iterated Logarithm
University of California, San Diego(加州大学圣地亚哥分校);University of California, Berkeley(加州大学伯克利分校)
我们提出了一个新的算法框架,顺序假设检验与i.i.d.数据,其中包括A/B检验,非参数两样本检验,独立性检验作为特例。它在几个方面是新颖的:(a)它需要线性时间和恒定的空间来计算,(b)它具有与非顺序版本的测试相同的功率保证,具有相同的计算约束,直到一个小的因子,(c)它只访问所需的样本-它的停止时间适应未知的问题难度。所有的检验统计量都是在原假设下的零均值鞅,并且拒绝阈值由一致的非渐近重对数律(LIL)决定。对于非参数两样本均值检验的情形,我们也给出了有限样本的功效分析,以及这类问题的第一非渐近停时的计算。我们验证了我们的预测I型和II型错误和停止时间使用模拟。
2016-03-02 cs.LG math.ST stat.ME