Nonparametric Bayesian label prediction on a large graph using truncated Laplacian regularization
本文描述了一个非参数贝叶斯方法来解决图上的二进制分类问题的实现。我们考虑一个分层贝叶斯方法与前,通过截断一系列扩展的软标签函数使用图形拉普拉斯特征函数作为基函数。我们比较我们的截断之前的未截断的拉普拉斯算子为基础的模拟和真实数据的例子,以说明改进的可扩展性方面的基础图形的大小。
2018-04-13 stat.CO stat.ML
Identification of stable models via nonparametric prediction error methods
最近的一系列论文提出了一种新的线性系统辨识贝叶斯方法。其主要思想是框架的线性系统识别的预测估计在无限维空间中,正则化/贝叶斯技术的帮助下。这种方法保证了基于预测误差最小化的稳定预测器的识别。不幸的是,预测器的稳定性并不保证系统的脉冲响应的稳定性。在本文中,我们提出并比较了各种技术来解决这个问题。比较这些技术的模拟结果将被提供。
2015-07-02 stat.ML
Nonparametric Quantile Regression: Non-Crossing Constraints and Conformal Prediction
The Hong Kong Polytechnic University(香港理工大学);The Chinese University of Hong Kong(香港中文大学)
我们提出了一种非参数分位数回归方法,使用深度神经网络与整流线性单位罚函数,以避免分位数交叉。该罚函数在多维非参数分位数回归中对非交叉约束的处理是可行的。我们建立了所提出的非参数分位数回归函数估计的超额风险的非渐近上界。我们的误差界达到最佳的极小极大收敛速度的持有人类,和前因子的误差界多项式依赖于预测的维度,而不是指数。基于提出的非交叉惩罚深度分位数回归,我们构造了完全适应异质性的共形预测区间。在合理的条件下,建议的预测区间具有良好的性能,在有效性和准确性。我们还推导出了所提出的非交叉共形预测区间和理论预言区间之间的长度差的非渐近上界。数值实验,包括模拟研究和实际数据的例子来证明所提出的方法的有效性。
2022-10-18 cs.LG math.ST stat.ML
The Nonparametric Metadata Dependent Relational Model
Brown University(布朗大学)
我们介绍了非参数元数据依赖关系(NMDR)模型,贝叶斯网络数据的非参数随机块模型。NMDR允许与每个节点相关联的实体在潜在社区的无界集合中具有混合成员资格。学习回归模型允许这些成员资格依赖于任意节点元数据,并根据任意节点元数据进行预测。我们开发了有效的MCMC算法学习NMDR模型部分观察到的节点关系。回顾MCMC方法允许我们的采样器直接与NMDR的无限棒断裂表示,避免了有限截断的需要。我们的研究结果表明,从现实世界的社会和生态网络中恢复有用的潜在社区,以及元数据在链接预测任务中的有用性。
2012-06-27 cs.LG cs.SI stat.ML
Nonparametric Multi-group Membership Model for Dynamic Networks
关系数据(如图、网络和矩阵)通常是动态的,其中关系结构会随着时间的推移而演变。时变网络数据分析中的一个基本问题是提取实体之间潜在关系的共同结构和动态的摘要。在这里,我们建立在直觉的基础上,即网络结构的变化是由节点组层面的动态驱动的。本文提出了一个动态网络的非参数多组成员模型。我们的模型包含三个主要组成部分:我们通过距离依赖的印度巴菲特过程的网络结构的动态模型的诞生和死亡的个人团体。我们通过阶乘隐马尔可夫模型捕获单个节点组成员的演变。而且,我们解释了网络结构的动态明确建模组的连接结构。我们证明了我们的模型的能力,识别在一些不同类型的网络数据的潜在群体的动态。实验结果表明,我们的模型提供了更好的预测性能比现有的动态网络模型对未来的网络预测和丢失的链接预测。
2013-11-08 cs.SI physics.soc-ph stat.ML
Conformal Prediction for Nonparametric Instrumental Regression
本文提出一种非参数工具变量回归中无分布预测区间构造方法,提供有限样本覆盖保证。基于符合推断的条件保证框架,将条件覆盖转化为IV位移类$\mathcal{F}$上的边际覆盖。方法可与任意NPIV估计器结合,如sieve 2SLS及其他机器学习方法。理论分析建立无分布、有限样本覆盖。
2026-03-26 cs.LG econ.EM stat.AP
On the Statistical Efficiency of Compositional Nonparametric Prediction
Purdue University(普渡大学)
在本文中,我们提出了一个组成的非参数方法,其中一个模型表示为标记的二叉树的$2k+1$节点,其中每个节点是一个总和,乘法,或应用程序的$q$基函数之一的$p$协变量。我们表明,为了恢复一个标记的二叉树从一个给定的数据集,足够的样本数是$O(k\log(pq)+\log(k!))$,和必要的样本数是$Ω(k\log (pq)-\log(k!))$。我们进一步提出了一个贪婪算法的回归,以验证我们的理论研究结果,通过合成实验。
2017-10-20 cs.LG stat.ML
The LICORS Cabinet: Nonparametric Algorithms for Spatio-temporal Prediction
Carnegie Mellon University(卡内基梅隆大学)
时空数据本质上是高维的,因此只有在过程中利用结构,无监督建模才是可行的。当动力学在空间和时间上都是局部的时,这种结构可以通过将全局场分裂成许多低维的“光锥”来利用。我们回顾了光锥分解的预测状态重建,介绍了三个简单的光锥算法。这些方法允许对时空数据(诸如全帧视频)进行易处理的推断。该算法对底层过程的假设很少,但具有良好的预测性能,可以提供时空数据的分布,从而实现复杂的概率推理。
2016-09-14 cs.LG stat.ML
Low-Complexity Nonparametric Bayesian Online Prediction with Universal Guarantees
Amadeus SAS(艾玛迪斯公司);Université Côte d’Azur(蔚蓝海岸大学);Inria(法国国家信息与自动化研究所)
我们提出了一种新的非参数在线预测的离散标签条件下的多变量连续功能。该预测器基于由具有随机选择的方向和递归贝叶斯分布的完整k-d树引起的特征空间离散化,其允许自动学习表征条件分布的最相关特征尺度。我们证明了它的逐点普适性,即,它实现了标准化的对数损失性能,其渐近地与给定特征的标签的真实条件熵一样好。处理第$n$个样本点的时间复杂度是相对于生成数据点的分布的概率的$O(\log n)$,而其他精确的非参数方法需要处理所有过去的观测。在具有挑战性的数据集上的实验表明,与标准和最先进的方法相比,我们的算法的计算和统计效率。
2020-01-31 cs.IT cs.LG math.IT
Nonparametric Bayesian Factor Analysis for Dynamic Count Matrices
提出了一种伽玛过程动态泊松因子分析模型,用于对动态计数矩阵进行因子分解,该矩阵的列是顺序观测的计数向量。该模型建立了一个新的马尔可夫链,发送潜在的伽马随机变量在时间$(t-1)$的形状参数的那些在时间$t$,这是链接到观察到的或潜在的计数下的泊松似然。推断伽马形状参数的重大挑战得到充分解决,使用独特的数据增强和边缘化技术的负二项分布。相同的非参数贝叶斯模型也适用于动态二进制矩阵的因式分解,通过Bernoulli-Poisson链接将二进制观测连接到潜在计数,具有潜在计数的封闭形式条件后验和稀疏观测的有效计算。我们将该模型应用于文本和音乐分析,并获得了最先进的结果。
2015-12-30 stat.AP stat.ME stat.ML
Empirical Risk Minimization for Time Series: Nonparametric Performance Bounds for Prediction
Universitat Pompeu Fabra(庞培法布拉大学);Barcelona Graduate School of Economics(巴塞罗那经济学院)
经验风险最小化是学习理论中选择算法的标准原则。本文研究了时间序列经验风险最小化的性质。进行分析的一般框架,涵盖不同类型的预测应用中遇到的文献。我们关注的是由参数驱动过程产生的单变量时间序列的1步预测。针对时间序列的预测问题,提出了一类递归算法。算法是递归的,在这个意义上说,在一个给定的时期内产生的预测是预测的滞后值和时间序列的函数。时间序列的生成机制和算法类别之间的关系未指定。我们的主要结果建立了由经验风险最小化选择的算法渐近地实现了在该类算法内可达到的最优预测性能。
2021-08-11 cs.LG stat.ML
Nonparametric Envelopes for Flexible Response Reduction
本文提出核包络(KENV)估计器,在再生核希尔伯特空间中同时估计响应包络子空间和非参数条件均值,通过新惩罚项利用包络结构,证明其预测风险最优且优于核岭回归,并在模拟和真实数据中展现更优预测性能。
2025-09-08 stat.ME stat.ML
Nonparametric Basis Pursuit via Sparse Kernel-based Learning
信号处理的基本任务,如采样,重建,最小均方误差插值和预测,可以被视为再生核希尔伯特空间的棱镜下。赋予这一优势与当代稀疏感知建模和处理的进步,促进了本文所倡导的非参数基追求,作为基于核的学习(KBL)方法融合的总体框架,利用稀疏线性回归,核范数正则化和字典学习。新的稀疏KBL工具箱超越了将稀疏参数方法转化为非参数方法,并结合了多核选择和矩阵平滑等新的可能性。稀疏KBL信号处理应用的影响,说明通过测试案例,从认知无线电传感,微阵列数据填补,网络流量预测。
2013-02-21 cs.CV cs.IT cs.LG
Nonparametric Bayesian Sparse Graph Linear Dynamical Systems
提出了一种非参数贝叶斯稀疏图线性动力系统(SGLDS),用于对序列观测的多元数据进行建模。SGLDS使用Bernoulli-Poisson链接和伽马过程来生成一个无限维稀疏随机图来模拟状态转换。根据图亲和矩阵的相应行和列的稀疏模式,SGLDS的潜在状态可以被分类为非动态状态或动态状态。一个正常的伽玛结构被用来缩小非动态状态所捕获的能量,而动态状态可以被进一步分类为活的,吸收,或噪声注入状态,其捕获的基础时间序列的不同类型的动态分量。SGLDS的国家的最先进的性能证明与合成和真实数据的实验。
2018-02-21 stat.ME stat.ML
Optimal prediction for kernel-based semi-functional linear regression
在本文中,我们建立了一个半功能的线性模型,其中包括一个功能组件和一个不太光滑的非参数组件的最优收敛速度的预测。我们的研究结果表明,更平滑的功能组件可以学习与极大极小率,如果非参数组件是已知的。更具体地说,一个双惩罚最小二乘法采用再生核希尔伯特空间的框架内的功能和非参数分量的估计。利用表示者定理,提出了一种求解相应最优化问题的高效算法,该算法不需要迭代,正则化参数由广义交叉验证准则选择.数值研究证明了该方法的有效性,并验证了理论分析。
2021-10-29 math.ST stat.ML stat.TH
A Nonparametric Delayed Feedback Model for Conversion Rate Prediction
Chiba Institute of Technology(千叶工业大学);CyberAgent, Inc.(CyberAgent公司)
预测显示广告中的转化率(CVR)(例如,预测购买物品的用户的比例(即,转换)在其相应的广告被点击之后)在测量向用户显示的广告的效果和理解用户的兴趣时是重要的。通常存在时间延迟(即,所谓的{ \it延迟反馈})。由于延迟的反馈,在观察周期之后转换的样本可以被视为负的。为了克服这个缺点,已经提出了假设时间延迟遵循指数分布的CVR预测。然而,在实践中,不能保证延迟是从指数分布产生的,并且表示延迟的最佳分布取决于数据。在本文中,我们提出了一个非参数延迟反馈模型CVR预测,表示的时间延迟的分布,而不假设一个参数分布,如指数或威布尔分布。因为时间延迟的分布是根据广告的内容和用户的特征来建模的,所以可以潜在地表示分布的各种形状。在实验中,我们表明,该模型可以捕获的时间延迟的分布在一个合成的数据集,即使当分布是复杂的。此外,在一个真实的数据集上,我们证明了该模型在转换率预测方面优于现有的假设时间延迟为指数分布的方法。
2018-02-01 cs.LG stat.AP stat.ML
A Nonparametric Bayes Approach to Online Activity Prediction
Politecnico di Milano(米兰理工大学);Amazon.com Inc(亚马逊公司);University of Torino(都灵大学);Collegio Carlo Alberto(卡洛·阿尔贝托学院);University of Washington(华盛顿大学)
针对在线实验中用户活动预测需求,提出基于贝叶斯非参数的方法,推导新增用户闭式表达式与蒙特卡洛算法,在多类数据上表现优于现有方法。
2024-01-26 cs.LG stat.AP stat.ME
Fast Nonparametric Conditional Density Estimation
条件密度估计通过对全密度f(yjx)而不仅仅是期望值E(yjx)建模来推广回归。这对于许多任务都很重要,包括处理多模态和生成预测区间。尽管非参数条件密度估计是基本的且广泛适用,但统计学家对它的关注相对较少,机器学习社区对它的关注也很少或根本没有。这些工作都没有应用于大于二元数据,可能是由于数据驱动的带宽选择的计算难度。我们描述了双核条件密度估计和推导出快速双树为基础的算法,带宽选择使用极大似然标准。在我们的实验中,这些技术的加速高达380万,并使第一个应用程序,以前棘手的大型多元数据集,包括从斯隆数字巡天的红移预测问题。
2012-06-20 cs.LG stat.ME stat.ML
Nonparametric Uncertainty Quantification for Single Deterministic Neural Network
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究所);Technology Innovation Institute(技术创新研究所);HSE University(高等经济大学);Nuro, Inc.(Nuro公司);Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学);AIRI;Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
提出了一种快速、可扩展的机器学习模型预测不确定性量化方法。首先,我们展示了基于Nadaraya-Watson的条件标签分布的非参数估计来测量分类器预测的不确定性的原则性方法。重要的是,所提出的方法可以明确地解开任意性和认识的不确定性。所得到的方法直接在特征空间中工作。然而,可以通过考虑由网络引起的数据的嵌入将其应用于任何神经网络。我们展示了该方法在文本分类问题和各种真实图像数据集(如MNIST,SVHN,CIFAR-100和几个版本的ImageNet)的不确定性估计任务中的强大性能。
2022-10-27 cs.LG stat.ML
Minimax Adaptive Online Nonparametric Regression over Besov Spaces
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);LPSM(概率与统计实验室);Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔国立高等理工学院);LJK(拉格朗日计算与知识实验室);Institut Pauli(保罗研究所);University of Vienna(维也纳大学)
本文针对Besov空间中的在线对抗回归问题,提出无需预知光滑性参数的小波自适应算法,并进一步设计局部自适应扩展以动态追踪空间非均匀光滑性,从而在异质环境中获得超越全局方法的更精细极小极大遗憾界。
2025-09-22 math.ST stat.ML stat.TH
Distribution-Free Model-Agnostic Regression Calibration via Nonparametric Methods
Imperial College Business School, Imperial College London(帝国理工学院商学院)
本文提出无分布、模型无关的非参数回归校准方法,首次以最小假设同时实现个体校准和有限样本保证,并建立匹配的校准误差上下界。
2023-10-26 cs.LG stat.ME stat.ML
Building Trees for Probabilistic Prediction via Scoring Rules
针对标准决策树生成的预测分布效果不佳的问题,提出用基于严格评分规则的分裂准则改进决策树,经模拟和真实数据集验证,新方法提升了树的整体预测分布性能。
2024-02-16 stat.ME stat.ML
Selective Nonparametric Regression via Testing
HSE University(高等经济大学);Institute for Information Transmission Problems RAS(俄罗斯科学院信息传输问题研究所);Moscow Institute of Science and Technology (MIPT)(莫斯科科学技术学院(MIPT));Skolkovo Institute of Science and Technology (Skoltech)(斯科尔科沃科学技术研究院(Skoltech));Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学(MBZUAI))
针对非参数异方差回归,本文提出通过检验给定点条件方差并纳入方差预测器不确定性来决定是否弃权(不执行),给出风险的非渐近界与多种收敛机制,并通过模拟和真实数据实验验证。
2023-09-28 cs.LG stat.ML
Nonparametric Online Learning Using Lipschitz Regularized Deep Neural Networks
Technion - Israel Institute of Technology(以色列理工学院)
深度神经网络被认为是许多离线机器学习任务中最先进的模型。然而,他们在在线学习任务中的表现和概括能力却鲜为人知。因此,我们专注于在线学习,并解决具有挑战性的问题,其中底层过程是平稳和遍历的,从而消除了独立同分布。假设和允许观察任意地相互依赖。我们证明了Lipschitz正则化深度神经网络的泛化能力,并表明通过使用这些网络,可以保证收敛到最佳预测策略。
2019-05-26 cs.LG stat.ML
Small-Variance Asymptotics for Nonparametric Bayesian Overlapping Stochastic Blockmodels
Indian Institute of Technology, Kanpur(印度理工学院坎普尔分校)
潜在特征关系模型(LFRM)是一种用于图结构数据的生成模型,用于学习图中每个节点的二进制向量表示。二进制向量表示节点在一个或多个社区中的成员资格。在其核心,LFRM miller2009非参数是一个重叠随机块模型,它定义了任何一对节点之间的链接概率作为其社区成员向量的双线性函数。此外,使用非参数贝叶斯先验(印度自助过程)可以从数据中自动学习社区数量。然而,尽管LFRM具有吸引人的特性,但LFRM中的推理仍然是一个挑战,并且通常通过MCMC方法进行。这可能很慢,并且可能需要很长时间才能收敛。在这项工作中,我们开发了一个小方差渐近为基础的非参数贝叶斯LFRM的框架。这导致目标函数保留了LFRM的非参数贝叶斯风格,同时使我们能够为该模型设计确定性推理算法,这些算法易于实现(使用通用或专门的优化例程)并且在实践中速度很快。我们在几个基准数据集上的结果表明,我们的算法与MCMC等方法相比具有竞争力,同时速度更快。
2018-07-10 cs.LG stat.ML
Nonparametric Bayes dynamic modeling of relational data
对称二元矩阵表示实体之间的关系,在许多领域中是常见的。我们的重点是动态发展的二元关系矩阵,与兴趣是在推理的关系结构和预测。我们提出了一个非参数贝叶斯动态模型,它降低了通过低维潜在空间表示的特征的二进制矩阵的维数,通过高斯过程的潜坐标在连续时间演变。通过使用从概率矩阵空间到潜在关系空间的逻辑映射函数,我们得到了一个灵活且易于计算的公式。采用Pandelya-Gamma数据增强,一个有效的吉布斯采样器的后验计算,与自动推断的潜在空间的维数。我们提供了一些理论结果的模型的灵活性,并通过仿真实验来说明性能。我们还考虑了在世界金融市场的共同运动的应用。
2013-11-19 stat.ML
Nonparametric Distribution Regression Re-calibration
本文提出了一种基于条件核均值嵌入的非参数重校准算法,用于改进分布回归中的校准误差,无需参数假设,且在多种回归基准中表现更优。
2026-08-04 cs.AI cs.LG stat.ML
Lazily Adapted Constant Kinky Inference for Nonparametric Regression and Model-Reference Adaptive Control
Dept. of Engineering Science University of Oxford, UK(工程科学系 奥克斯福德大学 英国)
本文提出了一种惰性适应的常数Kinky推断方法,用于非参数回归和模型参考自适应控制,通过在线估计Hölder常数并建立强通用逼近保证,展示了在密集数据下学习任意连续函数的能力。
2021-03-10 cs.AI cs.LG cs.SY
Improving Nonparametric Classification via Local Radial Regression with an Application to Stock Prediction
Kyoto University(京都大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);The Institute of Statistical Mathematics(统计数学研究所);NOMURA Asset Management Co., Ltd.(野村资产管理株式会社)
对于监督分类问题,本文考虑估计查询的标签概率,通过局部回归使用观察到的协变量。著名的非参数核平滑器和$k$ -最近邻($k$ -NN)估计,它采取标签平均超过一个球周围的查询,是一致的,但渐近偏置,特别是对于一个大半径的球。为了消除这种偏差,局部多项式回归(LPoR)和多尺度$k$ -NN(MS- $k$ -NN)通过查询周围的局部回归来学习偏差项,并将其外推到查询本身。然而,它们的理论最优性已被证明是无限数量的训练样本的限制。为了用较少的观测值校正渐近偏差,结合LPoR和MS- $k$ -NN的优点,提出了一种\emph{local radial regression (LRR)}及其逻辑斯谛回归变体\emph{local radial logistic regression~(LRLR)}.这个想法很简单:我们通过仅将径向距离作为解释变量来将局部回归拟合到观察到的标签,然后将估计的标签概率外推到零距离。所提出的方法的实用性的理论和实验。我们证明了$L^2$风险LRR的收敛速度参考MS- $k$ -NN,我们的数值实验,包括现实世界的股票指数数据集,表明LRLR优于LPoR和MS- $k$ -NN。
2022-07-22 cs.AI cs.LG stat.ME
Nonparametric regression with modified ReLU networks
Institute of Environmental and Agricultural Biology (X-BIO), University of Tyumen(秋明大学生态与农业生物学研究所(X-BIO));University of Mississippi(密西西比大学)
我们考虑使用修改的ReLU神经网络进行回归估计,其中网络权重矩阵首先由函数$α$修改,然后乘以输入向量。我们给出了一个连续的分段线性函数$α$的例子,对于该函数,具有$l_1$和平方$l_2$惩罚的修改后的ReLU网络类上的经验风险最小化器达到了未知$β$ -平滑函数的最小最大预测率,直到对数因子。
2022-07-17 cs.LG math.ST stat.ML
Covering Numbers for Deep ReLU Networks with Applications to Function Approximation and Nonparametric Regression
本文推导了深度ReLU网络的覆盖数上下界,揭示了稀疏性、量化等对网络性能的影响,并改进了非参数回归的预测误差上界。
2026-03-02 cs.AI cs.IT cs.LG
Latent Distance Estimation for Random Geometric Graphs
Laboratoire de Math\'ematiques d'Orsay (LMO) Universit\'e Paris-Sud 91405 Orsay Cedex \
随机几何图是网络潜在点生成模型的流行选择。它们的定义是基于一个样本的$n$点$X_1,X_2,\cdots,X_n$上的欧几里德球~ $\mathbb{S}^{d-1}$,它代表了潜在的位置的节点的网络。节点之间的连接概率由在潜在点之间的距离处评估的未知函数(称为“链接”函数)确定。我们引入了一个谱估计的潜在点之间的成对距离,我们证明了它的收敛速度是相同的$\mathbb{S}^{d-1}$上的函数的非参数估计,对数因子。此外,我们提供了一个有效的谱算法来计算这个估计没有任何知识的非参数连接函数。作为副产品,我们的方法也可以一致地估计潜在空间的维度$d$。
2019-09-15 cs.LG stat.ML
Semi-nonparametric Latent Class Choice Model with a Flexible Class Membership Component: A Mixture Model Approach
American University of Beirut(贝鲁特美国大学);Technical University of Denmark (DTU)(丹麦技术大学)
本研究提出一种基于混合模型的半非参数潜在类别选择模型,通过EM算法估计,实验证明该方法在提升预测精度和异质性表示的同时保留了行为与经济学可解释性。
2020-07-06 cs.LG econ.EM stat.ME