Nonparametric estimation of the derivative of the regression function: application to sea shores water quality
本文研究了非参数回归模型中回归函数导数的非参数估计。我们实现了一个非常有效和易于处理的统计过程的基础上的衍生物的递归Nadaraya-Watson估计。我们建立了估计的几乎必然收敛性和渐近正态性。我们还说明了我们的非参数估计程序与海岸水质和瓣膜的模拟和现实生活中的数据。
2016-06-20 math.ST stat.TH
Global Activity Scores
Florida State University（佛罗里达州立大学）
本文提出全局活动分数作为新的全局敏感度度量，基于有限差分而非导数，与Sobol指数建立理论联系，并通过数值实验展示其在噪声或高变异性下的稳定性优势。
2026-04-06 math.ST stat.TH
Estimation of the r-th derivative of a density function by the tilted kernel estimator
我们考虑通过Hall和Doosti（2012）中引入的倾斜核估计器估计密度函数f的s阶导数的问题。然后，我们进一步证明了这个估计器达到了相同的收敛速度，在概率，小波估计器实现了霍尔和帕蒂尔（1995）。
2015-10-27 math.ST stat.TH
Problem of Estimation of Fractional Derivative for a Spectral Function of Gaussian Stationary Processes
研究了高斯平稳序列（时间序列）未知谱函数分数阶导数的非参数估计问题，证明了当导数阶数小于小于0.5时，该问题是适定性的，且具有经典的收敛速度。我们还证明了所提供的估计的渐近无偏性和正态性，并具有最佳收敛速度。为了构造函数范数下的置信区域，我们建立了连续函数相应空间中的中心极限定理。
2015-04-16 math.ST stat.TH
Well Posedness of the Problem of Estimation Fractional Derivative for a Distribution Function
本文研究了未知分布函数和谱函数的分数阶导数的非参数估计问题，证明了当导数阶数小于小于0.5时，这些问题是适定性的。我们还证明了所给估计的无偏性和渐近正态性，并具有最佳收敛速度。为了构造函数范数下的置信区域，我们在相应的Lebesgue-Riesz空间中建立了所给估计的中心极限定理，并导出了估计在这些空间中的非渐近偏差.
2014-12-21 math.ST stat.TH
Local Estimation of a Multivariate Density and its Derivatives
我们分析了四种不同的方法来估计多元概率密度（或对数密度）及其一阶和二阶导数。两种方法，局部对数似然和局部Hyvärinen得分估计，是在加权评分规则与局部二次模型。另外两种方法是局部矩匹配和核密度估计。所有的估计依赖于一个通用的内核，我们使用高斯内核提供明确的例子。估计量的渐近性质推导和比较。在收敛速度方面，改进的局部矩匹配估计是最好的。
2020-08-10 math.ST stat.TH
Derivative Principal Component Analysis for Representing the Time Dynamics of Longitudinal and Functional Data
我们提出了一个非参数的方法来明确地建模和表示的衍生物的光滑的基本轨迹的纵向数据。这种表示是基于一个直接的Karhunen-Loève扩展的未观察到的衍生物，并导致衍生主成分分析的概念，补充功能主成分分析，最流行的工具之一的功能数据分析。建议的衍生主成分得分可以获得不规则间隔和稀疏观察的纵向数据，通常遇到的生物医学研究，以及密集测量的功能数据。新的一致性结果和渐近收敛速度的衍生主成分分数和模型的其他组件的建议估计的稀疏或密集的观测和温和的条件下，一个统一的计划。我们比较所提出的表示衍生工具与替代方法在模拟设置，也在一个小袋鼠生长曲线的应用。它出现的表示使用所提出的衍生主成分分析恢复底层衍生物更准确地相比，主成分分析为基础的方法，特别是在设置中的功能数据表示只有非常少量的组件或密集采样。在第二个小麦光谱分类的例子中，衍生主成分分数被发现是更好的预测小麦的蛋白质含量比传统的功能主成分分数。
2017-07-14 math.ST stat.ME stat.TH
Data-driven density derivative estimation, with applications to nonparametric clustering and bump hunting
关于多元数据集的重要信息，如聚类和模态区域，包含在密度函数的导数中。尽管这一重要性，非参数估计的高阶导数的密度函数只收到相对较少的关注。密度函数的核估计因其优良的理论和实际性质而被广泛应用，但由于在带宽（或平滑参数）选择的关键问题上遇到的数学难题，其推广到密度导数的进展较为缓慢。本文介绍了第一个全自动的，基于数据的带宽选择器的多元核密度导数估计。这是通过综合矩阵分析理论的最新进展，允许数学和计算上易于处理的表示高阶导数的多元向量值函数。理论上的渐近性质以及有限样本行为的建议选择器进行了研究。{In此外，我们详细探讨了新的数据驱动的方法的应用程序的其他两个统计问题：聚类和颠簸狩猎。所介绍的技术相结合的均值漂移算法开发新的自动，非参数聚类程序，表现出优于混合模型聚类分析和其他最近的非参数方法在实践中。此外，一个真实的数据例子说明了使用平滑参数的优势，设计用于密度导数估计的特征显着性分析颠簸狩猎。
2013-02-19 math.ST stat.ME stat.ML
Posterior contraction rates in Sobolev norms and Bayesian derivative estimation for infinite-dimensional exponential families
University of Pavia（帕维亚大学）；University of Turin（都灵大学）；Collegio Carlo Alberto, Turin（都灵卡洛阿尔贝托学院）
该研究针对无穷维指数族，基于Wasserstein距离的新方法，证明匹配光滑度的先验可实现Sobolev范数下的极小极大最优后验收缩率，并在三类场景中验证了该理论的有效性。
2026-10-06 math.ST stat.ML stat.TH
Smooth and rough paths in mean derivative estimation for functional data
针对固定同步设计下的多元函数数据，推导Hölder光滑类上均值函数偏导数估计的极小极大近最优收敛速度，分析路径光滑性对速度的影响，实现多元局部多项式估计器并验证性能，提出协方差核偏导数受限估计的路径光滑性评估方法。
2025-08-22 math.ST stat.TH
Nonparametric estimation when data on derivatives are available
我们考虑的设置中的数据是一个非参数函数和各种偏导数。这种情况在实践中出现，例如在经济学中成本和投入函数的联合估计中。我们表明，当衍生数据可用时，局部平均值可以在某些维度上被非局部平均值取代，从而降低了问题的非参数维度。我们得到最佳的收敛速度和条件下，实现降维。核估计及其性质进行了分析，虽然其他估计，如局部多项式，样条和非参数最小二乘，也可以使用。模拟和应用的配电成本的估计。
2007-08-03 math.ST stat.TH
ScoreMatchingRiesz: Score Matching for Debiased Machine Learning and Policy Path Estimation
ScoreMatchingRiesz通过分数匹配方法实现去偏机器学习和政策路径估计，提升政策效应的可解释性。
2026-01-29 cs.LG econ.EM math.ST
Asymptotically Efficient Estimation of Weighted Average Derivatives with an Interval Censored Variable
本文研究了在结果变量或回归变量为区间值的情况下，条件位置泛函（包括条件均值和条件分位数）的加权平均导数的识别和估计.在Manski和Tamer（2002）研究区间数据均值回归的非参数界的基础上，我们刻画了回归函数的加权平均导数集。由于加权平均导数不依赖于回归函数的参数规格，因此所识别的集合定义明确，无需任何参数假设。在一般条件下，所识别的集合是紧的和凸的，因此承认其支撑函数的特征。利用这一特征，我们推导出当结果变量为区间值时支撑函数的半参数效率界。我们通过构造一个有效的估计的支撑函数的情况下，区间删失的均值回归说明有效的估计。
2013-12-20 math.ST stat.ME stat.TH
Nonparametric needlet estimation for partial derivatives of a probability density function on the $d$-torus
本文提出基于环面needlet的局部阈值估计方法，用于估计$d$维环面上方向数据密度函数的偏导数，并证明了其在Besov空间上的极小极大最优性。
2023-05-10 math.ST stat.TH
Optimal score estimation via empirical Bayes smoothing
本文研究从高维 i.i.d. 样本估计分布 score 函数的问题，借助经验贝叶斯与平滑经验分布的 Hellinger 收敛，证明高斯核正则化估计器达到 minimax 最优速率并揭示维数灾难。
2024-06-12 math.ST stat.ML stat.TH
Unbiased Derivative Estimation for Stationary Mean of Parameterized Markov chains
提出一种针对参数化马尔可夫链平稳均值梯度的无偏估计方法，在慢混合率下高效，无需密度函数先验知识，适用于神经网络参数化。
2026-06-11 math.PR math.ST stat.ML
Estimation of functional derivatives
在数据分析中，函数预测因子与标量响应配对的情况越来越多。预测器通常被适当地建模为平方可积〔的〕光滑随机函数。对函数关系的性质施加最小的假设，我们的目标是估计相对于预测函数的响应的方向导数和梯度。在统计应用和数据分析中，函数导数提供了预测轨迹变化和标量响应变化之间通常错综复杂的关系的定量度量。这种方法提供了向量空间中经典梯度场的自然扩张，并提供了最速下降的方向。我们提出了一种基于核函数的方法，利用分解的随机预测函数到他们的特征函数的非参数估计的功能衍生物。这些本征函数定义了梯度场展开的一组正则方向。所提出的方法是导致渐近相合估计的功能衍生物，并说明在应用程序中的增长曲线。
2009-09-07 math.ST stat.TH
Implicit score matching meets denoising score matching: improved rates of convergence and log-density Hessian estimation
HSE University（俄罗斯高等经济大学）
本文提出通过隐式和去噪分数匹配方法改进收敛速率，并利用微分估计对数密度Hessian，为生成扩散模型的采样器收敛性提供理论支持。
2025-12-30 cs.LG math.ST stat.ML
DDPM Score Matching and Distribution Learning
Yale University（耶鲁大学）
本文提出一个框架，将DDPM中的得分估计归结为参数估计和密度估计，证明其渐近有效性，并给出密度估计的极小极大速率、拟多项式PAC算法及得分估计的计算下界。
2026-09-09 cs.DS cs.LG math.ST
Regression on manifolds: Estimation of the exterior derivative
预测因子的共线性和近共线性在进行回归时会造成困难。在这些情况下，变量选择变得站不住脚，因为数学问题的存在和数值稳定性的回归系数，和解释的系数是模糊的，因为梯度没有定义。利用微分几何解释，其中的回归系数被解释为一个函数的外导数的估计，我们开发了一种新的方法来做回归的存在共线性。我们的正则化方案可以改善估计误差，它可以很容易地修改，包括拉索型正则化。这些估计器还具有对“大$p$、小$n$“上下文的单扩张。
2011-03-08 math.ST stat.TH
Uniform Lipschitz Property of Nonnegative Derivative Constrained B-Splines and Applications to Shape Constrained Estimation
受一般非负导数约束下的形状约束估计的启发，考虑了约束函数的B-样条逼近，研究了约束B-样条估计的渐近性能.通过引用B样条理论中的一个深层次的结果（称为de Boor猜想），首先证明了A。Shardin以及其他新的分析技术，我们建立了一个关键的均匀Lipschitz性质的B-样条估计受到任意非负导数约束下的$\ell_\infty$ -范数可能非等距设计点和节点。这一性质导致了B样条估计量的重要渐近分析结果，例如，在整个区间上的一致收敛性和相合性。本文的结果不仅恢复了单调和凸逼近和估计的特殊情况，而且在一个统一的框架内处理一般的非负导数约束，并打开了大门的约束B-样条逼近和估计受到更广泛的一类形状约束。
2015-10-18 math.CA math.OC math.ST
Learning the score under shape constraints
University of Oxford（牛津大学）；London School of Economics and Political Science（伦敦政治经济学院）；Nanjing University（南京大学）；Rutgers University（罗格斯大学）；University of Cambridge（剑桥大学）
在形状约束下，研究了分数估计的最小最大风险，通过引入对数凹密度的子类，结合尾部行为和光滑性假设，提出了多尺度估计器以提高估计效率。
2025-12-16 math.ST stat.ML stat.TH
On the Estimation of Derivatives Using Plug-in Kernel Ridge Regression Estimators
Rice University（莱斯大学）
针对回归函数导数估计中参数调优难、高阶导数分析复杂的问题，提出适用于多维支撑域与任意混合偏导的插入式KRR估计量，统一推导误差界，验证其极小极大最优速率与免随导数阶数调参的插入式特性，且有限样本性能优异。
2023-08-26 cs.LG math.ST stat.ML
A Bounded Derivative Method for the Maximum Likelihood Estimation on Weibull Parameters
对于双参数韦布尔分布的基本极大似然估计函数，给出了其全局单调性的简单证明，从而保证了其解的存在唯一性。基于函数的无标度性质，定义了函数一阶导数的边界。通过有界导数，可以确定该函数的根的可能范围。利用这些结果提出了一种新的求根算法，并给出了收敛性的解析证明。通过与其他典型算法的比较，数值实验表明了该算法的有效性。
2009-10-04 math.PR math.ST stat.ME
Doubly robust dose-response estimation for continuous treatments via generalized propensity score augmented outcome regression
本文构造了连续剂量反应估计的双稳健估计。结果回归模型增加了一组逆广义倾向评分协变量，以纠正潜在的误设偏倚。从增强模型中，我们可以获得不同治疗分层的平均潜在结局的相合估计。然后将多项式回归拟合到这些点估计值，以推导出连续剂量-响应函数的泰勒近似值。Bootstrap用于方差估计。分析结果和模拟表明，我们的方法可以提供一个很好的近似线性或非线性剂量-响应函数下的各种来源的误指定的结果回归或倾向评分模型。有限样本下的效率相对于最小方差一致估计是好的。
2015-06-16 math.ST stat.TH
Diffusion-based Denoising Beats Vanilla Score Matching in Parameter Estimation: A Theoretical Explanation
University of Hamburg（汉堡大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文通过理论分析证明，对于具有分离模态的多峰分布，基于扩散的去噪得分匹配估计器（DDSME）相比普通得分匹配估计器（SME）具有更优的误差界，并解释了扩散方法优越性的原因。
2026-08-21 cs.LG math.ST stat.ME
Gamma kernel estimation of the density derivative on the positive semi-axis by dependent data
我们估计定义在$[0,\infty)$上的概率密度函数的导数。为此目的，我们选择了核估计类的非对称伽玛核函数。伽玛核的使用是富有成效的，因为它们是非负的，根据半轴上的位置改变它们的形状，并且对于广泛的一类密度具有良好的边界性质。我们找到了一个最佳的内核带宽的最小值的均方误差的依赖数据与强混合。该带宽不同于针对伽马核密度估计提出的带宽。为此，我们导出了密度导数的协方差，并推导出其上界。最后，将所得结果应用于一阶强混合自回归过程的情形。估计的准确性进行了检查的模拟研究。提供了基于独立和非独立数据的拟议估计数的比较。
2015-02-09 math.PR math.ST stat.TH
Score estimation in the monotone single index model
本文研究了单指标模型中的估计问题，其中的联系函数是单调的。对于该模型，提出了一种轮廓最小二乘估计器来估计未知的链接函数和索引。虽然这是自然的，提出这个程序，它仍然是未知的，它是否产生指数估计，收敛于参数率。我们表明，如果我们解决了这个最小二乘问题对应的分数方程，这是成立的。使用拉格朗日公式，我们展示了如何可以解决这个分数方程没有任何reparametrization。这使得它很容易解决的分数方程在高维。我们还比较了我们的方法与有效降维（EDR）和惩罚最小二乘估计（PLSE）的方法，都可以在CRAN作为R包，并与无链接的方法，其中的协变量是椭圆对称的比较。
2018-10-23 math.ST stat.TH
Asymptotic Properties of Recursive Maximum Likelihood Estimation in Non-Linear State-Space Models
使用随机梯度搜索和最优滤波器导数，可以执行递归（即，在线）非线性状态空间模型中的极大似然估计。由于这种模型的最优滤波器及其导数在解析上是难以处理的，因此需要对它们进行数值近似。在[Poyiadjis，Doucet and Singh，Biometrika 2018]中，提出了一种基于粒子逼近最佳滤波器导数的递归最大似然算法，并通过数值模拟进行了研究。本文对该算法及其渐近行为进行了理论分析。我们表明，该算法准确地估计最大值的基本（平均）的对数似然粒子的数量是足够大时。我们还推导出（相对）紧界的估计误差。所得到的结果保持在（相对）温和的条件下，并涵盖了几类非线性状态空间模型在实践中遇到的。
2021-01-02 math.OC math.ST stat.ML
Diffusion Models with Heavy-Tailed Targets: Score Estimation and Sampling Guarantees
Department of Mathematical Sciences, Tsinghua University（清华大学数学科学系）；Department of Data Science, City University of Hong Kong（香港城市大学数据科学系）
本文研究了厚尾目标下基于分数的扩散模型，推导了分数估计的最小最大速率，并提供了采样保证，揭示了轻尾与多项式尾情况下不同的收敛特性。
2026-01-10 cs.LG math.PR math.ST
Maximum Score Estimation of Preference Parameters for a Binary Choice Model under Uncertainty
在决策规则受条件期望影响的不确定性二元选择模型中，给出了偏好参数的最大得分估计。偏好参数的估计分为两个阶段：第一阶段是条件期望的非参数估计，第二阶段是基于Manski（1975，1985）的最大得分估计，使用选择数据和第一阶段的估计。本文建立了两阶段最大得分估计的相合性，并推导了其收敛速度。此外，本文还提供了两阶段估计量与相应的单阶段估计量在分布上渐近等价的充分条件，假定第一阶段输入是已知的。这些结果是独立的最大得分估计与非参数生成的回归。本文还给出了两阶段估计量有限样本行为的一些蒙特卡罗模拟结果。
2013-12-02 math.ST stat.ME stat.TH
Stochastic derivative estimation for max-stable random fields
我们认为预期的性能的基础上最大稳定的随机场，我们感兴趣的是他们的衍生物相对于这些领域的空间依赖参数。最大稳定场，如布朗-雷斯尼克场和史密斯场，在空间极值中非常流行。本文重点介绍了两种最流行的无偏随机导数估计方法：似然比方法（LRM）和无穷小扰动分析（IPA）。LRM要求最大稳定场的多元密度是显式的，IPA需要计算每个模拟值相对于参数的导数。我们提出了方便和易于处理的条件，确保LRM和IPA的有效性的情况下，布朗-Resnick和史密斯领域，分别。由于极大稳定场的结构，获得这样的条件是复杂的。然后，我们专注于风险和依赖的措施，这构成了几个框架，我们的理论结果可以是有用的。我们进行了模拟研究，结果表明，LRM和IPA在各种配置中表现良好，并提供了一个真正的案例研究，是有价值的保险业。
2020-11-03 math.ST q-fin.RM stat.ME
On true versus estimated propensity scores for treatment effect estimation with discrete controls
本文推导了离散控制变量下逆倾向加权估计量的有限样本方差，发现估计倾向得分在渐近理论中优于真实得分，但对修正估计量的分析表明真实倾向函数的先验知识在估计平均处理效应时具统计优势。
2023-05-18 math.ST stat.ME stat.TH
Statistical Inference for High-Dimensional Robust Linear Regression Models via Recursive Online-Score Estimation
本文提出将递归在线得分估计（ROSE）框架扩展至非凸惩罚M估计，用于稳健高维线性回归的估计与推断，并证明估计量的一致性与渐近正态性，模拟和实际应用验证了其优越性。
2025-04-12 math.ST stat.ME stat.TH
Block thresholding for wavelet-based estimation of function derivatives from a heteroscedastic multichannel convolution model
我们观察到$n$异方差随机过程$\{Y_v(t)\}_{v}$，其中对于任何$v\in\{1,\ldots,n\}$和$t \in [0,1]$，$Y_v(t)$是未知函数$f$和已知模糊函数$g_v$的卷积积高斯噪声破坏。在$g_1,\ldots,g_n$的一般光滑性假设下，我们的目标是从观测值估计$f$的$d$阶导数（弱意义下）.我们提出了一种基于小波块阈值的自适应估计器，即“BlockJS估计器”。以平均积分平方误差（MISE）为例，我们的主要理论结果研究了Besov光滑空间上的Minimax速率，并表明我们的块估计可以达到最佳的Minimax速率，或者至少是在最不利的情况下接近Minimax。我们还报告了一套全面的数值模拟，以支持我们的理论研究结果。我们的块估计的实际性能相比，非常有利的现有方法的文献上的一个大的测试功能。
2013-03-13 math.ST stat.TH
The Propensity Score Estimation in the Presence of Length-biased Sampling: A Nonparametric Adjustment Approach
流行的队列研究的疾病持续时间的普遍使用，越来越多地要求适当的方法来解释的偏见，总是伴随着样本形成这样的数据。例如，众所周知，寿命较短的受试者不太可能参与此类研究。此外，某些协变量值可以优先选择到样本中，与长期生存者相关。使用流行病例收集的数据估计倾向评分的现有方法需要在给定治疗和协变量的情况下正确的条件生存/风险函数。如果所研究的疾病具有平稳的发病率，即所谓的平稳性假设，则可以减轻这一要求。我们提出了一种非参数调整技术的基础上加权估计方程估计的倾向得分，不需要建模的条件生存/风险函数时，平稳性假设成立。建立了估计量的大样本性质，并通过仿真研究了其小样本行为。
2013-11-06 math.ST stat.TH
Nonparametric Estimation via Partial Derivatives
针对高维下传统非参数估计收敛慢、需海量数据的问题，提出基于偏导数的估计方法，结合SS-ANOVA框架实现近参数化收敛速率，通过理论与实验验证了方法可缓解交互项维数灾难。
2024-08-18 math.ST stat.ME stat.TH
Estimation and Hypothesis Testing of Derivatives in Smoothing Spline ANOVA Models
Texas Tech University（德克萨斯理工大学）；Biogen（生物基因公司）；Rice University（莱斯大学）
本文提出了一种在平滑样条ANOVA模型中估计导数并检验导数是否为零的统计方法，通过理论分析和实证研究验证了其有效性。
2026-02-28 math.ST stat.ME stat.TH
Cryptographic Hardness of Score Estimation
Paul G. Allen School of Computer Science and Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）
本文证明在缺乏强分布假设时，L² 精确得分估计在计算上困难，通过归约并利用高斯薄饼分布与标准高斯的计算不可区分性，揭示了得分估计的密码学困难性。
2024-04-04 cs.CC cs.CR cs.LG
Enhanced Rank-Based Correlation Estimation Using Smoothed Wilcoxon Rank Scores
Ankara University（安卡拉大学）
本文提出基于平滑 Wilcoxon 秩得分的改进 Spearman 秩相关性估计方法，通过平滑 ecdf 计算秩以处理结值并提升单调关联下的效率，还提出 Wald 型检验并证明其渐近性质。
2025-11-12 math.ST stat.ME stat.TH
Causal Effect Estimation after Propensity Score Trimming with Continuous Treatments
针对连续处理下因果效应估计的正定性违反问题，本研究基于有效影响函数提出非参数估计量，通过平滑修剪因果效应实现双重稳健推断，并允许阈值固定或为倾向得分分位数。
2024-07-29 math.ST stat.ME stat.TH
Score-Preserving Targeted Maximum Likelihood Estimation
提出保分TMLE（SP-TMLE）方法，通过同时针对有效影响函数和已求解得分来减小von-Mises展开余项，在小样本下降低了偏差与方差，提升了有限样本性能。
2025-01-31 math.ST stat.ME stat.TH
Quasi-Score Matching Estimation for Spatial Autoregressive Model with Random Weights Matrix and Regressors
The Australian National University（澳大利亚国立大学）
针对SAR模型QMLE在大规模数据下计算不可扩展且经典假设不切实际的问题，提出拟得分匹配估计法，降低计算复杂度并建立随机权重矩阵与回归量下的渐近性质，为新理论框架提供支撑。
2026-10-21 econ.EM math.ST stat.ME
