A universal robustification procedure
我们开发了一个程序，将任何渐近正态估计到一个渐近正态估计，其分布是强大的任意数据污染。更一般地说，我们的程序转换成一个渐近正态估计，其分布是强大的任意污染的渐近分布在原点具有积极和连续的密度的任何估计。在发展这样一个过程中，我们证明了新的一般性质的分量和几何分位数在有限和无限维。
2023-01-18 math.PR math.ST stat.TH
Universal pointwise selection rule in multivariate function estimation
本文研究多元函数的点态估计问题。我们开发了一个一般的逐点估计过程，是基于从一个大的参数化集合中选择估计。逐点风险的上界的建立，它表明，建议的选择程序专门为不同的集合的估计导致极大极小和自适应极大极小估计在各种设置。
2008-11-17 math.ST stat.TH
Rho-estimators revisited: General theory and applications
继Baraud，Birgé和Sart（2017）之后，我们继续尝试设计$n$独立（但不一定是i.i.d.）海林格型损失的观察。给定具有未知联合分布$\mathbf{P}$和$\mathbf{P}$的支配模型$\mathscr{Q}$的观测值，我们基于$\mathscr{Q}$构建估计量$\widehat{\mathbf{P}}$，并通过Hellinger型距离度量其风险。当$\mathbf{P}$确实属于模型时，该风险由依赖于模型在$\mathbf{P}$附近的局部复杂性的某个量限制。在大多数情况下，这个界限对应于模型上的极大极小风险（直到一个可能的对数因子）。当$\mathbf{P}$不属于模型时，其风险涉及与$\mathbf{P}$和$\mathscr{Q}$之间的距离成比例的额外偏倚项，无论真实分布$\mathbf{P}$如何。从这个角度来看，这个新版本的$ρ$ -估计量改进了Baraud，Birgé和Sart（2017）中描述的先前版本，该版本要求$\mathbf{P}$相对于某些已知的参考测度是绝对连续的。与以前的建筑相比，又有了进一步的改进。特别是，它提供了一个非常一般的治疗与随机设计的回归框架，以及一个计算上易于处理的过程，聚集估计。本文还给出了极大似然估计是$ρ$ -估计的条件。最后，我们考虑的情况下，Staucian在处置许多不同的模型，我们建立了一个惩罚版本的$…
2017-11-29 math.ST stat.TH
Universal sieve-based strategies for efficient estimation using machine learning tools
假设我们希望在非参数模型下估计底层数据生成机制的一个或多个函数值特征的有限维摘要。估计的一种方法是插入这些特征的灵活估计。不幸的是，在一般情况下，这样的估计可能不是渐近有效的，这往往使这些估计难以作为推理的基础。虽然有几个现有的方法来构建渐近有效的插件估计，每一个这样的方法要么只能使用效率理论的知识，或仅在严格的平滑假设下是有效的。在现有的方法中，筛估计脱颖而出，特别方便，因为效率理论是不需要在他们的建设，他们的调整参数可以选择自适应的数据，他们是普遍的意义上说，同样的适合导致有效的插件估计丰富的一类被估量。受这些理想属性的启发，我们提出了两种新的通用方法来估计函数值的功能，可以使用筛估计理论进行分析。与传统的筛选估计相比，这些方法通过利用可以例如使用机器学习获得的灵活估计，在函数值特征平滑度的更一般条件下有效。
2020-08-26 math.ST stat.ME stat.TH
A universal approximate cross-validation criterion and its asymptotic distribution
一般的框架是，分布的估计量通过最小化一个函数（估计函数）获得，并通过另一个函数（评估函数）进行评估。估计和评估功能通常用于估计风险。一个经典的情况是两个函数都估计信息风险（特别是交叉熵）;在这种情况下，赤池信息准则（AIC）是相关的。在更一般的情况下，评估风险可以通过留一交叉验证来估计。由于留一交叉验证在计算上要求很高，近似公式可能非常有用。给出了留一交叉验证的通用近似交叉验证准则。该准则可适用于不同类型的估计量，包括惩罚似然和最大后验估计量，以及评估风险函数，包括信息风险函数和连续秩概率得分（CRPS）。当交叉熵是估计和评估的风险时，该公式简化为Takeuchi信息准则（TIC）。给出了UACV及其差的渐近分布。UACV可用于比较来自阈值模型和基于连续近似的模型的有序分类数据的分布的估计量。模拟研究和分析真实的心理测量数据。
2012-06-08 math.ST stat.TH
Universal Robust Regression via Maximum Mean Discrepancy
针对现有鲁棒估计方法多针对特定模型的问题，提出基于最大均值差异最小化的通用鲁棒回归方法，构建两个对Huber型污染鲁棒的估计量，其中一个兼具对抗污染鲁棒性并获非渐近误差界，还附带得到核条件均值嵌入的新结果。
2023-05-04 math.ST stat.TH
Note on universal algorithms for learning theory
本文提出了学习理论中回归问题的通用估计的一般研究方法，它在Binev，P.的“Universalgorithms for learning theory Part I：piecewise常数函数“和“Universalgorithms for learning theory Part II：piecewise常数函数“中已有讨论，Cohen，A.，Dahmen，W.，德沃尔河，Temlyakov，V.这种新方法使我们能够改善结果。
2018-11-23 math.ST stat.TH
Universal kernel-type estimation of random fields
针对具有随机回归函数的非参数回归模型，本文提出一致加权最小二乘估计量，推导了不受设计点相关结构影响的均匀收敛速率上界，并应用于带加性噪声的随机场均值与协方差估计，仿真与真实数据表明其精度在某些情况下优于Nadaraya--Watson估计量。
2023-07-01 math.ST stat.TH
Multivariate density estimation from privatised data: universal consistency and minimax rates
我们重新审视经典的非参数密度估计问题，但施加局部差分隐私约束。在这样的约束下，原始的多变量数据$X_1,\ldots,X_n \in \mathbb{R}^d$不能被直接观察到，并且所有的估计量都是合适的隐私机制的随机输出的函数。统计学家是自由选择的形式的隐私机制，在这项工作中，我们建议添加拉普拉斯分布噪声的离散化的矢量$X_i$的位置。基于这些随机化数据，我们设计了一种新的估计的密度函数，这可以被看作是一个私有化的版本，研究直方图密度估计。我们的理论结果包括泛逐点相容性和强泛$L_1$ -相容性。此外，还得到了Lipschitz函数类上的一个收敛速度，并给出了一个匹配的minimax下界.我们通过一个小的模拟研究说明了数据效用和隐私之间的权衡。
2022-11-12 math.ST stat.ME stat.TH
Treatment Effect Estimation with Efficient Data Aggregation
本文提出一种基于数据雕刻的数据聚合方案，通过汇总现有研究的LASSO选择模型的统计量，实现无偏的治疗效果估计，并兼顾数据隐私。
2023-05-08 math.ST stat.ME stat.TH
Estimating the intensity of a random measure by histogram type estimators
本文的目的是在可测空间的有限分划上用分段常数函数估计随机测度的强度。给定一个（可能很大的）候选分区家族，我们在每个分区上构建一个分段常数估计（直方图），然后使用数据在家族中选择一个估计。选择平方的海林格型距离作为我们的损失函数，我们表明，每个估计建立在一个给定的分区满足模拟的经典平方偏差加方差风险界。此外，选择过程导致最终估计满足一些预言型不等式，与往常一样，可能的损失对应于我们考虑的分区的家庭的复杂性。当这种复杂性不是太高时，所选择的估计量具有风险界，直到一个普适常数，由家族中估计量的最小风险界获得。对于适当的选择家庭的分区，我们推导出统一的风险界在各种类别的强度。我们的方法适用于非齐次泊松过程的强度估计，以及其他计数过程，或具有非负分量的随机向量的均值估计。
2006-08-27 math.ST stat.TH
Precise Asymptotics of Bagging Regularized M-estimators
本文研究subagging正则化M估计量的平方预测风险，在比例渐近下给出精确刻画与一致风险估计，并揭示子样本、集成规模及正则化联合优化的收益。
2025-09-27 math.ST stat.ML stat.TH
Kernel Debiased Plug-in Estimation based on the Universal Least Favorable Submodel
本文提出基于通用最不利子模型的核去偏插件估计方法，用于高效估计非参数模型中的路径可导参数，通过构建RKHS中的去偏流程实现半参数效率。
2026-03-09 cs.LG math.ST stat.ML
Finite sample properties of parametric MMD estimation: robustness to misspecification and dependence
CNRS（法国国家科学研究中心）；ESSEC Business School（埃塞克商学院）
针对统计学通用估计问题，本文基于MMD最小距离估计器证明其对数据相关性和异常值的鲁棒性，完成SGD算法理论研究并通过数值模拟验证，同时修正已发表版本中命题4.4的证明错误。
2025-02-13 cs.LG math.ST stat.CO
Asymptotic Normality of the Conditional Value-at-Risk based Pickands Estimator
本文针对极值指数的 Pickands 估计量渐近效率差的问题，证明了基于 CVaR 的 Pickands 估计量在函数空间中的弱收敛性及渐近正态性，并通过模拟验证了理论结果。
2024-07-26 math.ST stat.OT stat.TH
Reconciling Universal and Uniform Learning with $Q$-Aggregation
Department of Statistics, University of Oxford（牛津大学统计学系）；Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机系）
该研究针对回归问题，证明有限假设类下$Q$-聚合估计量可同时实现极小极大与通用指数速率，可数无限假设类下二者存在固有权衡，还给出平方损失学习通用速率的结构性结果。
2026-09-07 math.ST stat.ML stat.TH
Convergence of Discrete MDL for Sequential Prediction
我们研究了序列预测的最小描述长度原则的性质，考虑从可数模型类中选择的两部分MDL估计。这特别适用于通用序列预测的重要情况，其中模型类对应于某个固定通用图灵机的所有算法（这种对应是通过可重复的半度量，因此所得模型是随机的）。我们证明收敛定理类似Solomonoff定理的普遍归纳法，这也适用于一般贝叶斯混合。与贝叶斯混合物相比，MDL预测的收敛速度特征的界限呈指数级增大。我们观察到，至少有三种不同的方式使用MDL进行预测。其中一个具有更差的预测特性，只有当MDL估计器稳定时，预测才会收敛。我们为这种情况的发生建立了充分的条件。最后，一些直接后果的复杂性关系和随机性标准的证明。
2004-04-28 cs.AI cs.LG math.ST
