Uniform Consistency in Nonparametric Mixture Models
本文研究了非参数混合模型以及密切相关的混合回归（也称为混合回归）模型的一致相合性，其中允许回归函数是非参数的，并且假设误差分布是高斯密度的卷积。我们在一般条件下构造一致一致性估计，同时突出了几个痛点，在扩展现有的逐点一致性结果，以统一的结果。由此产生的分析结果是不平凡的，并在此过程中开发了一些新的技术工具。在混合回归的情况下，我们证明了$L^1$收敛的回归函数，同时允许组件回归函数相交任意经常，这提出了额外的技术挑战。我们还考虑一般（即非卷积）非参数混合的推广。
2022-12-28 math.ST stat.ML stat.TH
Uniform Inference for High-dimensional Quantile Regression: Linear Functionals and Regression Rank Scores
对于维数远大于样本量的模型，假设检验只有在成功地消除初始估计偏差后，才能像经典的学生化检验那样进行公式化。去偏估计量的理论可以在固定分位值的分位数回归模型的背景下发展。然而，通常需要基于分位数回归过程来制定测试，因为这会导致更稳健的测试和更稳定的置信集。此外，分位数回归中的推断需要估计所谓的稀疏函数，其取决于误差的未知密度。在本文中，我们考虑一个去偏的一致测试问题的方法。我们开发了高维回归秩分数，并展示了如何使用它们来估计稀疏函数，以及如何使它们适应涉及分位数回归过程的推断。此外，我们开发了一个Kolmogorov-Smirnov测试的位置移动的高维模型和置信集，是一致有效的许多分位数值。主要的技术成果是发展的Bahadur表示的去偏估计，是均匀的分位数和均匀收敛的分位数过程的布朗桥过程，这是独立的利益。模拟研究表明，我们的程序的有限样本特性。
2017-02-20 stat.ML
Online Infinite-Dimensional Regression: Learning Linear Operators
University of Michigan（密歇根大学）
本文研究无限维 Hilbert 空间间线性算子的在线平方损失回归，刻画 p-Schatten 范数有界类的可学习性，并证明算子范数有界类不可学及一致收敛与可学习性的分离。
2024-01-25 cs.LG stat.ML
Can bin-wise scaling improve consistency and adaptivity of prediction uncertainty for machine learning regression ?
Institut de Chimie Physique（物理化学研究所）；CNRS（法国国家科学研究中心）；Université Paris-Saclay（巴黎萨克雷大学）
本文探索了BVS方法的多种改进方案，通过替代损失函数和基于输入特征(X)的分箱方案提升预测不确定性的自适应性，并在原子化能预测基准数据集上验证了其性能。
2023-10-24 cs.LG physics.chem-ph physics.data-an
On Uniform Error Bounds for Kernel Regression under Non-Gaussian Noise
Chair of Automatic Control Engineering, Department of Computer Engineering, Technical University of Munich（自动控制工程学系，计算机工程系，慕尼黑技术大学）；Institute of Control Systems, Hamburg University of Technology（控制系统研究所，汉堡技术大学）；Department of Electrical and Computer Engineering, National University of Singapore（电子与计算机工程系，新加坡国立大学）
本文提出非渐近的核回归统一误差界，适用于广泛非高斯分布，包括亚高斯、有界、亚指数和方差/矩有界的噪声，并在安全控制中验证了界的有效性。
2026-05-10 cs.LG stat.ML
Consistency for Large Neural Networks: Regression and Classification
Department of Data Science and Statistics, National University of Singapore（数据科学与统计系，新加坡国立大学）
本研究通过理论分析揭示了大规模神经网络在回归与分类任务中的一致性机制，证明了参数增加时近似误差下降，正则化保持泛化误差有界，并展示了深度网络在多任务中的统计一致性。
2026-01-02 cs.LG math.ST stat.ML
Model Selection Consistency for Cointegrating Regressions
研究了协整回归中所有协变量都是弱外生变量时自适应Lasso的渐近性质。我们假设候选I（1）变量的数量相对于样本量（但可能更大）是次线性的，候选I（0）变量的数量相对于样本量是多项式的。证明了在协整分析的经典条件下，该估计量渐近地选择模型中变量的正确子集，并且其渐近分布与OLS估计量的分布相同，因为模型中的变量是事先已知的（预言性质）.我们还推导出一个算法的基础上的局部二次近似，并提出了一个数值研究，以显示在有限样本的方法的充分性。
2011-10-10 stat.CO stat.ME stat.ML
Dimension-free uniform concentration bound for logistic regression
本文为受限逻辑回归经验风险函数提出一种无维数一致集中界，基于PAC-Bayes二阶展开与残差项界推导，比Rademacher复杂度与McDiarmid不等式条件更温和。
2024-10-14 math.ST stat.ML stat.TH
When can Multi-Site Datasets be Pooled for Regression? Hypothesis Tests, $\ell_2$-consistency and Neuroscience Applications
由于后勤或财政限制，生物医学和健康科学的许多研究涉及小样本量。通常，识别一组预测因子和响应之间的弱（但科学上有趣）关联需要汇集来自多个不同实验室或团体的数据集。虽然在统计机器学习方面有丰富的文献来解决多站点数据集中的分布变化和推断，但不太清楚${\it when}$这样的池是否保证有帮助（以及何时没有）-独立于我们使用的推断算法。在本文中，我们提出了一个假设检验来回答这个问题，无论是经典的和高维的线性回归。我们精确地确定了在多个站点之间汇集数据集是明智的制度，以及如何通过在任何数据传输发生之前在每个站点上执行的简单检查来做出这样的政策决定。专注于阿尔茨海默病的研究，我们提出的实证结果表明，在我们的分析所建议的制度，汇集本地数据集与国际研究的数据，提高功率。
2017-09-02 stat.ME stat.ML
Generalized nonparametric regression in reproducing kernel Hilbert spaces: Consistency and rates of convergence
Ioannis Kalogridis
针对再生核希尔伯特空间中的正则化M估计，在温和损失条件下建立估计量的存在性和可测性，证明基于新复杂度测度的偏差-方差分解的锐利收敛速度，并揭示张量积Sobolev空间中的新速率以规避维数灾难。
2026-06-23 cs.LG math.ST stat.ML
Uniform Error Bounds for Gaussian Process Regression with Application to Safe Control
Technical University of Munich（慕尼黑工业大学）
本文针对高斯过程回归在较弱假设下推导出一种新的一致误差界，利用高斯过程分布推导概率Lipschitz常数并分析渐近行为，基于此为未知动态系统控制推导安全条件并在机械臂仿真中验证。
2019-12-19 cs.LG cs.SY eess.SY
Uniform regret bounds over $R^d$ for the sequential linear regression problem with the square loss
INRIA（法国国家信息与自动化研究所）；ENS（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）；Institut de mathématiques de Toulouse（图卢兹数学研究所）；Université Paul Sabatier（保罗·萨巴蒂埃大学）；Laboratoire de mathématiques d’Orsay（奥赛数学实验室）；Université Paris-Sud（巴黎第十一大学）；CNRS（法国国家科学研究中心）；Université Paris-Saclay（巴黎萨克雷大学）
本文考虑了任意确定性序列的在线线性回归的设定问题，并考虑了平方损失。我们对Bartlett等人（2015）设定的目标感兴趣：获得在所有竞争者向量上一致保持的遗憾界。当特征序列在游戏开始时已知时，他们提供了$2d B^2 \ln T + \mathcal{O}_T(1)$的封闭形式的后悔界限，其中$T$是回合数，$B$是观察结果的界限。相反，我们推导出的界限与最佳常数$1$在前面的$d B^2 \ln T$长期。在顺序显示的功能的情况下，我们还得到了一个渐进的遗憾界的$d B^2 \ln T$的任何个人序列的功能和有界的意见。我们所有的算法都是在线非线性岭回归预测器的变体，或者具有依赖于数据的正则化，或者几乎没有正则化。
2019-02-25 cs.LG math.ST stat.ML
Consistency of Honest Decision Trees and Random Forests
University of Copenhagen（哥本哈根大学）
本文研究了回归设置中诚实决策树和随机森林的不同一致性类型，通过简单证明和经典平滑方法的论证，建立了诚实树和诚实森林平均值对真实回归函数的弱一致性和几乎必然收敛，并在紧致协变量域上获得一致收敛。该框架自然支持基于分层采样的集成变体和两阶段bootstrap采样方案，简化了现有分析并恢复了多个结果。
2026-05-20 stat.ME stat.ML
Elastic-net Regularized High-dimensional Negative Binomial Regression: Consistency and Weak Signals Detection
我们研究了稀疏负二项回归（NBR）计数数据显示使用弹性网估计的非渐近优势。利用相容因子条件和稳定性条件，得到了NBR弹性网估计的两类预言不等式。第二类预言不等式是针对随机设计的，可以推广到许多$\ell_1 + \ell_2$正则化M-估计，相应的经验过程具有随机Lipschitz性质.本文导出了负二项变量加权和的上最大经验过程的集中不等式，以表示某些高概率事件。我们应用的方法，通过显示符号的一致性，提供了真正的稀疏向量中的非零分量大于适当选择的最弱信号检测阈值。在第二个应用中，我们以高概率证明了分组效应不等式。第三，在设计矩阵的一些假设下，如果最弱信号检测阈值大于转向参数直到已知常数，则我们可以以高概率恢复真实变量集。最后，我们简要讨论了去偏弹性网估计，并给出了数值研究来支持这一建议。
2021-06-11 math.PR math.ST stat.ML
Uniform Error and Posterior Variance Bounds for Gaussian Process Regression with Application to Safe Control
Technical University of Munich（慕尼黑工业大学）
在数据生成成本高的应用领域，高斯过程由于其高数据效率而成为优选的监督学习模型。特别是在基于模型的控制中，高斯过程允许使用概率模型误差界来推导性能保证。为了使这些方法在实践中适用，必须解决两个开放的挑战i）现有的误差范围依赖于先验知识，这可能不适用于许多现实世界的任务。(ii)训练数据和后验方差之间的关系，主要驱动误差界，没有得到很好的理解，并防止渐近分析。本文解决了这些问题，提出了一种新的统一的误差界使用Lipschitz连续性和分析后验方差函数的一大类内核。此外，我们展示了如何这些结果可以用来保证安全控制的一个未知的动力系统，并提供数值说明的例子。
2021-01-13 cs.LG cs.SY eess.SY
Gaussian process regression can turn non-uniform and undersampled diffusion MRI data into diffusion spectrum imaging
Elekta Instrument AB（医科达仪器公司）
我们建议使用高斯过程回归，以准确地估计在q空间中的任意位置的扩散MRI信号。通过在网格上估计信号，我们可以进行合成扩散谱成像：通过逆傅里叶变换重建系综平均传播算子（EAP）。我们还提出了一种替代的重建方法，保证非负EAP整合到统一。在不同交叉角度下的两个高斯模型模拟数据上对重建结果进行了验证。此外，我们证明了非均匀采样的体内数据，该方法是远远优于线性插值，并允许一个激烈的欠采样的数据，只有一个微小的损失的准确性。我们设想的方法作为一个潜在的替代标准的扩散光谱成像，特别是当采集时间有限。
2016-11-09 cs.CV stat.AP stat.ML
A Note on Doubly Robust Estimator in Regression Discontinuity Designs
Department of Basic Science, The University of Tokyo（东京大学基础科学系）
本文提出了用于断点回归设计的双稳健估计量（DR-RD），通过结合两个条件期望结果估计量，在至少一个估计量一致时即可保证处理效应估计的一致性，从而增强了估计的稳健性。
2025-01-27 cs.LG econ.EM math.ST
Dimension-invariant uniform consistency of the empirical spatial distribution function and its associated spatial depth estimator
South Dakota State University（南达科他州立大学）；Kent State University（肯特州立大学）；Colorado State University（科罗拉多州立大学）
研究\(\mathbb{R}^d\)中经验空间分布估计器及相关空间深度估计器，证明其一致\(L^1\)一致，一致性速率仅依赖样本大小\(n\)，不依赖维度\(d\)等参数，源于与ChatGPT相关实验。
2026-07-20 math.PR math.ST stat.ML
Statistical consistency and asymptotic normality for high-dimensional robust M-estimators
我们研究了正则化稳健M-估计的理论性质，适用于当数据来自稀疏高维线性模型，并被重尾分布和/或离群值的附加误差和协变量污染时。我们首先在误差分布相当温和的条件下建立了惩罚回归估计的局部统计相合性的一种形式：当损失函数的导数有界且满足局部限制曲率条件时，在真实回归向量的恒定半径内的所有平稳点都以具有亚高斯误差的Lasso所享有的minimax速率收敛.当一个适当的非凸正则化的地方使用的l_1-罚款，我们表明，这样的驻点实际上是唯一的，等于当地的甲骨文解决方案与正确的支持-因此，结果渐近正态性在低维的情况下进行立即到高维设置。这对正则化非凸M-估计的效率有重要的影响，当误差是重尾的。当鲁棒回归函数和/或正则化函数是非凸的并且目标函数在局部区域外具有固定点时，我们对损失函数的局部曲率的分析对于优化也具有有用的后果。我们表明，只要一个复合梯度下降算法初始化的真实回归向量的恒定半径内，连续的迭代将以线性速度收敛到一个固定的点在局部区域内。此外，可以使用凸正则化鲁棒回归函数的全局最优值来获得合适的初始化。其结果是一个新的两步程序，使用凸M-估计，以实现一致性和非凸M-估计，以提高效率。
2015-01-01 cs.IT math.IT math.ST
The Loss Rank Criterion for Variable Selection in Linear Regression Analysis
Lasso和其他正则化过程是变量选择的有吸引力的方法，但要适当选择收缩参数。给定一组由正则化算法产生的潜在子集，提出了一个一致的模型选择准则，以选择这个预选集中的最佳一个。该方法导致变量选择的快速和有效的程序，特别是在高维设置。当协变量个数d固定时，证明了所建议准则的模型选择一致性。模拟研究表明，当d远大于样本量时，该准则仍然具有模型选择的一致性。模拟还表明，我们的方法变量选择的作品令人惊讶的是，与现有的竞争对手相比。该方法也适用于一个真实的数据集。
2010-11-05 stat.ME stat.ML
Strong Uniform Consistency with Rates for Kernel Density Estimators with General Kernels on Manifolds
在分析现代机器学习算法时，我们可能需要使用复杂的内核来处理内核密度估计（KDE），这些内核不是由用户设计的，甚至可能是不规则和不对称的。为了应对这一新出现的挑战，我们提供了一个强一致的一致性结果与$L^\infty$收敛速度KDE的黎曼流形与黎曼可积的内核（在周围的欧几里得空间）。我们还提供了一个$L^1$一致性结果的核密度估计的黎曼流形与Lebesgue可积核。本文所考虑的各向同性核不同于统计学中经常考虑的Vapnik-Chervonenkis类中的核。当我们应用它们来估计密度函数时，我们说明了差异。此外，我们阐述了微妙的区别时，内核设计的内在流形和周围的欧几里得空间，都可能会遇到在实践中。最后，我们证明了迷向核在欧几里得空间的子流形上是Riemann可积的充要条件。
2021-06-08 math.PR math.ST stat.ML
Information-Theoretic Limits and Strong Consistency on Binary Non-uniform Hypergraph Stochastic Block Models
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出了一种在非均匀超图随机块模型中实现强一致性的优化算法，通过改进的幂迭代方法在不同区域均达到最优性能。
2025-11-27 math.PR math.ST stat.ME
