Semi-Supervised Ordinal Regression Based on Empirical Risk Minimization
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目中心）；Kyoto University（京都大学）
有序回归的目的是预测有序类标签。在本文中，我们考虑它的半监督制定，其中我们有未标记的数据以及有序标记的数据训练有序回归。有几个度量来评估有序回归的性能，例如平均绝对误差，平均零一误差和均方误差。然而，现有的研究没有考虑评价指标，对模型的选择有限制，没有理论保证。为了克服这些问题，我们提出了一种新的通用框架，半监督有序回归的基础上的经验风险最小化原则，适用于优化上述所有指标。此外，我们的框架具有灵活的模型，代理损失和优化算法的选择，而无需对未标记数据进行常见的几何假设，如聚类假设或流形假设。我们进一步提供了一个估计误差界，以表明我们的风险估计是一致的。最后，我们进行实验，以显示我们的框架的实用性。
2021-06-10 cs.LG stat.ML
Consistency of Oblique Decision Tree and its Boosting and Random Forest
本文证明了斜决策树（ODT）对$L^2$可积的一般回归函数具有一致性，还证明了基于ODT的随机森林（ODRF）的一致性，并提出一种基于正交匹配追踪的GBT集成且验证其一致性，实验显示相关方法相比RF等有显著改进。
2025-02-14 math.ST stat.TH
Is interpolation benign for random forest regression?
统计智慧表明，非常复杂的模型，插值训练数据，将在预测看不见的例子穷人。然而，这句格言最近受到了挑战，识别良性过拟合制度，特别是在参数模型的情况下研究：尽管模型复杂度很高，但可以保持泛化能力。虽然众所周知，完全生长的决策树内插，并且反过来，随机森林（Random Forests，RF）算法的预测性能较差，而RF算法的预测性能较差，本文研究了几种RF算法在插值和一致性之间的权衡。理论上，我们证明了插值制度和一致性不能同时实现几个非自适应RF。由于自适应性似乎是基石，把插值和一致性，我们研究插值中值RF被证明是一致的插值制度。这是第一个调和插值和RF一致性的结果，强调了由特征随机化引入的平均效应是一个关键机制，足以确保插值区域和超越的一致性。数值实验表明，Breiman的RF是一致的，而精确插值，当不涉及引导步骤。我们理论上控制插值区域的大小，其足够快地收敛到零，给出了精确插值和一致性同时发生的必要条件。
2023-02-09 math.ST stat.TH
Empirical risk minimization is consistent with the mean absolute percentage error
在本文中，我们研究了使用平均绝对百分比误差（MAPE）作为回归模型质量度量的后果。我们证明了在MAPE下找到最佳模型等价于进行加权平均绝对误差（MAE）回归。我们还表明，在某些假设下，普遍一致的经验风险最小化仍然可能使用MAPE。
2015-09-08 stat.ML
Gradient-Based Empirical Risk Minimization using Local Polynomial Regression
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们考虑光滑，强凸损失函数的经验风险最小化（ERM）的问题，使用迭代梯度为基础的方法。这篇文献的一个主要目标是比较不同的算法，如梯度下降（GD）或随机梯度下降（SGD），通过分析他们的速度收敛到$ε$ -近似的解决方案。例如，GD的oracle复杂度是$O(n\log(ε^{-1}))$，其中$n$是训练样本的数量。当$n$很大时，这在实践中可能是昂贵的，并且SGD由于其$O(ε^{-1})$的Oracle复杂性而被优选。这样的标准分析仅利用被优化的参数中的损失函数的平滑性。相比之下，我们证明了当损失函数在数据中是平滑的时，我们可以在每次迭代中学习预言，并在重要的制度中击败GD和SGD的预言复杂性。具体来说，在每次迭代中，我们提出的算法执行局部多项式回归来学习损失函数的梯度，然后估计ERM目标函数的真实梯度。我们建立了我们的算法的甲骨文复杂性规模像$\tilde{O}((p ε^{-1})^{d/(2η)})$（忽略次主导因素），其中$d$和$p$分别是数据和参数空间维度，损失函数的梯度属于$η$ -Hölder类的数据。我们的证明扩展了非参数统计中的局部多项式回归分析，以提供多变量设置中的插值保证，并且还利用了不精确GD文献中的工具。与GD和SGD不同，我们的方法的复杂性取决于$d$和$p$。然而，当$d$很小，损失函数在数据中表现出适度的平滑性时，我们的算法在非常广泛…
2020-11-04 cs.LG math.OC math.ST
STORM: Foundations of End-to-End Empirical Risk Minimization on the Edge
Rice University（莱斯大学）
经验风险最小化可能是统计学习中最有影响力的思想，以回归和分类模型的形式应用于几乎所有的科学和技术领域。为了分析分布式计算环境中的海量流数据集，从业者越来越倾向于在边缘而不是云中部署回归模型。通过将数据保存在边缘设备上，我们可以最大限度地降低与模型相关的能源、通信和数据安全风险。虽然在边缘训练模型同样有利，但通常的假设是模型最初是在云中训练的，因为训练通常需要大量的计算和内存。为此，我们提出了STORM，一个经验风险最小化的在线草图。STORM将数据流压缩到一个小的整数计数器数组中。这个草图足以估计原始数据集上的各种替代损失。我们提供了严格的理论分析，并表明，风暴可以估计一个精心选择的替代损失的最小二乘目标。在对真实数据集上的线性回归模型进行详尽的实验比较中，我们发现STORM允许训练准确的回归模型。
2020-06-25 cs.LG stat.ML
Generalization error minimization: a new approach to model evaluation and selection with an application to penalized regression
School of Economics, University of Sydney（悉尼大学经济学院）
本文从泛化能力角度研究模型评估与选择，提出泛化误差最小化框架，统一了正则化回归估计器，并探讨了其在模型选择中的应用。
2016-10-18 econ.GN math.ST q-fin.EC
Semi-Supervised Empirical Risk Minimization: Using unlabeled data to improve prediction
Tel-Aviv University（特拉维夫大学）
我们提出了一个通用的方法，使用未标记的数据设计半监督学习（SSL）变种的经验风险最小化（ERM）学习过程。针对广义线性回归，分析了SSL方法在提高预测性能方面的有效性。关键思想是仔细考虑空模型作为竞争对手，并利用未标记的数据来确定信号噪声组合，其中SSL优于监督学习和空模型。然后，我们使用SSL的自适应方式的基础上估计的信号和噪声。在特殊的情况下，线性回归与高斯协变量，我们证明了非自适应SSL版本实际上是不能够同时提高两个监督估计和空模型，超过一个可以忽略不计的O（1/n）项。另一方面，在这项工作中提出的自适应模型，可以同时实现对两个竞争对手的大幅改善，在各种设置下。这通过大量的模拟经验地显示，并扩展到其他场景，如非高斯协变量，错误指定的线性回归，或广义线性回归与非线性链接函数。
2022-02-05 cs.LG stat.ME stat.ML
Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning
Netflix（奈飞）；Université Paris Descartes（巴黎笛卡尔大学）；Cornell University（康奈尔大学）；University of California, Berkeley（加州大学伯克利分校）
经验风险最小化（ERM）是机器学习的主力，无论是用于分类和回归还是用于离线策略学习，但当我们使用自适应收集的数据时，其模型不可知的保证可能会失败，例如运行上下文强盗算法的结果。我们研究了一个通用的重要性抽样加权ERM算法，使用自适应收集的数据，以最小化损失函数的平均假设类，并提供第一种泛化保证和快速收敛速度。我们的研究结果是基于一个新的最大不等式，仔细利用重要性抽样结构，以获得正确的依赖于数据中的勘探率的利率。对于回归，我们提供了利用平方误差损失的强凸性的快速速率。对于政策学习，我们提供了速率最优的遗憾保证，关闭现有文献中的一个开放的差距，每当勘探衰减到零，是土匪收集的数据的情况下。实证研究验证了我们的理论。
2021-06-03 cs.LG math.ST stat.ML
Consistency for Large Neural Networks: Regression and Classification
Department of Data Science and Statistics, National University of Singapore（数据科学与统计系，新加坡国立大学）
本研究通过理论分析揭示了大规模神经网络在回归与分类任务中的一致性机制，证明了参数增加时近似误差下降，正则化保持泛化误差有界，并展示了深度网络在多任务中的统计一致性。
2026-01-02 cs.LG math.ST stat.ML
Beyond Least-Squares: Fast Rates for Regularized Empirical Risk Minimization through Self-Concordance
INRIA - Département d’Informatique de l’École Normale Supérieure（法国国家信息与自动化研究所 - 巴黎高等师范学院计算机系）；PSL Research University（巴黎文理研究大学）
我们考虑的学习方法的基础上正则化的凸经验风险的平方希尔伯特范数，设置，包括线性预测和非线性预测通过正定内核。为了超越一般的分析，从$n$的观察，导致收敛速度的超额风险为$O(1/\sqrt{n})$，我们假设个人的损失是自协调的，也就是说，他们的三阶导数是有界的二阶导数。此设置包括最小二乘以及所有广义线性模型，如logistic和softmax回归。对于此类损失，我们提供了偏差-方差分解，并表明最小二乘回归中常见的假设（例如源和容量条件）可以通过改进偏差项来适应以获得快速的非渐进收敛率。方差项或两者兼而有之。
2019-06-18 cs.AI cs.LG math.ST
Nearly Optimal Learning using Sparse Deep ReLU Networks in Regularized Empirical Risk Minimization with Lipschitz Loss
该研究提出带Lipschitz损失的正则化经验风险最小化下的稀疏深度ReLU网络估计器，推导其非渐近超额风险界，得到近最优收敛速率，可少参数深网络实现回归估计并缓解过拟合。
2024-12-09 stat.ME
Benefits of Online Tilted Empirical Risk Minimization: A Case Study of Outlier Detection and Robust Regression
MLIP Research Group, KUIS AI Center \& Department of EEE, Koç University İstanbul, Turkey
本文提出一种在线倾斜经验风险最小化方法，通过去除经典目标中的对数项保留倾斜效应，以与ERM相当的单样本计算成本在流式学习中同时实现异常值鲁棒性与少数类公平性。
2025-09-18 cs.LG stat.ML
On Acceleration of Gradient-Based Empirical Risk Minimization using Local Polynomial Regression
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Rice University（莱斯大学）
我们研究了最近提出的基于局部多项式插值的梯度下降法（LPI-GD）的经验风险最小化问题（ERM）的近似解的加速。我们专注于损失函数是强凸的，光滑的条件数$σ$。我们还假设损失函数对于数据是$η$ -Hölder连续的。对于期望的精度$\varepsilon$，LPI-GD的预言复杂度是$\tilde{O}\left(σm^d \log(1/\varepsilon)\right)$，其中$d$是参数空间的维度，并且$m$是近似网格的基数。因子$m^d$可以显示为按比例缩放为$O((1/\varepsilon)^{d/2η})$。LPI-GD已被证明具有更好的预言复杂度比梯度下降（GD）和随机梯度下降（SGD）的某些参数制度。我们提出了两种基于LPI-GD的ERM问题的加速方法，并给出了$\tilde{O}\left(\sqrtσ m^d \log(1/\varepsilon)\right)$的预言复杂度。此外，我们提供了基于局部多项式插值的梯度方法的第一个实证研究，并证实LPI-GD在某些情况下具有比GD和SGD更好的性能，并且所提出的方法实现了加速。
2022-04-16 cs.LG math.OC stat.ML
$\ell_1$-regression with Heavy-tailed Distributions
Nanjing University（南京大学）
本文研究了重尾分布下的线性回归问题。与以往研究中使用损失平方来衡量绩效不同，本文选择了能够估计条件中位数的绝对损失。为了解决输入和输出都可能是重尾的挑战，我们提出了一个截断最小化问题，并证明了它具有$\widetilde{O}(\sqrt{d/n})$超额风险，其中$d$是维数，$n$是样本数。与传统的$\ell_1$ -回归方法相比，本文的主要优点是在不需要输入和输出的指数矩条件下，得到了高概率的风险界。此外，如果输入是有界的，我们表明，经典的经验风险最小化是称职的$\ell_1$ -回归，即使当输出是重尾。
2018-10-25 cs.LG stat.ML
Consistency and Finite Sample Behavior of Binary Class Probability Estimation
Delft University of Technology（代尔夫特理工大学）；University of Copenhagen（哥本哈根大学）
在这项工作中，我们调查在何种程度上可以恢复类概率内的经验风险最小化（ERM）范式。本文的主要目的是推广现有的结果，并强调经验风险最小化和类概率估计之间的紧密联系。基于现有文献中的超额风险界和适当的评分规则，我们得到了一类基于经验风险最小化的概率估计。然后，我们得出相当一般的条件下，这个估计将收敛，在L1-范数和概率，真正的类概率。我们的主要贡献是提出了一种方法来获得有限样本L1收敛速度的估计不同的替代损失函数。我们还详细研究了常用的损失函数是适合于这个估计问题，最后讨论了设置模型误设定以及可能的扩展到非对称损失函数。
2020-07-21 cs.LG stat.ML
On Faster Convergence of Cyclic Block Coordinate Descent-type Methods for Strongly Convex Minimization
University of Minnesota Twin Cities（明尼苏达大学双城分校）；Georgia Institute of Technology（佐治亚理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）；Northwestern University（西北大学）
循环块坐标下降型（CBCD型）方法，它执行迭代更新的几个坐标（块）同时在整个过程中，已显示出显着的计算性能，解决强凸极小化问题。典型的应用包括许多流行的统计机器学习方法，如弹性网络回归，岭惩罚逻辑斯谛回归和稀疏加法回归。现有的优化文献已经表明，对于强凸最小化，CBCD型方法达到$\mathcal{O}(p\log(1/ε))$的迭代复杂度，其中$ε$是目标值的预定精度，并且$p$是块的数量。然而，这样的迭代复杂度明确地取决于$p$，并且因此比梯度下降（GD）方法的复杂度$\mathcal{O}(\log(1/ε))$至少差$p$倍。为了弥合这一理论差距，我们提出了一个改进的CBCD型方法的收敛性分析。特别是，我们首先表明，对于一个家庭的二次最小化问题，迭代复杂性$\mathcal{O}(\log^2(p)\cdot\log(1/ε))$的CBCD型方法相匹配的GD方法在$p$的依赖，高达$\log^2 p$的因素。因此，我们的复杂性边界比现有的边界至少清晰$p/\log^2(p)$的一个因素。我们还提供了一个下界，以确认我们的改进的复杂性边界是紧的（高达$\log^2 (p)$因子），假设Hessian矩阵的最大和最小特征值不与$p$缩放。最后，我们将我们的分析推广到其他强凸极小化问题以外的二次。
2017-11-22 cs.LG math.OC stat.ML
Black-box $α$-divergence Minimization
黑盒α（BB- $α$）是一种新的基于最小化$α$ -发散的近似推理方法。BB- $α$可以扩展到大型数据集，因为它可以使用随机梯度下降来实现。BB- $α$可以应用于复杂的概率模型，很少的努力，因为它只需要作为输入的似然函数和它的梯度。这些梯度可以很容易地获得使用自动微分。通过改变发散参数$α$，该方法能够在变分贝叶斯（VB）（$α\rightarrow 0$）和类似于期望传播（EP）（$α= 1$）的算法之间进行插值。对概率单位回归和神经网络回归及分类问题的实验表明，具有$α$的非标准设置（如$α= 0.5$）的BB- $α$通常比$α\rightarrow 0$（VB）或$α= 1$（EP）产生更好的预测。
2016-06-01 stat.ML
General Fair Empirical Risk Minimization
University of Genova（热那亚大学）；Amazon Web Services（亚马逊云科技）；Istituto Italiano di Tecnologia（意大利理工学院）；University College London（伦敦大学学院）
我们解决算法公平性的问题，其目标是避免敏感信息的不公平影响，在一般情况下，回归可能连续敏感属性。我们将公平经验风险最小化的框架扩展到这个一般场景，以这种方式覆盖整个标准的监督学习设置。我们的广义公平措施减少到公知的概念，在文献中的公平性。我们得到学习保证我们的方法，这意味着特别是它的统计一致性，无论是在风险和公平性的措施。然后，我们专门我们的方法，核方法，并提出了一个凸公平估计在该设置。我们测试的估计常用的基准数据集（社区和犯罪）和新的数据集收集在热那亚大学，包含5000名学生的学术生涯的信息。后一个数据集提供了一个具有挑战性的真实案例场景，即受益于我们的方法的标准回归方法的不公平行为。实验结果表明，我们的估计是有效的，在减轻准确性和公平性要求之间的权衡。
2019-12-27 cs.LG stat.ML
Chaining Bounds for Empirical Risk Minimization
University of Alberta（阿尔伯塔大学）；Imperial College London（帝国理工学院）
本文推广了标准链技术，证明了在随机设计条件下，即使噪声和估计值的大小是无界的，经验风险最小化的超额风险上界也是存在的。该界适用于许多损失函数，除了平方损失，和尺度仅与亚高斯或亚指数参数没有进一步的统计假设，如有界峰度条件的假设类。一个详细的分析提供了斜率约束和惩罚线性最小二乘回归与亚高斯设置，这往往证明了严格的样本复杂性界对数因子。
2016-09-07 cs.LG stat.ML
Robust Risk Minimization for Statistical Learning
Uppsala University（乌普萨拉大学）
我们考虑一个一般的统计学习问题，其中一个未知的部分的训练数据被损坏。我们开发了一个强大的学习方法，只需要指定一个上限的损坏的数据部分。该方法最小化由具有未知概率权重的非参数分布定义的风险函数。我们推导和分析的最佳权重，并显示它们如何提供对损坏的数据的鲁棒性。此外，我们给出了一个计算效率高的坐标下降算法来解决风险最小化问题。我们展示了广泛的适用性的方法，包括回归，分类，无监督学习和经典的参数估计，与国家的最先进的性能。
2020-02-07 cs.LG eess.SP stat.ML
Screening Data Points in Empirical Risk Minimization via Ellipsoidal Regions and Safe Loss Functions
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；ENS（巴黎高等师范学院）；PSL（巴黎文理研究大学）
我们设计了简单的筛选测试，以自动丢弃经验风险最小化的数据样本，而不会失去优化保证。我们推导出损失函数，产生一个稀疏的解决方案的双重目标。我们还展示了如何正则化凸损失，以确保这样一个双重稀疏诱导属性，并提出了一个通用的方法来设计筛选测试的分类或回归的基础上椭圆近似的最佳集。除了产生计算增益外，我们的方法还允许我们将数据集压缩为代表点的子集。
2020-06-12 cs.LG stat.ML
Using the Mean Absolute Percentage Error for Regression Models
Viadeo
在本文中，我们研究了使用平均绝对百分比误差（MAPE）作为回归模型质量度量的后果。我们证明了在MAPE下找到最佳模型等价于进行加权平均绝对误差（MAE）回归。我们表明，普遍一致的经验风险最小化仍然可能使用MAPE，而不是MAE。
2015-06-12 cs.LG stat.ML
Consistency of Honest Decision Trees and Random Forests
University of Copenhagen（哥本哈根大学）
本文研究了回归设置中诚实决策树和随机森林的不同一致性类型，通过简单证明和经典平滑方法的论证，建立了诚实树和诚实森林平均值对真实回归函数的弱一致性和几乎必然收敛，并在紧致协变量域上获得一致收敛。该框架自然支持基于分层采样的集成变体和两阶段bootstrap采样方案，简化了现有分析并恢复了多个结果。
2026-05-20 stat.ME stat.ML
Un-regularizing: approximate proximal point and faster stochastic algorithms for empirical risk minimization
Stanford University（斯坦福大学）；Microsoft Research, New England（微软新英格兰研究院）；MIT（麻省理工学院）
我们开发了一个家庭的加速随机算法，最小化凸函数的总和。我们的算法提高了最快的运行时间经验风险最小化（ERM），特别是线性最小二乘回归，在广泛的问题设置。为了实现这一点，我们建立了一个框架的基础上，经典的邻近点算法。也就是说，我们提供了几个算法，减少了一个强凸函数的最小化的函数的正则化的近似最小化。使用这些结果，我们加速最近的快速随机算法在一个黑盒的方式。从经验上讲，我们证明，由此产生的算法表现出的稳定性，在实践中是有利的概念。无论是在理论上还是在实践中，所提供的算法都获得了增加一个大的强凸正则化项的计算优势，而不会对原始问题产生相应的偏差。
2015-06-24 cs.DS cs.LG stat.ML
Mean Absolute Percentage Error for regression models
在本文中，我们研究了使用平均绝对百分比误差（MAPE）作为回归模型质量度量的后果。证明了最优MAPE模型的存在性，并证明了基于MAPE的经验风险最小化的普适性。我们还表明，在MAPE下找到最佳模型相当于进行加权平均绝对误差（MAE）回归，并且我们将这种加权策略应用于核回归。MAPE核回归的行为示出了模拟数据。
2017-07-10 stat.ML
Consistency of $\ell _{1}$ Penalized Negative Binomial Regressions
我们证明了$\ell_1$惩罚负二项回归（NBR）的相容性。一个关于德国医疗保健需求的实际数据应用表明，与经典的NBR相比，$\ell_1$惩罚的NBR产生更简洁但更准确的模型。
2020-02-18 math.ST stat.TH
Posterior Consistency of Bayesian Inverse Regression and Inverse Reference Distributions
我们认为贝叶斯推断逆回归问题的目标是推断未观察到的协变量从观察到的响应和协变量。我们建立后验一致性的贝叶斯逆回归problemunder适当的先验在留一交叉验证设置中的未观察到的协变量。我们将其与逆参考分布的后验一致性（Bhattacharya（2013））相关联，以评估模型的充分性。我们用贝叶斯逆回归的各种例子来说明我们的理论和方法，以及足够的模拟实验。
2020-05-01 math.ST stat.TH
Strong consistency of the nonparametric local linear regression estimation under censorship model
引入并研究了删失模型的局部线性非参数回归估计。本文的主要目的是建立紧集上新估计的一致几乎必然相合结果。为了支持我们的理论结果，模拟研究已经做了与经典的回归估计进行比较。
2020-04-06 math.ST stat.TH
Consistency of the Bayes Estimator of a Regression Curve
证明了回归曲线的$L^1$平方损失函数的Bayes估计的强相合性。它也表明收敛到0的贝叶斯风险的估计都为$L^1$和$L^1$平方损失函数。回归曲线的贝叶斯估计量是关于后验预测分布的回归曲线。
2022-07-19 math.ST stat.TH
Rates of strong uniform consistency for the $k$-nearest neighbors kernel estimators of density and regression function
本文探讨了多元情形下密度与回归函数的 $k$-最近邻核估计量的一致性问题，并在特定假设下推导出这些估计量在整个空间 $\mathbb{R}^p$ 上的强一致一致性的收敛速率。
2024-08-22 math.ST stat.TH
The consistency of estimator under fixed design regression model with NQD errors
本文基于NQD样本，研究了固定设计非参数回归模型，其中误差为两两NQD随机误差，设计点固定，函数未知。引入非参数加权估计并研究其相合性。作为特例，得到了模型加权核估计的相合性结果。这将以前关于独立随机误差和相关随机误差的工作推广到NQD情形。
2013-12-03 math.ST stat.TH
Asymptotic normality and strong consistency of kernel regression estimation in q-calculus
本文基于q-微积分构造非参数核回归估计量，并在适当假设下证明了其渐近正态性与强相合性。
2025-03-10 math.ST stat.TH
A Note on Sliced Inverse Regression with Regularizations
在“Li，L.和Yin，X.（2008年）。正则化切片逆回归。Biometrics，64（1）：124- 131”引入岭SIR估计器作为最小化问题的解决方案，并通过交替最小二乘算法进行计算。这种方法在实践中表现良好。在本文中，我们重点讨论了估计量的理论性质。它表明，最小化问题是退化的意义上说，只有两种情况可能发生：要么岭SIR估计不存在或它是零。
2011-04-01 math.ST stat.TH
Consistency of the recursive nonparametric regression estimation for dependent functional data
本文考虑了回归函数的递归估计，其中解释变量在某个函数空间中取值。我们证明了这种估计的几乎必然收敛相关的功能数据。此外，我们得到的估计类的平均二次误差。在强混合条件下，我们的结果具有速率和渐近界。
2013-04-18 math.ST stat.TH
Consistency of the posterior distribution and MLE for piecewise linear regression
本文证明了断点未知的两阶段分段线性回归模型的后验分布与Bayes估计的弱相合性。关于断点参数的模型的似然性的不可微性引起了技术困难，我们通过创建手头问题的正则化版本来克服这些困难。我们首先恢复强一致性的正则化版本的感兴趣的数量，使用结果的极大似然估计，然后我们证明，正则化版本和原始版本的问题共享相同的渐近性质。
2012-06-20 math.ST stat.TH
Uniform strong consistency of a frontier estimator using kernel regression on high order moments
本文考虑Girard，S.，Guillou，A.，Stupfler，G.（2012年）。{ \it高阶矩核回归前沿估计}。本文证明了当条件累积分布函数属于Hall类分布函数时，该估计在紧集上是强一致相合的，并给出了其收敛速率.
2013-07-16 math.ST stat.TH
Strong Consistency of the SIMEX Estimator in Linear Regression with a Conditionally Poisson Covariate
针对带条件泊松型测量误差协变量的线性回归估计问题，本文提出拓展至条件泊松场景的POI-SIMEX算法，无需内部验证数据即可稳健校正误差，并证明了该估计量的强相合性。
2025-09-04 math.ST stat.TH
Optimal minimization of an unknown function in a nonparametric multivariate regression model thanks to a dimension reduction approach
Andra（安德拉）；Université Paris Cité and Sorbonne Université, CNRS, Laboratoire de Probabilités, Statistique et Modélisation（巴黎西岱大学与索邦大学，法国国家科学研究中心，概率统计与建模实验室）
针对受噪声污染、仅依赖r个活跃变量的多元回归函数，提出含变量选择与投影梯度下降两步的方法，建立估计量的非渐近上界，达到最优速率。
2026-08-06 math.ST stat.TH
Uniform in bandwidth consistency of local polynomial regression function estimators
我们推广了一种方法来证明由最后两位作者开发的核型估计的带宽一致性结果的一致性。这样的结果被证明是有用的建立局部多项式估计的回归函数的一致性。
2006-01-23 math.PR math.ST stat.TH
Consistency of modified versions of Bayesian Information Criterion in sparse linear regression with subgaussian errors
我们考虑一个稀疏的线性回归模型，当可用的预测，$p$，是远远大于样本量，$n$，和非零系数的数量，$p_0$，是小的。在这种情况下，我们不能使用经典的模型选择标准来选择回归模型。近年来，已经提出了特殊的方法来处理这类问题，例如贝叶斯信息准则的修改版本，如mBIC或mBIC 2。结果表明，这些标准是一致的假设下，$n$和$p$以及$p_0$趋于无穷大和误差项是正态分布。本文在误差项为次高斯随机变量的假设下证明了mBIC和mBIC 2的相合性。
2018-05-29 math.ST stat.TH
Nonparametric Least Squares Estimation of a Multivariate Convex Regression Function
本文讨论了预测变量为多维时凸回归函数的最小二乘估计的相合性。我们的特点和讨论这样的估计通过某些二次和线性规划的解决方案的计算。温和的充分条件的一致性，这个估计和它的次微分在固定和随机设计回归设置。我们还考虑了一个回归函数，这是已知的凸和分量非增，并讨论其最小二乘估计的特征，计算和一致性。
2012-02-28 math.ST stat.TH
Consistency of M estimates for separable nonlinear regression models
考虑一个非线性回归模型：y_{i} =g（x_{i}，θ）+ e_{i}，i=1，.，n，其中x_{i}是随机预测因子x_{i}，θ是在集合Θ \subsetR^{p}中变化的未知参数向量。所有已知的关于最小二乘估计和一般M估计的一致性的结果都假设Θ是紧的或g是有界的，这排除了经常使用的模型，如Michaelis-Menten，logistic增长和指数衰减模型。本文讨论所谓的可分模型，其中p= p_{1} + p_{2}，θ=（α，β），α \inA \subsetR^{p_{1}}，β \inB \subsetR^{p_{2},}，g的形式为g（x，θ）=β^{T}h（x，α），其中h是取值于R^{ p_{2} }的函数.我们在非常一般的假设下证明了M估计量的强相合性，假设h是α的有界函数，其中包括上述三个模型。关键词和短语：非线性回归，可分离模型，一致性，稳健估计。
2012-07-02 math.ST stat.TH
Consistency of M-estimators for non-identically distributed data: the case of fixed-design distributional regression
本文拓展了非独立同分布数据下M估计量的相合性研究，针对三角阵列数据（含固定协变量分布回归）建立基本条件，解决了极值统计中参数依赖支撑集导致准则函数取$-\infty$的问题，支持恰当评分规则和条件极大似然等估计方法。
2025-11-14 math.ST stat.TH
Strong consistency of kernel estimator in a semiparametric regression model
与Li \cite{sir}引入的半参数回归模型相关的有效降维（EDR）空间的估计是基于给定响应的预测因子向量的条件期望的协方差阵$Λ$的估计。Zhu和Fang提出了基于核方法的$Λ$的估计量\cite{Asymptotics}，并在一定条件下得到了$\sqrt{n}\left(\widehatΛ_n-Λ\right)$的渐近分布为$n\rightarrow +\infty$ .本文在一定条件下得到了$\widehatΛ_n$到$Λ$的几乎必然收敛，即$n\rightarrow +\infty$ .
2018-11-06 math.ST stat.TH
Uniform Consistency of Generalized Cross-Validation for Ridge Regression in High-Dimensional Misspecified Linear Models
Shiga University（滋贺大学）
本研究证明在高维不规范线性模型中，广义交叉验证可作为Ridge回归正则化参数选择的一致估计量，且在模拟中表现优于Lasso。
2026-01-20 math.ST stat.TH
Nonparametric regression on hidden phi-mixing variables: identifiability and consistency of a pseudo-likelihood based estimation procedure
本文概述了一个新的非参数估计过程的不可观测φ-混合过程。假设关于平稳隐藏状态（Xk）的唯一信息由过程（Yk）给出，其中Yk是f（Xk）的噪声观测。本文介绍了一种利用长度为b的观测值块来估计函数f和隐态分布的极大伪似然方法。在特殊情况下，b=1和b=2的模型的可辨识性进行了研究。建立了f的估计量和隐状态的分布的一致性，因为观测的数量增长到无穷大。
2015-08-26 math.ST stat.TH
Consistency of Bayes estimators of a binary regression function
非参数贝叶斯过程何时“过拟合”？为了阐明这个问题，我们详细考虑了二元回归问题，并建立了基于分层先验（称为均匀混合先验）的某类贝叶斯程序的频率一致性。这些定义如下：设$ν$为非负整数上的任何概率分布。为了从先前的$π^ν$对函数$f$进行采样，首先从$ν$对$m$进行采样，然后从从$[0,1]$到$[0,1]$的阶跃函数的集合中均匀地对$f$进行采样，所述阶跃函数恰好具有$m$跳跃（即，对所有$m$跳转位置和$m+1$函数值独立且均匀地采样）。主要结果表明，如果数据流是根据任意固定的、可测的二进制回归函数$f_0\not\equiv1/2$生成的，则获得了频率一致性：即对于任意具有无限支持度的$ν$，$π^ν$的后验集中在$f_0$的任意$L^1$邻域上.一个相关的大偏差问题的解决方案是一致性证明的核心。
2006-07-31 math.ST stat.TH
Posterior Consistency for Bayesian Inverse Problems through Stability and Regression Results
在贝叶斯方法中，关于数学模型的输入的先验知识通过概率测度来描述。然后，使用贝叶斯公式对未知输入和数据的联合分布进行调节，得到未知输入的后验分布。在这种情况下，我们证明非线性反问题的后验一致性：一个序列的数据被认为是一个单一的真理与周围的波动减少，然后它是有趣的，以显示所产生的序列的后验措施所产生的这个序列的数据集中在用于生成数据的真理。后验一致性证明了贝叶斯方法的使用非常相同的方式，误差界和收敛结果的正则化技术。作为一个指导性的例子，我们考虑的逆问题重建的扩散系数从噪声观测的解决方案，椭圆型偏微分方程的散度型。这个问题是通过分裂成基础的连续模型和一个更简单的观察运营商的基础上的模型的输出的前向运营商。一般来说，这些分裂使我们能够得出结论后验一致性提供了一个确定性的稳定性结果的基础逆问题和后验一致性结果的贝叶斯回归问题与前推先验。此外，我们证明后验一致性的贝叶斯回归问题的基础上的规则性，尾部行为和小球概率的先验。
2013-07-16 math.ST stat.TH
Beyond Discrepancy: Oracle Drift in Nonstationary Weighted Risk Minimization
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
该研究针对非平稳加权风险最小化，提出将漂移误差与最优预测器移动关联的神谕漂移分析，发现偏差型量过于保守，结合线性回归的精确差距刻画与估计保证，并扩展至非参数回归。
2026-10-12 math.ST stat.ML stat.TH
On posterior concentration rates for Bayesian quantile regression based on the misspecified asymmetric Laplace likelihood
非对称拉普拉斯密度（ALD）被用作贝叶斯分位数回归的工作似然。Sriram等人（2013）基于错误指定的ALD推导出贝叶斯线性分位数回归的后验一致性。虽然他们的论文也主张$\sqrt{n}-$的一致性，但Sriram和Ramamoorthi（2017）强调，该论点仅适用于小于$\sqrt{n}$的比率。因此，$\sqrt{n}-$率的问题仍然没有得到解决，但有必要进行有意义的贝叶斯推断的基础上的ALD。在本文中，我们得出的结果，以获得后验一致率贝叶斯分位数回归的基础上误指定的ALD。我们得出我们的结果在一个稍微一般的设置，分位数函数可能是非线性的。特别地，我们给出了使用ALD的贝叶斯线性分位数回归的$\sqrt{n}-$一致性的充分条件。我们还提供了贝叶斯非线性分位数回归的例子。
2020-08-08 math.ST stat.TH
Nonparametric regression based on discretely sampled curves
在非参数回归的背景下，我们研究的条件下，建立从离散采样曲线的估计的一致性（和收敛速度）可以从不可观测的整体轨迹的基础上的估计的一致性。因此，我们得到渐近结果的功能数据分析中使用的正则化技术，包括平滑和基础表示。
2017-05-26 math.ST stat.TH
High-dimensional posterior consistency for hierarchical non-local priors in regression
贝叶斯变量选择中调整参数的选择是现代统计学中的一个关键问题。特别地，对于非局部先验的贝叶斯线性回归，非局部先验密度中的尺度参数是一个重要的调整参数，它反映了非局部先验密度在零附近的离散度，并隐含地决定了将收缩到零的回归系数的大小.当前的方法将尺度参数视为给定的，并且基于先前的覆盖/渐近考虑来建议选择。在本文中，我们考虑了（Wu，2016）中引入的完全贝叶斯方法，其中具有pvp非局部先验和关于调整参数的适当的逆伽马先验，以分析潜在的理论性质。在标准的规律性假设下，我们建立了强的模型选择的一致性，在高维设置，其中$p$被允许以多项式的速度增加n$，甚至在一个次指数的速度与n。通过模拟研究，我们证明了我们的模型选择过程可以优于其他贝叶斯方法，处理的尺度参数给定的，常用的惩罚似然方法，在一系列的模拟设置。
2019-02-22 math.ST stat.TH
Uniform Consistency in Nonparametric Mixture Models
本文研究了非参数混合模型以及密切相关的混合回归（也称为混合回归）模型的一致相合性，其中允许回归函数是非参数的，并且假设误差分布是高斯密度的卷积。我们在一般条件下构造一致一致性估计，同时突出了几个痛点，在扩展现有的逐点一致性结果，以统一的结果。由此产生的分析结果是不平凡的，并在此过程中开发了一些新的技术工具。在混合回归的情况下，我们证明了$L^1$收敛的回归函数，同时允许组件回归函数相交任意经常，这提出了额外的技术挑战。我们还考虑一般（即非卷积）非参数混合的推广。
2022-12-28 math.ST stat.ML stat.TH
