Statistical Optimality of Divide and Conquer Kernel-based Functional Linear Regression
Shanghai Key Laboratory for Contemporary Applied Mathematics, Fudan University（复旦大学上海现代应用数学重点实验室）
本文研究了目标函数不在RKHS内时分治函数线性回归估计量的收敛性能，利用积分算子方法建立了有限样本上界，并证明了其渐近最优性及无噪声情况下的任意快收敛速率。
2024-02-18 cs.LG stat.ML
Practical Tikhonov Regularized Estimators in Reproducing Kernel Hilbert Spaces for Statistical Inverse Problems
正则化核方法，如支持向量机（SVM）和支持向量回归（SVR）构成了一个广泛和灵活的一类方法，理论上研究得很好，通常用于非参数分类和回归问题。由于这些方法都是基于一个Tikhonov正则化，这也是常见的反问题，本文研究使用正则化核方法的反问题，在一个统一的方式。正则化核方法基于再生核希尔伯特空间（RKHS）的使用，其导致非常好的计算性质。结果表明，类似的属性仍然是真实的，在解决统计逆问题，标准的软件实现开发的普通回归问题仍然可以用于逆回归问题。这些方法的一致性和收敛速度的风险是在相当弱的假设和收敛速度的估计显示在某种程度上更强的假设。这些方法的适用性证明在模拟。
2013-05-06 stat.ME
An implicit function learning approach for parametric modal regression
Univ. of Alberta（阿尔伯塔大学）；Amii（阿尔伯塔机器智能研究院）；Vector Institute（向量研究所）；Univ. of Toronto（多伦多大学）
对于多值函数-例如当给定输入的目标上的条件分布是多模态时-标准回归方法并不总是可取的，因为它们提供了条件均值。模态回归算法通过找到条件模式来解决这个问题。然而，大多数方法都是非参数方法，因此很难扩展。此外，参数逼近器，如神经网络，有助于学习输入和目标之间的复杂关系。在这项工作中，我们提出了一个参数模态回归算法。我们使用隐函数定理来开发一个目标，用于学习输入和目标上的联合函数。我们在几个合成问题上经验性地证明了我们的方法（i）可以学习多值函数并产生条件模式，（ii）可以很好地扩展到高维输入，（iii）甚至可以更有效地处理某些单峰问题，特别是高频函数。我们证明了我们的方法在现实世界的模态回归问题和两个常规回归数据集上具有竞争力。
2020-10-29 cs.LG stat.ML
Conformal Calibration for Multi-Modal Regression with Missing Modalities
University of Lausanne（洛桑大学）；HEC Lausanne（洛桑高等商学院）；BegooAI（贝古人工智能公司）
针对多模态回归中模态缺失或分歧导致预测区间难校准的问题，提出感知模态的共形校准层，在多组实验中提升了区间性能，尤其在模态缺失时恢复了覆盖率。
2026-08-11 cs.LG stat.ME stat.ML
Kernel Selection for Modal Linear Regression: Optimal Kernel and IRLS Algorithm
Kyoto University（京都大学）
模态线性回归（MLR）是用于获得作为线性模型的条件模式预测器的方法。我们从两个角度研究了MLR的核选择：“哪一个核实现更小的误差？和“哪个内核在计算上是有效的？".首先，我们证明了一个双权内核是最佳的意义上最小化的渐近均方误差的MLR参数。这一结果来自我们对MLR的渐近统计行为的精细分析。其次，我们提供了一个核类，迭代加权最小二乘算法（IRLS）是保证收敛的，特别是证明了IRLS与Epanechnikov核终止于有限次迭代。仿真研究经验验证，使用双权内核提供了良好的估计精度，使用Epanechnikov内核是计算效率。我们的结果改善了MLR，现有的研究往往坚持高斯核和模态期望最大化算法专门为它，通过提供核选择的指导方针。
2020-01-30 cs.LG math.ST stat.CO
Robust modal regression with direct log-density derivative estimation
Future University Hakodate（公立函馆未来大学）；NEC Corporation（日本电气股份有限公司）；Tokyo Institute of Technology（东京工业大学）；RIKEN AIP（理化学研究所AIP）
模态回归旨在估计全局模态（即，全局最大值）的条件密度函数的输出变量给定的输入变量，并导致回归方法的鲁棒性对重尾或倾斜的噪音。通常通过最大化模态回归风险（MRR）来估计条件模态。为了应用梯度法进行最大化，基本的挑战是MRR梯度的精确近似，而不是MRR本身。为了克服这一挑战，在本文中，我们采取了一种新的方法，直接近似梯度的MRR。为了近似梯度，我们开发了最小二乘对数密度导数估计器的核化和基于神经网络的版本，该估计器直接近似对数密度的导数而无需密度估计。通过直接逼近MRR梯度，我们首先提出了一种带核的模态回归方法，并基于不动点方法推导出一种新的参数更新规则。然后，从理论上证明了所推导的更新规则具有单调爬山性质的条件模式。此外，我们指出，我们的方法直接逼近梯度是兼容最近复杂的随机梯度方法（例如，Adam），然后提出了另一种基于神经网络的模态回归方法。最后，在各种人工和基准数据集上证明了所提出的方法的优越性能。
2019-10-18 cs.LG stat.ML
Testing-driven Variable Selection in Bayesian Modal Regression
Department of Statistics, University of South Carolina（南卡罗来纳大学统计学系）；Division of Epidemiology, Biostatistics, and Environmental Health Sciences, School of Public Health, University of Memphis（孟菲斯大学公共卫生学院流行病学与生物统计学系）
本研究针对厚尾响应变量，在贝叶斯众数回归框架下提出结合期望最大化算法与检验统计量的变量选择方法，可在非高斯误差下有效识别重要协变量，并已应用于两类遗传相关数据集分析。
2025-10-27 cs.LG stat.CO stat.ME
Statistical Inference for High-Dimensional Linear Regression with Blockwise Missing Data
本文针对具有块状缺失协变量和部分观测响应变量的高维线性回归模型，提出基于无偏估计方程和块状插补的高效估计器，并利用创新的投影估计方程技术构建渐近正态的去偏估计器，从而实现有效的置信区间和统计检验，在数值研究和阿尔茨海默病数据分析中优于现有方法。
2023-06-28 math.ST stat.ME stat.ML
Semi-Structured Distributional Regression -- Extending Structured Additive Models by Arbitrary Deep Neural Networks and Data Modalities
RWTH Aachen（亚琛工业大学）；LMU Munich（慕尼黑大学）；Humboldt-Universität zu Berlin（柏林洪堡大学）
将加性模型和神经网络相结合，可以扩大统计回归的范围，同时通过可解释的结构化加性预测器扩展基于深度学习的方法。然而，现有的尝试将两种建模方法结合起来，仅限于非常特定的组合，更重要的是，涉及可识别性问题。因此，可解释性和稳定的估计通常会丢失。我们提出了一个通用框架，将结构化回归模型和深度神经网络结合到一个统一的网络架构中。为了克服不同模型部分之间固有的可识别性问题，我们构建了一个正交化单元，将深度神经网络投影到统计模型预测器的正交补中。这使得能够正确估计结构化模型部分，从而实现可解释性。我们证明了该框架的数值实验的有效性，并说明其特殊的优点，在基准和现实世界中的应用。
2022-07-09 cs.LG stat.ME stat.ML
Modal Analysis of Spatiotemporal Data via Multivariate Gaussian Process Regression
The Pennsylvania State University（宾夕法尼亚州立大学）
针对数据稀缺和不规则采样问题，提出基于多元高斯过程回归（MVGPR）的模态分析技术，通过精心设计的核结构关联线性动力学，在多类数据基准测试中展现出优于DMD和SPOD的潜力。
2024-03-19 cs.LG math.DS math.SP
A Statistical Learning Assessment of Huber Regression
University at Albany（奥尔巴尼大学）；Middle Tennessee State University（中田纳西州立大学）
Huber回归作为稳健统计学的一个里程碑，在稳健推断和估计中发挥着重要作用。它在机器学习中也有各种各样的应用。在参数设置中，它已被广泛研究。然而，在统计学习的背景下，一个函数通常是在一个非参数的方式学习，仍然缺乏理论上的理解如何Huber回归估计学习的条件均值函数，以及为什么它的作品在没有轻尾噪声假设。为了解决这些基本问题，我们从统计学习的角度对Huber回归进行了评估。首先，我们证明了通常在机器学习中追求的Huber回归估计的风险一致性属性，不能保证它们在均值回归中的可学习性。其次，我们认为，Huber回归应实现自适应的方式进行均值回归，这意味着一个需要调整的尺度参数根据样本量和噪声的时刻条件。第三，与自适应选择的尺度参数，我们证明了Huber回归估计可以渐近平均回归校准下$(1+ε)$矩条件（$ε>0$）。最后，在相同的矩条件下，我们建立了Huber回归估计的几乎必然收敛速度。注意，$(1+ε)$矩条件适用于响应变量具有无穷大方差的特殊情况，因此所建立的收敛速度证明了Huber回归估计量的稳健性。在上述意义上，本研究提供了一个系统的统计学习评估的Huber回归估计，并证明其优点的鲁棒性从理论的角度来看。
2020-09-27 cs.LG math.ST stat.ML
Debiased Nonparametric Regression for Statistical Inference and Distributionally Robustness
The University of Tokyo（东京大学）
本文提出一种无模型的非参数回归去偏方法，通过加入估计条件期望残差的校正项，使估计量在温和条件下具备风险收敛与渐近正态性，从而支持统计推断并提升协变量偏移下的鲁棒性。
2025-03-17 cs.LG econ.EM math.ST
Balancing Statistical and Computational Precision: A General Theory and Applications to Sparse Regression
现代技术正在产生越来越多的数据。利用这些数据需要既有统计上的合理性又有计算效率的方法。通常，统计和计算方面被分开处理。在本文中，我们提出了一种方法来纠缠这两个方面的背景下，正则化估计。将我们的方法应用于稀疏和组稀疏回归，我们表明它可以在统计和计算上改进标准管道。
2022-09-14 stat.CO stat.ME stat.ML
Differentially Private Nonparametric Modal Learning with Applications to Regression and Clustering
The Ohio State University（俄亥俄州立大学）
该研究提出差分隐私非参数模态学习方法DP-GRAMS，实现多峰分布密度模态的高概率恢复，扩展出DP-PMS回归与DP-GRAMS-C聚类方法，在合成及真实数据上展现良好隐私-效用权衡。
2026-08-03 cs.LG math.ST stat.ME
Statistical Inference for Gradient Boosting Regression
School of Economics, Fudan University（复旦大学经济学院）；Department of Statistics and Data Science, The Wharton School, University of Pennsylvania（宾夕法尼亚大学沃顿商学院统计与数据科学系）
本文提出融合 dropout/并行训练与正则化的梯度提升回归统计推断框架，基于中心极限定理构建区间估计与变量重要性检验。
2025-09-27 cs.LG math.ST stat.ME
Statistical Inference after Kernel Ridge Regression Imputation under item nonresponse
插补是处理缺失数据的常用技术。我们考虑一个非参数方法填补使用核岭回归技术，并提出一致的方差估计。建议的方差估计是基于一个线性化的方法，采用熵的方法来估计密度比。当在核岭回归插补中利用Sobolev空间时，建立了插补估计的根-n相合性，从而使我们能够发展所提出的方差估计。合成数据实验证实了我们的理论。
2021-01-29 stat.ME stat.ML
A Monotone Single-Index Modal Regression Powered by Deep Neural Networks for Non-Gaussian Periodontal Data
Wake Forest University（维克森林大学）；Gauss Labs（高斯实验室）；George Mason University（乔治梅森大学）；Virginia Commonwealth University（弗吉尼亚联邦大学）
本文提出一种基于深度神经网络的单调单指标模态回归框架，结合两段尺度Student-t分布与单调性约束神经网络，用于分析偏态重尾的牙周探诊深度数据，实现稳健估计并保持临床可解释性。
2026-09-09 stat.ME stat.ML
Latent Gaussian Process Regression
University of Bristol（布里斯托大学）；University of Bath（巴斯大学）
我们介绍了潜在的高斯过程回归，这是一个潜在的变量扩展允许非平稳多模态过程使用GP建模。该方法是建立在扩展的输入空间的回归问题的潜变量，用于调制的协方差函数的训练数据。我们展示了我们的方法可以用来模拟多模态和非平稳过程。我们在一组合成数据上验证了该方法，并提供了来自运动捕捉和地质统计学的真实数据的结果。
2017-09-16 cs.LG stat.ML
Tensor-on-Tensor Regression: Riemannian Optimization, Over-parameterization, Statistical-computational Gap, and Their Interplay
Data Science Institute, University of Chicago（芝加哥大学数据科学研究所）
本文研究未知秩张量对张量回归，提出黎曼梯度下降和黎曼高斯-牛顿方法，证明其在秩过度参数化下仍能线性或二次收敛到统计最优估计，并揭示高阶张量场景中适度过度参数化在样本量上几乎零成本。
2024-01-15 cs.LG math.OC math.ST
Statistical Agnostic Regression: a machine learning method to validate regression models
Data Science and Computational Intelligence Institute, University of Granada（数据科学与计算智能研究所，格拉纳达大学）；Dpt. Psychiatry, University of Cambridge（精神病学系，剑桥大学）
本文提出统计不可知回归（SAR），通过集中不等式和最坏情况分析评估机器学习线性回归模型的统计显著性，无需经典假设即可进行类似多元F检验的方差分析。
2024-11-09 cs.LG math.ST stat.CO
The modal age of Statistics
近年来，一些统计问题通过“模态观点”的考察，找到了意想不到的解决方案。这些包括经典的任务，如聚类或回归。这导致了新的兴趣，估计和推理的模式。本文提供了一个广泛的调查传统的方法，模式估计和探讨的后果，将这种现代模式的方法，其他看似无关的领域。
2018-07-08 stat.ME stat.ML
Statistical Query Lower Bounds for List-Decodable Linear Regression
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加州大学圣地亚哥分校）；Web 3 Foundation（Web3基金会）
我们研究了列表可解码线性回归问题，其中对手可以破坏大多数的例子。具体地，我们给出标记的示例$(x, y) \in \mathbb{R}^d \times \mathbb{R}$的集合$T$和参数$0< α<1/2$，使得$T$中的点的$α$分数是i.i.d.样本来自具有高斯协变量的线性回归模型，而剩余的点的$(1-α)$分数来自任意噪声分布。目标是输出一个小的假设向量列表，使得其中至少有一个接近目标回归向量。我们的主要结果是一个统计查询（SQ）下界的$d^{\mathrm{poly}(1/α)}$这个问题。我们的SQ下限定性匹配以前开发的算法的性能，提供证据表明，目前的上限为这项任务几乎是最好的可能。
2021-06-17 cs.DS cs.LG math.ST
Transfer Learning for Linear Regression: a Statistical Test of Gain
EDF R&D（EDF研发中心）；Aix-Marseille Université（艾克斯-马赛大学）；Université Lumière Lyon 2（里昂第二大学）；Université Paris-Est Marne-la-Vallée（巴黎东大学马恩河谷校区）
迁移学习，也被称为知识迁移，旨在将知识从源数据集重用到类似的目标数据集。虽然许多实证研究说明了迁移学习的好处，但很少有理论结果，特别是对于回归问题。本文提出了一个线性模型参数传递问题的理论框架。它示出了一个新的输入向量$x$的传输质量取决于其表示在一个本征基涉及的参数的问题。此外，构建统计检验来预测微调模型对于未观察样本的预测二次风险是否低于基础目标模型。在合成数据和实际用电数据上说明了测试的有效性。
2021-02-18 cs.LG math.ST stat.ML
High Dimensional Time Series Regression Models: Applications to Statistical Learning Methods
本文概述高维时间序列回归模型的估计与推断方法，涵盖高维相依数据极限理论、多协变量回归渐近理论及统计学习在时间序列分析中的应用。
2023-08-27 econ.EM stat.ML
Communication-Constrained Distributed Quantile Regression with Optimal Statistical Guarantees
我们解决的问题，如何实现分布式分位数回归没有严格的缩放条件下的最佳推理。由于分位数回归（QR）损失函数的非平滑性质，这是具有挑战性的，这使得现有方法的使用无效。通过一个双平滑的方法，适用于本地（在每个数据源）和全球目标函数的困难得到解决。尽管依赖于局部和全局平滑参数的微妙组合，但分位数回归模型是完全参数化的，从而便于解释。在低维的制度，我们建立了一个有限样本的理论框架，顺序定义的分布QR估计。这揭示了通信成本和统计误差之间的权衡。我们进一步讨论和比较几种替代的置信集的建设，基于反演的沃尔德和得分型测试和rescue技术，详细介绍了改进，是有效的更极端的分位数系数。在高维情况下，采用了稀疏框架，其中所提出的双平滑目标函数与$\ell_1$ -惩罚互补。我们表明，相应的分布式惩罚QR估计达到了全局收敛速度后，一个接近常数的通信轮数。一个全面的模拟研究进一步阐明了我们的研究结果。
2022-08-22 stat.ME stat.ML
Active-set algorithms based statistical inference for shape-restricted generalized additive Cox regression models
近年来，形状限制推论在统计和计量经济学文献中得到广泛的应用，以放松回归分析中的线性或二次协变量效应。典型的形状限制协变量效应包括单调递增、递减、凸性或非凸性。本文将形状限制推断引入到著名的Cox回归模型（SR-Cox）中，其中协变量响应被建模为形状限制的可加函数。SR-Cox回归使用样条基扩展和数据驱动的节点选择来近似形状限制函数。将负对数似然函数的最小化问题转化为一个凸优化问题，并采用有效集优化算法求解。该算法的特点是能自动消除多余节点。当协变量效应包括具有未知形式和线性项的凸项或凹项的组合时，最有趣的发现是SR-Cox产生准确的线性协变量效应估计，如果形式确实已知，则其与最大偏似然估计相当。我们的结论是，凹或凸SR-Cox模型可以显着提高非线性协变量响应恢复和模型拟合优度。
2021-07-02 stat.ME stat.ML
Robust Tensor Regression with Nonconvexity: Algorithmic and Statistical Theory
Nantong University（南通大学）；Shanghai Lixin University of Accounting and Finance（上海立信会计金融学院）；City University of Hong Kong（香港城市大学）；City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院）
本文提出一种低管状秩鲁棒回归方法，用于分析高维张量数据中的重尾随机噪声，通过非凸松弛的张量管状秩建立优化框架，实现全局收敛并提供统计理论支持。
2026-05-08 stat.CO stat.ME stat.ML
A statistical perspective of sampling scores for linear regression
本文考虑了从噪声样本中学习线性模型的统计问题。现有的工作集中在近似最小二乘解决方案，通过使用基于分数的重要性抽样分布。然而，没有有限样本的统计保证，没有计算效率的最佳采样策略已被提出。为了评估不同抽样策略的统计特性，我们提出了一个简单而有效的估计，这是易于理论分析，是有用的多任务线性回归。对于任何给定的抽样分数，我们推导出所提出的估计的精确均方误差。基于最小化均方误差，我们提出了估计器和预测器的最佳采样分数，并表明它们受到噪声信号比的影响。数值模拟结果与理论分析吻合较好。
2016-02-10 stat.ML
Beyond Covariance Matrix: The Statistical Complexity of Private Linear Regression
本文揭示私有线性回归的统计复杂度由协方差矩阵的 L1 类似物而非协方差矩阵本身刻画，提出信息加权回归方法达到极小极大最优速率，并应用于私有线性上下文赌博机，证明联合隐私几乎无额外代价。
2025-11-05 cs.AI cs.CR cs.LG
Optimal Kernel for Kernel-Based Modal Statistical Methods
Kyoto University（京都大学）
本文研究核函数对基于核的众数估计、回归与聚类精度的影响，并在按符号变化次数定义的核类中证明了配合最优带宽可最小化渐近误差准则的多元最优核。
2023-04-20 cs.LG stat.ML
Online Nonparametric Regression
University of Pennsylvania（宾夕法尼亚大学）
我们建立了在线回归的最佳速率为任意类的回归函数的序贯熵（Rakhlin，Sridharan，Tewari，2010）。最佳速率显示出类似于i.i.d./统计学习案例，研究于（Rakhlin，Sridharan，Tsybakov 2013）。在序列熵和i.i.d.经验熵匹配，我们的结果指出了一个有趣的现象，统计学习平方损失和在线非参数回归的速度是相同的。除了非算法研究的极大极小遗憾，我们展示了一个通用的预测，享有既定的最佳利率。我们还提供了一个配方设计在线回归算法，可以计算效率。我们说明的技术，通过现有的和新的预测有限的专家和在线线性回归的情况下。
2014-02-11 cs.LG math.ST stat.ML
Ridge Regression with Frequent Directions: Statistical and Optimization Perspectives
University of Warwick（华威大学）
尽管频繁方向（\acrshort{fd}）在理论和实践上都有令人印象深刻的表现，但它在大规模回归问题中并没有得到广泛的应用。先前的工作表明，随机化草图（i）在估计数据的协方差矩阵方面比\acrshort{fd}表现更差;（ii）在估计草图岭回归的偏倚和/或方差时产生高误差。本文给出了基于\acrshort{fd}的概略岭回归模型的偏差和方差的第一常数因子相对误差界。我们补充这些统计结果表明，\acrshort{fd}可用于优化设置，通过迭代方案，产生高精度的解决方案。这改进了随机化方法，这些方法需要在每次迭代时都需要一个新的草图，以加快收敛速度。在这两种设置中，我们还表明使用\emph{Robust Frequent Directions}进一步增强了性能。
2020-11-06 cs.DS cs.LG stat.ML
SLOE: A Faster Method for Statistical Inference in High-Dimensional Logistic Regression
Google Research（谷歌研究院）；Google Health（谷歌健康）
逻辑斯谛回归仍然是应用统计学、机器学习和数据科学中使用最广泛的工具之一。然而，在中等高维的问题，其中的功能$d$的数量是一个不可忽略的部分的样本大小$n$，逻辑斯谛回归最大似然估计（MLE），和统计程序的基础上，其分布的大样本近似，表现不佳。最近，Sur和Candès（2019）表明，这些问题可以通过在这个高维区域中应用MLE采样分布的新近似来纠正。不幸的是，这些校正在实践中难以实现，因为它们需要\emph{signal strength}的估计，\emph{signal strength}是逻辑斯谛回归的基础参数$β$的函数。为了解决这个问题，我们提出了SLOE，一个快速和直接的方法来估计信号强度的逻辑斯谛回归。SLOE的关键见解是，Sur和Candès（2019）校正可以根据\emph{corrupted signal strength}重新参数化，\emph{corrupted signal strength}仅是估计参数$\widehat β$的函数。我们提出了这个量的估计，证明它是一致的，在相关的高维制度，并表明使用SLOE的维数校正是准确的有限样本。与现有的ProbeFrontier启发式相比，SLOE在概念上更简单，速度更快，适合日常使用。我们证明了常规维度校正的重要性，在心脏病数据集从UCI存储库，和基因组学应用程序使用的数据从英国生物银行。我们为这种方法提供了一个…
2021-05-25 cs.LG math.ST stat.ML
Cyclostationary Statistical Models and Algorithms for Anomaly Detection Using Multi-Modal Data
Harvard University（哈佛大学）；U.S. Army Research Laboratory（美国陆军研究实验室）；Booz Allen Hamilton（博思艾伦汉密尔顿）；Duke University（杜克大学）
提出了一种多模态数据异常检测框架。采用基于深度神经网络的对象检测器来从数据中提取对象和子事件的计数。提出了一种循环平稳模型来模拟计数序列中的行为规律。异常检测问题被公式化为一个问题，检测学习循环平稳行为的偏差。序列算法提出了使用所提出的模型来检测异常。所提出的算法被证明是渐近有效的，在一个明确的意义。将开发的算法应用于由CCTV图像和社交媒体帖子组成的多模态数据，以检测纽约市的5K跑步。
2018-07-02 cs.LG eess.SP stat.ME
Optimum Statistical Estimation with Strategic Data Sources
McGill University（麦吉尔大学）；MIT（麻省理工学院）；U.C. Berkeley（加州大学伯克利分校）
我们提出了一个最佳的机制，提供货币激励的数据源的统计估计，如线性回归，使高质量的数据以低成本提供，在这个意义上，付款和估计误差的总和最小化。该机制适用于广泛的估计，包括线性和多项式回归，核回归，并在一些额外的假设下，岭回归。它还概括到几个目标，包括最小化估计误差的预算约束。除了回归问题的具体结果，我们还提供了一个机制设计框架，通过该框架来设计和分析统计估计量，其示例由工人提供，用于标记所述示例的成本。
2015-04-24 cs.GT cs.LG stat.ML
New Computational and Statistical Aspects of Regularized Regression with Application to Rare Feature Selection and Aggregation
Technicolor AI Lab（特艺集团人工智能实验室）；Marshall School of Business, University of Southern California（南加州大学马歇尔商学院）；University of Washington（华盛顿大学）
关于目标模型属性的先验知识通常是离散或组合的描述。这项工作提供了一个统一的计算框架，定义规范，促进这种结构。更具体地说，我们开发了相关的工具，涉及这些规范的优化只考虑到所需模型的非凸集的正交投影预言。作为一个例子，我们研究了一个规范，我们称之为双稀疏规范，促进向量与几个非零的项目，只有几个不同的值。我们进一步讨论了如何在这种情况下，K-均值算法可以作为底层的投影预言机，以及它如何可以有效地表示为一个二次约束的二次规划。我们研究这个规范的动机是在存在罕见特征的情况下的正则化回归，这对高维统计和一般机器学习中的各种方法提出了挑战。建议的估计过程的目的是执行自动特征选择和聚合，我们开发的统计界限。边界是通用的，并提供了一个基于范数的正则化的统计框架。边界依赖于新的几何量，我们试图详细说明。
2019-04-10 cs.LG math.OC math.ST
Conditional Density Estimation via Weighted Logistic Regressions
与条件均值作为简单的点估计相比，条件密度函数更能描述具有多峰、非对称或异方差的分布。本文通过讨论非齐次Poisson过程模型的广义密度与似然函数之间的关系，提出了一种新的参数条件密度估计方法.最大似然估计可以通过加权逻辑斯谛回归获得，并且通过组合逐块交替最大化方案和局部病例对照抽样可以显著地放松计算。我们还提供了模拟研究的说明。
2020-10-21 stat.ME stat.ML
Linear Regression with an Unknown Permutation: Statistical and Computational Limits
考虑基于观测$y = Π^* A x^* + w$的具有未知置换的噪声线性观测模型，其中$x^* \in \mathbb{R}^d$是未知向量，$Π^*$是未知$n \times n$置换矩阵，并且$w \in \mathbb{R}^n$是加性高斯噪声。我们分析了在一个随机设计设置中的矩阵$A$的条目被独立同分布绘制的置换恢复问题。从一个标准的高斯分布，并建立尖锐的条件下，$Π^*$是完全和近似可恢复的SNR，样本大小$n$，和尺寸$d$。在计算方面，我们证明了$Π^*$的最大似然估计是NP-难计算的，同时也提供了一个多项式时间的算法时，$d =1$。
2016-08-09 cs.IT math.IT math.ST
Quantification of Tail-trimming Effects for Interval CVaR Based Nonlinear Regression
Department of Industrial Engineering, Tsinghua University（清华大学工业工程系）
本文提出基于区间条件风险价值的稳健非线性回归模型，通过修剪极端损失提升稳健性，并在理论和实验上证明其优于传统稳健回归方法。
2026-11-04 cs.LG math.OC stat.ML
Sharp Convergence Rates for Forward Regression in High-Dimensional Sparse Linear Models
前向回归是一种统计模型选择和估计程序，其归纳选择将预测能力添加到工作统计回归模型中的协变量。一旦选择了一个模型，未知的回归参数估计最小二乘。本文分析了高维稀疏线性模型中的前向回归问题。证明了预测误差范数和所选协变量个数的概率界。本文中的分析给出了尖锐的速率，并且不需要β-min或不可表示性条件。
2018-04-11 stat.ML
Differentially Private Linear Regression and Synthetic Data Generation with Statistical Guarantees
The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出一种在高斯差分隐私下有效进行线性回归和合成数据生成的方法，改进了现有方法的准确性和置信区间有效性，并生成更可靠的合成数据用于后续分析。
2026-03-28 cs.LG stat.ML
Estimating Task Completion Times for Network Rollouts using Statistical Models within Partitioning-based Regression Methods
Ericsson（爱立信）
本文提出了一种基于数据和机器学习的电信网络部署规划问题的预测解决方案。里程碑式的完成时间估计对于网络部署规划至关重要;准确的估计可以更好地利用工作人员并优化材料和物流成本。使用里程碑完成时间的历史数据，模型需要结合领域知识，处理噪音，但项目经理可以解释。本文提出了基于分区的回归模型，将数据驱动的统计模型在每个分区内，作为一个解决方案的问题。基准测试实验表明，该方法获得竞争力更好的性能，在一个小部分的模型复杂度的最佳替代方法的基础上梯度提升。实验结果也表明，该方法是有效的短期和长期的预测。所提出的想法是适用于任何情况下，需要时间序列回归噪声和属性数据。
2022-11-30 cs.AI cs.LG stat.ML
Collaborative Uncertainty Benefits Multi-Agent Multi-Modal Trajectory Forecasting
Shanghai Jiao Tong University（上海交通大学）；University of Southern California（南加州大学）；School of Mechanical Engineering, Nanjing University of Science and Technology（南京理工大学机械工程学院）
本文提出协作不确定性（CU）概念及CU感知回归框架，作为插件模块帮助SOTA多智能体多模态轨迹预测系统估计不确定性、排序并选择最优预测，在多个基准上稳定提升性能。
2025-03-11 cs.CV stat.ML
Statistical Estimation: From Denoising to Sparse Regression and Hidden Cliques
这些笔记回顾了Andrea Montanari教授关于线性模型统计估计主题的六次讲座。前两堂课涵盖了从极小极大风险的线性测量中恢复信号的原理。随后的讲座演示了这些原则的应用，在科学和工程的一些实际问题。具体而言，这些主题包括对错误信号的去噪，压缩感知信号的恢复，低秩矩阵的重构，以及大型网络中隐藏集团的发现。
2014-09-19 cs.IT math.IT stat.ML
Fast Statistical Leverage Score Approximation in Kernel Ridge Regression
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
Nyström近似是一种快速随机化方法，通过对目标函数中出现的n乘n经验核矩阵进行子采样，快速解决核岭回归（KRR）问题。然而，这种子采样方法的性能严重依赖于正确估计用于形成采样分布的统计杠杆分数，这可能与求解原始KRR一样昂贵。在这项工作中，我们提出了一个线性时间（模poly-log项）算法，以准确地近似的统计杠杆分数在静态内核为基础的KRR与理论保证。特别地，通过分析KRR目标的一阶条件，我们推导出一个解析公式，该公式取决于输入分布和平稳核的谱密度，用于捕获统计杠杆分数的非均匀性。数值实验表明，在相同的预测精度，我们的方法是数量级更有效的比现有的方法在Nyström近似选择的代表性的子样本。
2021-03-09 cs.LG stat.CO stat.ML
An update on statistical boosting in biomedicine
统计提升算法在过去十年中引发了大量的研究。它们将强大的机器学习方法与经典的统计建模相结合，提供了各种实际优势，如自动变量选择和效果估计的隐式正则化。它们非常灵活，因为底层的基本学习器（定义解释变量的效应类型的回归函数）可以与任何类型的损失函数（要优化的目标函数，定义回归设置的类型）相结合。在这篇综述文章中，我们重点介绍了关于变量选择，函数回归和高级时间事件建模的统计提升的最新方法学发展。此外，我们还简要介绍了统计提升在生物医学中的相关应用。
2017-02-27 stat.AP stat.CO stat.ML
Differentially Private Estimation via Statistical Depth
U.S. Census Bureau（美国人口普查局）
构造差分私有（DP）估计量需要导出观测的最大影响，这在输入数据或估计量上没有外生边界的情况下可能是困难的，特别是在高维设置中。本文表明，统计深度的标准概念，即，半空间深度和回归深度在这方面是特别有利的，这两个方面都是因为单次观测的最大影响易于分析，并且该值通常较低。这是用来激励新的近似DP的位置和回归估计，使用这两个概念的统计深度的最大化。还提供了近似DP回归估计器的计算效率更高的变体。此外，为了避免要求用户指定估计和/或观察的先验界限，这些DP机制的变体被描述为满足随机差分隐私（RDP），这是Hall，Wasserman和Rinaldo（2013）提供的差分隐私的放松。我们还提供了这里提出的两个DP回归方法的模拟。当样本量至少为100-200或隐私损失预算足够高时，相对于我们在这些模拟中考虑的现有DP回归方法，所提出的估计量似乎表现良好。
2022-07-26 cs.CR cs.LG econ.EM
Learning with Correntropy-induced Losses for Regression with Mixture of Symmetric Stable Noise
State University of New York at Albany（纽约州立大学奥尔巴尼分校）
近年来，相关熵及其在机器学习中的应用由于其在处理非高斯噪声和离群点方面的优点而受到了广泛的关注。然而，相关熵的理论理解，特别是在统计学习的背景下，仍然是有限的。在这项研究中，在统计学习的框架内，我们研究了基于相关熵的回归存在非高斯噪声或离群值。受非高斯噪声或离群点产生的实际方法的启发，本文引入了对称稳定噪声的混合模型，包括高斯噪声、柯西噪声及其混合作为特例，对非高斯噪声或离群点进行建模。我们证明了在对称稳定噪声的混合假设下，基于相关熵的回归可以很好地学习条件均值函数或条件中值函数，而无需求助于噪声的有限方差甚至有限一阶矩条件。特别地，对于上述两种情况，我们建立了基于相关熵的回归估计量的渐近最优学习率，该估计量渐近为$\mathcal{O}(n^{-1})$型。这些结果证明了基于相关熵的回归估计在处理异常值和非高斯噪声时的有效性。我们相信，本研究完成了我们的理解，从统计学习的角度对基于相关熵的回归，也可能揭示了一些强大的统计学习回归。
2019-09-05 cs.LG stat.ML
High-Dimensional Differentially Private Quantile Regression: Distributed Estimation and Statistical Inference
School of Statistics and Data Science, Shanghai University of Finance and Economics（上海金融学院统计与数据科学学院）；School of Statistics and Data Science, Southeast University（东南大学统计与数据科学学院）；School of Statistics and Data Science, Shanghai University of International Business and Economics（上海国际商务学院统计与数据科学学院）
针对分布式高维数据隐私保护问题，提出基于牛顿变换的差分隐私分位数回归方法，实现近最优统计精度与形式化隐私保障，并构建去偏估计器与高效自助法进行推断。
2026-06-23 cs.LG stat.ML
Pairwise Fairness for Ranking and Regression
Google Research（谷歌研究院）
我们提出了成对的公平性指标的排名模型和回归模型，形成类似的统计公平的概念，如平等的机会，平等的准确性，统计奇偶性。我们的成对公式支持离散保护组和连续保护属性。我们表明，由此产生的训练问题，可以有效地解决现有的约束优化和强大的优化技术开发的公平分类。实验说明了这些方法的广泛适用性和权衡。
2020-01-07 cs.LG stat.ML
High-dimensional robust regression and outliers detection with SLOPE
高维环境下的离群点检测和稳健回归问题是统计学中的基础问题，并有许多应用。继最近的一组工程提供的方法，同时强大的回归和离群值检测，我们认为在本文中的一个模型，线性回归与个人的截距，在一个高维设置。我们引入了一种新的程序，用于同时估计线性回归系数和截距，使用两个专用的排序- $\ell_1$惩罚，也称为SLOPE。我们开发了一个完整的理论，这个问题：首先，我们提供了尖锐的上界的统计估计误差的向量的个别截距和回归系数。其次，我们给出了一个渐近控制的错误发现率（FDR）和统计功效的支持选择的个人拦截。因此，本文是第一个介绍一个过程中，保证FDR和统计功效控制下的均值漂移模型的离群点检测。数值说明，与最近的替代方法的比较，提供了模拟和几个真实世界的数据集。实验使用Python和C++编写的开源软件进行。
2017-12-07 stat.ML
Post-Transfer Learning Statistical Inference in High-Dimensional Regression
University of Information Technology（信息技术大学）；Vietnam National University（越南国家大学）；RIKEN AIP（日本理化学研究所AIP）
针对高维回归迁移学习中缺乏统计显著性量化方法的问题，本文提出了PTL-SI框架，通过提供有效p值严格控制假阳性率，并结合分治策略增强统计功效。
2025-04-25 cs.LG stat.ML
An Introduction to MM Algorithms for Machine Learning and Statistical
University of Queensland（昆士兰大学）
MM（majorization-minimization）算法是解决机器学习和统计估计中的优化问题的一种越来越流行的工具。本文通过三个流行的示例应用：高斯混合回归、多项逻辑斯谛回归和支持向量机，从总体上介绍了MM算法框架。三个例子的具体算法推导和数值演示。理论和实践方面的MM算法设计进行了讨论。
2016-11-12 cs.LG stat.CO stat.ML
Ising Model Selection Using $\ell_{1}$-Regularized Linear Regression: A Statistical Mechanics Analysis
The University of Tokyo（东京大学）；Institute for Physics of Intelligence（智能物理研究所）；Kyoto University（京都大学）
我们从理论上分析了典型的学习性能的$\ell_{1}$ -正则化线性回归（$\ell_1$ -LinR）伊辛模型选择使用的副本方法从统计力学。对于顺磁相的典型随机正则图，得到了$\ell_1$ -LinR的典型样本复杂度的精确估计.值得注意的是，尽管模型错误指定，$\ell_1$ -LinR是与$\ell_{1}$ -正则化逻辑回归（$\ell_1$ -LogR）相同的样本复杂性顺序一致的模型选择，即，$M=\mathcal{O}\left(\log N\right)$，其中$N$是伊辛模型的变量数。此外，我们提供了一个有效的方法来准确地预测非渐近行为的$\ell_1$ -LinR中度$M, N$，如精度和召回。模拟结果表明，理论预测和实验结果之间有相当好的一致性，即使是有许多循环的图形，这支持了我们的研究结果。虽然本文主要集中在$\ell_1$ -LinR，我们的方法是很容易适用于精确地表征典型的学习性能的广泛的一类$\ell_{1}$ -正则化$M$ -估计，包括$\ell_1$ -LogR和交互筛选。
2021-11-02 cond-mat.dis-nn cs.AI cs.LG
