Distributed Nonparametric Regression under Communication Constraints
University of Pennsylvania（宾夕法尼亚大学）；Yale University（耶鲁大学）
研究了多机分布数据下光滑函数的非参数估计问题。我们假设在每台机器上收集来自白噪声模型的独立样本，并且需要在中央机器上构建底层真函数的估计量。我们对每台机器可以用来向中央机器传输信息的比特数进行了限制。我们的结果给出了各种设置下的统计风险的渐近下界和匹配上界。我们确定了三种制度，这取决于机器的数量，在每台机器上可用的数据的大小，和通信预算之间的关系。当沟通预算较小时，统计风险仅取决于此沟通瓶颈，而与样本量无关。在通信预算较大的情况下，恢复了非分布估计设置中的经典极小极大风险。在中间状态下，统计风险取决于样本量和通信预算。
2018-06-23 cs.LG math.ST stat.ML
Colorful Pinball: Density-Weighted Quantile Regression for Conditional Guarantee of Conformal Prediction
School of Economics and Management, Tsinghua University, China（清华大学经济管理学院）
本文提出了一种基于密度加权分位数回归的条件保证置信预测方法，通过改进标准置信预测的条件覆盖性能，提供更精确的非渐近保证。
2026-05-19 cs.LG stat.ME
Communication-Constrained Distributed Quantile Regression with Optimal Statistical Guarantees
我们解决的问题，如何实现分布式分位数回归没有严格的缩放条件下的最佳推理。由于分位数回归（QR）损失函数的非平滑性质，这是具有挑战性的，这使得现有方法的使用无效。通过一个双平滑的方法，适用于本地（在每个数据源）和全球目标函数的困难得到解决。尽管依赖于局部和全局平滑参数的微妙组合，但分位数回归模型是完全参数化的，从而便于解释。在低维的制度，我们建立了一个有限样本的理论框架，顺序定义的分布QR估计。这揭示了通信成本和统计误差之间的权衡。我们进一步讨论和比较几种替代的置信集的建设，基于反演的沃尔德和得分型测试和rescue技术，详细介绍了改进，是有效的更极端的分位数系数。在高维情况下，采用了稀疏框架，其中所提出的双平滑目标函数与$\ell_1$ -惩罚互补。我们表明，相应的分布式惩罚QR估计达到了全局收敛速度后，一个接近常数的通信轮数。一个全面的模拟研究进一步阐明了我们的研究结果。
2022-08-22 stat.ME stat.ML
On Pairwise Quantile Regression - Statistical Guarantees and Applications
LTCI, Télécom Paris Institut Polytechnique de Paris（LTCI，巴黎电信理工学院）；Idémia；Télécom Sud-Paris, Institut Polytechnique de Paris（巴黎理工学院，南巴黎电信）
针对传统分位数回归无法处理成对相似性响应变量的问题，该文提出成对分位数回归方法，基于U过程集中度结果推导统计保证，在人脸识别相似性评分误差分析中验证了方法有效性。
2026-07-24 cs.AI cs.CV cs.LG
Non-Asymptotic Guarantees for Robust Statistical Learning under Infinite Variance Assumption
University of Macau（澳门大学）；Zhuhai UM Science & Technology Research Institute（珠海澳大科技研究院）；Peking University（北京大学）
在统计学和机器学习中，对于具有重尾和有界方差数据的模型，人们对开发鲁棒估计器的兴趣激增，而很少有工作施加无界方差。本文提出了两类稳健估计：岭对数截尾M估计和弹性网对数截尾M估计。第一个估计器应用于凸回归，如分位数回归和广义线性模型，而另一个估计器应用于高维非凸学习问题，如通过深度神经网络的回归。模拟和实际数据分析证明了对数截尾估计相对于标准估计的稳健性。
2022-10-11 cs.LG math.ST stat.ML
Distributed Sparse Linear Regression under Communication Constraints
Department of Statistics, Federal University of Bahia, Salvador-BA, Brazil（统计系，巴伊亚联邦大学，巴西）；Department of Computer Science（计算机科学系）；Applied Mathematics, Weizmann Institute of Science, Rehovot, Israel（应用数学，魏茨曼科学研究院，以色列）
本文提出了一种在通信限制下实现稀疏线性回归的分布式算法，通过亚线性通信量实现精确支持恢复。
2026-01-02 cs.LG math.ST stat.TH
Efficiency of conformalized ridge regression
保形预测是一种产生预测集的方法，可以应用于各种预测算法之上。该方法在标准IID假设下具有保证的覆盖概率，而不管底层算法的假设（通常限制性更大）是否满足。然而，为了使该方法真正有用，希望在满足基础算法的假设的情况下，与基础算法相比，适形预测器在效率上损失很少（而作为适形预测器，它具有更强的有效性保证）。在本文中，我们探讨在贝叶斯岭回归的情况下，这种额外的要求是满足的程度，我们发现，渐近共形预测集不同的岭回归预测区间时，标准的贝叶斯假设得到满足。
2014-04-08 cs.LG stat.ML
Fair Regression: Quantitative Definitions and Reduction-based Algorithms
Microsoft Research（微软研究院）；University of Minnesota（明尼苏达大学）
在本文中，我们研究了一个真实值的目标，如风险评分或累犯率的预测，同时保证一个受保护的属性，如性别或种族的公平性的定量概念。我们称这类问题为\emph{fair regression}。我们提出了两个公平性概念下的公平回归的一般方案：（1）统计奇偶性，要求预测在统计上独立于受保护的属性，以及（2）有界组损失，要求仅限于任何受保护的组的预测误差保持在某个预定水平以下。虽然我们只研究这两个公平性概念，但我们的方案适用于任意Lipschitz连续损失，因此它们包括最小二乘回归，逻辑回归，分位数回归和许多其他任务。我们的计划只需要访问标准的风险最小化算法（如标准分类或最小二乘回归），同时提供理论保证所获得的解决方案的最优性和公平性。除了分析我们的计划的理论属性，我们经验证明他们的能力，发现公平性-准确性边界的几个标准数据集。
2019-05-30 cs.LG stat.ML
Conformal Prediction for Nonparametric Instrumental Regression
本文提出一种非参数工具变量回归中无分布预测区间构造方法，提供有限样本覆盖保证。基于符合推断的条件保证框架，将条件覆盖转化为IV位移类$\mathcal{F}$上的边际覆盖。方法可与任意NPIV估计器结合，如sieve 2SLS及其他机器学习方法。理论分析建立无分布、有限样本覆盖。
2026-03-26 cs.LG econ.EM stat.AP
EM Converges for a Mixture of Many Linear Regressions
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
研究了具有任意个数$k$的混合线性回归的期望最大化算法的收敛性。我们表明，只要信号噪声比（SNR）是$\tildeΩ(k)$，良好的初始化EM收敛到真正的回归参数。$k \geq 3$的先前结果仅建立了无噪声设置的局部收敛，即，其中SNR无限大。我们的结果扩大了范围的环境噪声，值得注意的是，我们建立了一个统计出错率，是独立的范数（或成对距离）的回归参数。特别是，我们的研究结果意味着确切的恢复$σ\rightarrow 0$，与大多数以前的局部收敛结果EM，其中的统计误差缩放与规范的参数。标准的矩量法方法可以用来保证我们在局部收敛保证适用的区域。
2019-11-26 cs.LG stat.ML
Near Optimal Private and Robust Linear Regression
University of Washington（华盛顿大学）；Google Research（谷歌研究院）
本文研究了线性回归的正则统计估计问题，即由$n$ i.i.d.~ $(\varepsilon,δ)$下的示例-当某些响应变量被不利地破坏时的差分隐私。我们提出了一种流行的差分私有随机梯度下降（DP-SGD）算法的变体，该算法具有两个创新点：一个完整的批量梯度下降，以提高样本的复杂性和一个新的自适应裁剪，以保证鲁棒性。当没有对抗性腐败时，该算法改进了现有的最先进的方法，并实现了接近最优的样本复杂度。在标签损坏的情况下，这是第一个有效的线性回归算法，以保证$(\varepsilon,δ)$ -DP和鲁棒性。合成实验证实了我们的方法的优越性。
2023-01-30 cs.CR cs.LG math.ST
Resource-Aware Asynchronous Online Federated Learning for Nonlinear Regression
Norwegian University of Science and Technology（挪威科技大学）；University of Notre Dame（圣母大学）；University of Hawaii（夏威夷大学）
联邦学习文献中的许多假设都提供了最佳情况，但在大多数现实应用中无法满足。异步设置反映了联邦学习方法必须能够可靠运行的现实环境。除了参与者处的非IID数据的变化量之外，异步设置对由于可用计算能力和电池限制而导致的异构客户端参与进行建模，并且还考虑了客户端和服务器之间的延迟通信。为了减少与异步在线联邦学习（ASO-Fed）相关的通信开销，我们使用基于部分共享的通信原理。通过这种方式，我们减少了参与者的沟通负担，因此，使参与学习任务更容易。我们证明了所提出的ASO-Fed的收敛性，并提供了仿真来进一步分析其行为。仿真结果表明，在异步设置中，它是可能的，以实现相同的联邦随机梯度（在线FedSGD）的收敛，同时减少了十倍的通信。
2021-11-27 cs.DC cs.LG cs.MA
Distributionally Robust Logistic Regression
本文提出了一种分布鲁棒的逻辑斯谛回归方法。我们使用Wasserstein距离在训练样本上以均匀分布为中心的概率分布空间中构造一个球。如果这个球的半径被明智地选择，我们可以保证它包含具有高置信度的未知数据生成分布。然后，我们制定了一个分布鲁棒的逻辑斯谛回归模型，最大限度地减少了最坏情况下的预期对数损失函数，其中最坏的情况下，在Wasserstein球的所有分布。我们证明，这个最优化问题承认一个易于处理的重新制定和封装的经典以及流行的正则化逻辑斯谛回归问题的特殊情况。我们进一步提出了一种基于Wasserstein球的分布式鲁棒方法来计算所得分类器的误分类概率的置信上限和置信下限。这些界限由两个高度易处理的线性规划的最优值给出。我们通过模拟和实证实验验证了我们的理论样本外保证。
2015-12-01 math.OC stat.ML
CEDAR: Communication Efficient Distributed Analysis for Regressions
电子健康记录（EHR）为推进精准医疗提供了巨大的希望，同时也带来了重大的分析挑战。特别是，由于政府法规和/或机构政策，EHR中的患者级数据通常无法在机构（数据源）之间共享。因此，人们对在不共享患者级数据的情况下在多个EHR数据库上进行分布式学习的兴趣越来越大。为了应对这些挑战，我们提出了一种新的通信有效的方法，聚合的局部最优估计，把问题变成一个缺失数据的问题。此外，我们建议将后验样本的远程站点，它可以提供部分信息的缺失量和提高效率的参数估计，同时具有差分隐私属性，从而降低信息泄露的风险。所提出的方法，不共享原始患者水平的数据，允许适当的统计推断，并可以容纳稀疏回归。我们提供了理论研究所提出的方法的渐近性质的统计推断以及差分隐私，并评估其性能的模拟和实际数据分析比较，最近开发的方法。
2022-07-01 stat.ME stat.ML
Adjusting Regression Models for Conditional Uncertainty Calibration
University of Florida（佛罗里达大学）；Netflix（网飞公司）；Cornell University（康奈尔大学）
针对Conformal Prediction缺乏条件覆盖保证的问题，提出一种新颖的端到端回归训练算法，通过控制条件与名义覆盖率差距的上界来改善条件覆盖，并在合成和真实数据集上验证了其有效性。
2024-09-26 cs.AI cs.LG stat.ML
Coresets for Vertical Federated Learning: Regularized Linear Regression and $K$-Means Clustering
Nanjing University（南京大学）；Carnegie Mellon University（卡内基梅隆大学）；Fudan University（复旦大学）；Princeton Univeristy（普林斯顿大学）
垂直联邦学习（Vertical Federated Learning，VFL）是机器学习的一个重要研究领域，它将数据特征分布存储在多方。然而，VFL的通信复杂性通常非常高。在本文中，我们提出了一个统一的框架，通过构建coresets在一个分布式的方式通信效率的VFL。我们研究了两个重要的学习任务中的VFL设置：正则化线性回归和$k$均值聚类，并将我们的coreset框架，这两个问题。我们从理论上表明，使用coresets可以大大降低通信复杂性，而几乎保持解决方案的质量。数值实验证实了我们的理论研究结果。
2022-10-26 cs.CG cs.DC cs.DS
Privacy for Free: Communication-Efficient Learning with Differential Privacy Using Sketches
CMU（卡内基梅隆大学）
通信和隐私是分布式学习中的两个关键问题。许多现有的作品分别处理这些问题。在这项工作中，我们认为，在分布式机器学习的背景下，通信减少和隐私保护的方法之间存在着自然的联系。特别是，我们证明了Count Sketch（一种简单的数据流摘要方法）具有固有的差分隐私属性。使用这些派生的隐私保证，我们提出了一种新的基于草图的框架（DiffSketch）的分布式学习，在那里我们通过草图压缩传输的消息，同时实现通信效率和可证明的隐私优势。我们的评估表明，DiffSketch可以提供强大的差分隐私保证（例如，$\varepsilon$ = 1），并将通信减少20- 50倍，而精度仅略有下降。与单独处理隐私和通信的基线相比，DiffSketch将绝对测试准确率提高了5%-50%，同时提供相同的隐私保证和通信压缩。
2019-12-06 cs.CR cs.LG stat.ML
Decentralized Quantile Regression for Feature-Distributed Massive Datasets with Privacy Guarantees
本文提出去中心化代理梯度算法 DSG-cqr，用于特征分布式分位数回归，采用卷积平滑处理非光滑损失，实现线性收敛并保障差分隐私，通过模拟和真实数据验证有效性。
2025-04-23 stat.CO
Differentially Private Regression for Discrete-Time Survival Analysis
Nanyang Technological University（南洋理工大学）
在生存分析中，回归模型用于了解解释变量的影响（例如，年龄、性别、体重等）到生存概率。然而，对于医疗数据等敏感的生存数据，当使用医疗数据来拟合回归模型时，人们对数据集中个人的隐私存在严重担忧。最接近的工作，解决这种隐私问题的工作是Cox回归的线性项目的原始数据到一个较低的维度空间。然而，这种方法的缺点是，这种投影没有正式的隐私保证。在这项工作中，我们的目标是提出解决方案的回归问题的生存分析与保护的差分隐私，这是一个黄金标准的隐私保护在数据隐私研究。为此，我们扩展了输出扰动和目标扰动的方法，最初提出的保护差分隐私的经验风险最小化（ERM）问题。此外，我们还提出了一种新的抽样方法的基础上的马尔可夫链蒙特卡罗（MCMC）方法，以实际保证差分隐私更好的准确性。我们表明，我们提出的方法实现了良好的准确性相比，非私人的结果，同时保证差分隐私的私人数据集中的个人。
2017-08-25 cs.CR cs.DB cs.LG
Volume-Sorted Prediction Set: Efficient Conformal Prediction for Multi-Target Regression
City University of Hong Kong（香港城市大学）；Alpha Benito Research（阿尔法贝尼托研究院）
本文提出VSPS方法，利用条件归一化流与共形校准为多目标回归构建灵活非凸预测区域，在保证覆盖概率的同时生成更小、更具信息量的预测区域，有效提升了复杂高维环境下的不确定性建模能力。
2025-03-04 cs.LG stat.ML
Invariance-based Inference in High-Dimensional Regression with Finite-Sample Guarantees
本文提出基于不变性的随机化检验方法，用于高维回归的假设检验与推断，在有限样本下保证有效性并达到极小极大最优速率，同时通过残差检验处理部分假设，增强了对多重共线性和重尾数据的稳健性。
2023-12-22 math.ST stat.ME stat.TH
Near-Optimal differentially private low-rank trace regression with guaranteed private initialization
Hong Kong University of Science and Technology（香港科技大学）
本文研究高斯迹回归下的差分隐私低秩矩阵估计，提出高效的私有初始化算法与基于黎曼优化的DP-RGrad算法，在较弱的差分隐私概念下实现了近最优收敛速率。
2024-03-24 cs.CR cs.LG stat.ML
Communication Efficient Federated Learning for Generalized Linear Bandits
University of Virginia（弗吉尼亚大学）
为了满足数据分散化和向客户端推送学习的需求，联邦学习环境下的上下文Bandit算法近年来得到了研究。但受限于所需的通信效率，现有的解决方案被限制为线性模型，以利用其封闭形式的解决方案进行参数估计。这样一个有限的模型选择极大地阻碍了这些算法的实际效用。在本文中，我们通过研究联邦学习环境下的广义线性强盗模型来解决这一挑战。我们提出了一个有效的解决方案框架，采用在线回归本地更新和离线回归的全球更新。我们严格证明，虽然设置是更一般和具有挑战性的，我们的算法可以达到次线性率的遗憾和通信成本，这也是我们广泛的实证评估验证。
2022-10-12 cs.LG stat.ML
High-Dimensional Differentially-Private EM Algorithm: Methods and Near-Optimal Statistical Guarantees
Rutgers University（罗格斯大学）
在本文中，我们开发了一个通用的框架来设计差分私人期望最大化（EM）算法在高维潜变量模型，基于噪声迭代硬阈值。我们推导出所提出的框架的统计保证，并将其应用到三个特定的模型：高斯混合，混合回归，回归与缺失协变量。在每个模型中，我们建立了接近最优的收敛速度与差分隐私约束，并表明该算法是最小最大率最优的对数因子。开发的技术工具的高维设置，然后扩展到经典的低维潜变量模型，我们提出了一个近速率最优的期望最大化算法在这种设置与差分隐私保证。仿真研究和实际数据分析进行支持我们的结果。
2021-09-09 cs.CR cs.LG math.ST
Optimistic Rates: A Unifying Theory for Interpolation Learning and Regularization in Linear Regression
University of Chicago（芝加哥大学）；Simons Institute, University of California at Berkeley（加州大学伯克利分校西蒙斯研究所）；University of British Columbia（不列颠哥伦比亚大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
我们研究了高斯数据线性回归的一致收敛的局部概念，称为“乐观率”（Panchenko 2002; Srebro et al. 2010）。我们的精细分析避免了现有结果中的隐藏常数和对数因子，这些因子在高维环境中至关重要，特别是对于理解插值学习。作为一种特殊情况，我们的分析恢复了Koehler et al.（2021）的保证，该保证严格描述了良性过拟合条件下低范数插值器的总体风险。然而，我们的乐观率界也分析了具有任意训练误差的预测器。这使我们能够恢复一些经典的随机设计下的岭和LASSO回归的统计保证，并帮助我们获得一个精确的理解过度参数化制度的过度风险的近插值。
2021-12-08 cs.LG math.ST stat.ML
Global optimization for low-dimensional switching linear regression and bounded-error estimation
Université de Lorraine（洛林大学）；LORIA（洛林计算机及其应用研究实验室）；CNRS（法国国家科学研究中心）
本文提供了两个特别困难的混合系统辨识的非凸问题的全局优化算法：切换线性回归和有界误差估计。虽然大多数作品集中在局部优化算法没有全局最优性保证或保证有效，只有在限制条件下，所提出的方法总是产生一个解决方案与证书的全局最优性。这种方法依赖于一个分支定界策略，我们设计的下限，可以有效地计算。为了获得可扩展的算法相对于数据的数量，我们直接优化模型参数在一个连续的优化设置，而不涉及整数变量。数值实验表明，所提出的算法提供了一个更高的精度比凸松弛与合理的计算负担的混合系统辨识。此外，我们讨论了有界误差估计是如何与鲁棒估计的存在下的离群值和稀疏噪声下的精确恢复，我们也得到了有前途的数值结果。
2017-11-23 cs.LG stat.ML
Private Sketches for Linear Regression
Department of Computer Science and Engineering（计算机科学与工程系）；Indian Institute of Technology Gandhinagar（印度理工学院甘地纳格尔）；Boston University（波士顿大学）
本文提出通过私有草图方法实现差分隐私保护的线性回归，通过草图-求解范式提高计算效率并保证隐私安全。
2025-11-28 cs.LG stat.ML
DP-REC: Private & Communication-Efficient Federated Learning
Qualcomm AI Research（高通人工智能研究院）
隐私和通信效率是神经网络联邦训练中的重要挑战，将它们结合起来仍然是一个悬而未决的问题。在这项工作中，我们开发了一种方法，统一高度压缩通信和差分隐私（DP）。我们介绍了一种压缩技术的基础上相对熵编码（REC）的联邦设置。通过对REC的微小修改，我们得到了一个可证明的差分隐私学习算法，DP-REC，并展示了如何计算其隐私保证。我们的实验表明，DP-REC大大降低了通信成本，同时提供与最先进的隐私保证。
2021-12-07 cs.CR cs.LG stat.ML
Federated Learning with Compression: Unified Analysis and Sharp Guarantees
The Pennsylvania State University（宾夕法尼亚州立大学）；The University of Texas at Austin（得克萨斯大学奥斯汀分校）
在联邦学习中，通信成本通常是扩展分布式优化算法的关键瓶颈，以从具有潜在不可靠或有限通信和异构数据分布的数百万设备协作学习模型。两个显着的趋势，以处理联邦算法的通信开销是梯度压缩和定期通信的本地计算。尽管进行了许多尝试，但事实证明，描述这两种方法之间的关系是难以捉摸的。我们解决这个问题，提出了一套定期压缩（量化或稀疏化）通信算法，并分析其收敛特性，在同质和异构的本地数据分布设置。对于齐次设置，我们的分析，提高了现有的边界提供更严格的收敛速度强凸和非凸目标函数。为了减轻数据的异质性，我们引入了一个局部梯度跟踪计划，并获得尖锐的收敛速度，匹配最知名的通信复杂性，而不压缩凸，强凸，和非凸设置。我们补充了我们的理论结果，并证明了我们提出的方法的有效性，在现实世界的数据集上的几个实验。
2020-11-21 cs.DC cs.LG stat.ML
Measuring the Algorithmic Convergence of Randomized Ensembles: The Regression Setting
University of California, Davis（加州大学戴维斯分校）
当随机集成方法，如装袋和随机森林的实施，一个基本的问题出现了：是合奏足够大？特别是，从业者希望严格保证给定的合奏将执行几乎以及理想的无限合奏（在相同的数据上训练）。本文的目的是在回归的背景下开发一种解决这个问题的自助方法-这补充了我们在分类背景下的配套论文（Lopes 2019）。与分类设置相反，本文表明，在弱得多的假设下，可以建立所提出的自举的理论保证。此外，我们说明了该方法的灵活性，显示它可以适应于测量算法的收敛变量的选择。最后，我们提供的数值结果表明，该方法在一系列的情况下工作良好。
2019-08-04 cs.LG math.ST stat.ME
Privacy Amplification Through Synthetic Data: Insights from Linear Regression
Craft AI；Université de Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；Université de Montpellier（蒙彼利埃大学）；INSERM（法国国家健康与医学研究院）
本文通过线性回归框架研究合成数据的隐私放大效应，证明对手控制种子时单点合成数据可泄露与模型同等信息，而随机输入生成有限合成数据点则能放大隐私，为推导更一般界限奠定基础。
2025-06-05 cs.CR cs.LG stat.ML
Distribution-Free Robust Linear Regression
CREST（经济与统计研究中心）；ENSAE（国立统计与经济管理学院）；Institut Polytechnique de Paris（巴黎理工学院）；University of Oxford（牛津大学）；ETH Zürich（苏黎世联邦理工学院）
我们研究随机设计线性回归，没有假设协变量的分布和重尾响应变量。在这个分布的回归设置，我们表明，有界的条件二阶矩的响应给定的协变量是一个充要条件实现非平凡的保证。作为一个起点，我们证明了一个最佳版本的经典的期望范围内截断最小二乘估计由于Györfi，科勒，Krzyzyzyak，和步行。然而，我们发现，尽管它的最佳预期性能，这个过程失败的概率为常数的一些分布。然后，结合截断最小二乘，中位数的方法，和聚集理论的思想，我们构造了一个非线性估计实现超额风险的顺序$d/n$与一个最佳的次指数尾部。虽然现有的重尾分布的线性回归的方法集中在适当的估计，返回线性函数，我们强调，我们的程序是必要的不适当的分布自由设置实现非平凡的保证。
2021-10-21 cs.LG math.ST stat.ML
Quantile Regression by Dyadic CART
在本文中，我们提出并研究了Donoho（1997）的二进分类和回归树（DCART）估计的一个版本（固定设计）分位数回归在一般维度。我们把这个估计量称为QDCART估计量。就像平均回归版本，我们表明，a）一个快速的动态规划为基础的算法与计算复杂性$O(N \log N)$存在用于计算QDCART估计和b）预言风险界（权衡平方误差和真实信号的复杂性参数）持有的QDCART估计。这个预言的风险界，然后让我们证明，QDCART估计享有自适应率最优估计保证分段常数和有界变差函数类。在现有的结果相比，DCART估计需要亚高斯的误差分布，我们的估计保证举行，我们不需要任何限制性的尾部衰减假设的误差分布。例如，即使当误差分布没有一阶矩，如柯西分布，我们的结果仍然成立。除了二元CART方法，我们还考虑了其他变体方法，例如Chatterjee和Goswami（2019）中介绍的最优回归树（ORT）估计量。特别是，我们还扩展了ORT估计的分位数设置，并建立它享有类似的保证。因此，本文将这些基于全局最优回归树的方法的范围扩展到适用于重尾数据。然后，我们进行了大量的数值模拟和真实数据，说明所提出的方法的实用性。
2021-10-16 math.ST stat.ME stat.TH
Distributed Nonparametric Estimation under Communication Constraints
在大数据时代，需要将非常大的数据集拆分到多个计算节点，并使用分布式数据构建估计器。当设计分布式估计器时，希望最小化网络上的通信量，因为与单个计算机中的计算相比，计算机之间的传输是缓慢的。我们的工作提供了一个一般的框架，了解通信约束下的非参数问题的分布估计的行为。我们提供了广泛的一类模型的结果，超越了占主导地位的文献的高斯框架。作为具体的例子，我们给出了通信约束下的分布回归、密度估计、分类、Poisson回归和波动率估计模型的极大极小下界和匹配上界。为了帮助这一点，我们提供了充分条件，可以很容易地验证在我们所有的例子。
2022-04-21 math.ST stat.ML stat.TH
BlinkML: Efficient Maximum Likelihood Estimation with Probabilistic Guarantees
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；Institute for Clarity in Documentation（文档清晰化研究所）；Brookhaven Laboratories（布鲁克海文实验室）；NASA Ames Research Center（美国国家航空航天局艾姆斯研究中心）；Palmer Research Laboratories（帕尔默研究实验室）；Inria Paris-Rocquencourt（法国国家信息与自动化研究所巴黎-罗克库尔中心）；Rajiv Gandhi University（拉吉夫·甘地大学）；Tsinghua University（清华大学）
数据集数量的不断增加使得训练机器学习（ML）模型成为企业的主要计算成本。考虑到模型和参数调整的迭代性质，许多分析师在其分析的初始阶段使用其整个数据的小样本来做出快速决策（例如，使用什么特征或超参数）并且仅在稍后阶段使用整个数据集（即，当它们收敛到特定模型时）。然而，这种采样是以特别的方式执行的。大多数从业者不能精确地捕捉采样对其模型质量的影响，并最终在调优阶段对其决策过程的影响。此外，如果没有对采样操作符的系统支持，许多优化和重用机会就会丢失。在本文中，我们介绍了BlinkML，一个快速，质量保证的ML训练系统。BlinkML允许用户进行错误计算权衡：而不是在他们的完整数据上训练模型（即，完整模型），BlinkML可以使用样本快速训练具有质量保证的近似模型。质量保证确保近似模型以高概率做出与完整模型相同的预测。BlinkML目前支持依赖于最大似然估计（MLE）的任何ML模型，包括广义线性模型（例如，线性回归、逻辑回归、最大熵分类器、泊松回归）以及PPCA（概率主成分分析）。我们的实验表明，BlinkML可以将大规模ML任务的训练速度提高6.26 - 629倍，同时保证与完整模型相同的预测，概率为95%。
2018-12-26 cs.DB cs.LG stat.ML
Differentially Private (Gradient) Expectation Maximization Algorithm with Statistical Guarantees
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；University of Houston（休斯顿大学）；Rutgers University（罗格斯大学）；State University of New York at Buffalo（纽约州立大学布法罗分校）
（梯度）期望最大化（EM）是一种广泛使用的算法，用于估计混合模型或不完全数据问题的最大似然。这种流行技术面临的一个主要挑战是如何有效地保护敏感数据的隐私。以前对这个问题的研究已经导致发现了一些差分私有（DP）算法（梯度）EM。然而，与非私有情况不同，现有技术尚不能提供有限样本的统计保证。为了解决这个问题，我们在本文中提出的第一个DP版本的（梯度）EM算法的统计保证。此外，我们将我们的一般框架应用于三个典型模型：高斯混合模型（GMM），混合回归模型（MRM）和缺失协变量线性回归（RMC）。具体来说，对于DP模型中的GMM，我们的估计误差在某些情况下接近最优。对于其他两个模型，我们提供了第一个有限样本的统计保证。我们的理论得到了充分的数值实验的支持。
2022-01-16 cs.CR cs.LG stat.ML
Localized Conformal Multi-Quantile Regression
Department of Biostatistics, Georgetown University（乔治城大学生物统计学系）
本文提出LCMQR框架，结合多分位信息与核定位，构建高效适应性预测区间，并通过GC-LCMQR实现组级覆盖，提升预测效率与有效性。
2025-11-30 cs.AI cs.LG stat.ME
Decentralized Sparse Linear Regression via Gradient-Tracking: Linear Convergence and Statistical Guarantees
Texas A&M University（德克萨斯农工大学）；Purdue University（普渡大学）；The Pennsylvania State University（宾夕法尼亚州立大学）；The University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文研究去中心化网络上的稀疏线性回归，提出基于投影梯度追踪的分布式算法，证明其在高维标度下以线性速率收敛并达到集中式统计精度，同时揭示了统计效率、网络连通性与收敛速率之间的关系。
2024-12-26 cs.LG math.OC math.ST
Understanding the Statistical Accuracy-Communication Trade-off in Personalized Federated Learning with Minimax Guarantees
本文研究了个性化联邦学习中统计准确性与通信的权衡，定量刻画了个性化程度对样本与算法效率的影响，提供了选择个性化程度的理论见解，并证明了广泛研究的PFL公式的minimax最优性。
2025-06-01 cs.DC cs.LG math.ST
D2P-Fed: Differentially Private Federated Learning With Efficient Communication
University of California, Berkeley（加州大学伯克利分校）；Virginia Tech（弗吉尼亚理工大学）
在本文中，我们提出了基于离散高斯差分隐私联邦学习（D2 P-Fed），一个统一的计划，以实现差分隐私（DP）和联邦学习（FL）的通信效率。特别地，与仅兼顾这两个方面的先前工作相比，D2 P-Fed提供了更强的隐私保证、更好的可组合性和更小的通信成本。其核心思想是将离散高斯噪声应用于私有数据传输。我们提供了完整的分析的隐私保障，通信成本和收敛速度的D2 P-Fed。我们在INFIMNIST和CIFAR 10上评估了D2 P-Fed。结果表明，D2 P-Fed在模型精度方面比最先进的模型高出4.7%至13.0%，同时节省了三分之一的通信成本。
2021-01-02 cs.CR cs.LG stat.ME
Confidence Intervals for Algorithmic Leveraging in Linear Regression
大数据时代已经产生了分析和存储计算成本高昂的数据集。数学杠杆提出我们从原始数据集中采样观察结果以生成代表性数据集，然后对代表性数据集进行分析。在本文中，我们提出了有效的算法，为每个算法利用估计的回归系数，渐近覆盖保证有限样本置信区间。在模拟中，我们根据经验确认置信区间具有期望的覆盖概率，而自举置信区间可能没有。
2018-03-10 stat.AP stat.ML
Heterogeneous Overdispersed Count Data Regressions via Double Penalized Estimations
本文研究了非均匀过度分散计数数据的双正则化$\ell_1$的非渐近性质。在限制特征值条件下，利用经验过程的集中不等式，首次证明了两个偏回归系数的Lasso估计的预言不等式。此外，由预言不等式导出的估计量的相合性和收敛速度是进一步统计推断的理论保证。最后，仿真和实际数据分析表明，新方法是有效的。
2022-02-07 econ.EM math.ST stat.ME
Robust Reduced Rank Regression
在高维多元回归问题中，对系数矩阵进行低秩处理可以有效地降低维数，极大地方便了参数估计和模型解释。然而，常用的降秩方法是敏感的数据损坏，因为响应变量和预测变量之间的低秩相关结构很容易被离群值扭曲。我们提出了一个强大的降秩回归方法的联合建模和离群点检测。该问题被表述为具有稀疏均值漂移参数化的正则化多元回归，它概括和统一了一些流行的鲁棒多元方法。一个有效的阈值为基础的迭代过程中开发的优化。我们证明了该算法是保证收敛的，并且在正则条件下产生的坐标方向极小点是统计准确的。我们的理论研究集中在非渐近鲁棒分析，这表明联合降秩和离群值检测导致提高预测精度。特别是，我们发现，redescending $ψ$ -功能，基本上可以达到最小最大最优的差错率，并在一些挑战性较小的问题，凸正则化保证同样低的差错率。所提出的方法的性能进行了检查，通过模拟研究和实际数据的例子。
2017-07-15 math.ST stat.AP stat.ME
Conformalized Unconditional Quantile Regression
UC Berkeley（加州大学伯克利分校）；MIT（麻省理工学院）
本文提出一种结合保形预测与无条件分位数回归的预测推断程序，通过拟合重新中心化影响函数的机器学习模型，生成具有局部频率覆盖保证的自适应预测区间，有效适应异方差性并在效率上具竞争力。
2023-04-04 cs.LG stat.ME
SwiftAgg: Communication-Efficient and Dropout-Resistant Secure Aggregation for Federated Learning with Worst-Case Security Guarantees
Sharif University of Technology（谢里夫理工大学）；Technische Universität Berlin（柏林工业大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）
我们提出了SwiftAgg，一种新的安全聚合协议的联邦学习系统，中央服务器聚合本地模型的$N$分布式用户，每个大小$L$，训练他们的本地数据，在隐私保护的方式。与最先进的安全聚合协议相比，SwiftAgg在不影响安全性的情况下显著降低了通信开销。具体地说，在最多$D$退出用户的情况下，SwiftAgg实现了$(T+1)L$的用户到服务器的通信负载和高达$(N-1)(T+D+1)L$的用户到用户的通信负载，具有最坏情况的信息理论安全保证，以对抗可能与好奇服务器勾结的高达$T$的半诚实用户的任何子集。SwiftAgg的核心思想是将用户划分为大小为$D+T+1$的组，然后在第一阶段中，在每个组内执行秘密共享和个体模型的聚合，然后在第二阶段中，对跨组的用户的$D+T+1$序列执行模型聚合。如果序列中的用户在第二阶段退出，则序列的其余部分保持沉默。这种设计只允许一个子集的用户相互通信，并且只允许单个组中的用户直接与服务器通信，从而消除了1）跨用户的全对全通信网络;以及2）所有用户与服务器通信的要求，对于其他安全聚合协议。这有助于大幅削减系统的通信成本。
2022-04-29 cs.DC cs.IT cs.LG
Conformalized Quantile Regression
共形预测是一种构造预测区间的技术，该预测区间在有限样本中达到有效覆盖，而无需进行分布假设。尽管有这种吸引力，现有的保形方法可能是不必要的保守，因为它们形成的区间恒定或弱变化的长度跨越输入空间。在本文中，我们提出了一种新的方法，是完全适应异方差。它结合了共形预测和经典的分位数回归，继承了两者的优点。我们建立了有效覆盖的理论保证，并在流行的回归数据集上进行了广泛的实验。我们比较了保形分位数回归的效率，其他保形方法，表明我们的方法往往产生较短的间隔。
2019-05-08 stat.ME stat.ML
Differential Privacy Mechanisms in Neural Tangent Kernel Regression
Adobe Research（奥多比研究院）；The University of Hong Kong（香港大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Tsinghua University（清华大学）；The Simons Institute for the Theory of Computing at the University of California, Berkeley（加州大学伯克利分校西蒙斯理论计算研究所）
该研究聚焦AI训练数据隐私问题，在神经切线核（NTK）回归场景下研究差分隐私（DP），为该方法的隐私性和测试准确率提供可证明保障，并通过CIFAR10实验验证其在适度隐私预算下的良好准确率，是首个为NTK回归提供DP保障的工作。
2024-11-02 cs.AI cs.CR cs.LG
LoByITFL: Low Communication Secure and Private Federated Learning
School of Computation, Information and Technology（计算、信息与技术学院）
针对联邦学习中数据隐私与拜占庭安全难兼顾且现有方案牺牲隐私的问题，提出通信高效的LoByITFL方案，借助小型数据集、改进FLTrust和初始化阶段一次性可信第三方，实现信息论隐私与安全，兼具理论保证与收敛性实验验证。
2025-06-12 cs.CR cs.DC cs.IT
Finite Sample Analysis of Distribution-Free Confidence Ellipsoids for Linear Regression
本文针对线性回归，分析无分布符号扰动和（SPS）椭球外逼近算法，建立其置信椭球尺寸的非渐近上界，证明体积以最优速率减小，并通过实验验证理论界与经验结果的差异。
2025-07-09 eess.SP math.ST stat.ML
Quantum Differentially Private Sparse Regression Learning
The University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）；Hon Hai Quantum Computing Research Center（鸿海量子计算研究中心）；University of Technology Sydney（悉尼科技大学）；SenseTime（商汤科技）
如果不能保证隐私，各种先进的量子算法的资格将受到质疑。为了填补这一知识空白，我们设计了一个有效的量子差分私有（QDP）Lasso估计器来解决稀疏回归任务。具体地说，给定$N$ $d$维数据点与$N\ll d$，我们首先证明了最佳的经典和量子非私有Lasso需要$Ω(N+d)$和$Ω(\sqrt{N}+\sqrt{d})$运行时，分别。我们接下来证明QDP Lasso的运行时成本是\textit{dimension independent}，即，$O(N^{5/2})$，这意味着QDP Lasso可以比最佳经典和量子非私有Lasso更快。最后，我们证明了QDP Lasso在隐私保证的情况下达到了接近最优的效用界$\tilde{O}(N^{-2/3})$，并讨论了在近期量子芯片上实现它的机会。
2022-05-30 cs.LG quant-ph
High-Dimensional Composite Quantile Regression: Optimal Statistical Guarantees and Fast Algorithms
针对高维重尾误差回归，提出卷积平滑复合分位数回归结合迭代重加权ℓ1正则化，采用梯度算法实现近最优统计保证和显著计算加速。
2023-10-12 stat.ME
Multi Linear Regression applied to Communications systems Analysis
本文开发了一个传播模型的电磁信号发射频率为20和40 MHz的厄瓜多尔丛林。预计这项研究结束时获得的结果将用于制作无线通信技术的完整覆盖图，这将优化武装部队在厄瓜多尔边境丛林开展行动的无线电频谱。找到的最终表达式是将接收功率（PRX）与确定Fresnell区（连通性）的几何形状的因素相关联的调整函数。由此产生的研究模型改善了商业软件中的模拟功率（PRX）和现场测量的无线传输样本之间的差异。该分析基于Longley-Rice提出的结果和方法。确定了Longley-Rice模型（LMR）计算的损失（LLR）与田间实测值之间的差异的非正态性，并对LMR的表达式增加了修正系数。随后，将数学表达式线性化以实现多元线性平差技术。替代配方的线性回归模型进行了研究，并比较其拟合优度;所有这些技术都从理论上介绍。最后，对所建立模型的误差进行了分析。利用MATLAB和SPSS等数学建模软件进行了公式推导和数值分析，并介绍了其算法。最后，我们提出了未来的研究路线，使全球了解的电信技术在恶劣环境下的行为。
2020-02-24 eess.SP stat.AP
Classification as Direction Recovery: Improved Guarantees via Scale Invariance
MIT（麻省理工学院）
二进制分类的现代算法依赖于一个中间回归问题的计算易处理性。在本文中，我们建立了分类和回归之间的几何区别，使这两种设置中的风险更精确地相关。特别是，我们注意到，分类风险只取决于回归量的方向，我们利用这种规模不变性，以改善现有的保证，如何分类风险是有界的风险在中间回归问题。建立在这些保证，我们的分析使得有可能更准确地相互比较算法，并建议将分类视为唯一的回归，而不是它的副产品。虽然回归的目的是收敛到位置的条件期望函数，我们建议分类的目的应该是恢复其方向。
2022-05-17 cs.LG stat.ML
Communication-efficient sparse regression: a one-shot approach
Stanford University（斯坦福大学）；Dartmouth College（达特茅斯学院）
我们设计了一个一次性的方法，分布稀疏回归在高维设置。关键思想是平均“去偏”或“去偏”的套索估计。我们表明，只要数据集没有被分割到太多的机器上，这种方法就能以与套索相同的速度收敛。我们还将该方法推广到广义线性模型。
2015-08-11 cs.LG stat.ML
