Error Bounds For Gaussian Process Regression Under Bounded Support Noise With Applications To Safety Certification
University of Colorado Boulder(科罗拉多大学博尔德分校);Delft University of Technology(代尔夫特理工大学)
本文针对有界支撑噪声下的高斯过程回归(GPR),利用集中不等式和RKHS复杂度假设推导出概率与确定性误差界,并证明其在深度核学习(DKL)中表现优异,结合随机障碍函数显著提升了未知动态系统的安全概率。
2024-12-19 cs.LG stat.ML
Application of the Cox Regression Model for Analysis of Railway Safety Performance
不仅在铁路,对运营安全绩效的评估也是一项重要任务。例如,重要的是要及早识别偏差,特别是安全性能的可能恶化,以便及早采取纠正措施。另一方面,评估应公正客观,并依靠可靠和经过验证的统计方法。这一任务的一个流行手段是趋势分析。本文定义了一种趋势分析模型,并对不同的趋势分析方法进行了比较. G.经典和贝叶斯方法,对真实数据。实例表明,特别是对于小样本量,e。G.摘要在对铁路运营商进行评估时,贝叶斯先验对评估结果有重要影响。
2020-09-01 stat.AP
Uniform Consistency in Nonparametric Mixture Models
本文研究了非参数混合模型以及密切相关的混合回归(也称为混合回归)模型的一致相合性,其中允许回归函数是非参数的,并且假设误差分布是高斯密度的卷积。我们在一般条件下构造一致一致性估计,同时突出了几个痛点,在扩展现有的逐点一致性结果,以统一的结果。由此产生的分析结果是不平凡的,并在此过程中开发了一些新的技术工具。在混合回归的情况下,我们证明了$L^1$收敛的回归函数,同时允许组件回归函数相交任意经常,这提出了额外的技术挑战。我们还考虑一般(即非卷积)非参数混合的推广。
2022-12-28 math.ST stat.ML stat.TH
Gaussian Process Uniform Error Bounds with Unknown Hyperparameters for Safety-Critical Applications
Technical University of Munich(慕尼黑工业大学)
高斯过程已经成为各种安全关键设置的有前途的工具,因为后验方差可以用来直接估计模型误差和量化风险。然而,用于安全关键设置的最新技术取决于内核超参数已知的假设,这通常不适用。为了缓解这一问题,我们在未知超参数的设置中引入了鲁棒高斯过程均匀误差界。我们的方法在超参数空间中计算置信区域,这使我们能够获得具有任意超参数的高斯过程的模型误差的概率上界。我们不需要先验地知道超参数的任何界限,这是相关工作中常见的假设。相反,我们能够以直观的方式从数据中推导出边界。我们还采用所提出的技术来获得性能保证一类基于学习的控制问题。实验表明,该边界的性能显着优于香草和完全贝叶斯高斯过程。
2022-07-20 cs.LG cs.RO cs.SY
Safe Active Learning for Multi-Output Gaussian Processes
Bosch Center for Artificial Intelligence(博世人工智能中心)
多输出回归问题是科学和工程中经常遇到的问题。特别是,多输出高斯过程已经成为一个有前途的工具,这些复杂的系统建模,因为它们可以利用固有的相关性,并提供可靠的不确定性估计。然而,在许多应用中,获取数据是昂贵的,并且可能会出现安全问题(例如机器人,工程)。提出了一种安全的多输出高斯过程回归的主动学习方法。该方法查询最具信息性的数据或输出,同时考虑回归量和安全约束之间的相关性。我们证明了我们的方法的有效性,通过提供理论分析,并通过模拟数据集和现实世界的工程数据集上展示的实证结果。在所有数据集上,与竞争对手相比,我们的方法显示出更好的收敛性。
2022-03-28 cs.LG stat.ML
Deriving Proper Uniform Priors for Regression Coefficients, Part II
在贝叶斯模型选择问题中,通常应避免不适当的先验,这是一个相对众所周知的事实。本文导出了回归系数的一个适当的、简约的一致先验。然后,我们使用此先验来推导所考虑的回归模型的相应证据值。通过这些证据值,可以计算竞争回归模型的后验概率。
2013-08-05 stat.ME
Safeguarded Dynamic Label Regression for Generalized Noisy Supervision
使用噪声标签学习,旨在减少精确注释的昂贵劳动,在大数据时代已经势在必行。以前的基于噪声过渡的方法已经取得了可喜的成果,并提出了一个理论上的保证,在类条件噪声的情况下的性能。然而,这种类型的方法严重依赖于噪声过渡的准确预估,这通常是不切实际的。随后的改进通过Softmax层调整预估计以及训练进度。然而,Softmax层中的参数由于不适定的随机近似而被高度调整以用于脆弱的性能。为了解决这些问题,我们提出了一个潜在的类条件噪声模型(LCCN),自然嵌入贝叶斯框架下的噪声转换。通过将噪声过渡投影到Dirichlet分布空间中,学习被约束在基于整个数据集的单纯形上,而不是一些ad-hoc参数空间。然后,我们推导出一个动态标签回归方法LCCN迭代推断潜在的标签,随机训练分类器和建模的噪音。我们的方法保障了噪声转换的有界更新,避免了先前通过一批样本进行任意调整。我们进一步推广LCCN的开集噪声标签和半监督设置。我们用可控噪声数据集CIFAR-10和CIFAR-100以及不可知噪声数据集Clothing 1 M和WebVision 17进行了广泛的实验。实验结果表明,该模型优于几个国家的最先进的方法。
2021-08-21 cs.CV cs.LG stat.ML
Gaussian process regression can turn non-uniform and undersampled diffusion MRI data into diffusion spectrum imaging
Elekta Instrument AB(医科达仪器公司)
我们建议使用高斯过程回归,以准确地估计在q空间中的任意位置的扩散MRI信号。通过在网格上估计信号,我们可以进行合成扩散谱成像:通过逆傅里叶变换重建系综平均传播算子(EAP)。我们还提出了一种替代的重建方法,保证非负EAP整合到统一。在不同交叉角度下的两个高斯模型模拟数据上对重建结果进行了验证。此外,我们证明了非均匀采样的体内数据,该方法是远远优于线性插值,并允许一个激烈的欠采样的数据,只有一个微小的损失的准确性。我们设想的方法作为一个潜在的替代标准的扩散光谱成像,特别是当采集时间有限。
2016-11-09 cs.CV stat.AP stat.ML
Principled Drug-Drug Interaction Terms for Bayesian Logistic Regression Models of Drug Safety in Oncology Phase I Combination Trials
在肿瘤学中,评估药物组合的试验变得越来越普遍。虽然联合治疗带来了更大的疗效潜力,但它们也为确保药物安全性带来了独特的挑战。在药物组合的I期剂量递增试验中,基于模型的方法可以有效利用收集的信息,但模型需要考虑试验的复杂性:随着在给定试验中同时测试的药物数量越来越多,相互作用的适当建模变得越来越重要。原则上,我们可以使用来自多组测试不同组合的数据来联合估计药物组合的毒性。然而,在用于确保患者安全性的贝叶斯逻辑斯谛回归模型(BLRM)框架中对药物-药物相互作用进行建模时,这些努力突出了局限性。以前的模型要么不考虑由于拮抗毒性引起的非单调性,要么表现出指数压倒单个药物在剂量反应中的贡献的根本缺陷。当药物组合表现出拮抗毒性时,这特别导致问题,在这种情况下,随着剂量变得非常大,毒性概率变得非常小。受Paracelsus“剂量决定毒药”的直觉启发,我们提出了附加的约束条件,避免了这一缺陷,并提出了一个与这些约束条件兼容的改进的交互模型。我们创建了具有指导意义的数据场景,展示了这种更受约束的药物-药物相互作用模型在防止过度毒性剂量组合的进一步给药和拮抗药物毒性下更合理的剂量发现方面的改进行为。该模型现在可以在开源OncoBayes 2 R包中使用,该包为任意数量的药物和试验组实现了BLRM框架。
2023-02-22 stat.AP stat.ME
Bayesian shrinkage prediction for the regression problem
我们考虑贝叶斯收缩预测下的正态回归问题的频率Kullback-Leibler风险函数。首先,我们考虑均值未知和协方差已知的多元正态模型。当未知均值固定时,未来样本的协方差可能与训练样本不同。证明了如果协方差矩阵和未来协方差阵的先验分布是旋转不变的,则基于一致先验的贝叶斯预测分布优于基于一类先验的贝叶斯预测分布.然后,我们考虑一类先验的均值参数依赖于未来的协方差阵。有了这样的先验,我们可以构建一个贝叶斯预测分布优于基于一致先验。最后,将这一结果应用于正态线性回归模型中响应变量的预测,证明了在一致先验条件下,存在一个贝叶斯预测分布支配该分布。这些贝叶斯预测的极大极小性来自这些结果。
2007-01-21 math.ST stat.TH
A default prior for regression coefficients
当样本量不太小时,回归系数的M-估计量是近似正态且无偏的。这导致了熟悉的基于正态性的置信区间和p值的频率论推断。从贝叶斯的角度来看,使用(不适当的)均匀先验会产生匹配结果,在这个意义上,后验分位数与单侧置信界限一致。由于这个原因和其他各种原因,统一先验通常被认为是客观的或非信息性的。尽管如此,我们认为,统一的先验是不适合作为一个默认的先验推断的回归系数的背景下,生物医学和社会科学。我们建议更合适的缺省选择是均值为零且标准差等于M-估计量的标准误的正态分布。我们的建议基于两个论点。首先,我们表明,这种先验是非信息的回归系数的符号的推断。其次,我们表明,这一先验与MEDLINE数据库中50篇文章的荟萃分析一致。
2018-10-18 stat.AP stat.ME
Confidence sets for nonparametric wavelet regression
我们构造非参数置信集的回归函数使用小波是均匀的Besov球。我们认为阈值和调制估计的小波系数。通过证明由损失函数构造的主元过程一致收敛于均值为零的高斯过程,得到了置信集。反转该主元产生小波系数的置信集,并且由此我们获得回归曲线的泛函的置信集。
2005-05-30 math.ST stat.TH
Functional Uniform Priors for Nonlinear Modelling
本文研究了当统计模型的一个主要组成部分依赖于一个非线性函数时,求先验分布的问题。利用在一般度量空间中构造均匀分布的结果,我们提出了一个在非线性函数的函数形状空间中均匀分布的先验分布,然后通过逆变换得到原模型参数的先验分布.本文中考虑的主要应用是非线性回归,但这个想法可能会超出这种情况。对于非线性回归,这样构造的先验的优点是它们是参数化不变的,并且不违反似然原理,而不是参数或Jeffrey先验的均匀分布。通过一个真实的数据实例和模拟,在临床剂量探索试验中的非线性回归建模的背景下,证明了所提出的先验的效用。此外,建议的先验被用于计算最优贝叶斯设计。
2011-10-19 stat.CO stat.ME
Bayesian Mode Regression
与均值、分位数和方差一样,众数也是集中趋势和数据汇总的重要度量。许多实际问题往往集中在“在网络中的所有元素中,哪个元素(基因或文件或信号)出现得最频繁或最典型?".在这种情况下,模式回归提供了回归量如何影响条件模式的方便总结,并且完全不同于基于条件均值或条件分位数或条件方差的其他回归模型。一些推理方法已被用于模式回归,但没有一个是从贝叶斯的角度。本文介绍了贝叶斯模式回归,探索三种不同的方法。我们从一个参数贝叶斯模型,采用一个似然函数,是基于一个模式的均匀分布。结果表明,无论数据的原始分布如何,使用这种特殊的均匀分布是贝叶斯模式回归的一种非常自然和有效的方法。基于此参数似然的后验估计,即使在误设定下,也是一致的且渐近正态的。然后,我们开发了一个非参数贝叶斯模型,使用Dirichlet过程(DP)的混合模式均匀分布,最后,我们探索贝叶斯经验似然模式回归,将经验似然到贝叶斯框架。本文还证明了各种不适当的先验未知模型参数产生一个适当的联合后验。使用模拟数据集和真实数据集说明了所提出的方法。
2012-08-02 stat.AP stat.ME
Consistency of Bayes estimators of a binary regression function
非参数贝叶斯过程何时“过拟合”?为了阐明这个问题,我们详细考虑了二元回归问题,并建立了基于分层先验(称为均匀混合先验)的某类贝叶斯程序的频率一致性。这些定义如下:设$ν$为非负整数上的任何概率分布。为了从先前的$π^ν$对函数$f$进行采样,首先从$ν$对$m$进行采样,然后从从$[0,1]$到$[0,1]$的阶跃函数的集合中均匀地对$f$进行采样,所述阶跃函数恰好具有$m$跳跃(即,对所有$m$跳转位置和$m+1$函数值独立且均匀地采样)。主要结果表明,如果数据流是根据任意固定的、可测的二进制回归函数$f_0\not\equiv1/2$生成的,则获得了频率一致性:即对于任意具有无限支持度的$ν$,$π^ν$的后验集中在$f_0$的任意$L^1$邻域上.一个相关的大偏差问题的解决方案是一致性证明的核心。
2006-07-31 math.ST stat.TH
The TAP free energy for high-dimensional linear regression
本文推导了具有均匀球形先验和独立同分布的贝叶斯线性回归后验分布的对数归一化常数的变分表示。高斯设计我们在“比例”渐近制度下工作,其中观察的数量和特征的数量以比例的速度增长。这严格地建立了Thouless-Anderson-Palmer(TAP)近似所产生的自旋玻璃理论,并证明了一个猜想Krzakala等。(2014)在球面先验的特殊情况下。
2022-03-14 math.PR math.ST stat.ML
Convergence of Gaussian process regression: Optimality, robustness, and relationship with kernel ridge regression
在这项工作中,我们研究了高斯过程回归用于恢复基于噪声观测的函数。我们推导出高斯过程回归的误差上界和下界,可能误指定的相关函数。即使所施加的相关函数的平滑度超过真实的相关函数的平滑度并且采样方案是准均匀的,也可以获得最佳的收敛速度。作为副产品,我们也得到了收敛速度的核岭回归与错误指定的核函数,其中的基本真理是一个确定性的功能。高斯过程回归和核岭回归的收敛速度是紧密联系的,这与高斯过程的样本路径和相应的再生核希尔伯特空间之间的关系是一致的。
2022-07-19 math.ST stat.TH
Optimal designs for nonlinear regression models with respect to non-informative priors
在非线性回归模型中,费舍尔信息依赖于模型的参数。因此,最大化信息矩阵的某些功能的最优设计不能直接实现,但需要一些关于未知参数的初步知识。贝叶斯最优性准则为这个问题提供了一个有吸引力的解决方案。这些标准敏感地依赖于模型参数的先验分布的合理规范,这可能不是在所有应用中都可用的。本文研究了无信息先验分布下的贝叶斯最优性准则。特别是,我们研究了Jeffreys和Berger-Bernardo先验,其相应的最优性准则不一定是凹的。几个例子进行了研究,最优设计相对于新的标准进行计算和比较贝叶斯最优设计的基础上统一和功能统一的先验。
2013-11-04 stat.ME
Improving the Performance of Bayesian Logistic Regression Model with Overdose Control in Oncology Dose-Finding Studies
准确确定的最大耐受剂量(MTD)是肿瘤药物开发后续阶段成功的基石。贝叶斯逻辑斯谛回归模型(BLRM)是一种流行的和通用的基于模型的剂量探索设计。然而,据报道,采用原始过量控制策略的BLRM是安全的,但“过于保守”。在这篇手稿中,我们调查了保守性的原因,并指出一个主要原因可能是缺乏适当的剂量不足控制。我们提出了平衡过量和剂量不足控制的设计,以提高原始BLRM的性能。仿真结果表明,新的设计具有更好的准确性和治疗更多的患者在MTD。
2021-05-14 stat.ME
Finite sample posterior concentration in high-dimensional regression
我们研究了具有$p\gg n$的高维贝叶斯高斯线性回归模型的后验分布的行为,其中$p$是预测变量的数量,$n$是样本量。我们的重点是获得定量的有限样本范围,确保足够的后验概率分配在真正的回归系数向量,$β^0$,具有高概率的邻域。我们假设$β^0$是近似$S$ -稀疏的,并获得普遍的界限,这提供了洞察的作用,在控制浓度的后验。基于这些有限的样本范围,我们研究了几个例子的隐含渐近收缩率,表明稀疏结构和重尾收缩先验表现出快速的收缩率。我们还证明了一个更强的结果适用于均匀高斯\footnote [2]{一个二元指标向量($γ$)是从具有精确$S$的二元序列集合上的均匀分布中提取的,然后每个$β_i\sim\mathcal{N}(0,V^2)$如果$γ_i=1$和$β_i=0$如果$γ_i=0$。}前科这些类型的有限样本范围提供了指导方针,设计和评估高维问题的先验。
2014-01-03 math.ST stat.TH
Safe Screening for Logistic Regression with $\ell_0$-$\ell_2$ Regularization
Department of Indutrial Engineering and Operations Research, University of California, Berkeley(加州大学伯克利分校工业工程与运筹学系)
在逻辑斯谛回归中,通常希望利用正则化来促进稀疏解,特别是对于与可用标签相比具有大量特征的问题。在本文中,我们提出了筛选规则,安全地删除功能的逻辑斯谛回归与$\ell_0-\ell_2$正则化解决问题之前。所提出的安全筛选规则是基于逻辑斯谛回归问题的强圆锥松弛的Fenchel对偶的下界。真实和合成数据的数值实验表明,高比例的功能,可以有效地和安全地删除先验,从而大大加快计算。
2022-02-01 cs.LG stat.ME stat.ML
Accelerating Non-Negative and Bounded-Variable Linear Regression Algorithms with Safe Screening
INRAE(法国国家农业食品与环境研究院);CNRS(法国国家科学研究中心);University of Toulouse(图卢兹大学)
本文提出一种基于安全筛选的加速技术,通过在迭代中识别饱和坐标来加速非负和有界变量线性回归求解器,并提供理论保证和实验验证。
2023-06-26 cs.LG stat.ML
Safe Screening Rules for $\ell_0$-Regression
University of California, Berkeley(加州大学伯克利分校);University of Southern California(南加州大学)
我们给出了安全的筛选规则,以消除回归与$\ell_0$正则化或基数约束的变量。这些规则是基于保证一个功能可能会或可能不会选择在一个最佳的解决方案。筛选规则可以在线性时间内从凸松弛解计算,而无需求解$\ell_0$优化问题。因此,它们可以在预处理步骤中使用,以安全地从先验考虑中删除变量。对真实数据和合成数据的数值实验表明,平均而言,76%的变量可以被固定到它们的最优值,因此,大大减少了优化的计算负担。因此,建议的快速和有效的筛选规则扩展的范围$\ell_0$-回归算法更大的数据集。
2020-04-19 cs.LG stat.ML
Non-Asymptotic Uniform Rates of Consistency for k-NN Regression
Google Research(谷歌研究院)
我们推导出$k$ -NN回归的一致性的高概率有限样本均匀速率,在温和的假设下,最佳的对数因子。此外,我们表明,$k$ -NN回归自动适应一个未知的较低的内在维数。然后,我们应用$k$ -NN回归率建立新的结果估计的水平集和全局最大值的一个函数从噪声的观察。
2018-11-03 cs.LG stat.ML
Fast OSCAR and OWL Regression via Safe Screening Rules
University of Pittsburgh(匹兹堡大学);JD Finance America Corporation(京东金融美国公司)
有序加权$L_{1}$(OWL)正则化回归是一种新的高维稀疏学习回归分析方法。近似梯度方法被用作解决OWL回归的标准方法。然而,它仍然是一个紧迫的问题,以解决OWL回归由于相当大的计算成本和内存使用时,功能或样本大小是大的。本文提出了OWL回归的第一个安全筛选规则,通过迭代策略探索具有未知序结构的原始解的序,克服了处理不可分离正则化子的困难。该方法有效地避免了在学习过程中对系数必须为零的参数进行更新。更重要的是,建议的筛选规则可以很容易地应用到标准和随机邻近梯度方法。此外,我们证明了我们的筛选规则的算法是保证有相同的结果与原来的算法。在各种数据集上的实验结果表明,与现有的竞争算法相比,我们的筛选规则导致了显着的计算增益,而没有任何准确性的损失。
2021-10-19 cs.LG stat.ME stat.ML
A Safe Screening Rule for Sparse Logistic Regression
Computer Science and Engineering, Arizona State University, USA(亚利桑那州立大学计算机科学与工程学院,美国);SAS Institute Inc., USA(美国SAS研究所)
l1正则化逻辑回归(或稀疏逻辑回归)是一种广泛使用的同时进行分类和特征选择的方法。虽然最近的许多努力已经致力于其有效的实施,其应用到高维数据仍然构成了重大挑战。在本文中,我们提出了一种快速有效的稀疏逻辑回归筛选规则(Slores)来识别解决方案向量中的0分量,这可能会导致要进入优化的特征数量大幅减少。Slores的一个吸引人的特点是,数据集只需要扫描一次就可以运行筛选,与解决稀疏逻辑回归问题相比,其计算成本可以忽略不计。此外,Slores是独立的稀疏逻辑回归的求解器,因此Slores可以与任何现有的求解器集成,以提高效率。我们已经评估了Slores使用高维数据集从不同的应用程序。大量的实验结果表明,Slores优于现有的国家的最先进的筛选规则和解决稀疏逻辑回归的效率提高了一个数量级。
2013-07-18 cs.LG stat.ML
FAWAC: Feasibility Informed Advantage Weighted Regression for Persistent Safety in Offline Reinforcement Learning
Iowa State University(爱荷华州立大学)
针对离线强化学习中安全与性能难以平衡的问题,提出FAWAC方法,通过可行性条件约束策略更新并改进AWR算法,还提出诱惑性数据集处理策略,在标准基准上实现了安全与性能的有效平衡。
2024-12-12 cs.LG
Uniform convergence for Gaussian kernel ridge regression
本文首次证明固定超参数的高斯核岭回归在一致范数和L2范数下具有多项式收敛速率,填补理论空白,为非参数回归提供理论依据。
2025-09-11 cs.LG stat.ML
Work In Progress: Safety and Robustness Verification of Autoencoder-Based Regression Models using the NNV Tool
Vanderbilt University(范德堡大学)
这篇正在进行的论文介绍了基于自动编码器的回归神经网络(NN)模型的鲁棒性验证,遵循图像分类NN鲁棒性验证的最新方法。尽管在开发各种深度神经网络(DNN)的安全性和鲁棒性验证方法方面正在取得进展,但尚未考虑自动编码器模型的鲁棒性检查。我们探索了这一开放的研究空间,并通过扩展此类自动编码器网络的现有鲁棒性分析方法来检查弥合现有DNN验证方法之间差距的方法。虽然使用自动编码器的分类模型或多或少地类似于图像分类NN,但回归模型的功能明显不同。我们介绍了两种基于自动编码器的回归模型的鲁棒性评估指标的定义,具体来说,百分比鲁棒性和非鲁棒性等级。我们还修改了现有的Imagestar方法,调整变量以照顾回归网络的特定输入类型。该方法被实现为NNV的扩展,然后在数据集上应用和评估,并使用相同的数据集进行案例研究实验。根据作者的理解,这篇正在进行的论文是第一篇展示基于自动编码器的NN的可能可达性分析的论文。
2022-07-14 cs.AI cs.LG
Non-linearity identification for construction workers' personality-safety behaviour predictive relationship using neural network and linear regression modelling
工人的安全行为的预测可以帮助识别谁打算采取不安全的行为,并在管理实践的设计,以尽量减少事故的发生是有用的脆弱工人。最新的文献证明,人口内部的多样性导致人们在工作场所的预期安全行为,人们发现这些行为因个人的个性特征而异。在这项研究中,一个创新的预测模型,采用神经网络算法,数值模拟建筑工人的人格特质和他们的预期安全行为之间的预测关系。神经网络的数据驱动性质使得能够对关系进行可靠的估计,这使得本研究能够发现关系中存在非线性效应。这项研究具有实际意义。开发的神经网络被证明具有非常令人满意的预测准确性,因此可能有助于协助项目决策者评估工人在工作场所进行不安全行为的倾向。
2020-08-26 cs.LG cs.OH stat.ML
Safety-Aware Reinforcement Learning for Control via Risk-Sensitive Action-Value Iteration and Quantile Regression
Institute for Systems Research(系统研究 institute);University of Maryland(马里兰大学);College Park(学院 park)
本文提出一种基于风险敏感动作价值迭代和分位数回归的安全感知强化学习算法,通过整合条件价值在风险(CVaR)来确保安全,同时提供理论保证和实验验证,提升动态环境中的安全性能。
2025-12-07 cs.LG cs.RO
Multi-task Linear Regression without Eigenvalue Lower Bounds: Adaptivity, Robustness, and Safety
Columbia(哥伦比亚大学)
针对存在污染任务的多任务线性回归问题,提出基于矩阵加权范数正则化的估计器,引入相对平衡条件,在弱谱假设下达到与现有方法相当的预测误差界,并具备安全性保证。
2026-05-29 cs.LG stat.ME stat.ML
Query Complexity of Least Absolute Deviation Regression via Robust Uniform Convergence
George Mason University(乔治梅森大学);University of California, Berkeley(加州大学伯克利分校)
考虑一个回归问题,其中学习器被给予大量的$d$维数据点,但只能查询实值标签的一个小子集。需要多少次查询才能获得最佳值的$1+ε$相对误差近似值?虽然这个问题已被广泛研究的最小二乘回归,很少有人知道其他损失。一个重要的例子是最小绝对偏差回归($\ell_1$回归),与最小二乘法相比,它对离群值具有更好的鲁棒性。我们开发了一个新的框架来分析回归问题中的重要性采样方法,这使我们能够证明最小一乘偏差回归的查询复杂性是$Θ(d/ε^2)$的对数因子。我们进一步扩展我们的技术,以显示查询复杂性的第一个界限的任何$\ell_p$损失与$p\in(1,2)$。在我们的分析中,作为一个关键的新颖性,我们引入了鲁棒一致收敛的概念,这是一个新的近似保证的经验损失。虽然它受到统计学习中的一致收敛的启发,但我们的方法还包含了一个校正项,以避免由于离群值而导致的不必要的方差。这可以被看作是统计学习理论和随机优化中的方差缩减技术之间的新联系,这应该是独立的兴趣。
2021-06-28 cs.DS cs.LG
GAP Safe screening rules for sparse multi-task and multi-class models
CNRS(法国国家科学研究中心)
高维回归受益于稀疏促进正则化。筛选规则通过忽略优化中的一些变量来利用解的已知稀疏性,从而加快求解器的速度。当该过程被证明不会错误地丢弃特征时,该规则被称为\emph{safe}。本文给出了用$\ell_1$和$\ell_1/\ell_2$范数正则化的广义线性模型的新的安全规则。该规则是基于对偶间隙计算和球形安全区域的直径收敛到零。这允许安全地丢弃更多的变量,特别是对于低正则化参数。GAP安全规则可以处理任何迭代求解器,我们展示了它在多任务Lasso,二进制和多项式逻辑斯谛回归的坐标下降上的性能,证明了所有测试数据集相对于以前的安全规则的显着速度。
2015-11-18 cs.LG math.OC stat.CO
Online Infinite-Dimensional Regression: Learning Linear Operators
University of Michigan(密歇根大学)
本文研究无限维 Hilbert 空间间线性算子的在线平方损失回归,刻画 p-Schatten 范数有界类的可学习性,并证明算子范数有界类不可学及一致收敛与可学习性的分离。
2024-01-25 cs.LG stat.ML
On Uniform Error Bounds for Kernel Regression under Non-Gaussian Noise
Chair of Automatic Control Engineering, Department of Computer Engineering, Technical University of Munich(自动控制工程学系,计算机工程系,慕尼黑技术大学);Institute of Control Systems, Hamburg University of Technology(控制系统研究所,汉堡技术大学);Department of Electrical and Computer Engineering, National University of Singapore(电子与计算机工程系,新加坡国立大学)
本文提出非渐近的核回归统一误差界,适用于广泛非高斯分布,包括亚高斯、有界、亚指数和方差/矩有界的噪声,并在安全控制中验证了界的有效性。
2026-05-10 cs.LG stat.ML
Gap Safe screening rules for sparsity enforcing penalties
在高维回归设置中,稀疏强制惩罚已被证明有助于正则化数据拟合项。最近引入的一种称为筛选规则的技术建议忽略优化中的一些变量,利用解决方案的预期稀疏性,从而导致更快的求解器。当过程保证不会错误地丢弃变量时,这些规则被称为安全的。在这项工作中,我们提出了一个统一的框架,广义线性模型正则化与标准的稀疏执行处罚,如$\ell_1$或$\ell_1/\ell_2$规范。我们的技术允许安全地丢弃比以前认为的安全规则更多的变量,特别是对于低正则化参数。我们提出的间隙安全规则(所谓的,因为它们依赖于对偶间隙计算)可以应付任何迭代求解器,但特别适合(块)坐标下降方法。应用于许多标准学习任务,Lasso,稀疏组Lasso,多任务Lasso,二进制和多项式逻辑斯谛回归等,我们在所有测试数据集上报告了与先前提出的安全规则相比的显著加速。
2017-12-27 cs.LG math.OC stat.CO
Uniform regret bounds over $R^d$ for the sequential linear regression problem with the square loss
INRIA(法国国家信息与自动化研究所);ENS(巴黎高等师范学院);PSL Research University(巴黎文理研究大学);Institut de mathématiques de Toulouse(图卢兹数学研究所);Université Paul Sabatier(保罗·萨巴蒂埃大学);Laboratoire de mathématiques d’Orsay(奥赛数学实验室);Université Paris-Sud(巴黎第十一大学);CNRS(法国国家科学研究中心);Université Paris-Saclay(巴黎萨克雷大学)
本文考虑了任意确定性序列的在线线性回归的设定问题,并考虑了平方损失。我们对Bartlett等人(2015)设定的目标感兴趣:获得在所有竞争者向量上一致保持的遗憾界。当特征序列在游戏开始时已知时,他们提供了$2d B^2 \ln T + \mathcal{O}_T(1)$的封闭形式的后悔界限,其中$T$是回合数,$B$是观察结果的界限。相反,我们推导出的界限与最佳常数$1$在前面的$d B^2 \ln T$长期。在顺序显示的功能的情况下,我们还得到了一个渐进的遗憾界的$d B^2 \ln T$的任何个人序列的功能和有界的意见。我们所有的算法都是在线非线性岭回归预测器的变体,或者具有依赖于数据的正则化,或者几乎没有正则化。
2019-02-25 cs.LG math.ST stat.ML
Uniformly Safe RL with Objective Suppression for Multi-Constraint Safety-Critical Applications
University of Toronto(多伦多大学);Vector Institute(矢量研究所);Nuro Inc.(Nuro公司);Georgia Tech(佐治亚理工学院)
针对CMDP期望约束在长尾状态留下危险隐患的问题,提出UCMDP模型与目标抑制方法,在多约束安全关键领域显著减少约束违规并保持任务奖励。
2024-08-28 cs.AI cs.LG
When Can Safe Controllers Adapt? Information before Commitment
Boston University(波士顿大学)
研究安全自适应控制中安全约束是否允许有信息实验,定义预承诺信息为承诺前学习者可见定律间KL散度,通过因果约简得出有界预承诺信息会留预言机差距,在约束线性系统中建立障碍并证明特殊情况恢复及推导相关证书。
2026-07-21 cs.LG cs.SY eess.SY
Safe Feature Elimination for the LASSO and Sparse Supervised Learning Problems
提出一种快速方法,在LASSO问题中消除无关特征,显著减少运行时间,并可推广到一般l1惩罚凸问题。
2011-05-18 cs.LG cs.SY eess.SY
Self-Normalized Martingales and Uniform Regret Bounds for Linear Regression
MIT(麻省理工学院);University of Hong Kong(香港大学);UC Berkeley(加州大学伯克利分校)
研究自归一化martingale的统一后悔界,证明一维情况下可得O(log T)界,而高维情况下无法获得统一界,解决了一个开放性问题。
2026-05-02 cs.LG math.ST stat.ML
Uncertainty-aware predictive modeling for fair data-driven decisions
School of Social Sciences(社会科学学院);University of Mannheim(曼海姆大学);Department of Statistics(统计学系);LMU Munich(慕尼黑大学)
工业界和学术界在开发可靠和负责任的机器学习(ML)系统方面都取得了相当大的进展。虽然公平性和可解释性等关键概念经常得到解决,但系统的安全性通常没有得到充分考虑。通过将数据驱动的决策系统视为社会技术系统,我们利用ML文献中的不确定性来展示fairML系统如何也可以是safeML系统。我们认为,一个公平的模型需要是一个不确定性感知的模型,例如,通过绘制分布回归。为了公平的决定,我们认为,一个安全的失败选项应用于个人不确定的分类。我们介绍了半结构化深度分布回归作为建模框架,它解决了标准ML模型带来的多种问题,并展示了它在求职者算法分析的真实示例中的使用。
2022-11-04 cs.LG stat.ML
Local Uncertainty Sampling for Large-Scale Multi-Class Logistic Regression
Tencent AI Lab(腾讯人工智能实验室);University of Minnesota(明尼苏达大学);Rutgers University(罗格斯大学)
大数据时代构建统计模型的一大挑战是可用数据量远远超过计算能力。解决这个问题的一种常见方法是采用可以由可用计算资源处理的二次采样数据集。在本文中,我们提出了一个一般的子抽样方案的大规模多类逻辑斯谛回归和检查所得的估计量的方差。我们表明,渐近,所提出的方法总是实现一个较小的方差比均匀随机抽样。此外,当类是有条件的不平衡,显着改善均匀采样可以实现。在模拟和真实数据集上将该方法的经验性能与其他方法进行了比较,这些结果与我们的理论分析相匹配并证实了我们的理论分析。
2018-09-13 cs.LG stat.CO stat.ML
Contextual Bandits in Payment Processing: Non-uniform Exploration and Supervised Learning
Adyen
本文在Adyen支付处理的真实工业背景下,分析了结合非均匀探索与监督学习的回归预言机方法,发现其虽能提升性能,但会因奖励分布偏移和类别不平衡引发策略迭代的振荡效应,强调需开发更稳定的自适应算法。
2025-07-10 cs.IR cs.LG
NeuRecover: Regression-Controlled Repair of Deep Neural Networks with Training History
Fujitsu Limited(富士通有限公司);National Institute of Informatics(国立信息学研究所)
鉴于对包括安全关键型应用在内的实际应用的需求日益增长,提高深度神经网络(DNN)质量的系统技术至关重要。关键的挑战来自于更新DNN的可控性。为了纠正某些行为而进行的再培训通常会对其他行为产生破坏性影响,导致回归,即,更新后的DNN在原始DNN正确处理输入的情况下失败。这个问题是至关重要的,当工程师需要调查的安全或信任的密集保证活动的失败。DNN的基于搜索的修复技术有可能通过仅对DNN内部的“负责参数”进行本地化更新来解决这一挑战。然而,潜力还没有被探索,以实现足够的可控性,以抑制回归DNN修复任务。在本文中,我们提出了一种新的DNN修复方法,该方法利用训练历史来判断哪些DNN参数应该改变或不应该改变以抑制回归。我们将该方法实现到一个名为NeuRecover的工具中,并使用三个数据集对其进行评估。我们的方法优于现有的方法,实现往往不到四分之一,甚至在某些情况下,十分之一,回归的数量。我们的方法是特别有效的,当维修要求是严格的,以修复特定的故障类型。在这种情况下,我们的方法显示出稳定的低回归率(<2%),在许多情况下,这是再训练引起的回归的十分之一。
2022-03-04 cs.LG cs.NE cs.SE
Learning Safe Strategies for Value Maximizing Buyers in Uniform Price Auctions
Sloan School of Management, Massachusetts Institute of Technology(麻省理工学院斯隆管理学院);Operations Research Center, Massachusetts Institute of Technology(麻省理工学院运筹学研究中心)
针对重复统一价格多单位拍卖中价值最大化买家的RoI约束出价问题,提出安全出价策略概念及多项式时间学习算法,实现次线性遗憾且可推广至更复杂模型。
2025-10-05 cs.DS cs.GT cs.LG
Debiased Nonparametric Regression for Statistical Inference and Distributionally Robustness
The University of Tokyo(东京大学)
本文提出一种无模型的非参数回归去偏方法,通过加入估计条件期望残差的校正项,使估计量在温和条件下具备风险收敛与渐近正态性,从而支持统计推断并提升协变量偏移下的鲁棒性。
2025-03-17 cs.LG econ.EM math.ST
Scalable and Safe Remediation of Defective Actions in Self-Learning Conversational Systems
Amazon Alexa AI(亚马逊Alexa人工智能部门)
本文提出一种利用历史回归事件报告高精度样本的方法,在策略在线部署前进行验证与保护,解决了自学习对话系统中策略改进与体验连续性的平衡问题。
2023-05-17 cs.AI cs.CL cs.LG
Comparative Evaluation of Applicability Domain Definition Methods for Regression Models
Sapienza University of Rome(罗马大学);Cognizant Technology Solutions(高知特科技解决方案公司);GSK(葛兰素史克公司)
针对回归模型适用域缺乏通用定义与度量的问题,研究对比了8种检测技术在7个模型、5个数据集上的表现,并提出基于非确定性贝叶斯神经网络的新方法,其适用域定义准确性更优。
2024-11-01 cs.AI cs.LG
Uniform Kernel Prober
Pennsylvania State University(宾夕法尼亚州立大学)
针对多任务学习中特征性能比较的任务选择与测试数据问题,提出统一核探测器(UKP)伪度量,可统一衡量核岭回归任务的预测误差,捕捉表示不变性且估计高效,实验验证其区分泛化性能的能力。
2025-02-11 cs.LG math.ST stat.ML
Towards a Framework for Deep Learning Certification in Safety-Critical Applications Using Inherently Safe Design and Run-Time Error Detection
ETH ZÜRICH(苏黎世联邦理工学院)
本文针对安全关键应用缺乏深度学习认证流程的问题,提出基于本质安全设计与运行时错误检测的认证框架,并设计了一种无需回归标签即可预测不确定性及检测分布外输入的新颖模型结构。
2024-03-12 cs.LG