Statistical Learning with Conditional Value at Risk
The University of Tokyo(东京大学);National Institute of Informatics(国立情报学研究所)
我们提出了一个风险厌恶的统计学习框架,其中的学习算法的性能评估的条件风险价值(CVaR)的损失,而不是预期损失。我们设计的算法的基础上,随机梯度下降为这个框架。虽然现有的CVaR优化研究需要直接存取底层分布,我们的算法做了一个较弱的假设,只有i.i.d.\提供样品。对于凸和Lipschitz损失函数,我们证明了我们的算法具有$O(1/\sqrt{n})$ -收敛到最优CVaR,其中$n$是样本数.对于非凸的光滑损失函数,我们给出了CVaR的一个推广界。通过对各种机器学习任务进行数值实验,我们证明了我们的算法有效地最小化CVaR与其他基线算法相比。
2020-02-14 cs.LG stat.ML
Mathematics of statistical sequential decision-making: concentration, risk-awareness and modelling in stochastic bandits, with applications to bariatric surgery
Université de Lille(里尔大学);Université de Technologies de Troyes(特鲁瓦技术大学);ENSAI Rennes(雷恩国立统计与信息分析学校);Inria Montpellier(法国国家信息与自动化研究所蒙彼利埃中心);CWI Amsterdam(荷兰国家数学与计算机科学研究中心);Université de Bordeaux(波尔多大学);Inria Lille(法国国家信息与自动化研究所里尔中心);CHU Lille(里尔大学附属医院);Centre de Recherche en Informatique, Signal et Automatique de Lille(里尔计算机、信号与自动化研究中心)
本文研究术后随访序贯决策中的数学挑战,提出安全的集中性界、风险感知上下文老虎机框架及非参数Dirichlet采样算法,并开发了预测减重手术后长期体重轨迹的可解释机器学习模型。
2024-05-03 cs.LG math.ST stat.ML
Localized Adaptive Risk Control
Centre for Intelligent Information Processing Systems(智能信息处理系统中心);Department of Engineering(工程学院);King’s College London(伦敦国王学院)
提出局部自适应风险控制(L-ARC)方法,通过在RKHS中更新阈值函数实现从条件到边缘的统计局部风险保证,在保留最坏情况性能的同时提升不同数据子群体上的预测公平性。
2024-10-10 cs.AI cs.IT cs.LG
Complexity, Statistical Risk, and Metric Entropy of Deep Nets Using Total Path Variation
Yale University(耶鲁大学);Rutgers University – New Brunswick(罗格斯大学新不伦瑞克分校)
对于任何ReLU网络,都有一种表示,其中每个节点的权重的绝对值之和正好是$1$,并且输入层变量乘以与路径权重的总变化一致的值$V$。高斯复杂性,拉德马赫复杂度,统计风险,和度量熵,所有这些都被证明是成比例的$V$的影响。除了输入$d$的数量之外,不依赖于每层的节点数量。对于具有亚高斯噪声的估计,可以获得的均方泛化误差界是$V \sqrt{L + \log d}/\sqrt{n}$阶,其中$L$是层数,$n$是样本量。
2019-02-06 cs.LG stat.ML
Local Risk Bounds for Statistical Aggregation
CREST, ENSAE, Institut Polytechnique de Paris(巴黎理工学院ENSAE Crest实验室);EPFL(洛桑联邦理工学院);University of California Berkeley(加州大学伯克利分校)
本文通过用局部复杂度替代全局复杂度,收紧了统计聚合理论中的经典风险界,并基于PAC-Bayes局部化技术改进了指数权重和Q-aggregation估计器的偏差最优界。
2023-06-29 cs.IT cs.LG math.IT
Statistically Robust, Risk-Averse Best Arm Identification in Multi-Armed Bandits
IIT Bombay(印度理工学院孟买分校);Stanford University(斯坦福大学);IIT Madras(印度理工学院马德拉斯分校)
传统的多臂强盗(MAB)公式通常对底层武器的分布做出某些假设,例如支持的边界或它们的尾部行为。此外,这种参数信息通常被“烘焙”到算法中。在本文中,我们表明,专门的算法,利用这样的参数信息时,参数被错误指定容易不一致的学习性能。我们的主要贡献是双重的:(i)我们建立基本的性能限制的统计鲁棒MAB算法下的固定预算的纯探索设置,及(ii)我们提出了两类算法是渐近接近最优的。此外,我们考虑了一个风险意识的最佳臂识别标准,其中与每个臂相关的目标是平均值和条件风险值(CVaR)的线性组合。在整个过程中,我们做了一个非常温和的“有界矩”假设,这让我们可以在一个统一的框架内处理轻尾和重尾分布。
2022-03-28 cs.LG stat.ML
Binary Excess Risk for Smooth Convex Surrogates
Michigan State University(密歇根州立大学)
在统计学习理论中,0-1损失的凸替代物是高度优选的,因为凸性带来的计算和理论优点。这是更重要的,如果我们考虑光滑的代理证明了这一事实,即平滑度是进一步有益的计算-通过获得优化的{ \it optimal}收敛速度,并在统计意义上-通过提供一个改进的{ \it optimal}速度的泛化界限。本文从统计一致性的角度研究了光滑性,并展示了它对二元超额风险的影响。我们发现,在相反的优化和泛化误差,有利于选择光滑的替代损失,光滑的损失函数可能会降低二进制超额风险。出于这个负面的结果,我们提供了一个统一的分析,整合优化误差,泛化界,并在凸过度风险转化为二进制过度风险时,检查平滑的影响,二进制过度风险的错误。我们表明,在有利的条件下,适当的选择光滑凸损失将导致一个二元超额风险,优于$O(1/\sqrt{n})$。
2014-02-07 cs.LG stat.ML
Continuity of Generalized Entropy and Statistical Learning
我们研究了广义熵作为基本概率分布的函数的连续性,定义了一个动作空间和一个损失函数,并使用这个属性来回答统计学习理论中的基本问题:各种学习方法的超额风险分析。我们首先推导出两个分布的熵差的上界和下界的几个常用的f-发散,Wasserstein距离,一个距离,取决于动作空间和损失函数,和Bregman发散产生的熵,这也导致在两个分布之间的欧几里得距离方面的界限。给出了实例,并对每个一般结果进行了讨论,与已有的熵差界进行了比较,在此基础上导出了新的互信息上界.然后,我们应用熵差界的统计学习理论。结果表明,在两种流行的学习范式--频率主义学习和贝叶斯学习中,都可以利用广义熵的不同形式的连续性来研究超额风险。然后,分析扩展到广义条件熵的连续性。扩展提供了性能界限的贝叶斯决策与不匹配的分布。它还导致过度的风险界限的第三范式的学习,决策规则的最佳设计下的投影的经验分布到一个预定义的家庭的分布。通过广义熵的连续性,我们为统计学习的三大范式建立了一个统一的超额风险分析方法。
2021-12-31 cs.IT cs.LG math.IT
Statistical methods of SNP data analysis with applications
各种统计方法的重要遗传分析被认为是和发展。即,我们集中在多因素降维,逻辑回归,随机森林和随机梯度提升。这些方法及其新的修改,例如,采用“独立规则”的MDR方法,研究心血管等复杂疾病的风险。单核苷酸多态性和外部危险因素的某些组合的作用进行了检查。为了进行关于缺血性心脏病和心肌梗塞的数据分析,使用了莫斯科国立罗蒙诺索夫大学的超级计算机SKIF“Chebyshev”。
2011-06-24 math.PR stat.AP
Statistical Consistency of Finite-dimensional Unregularized Linear Classification
University of California, San Diego(加州大学圣地亚哥分校)
本文研究了有限样本下非正则化凸风险最小化线性分类器的统计特性。虽然结果是显式有限维的,但输入可以通过特征图传递;以这种方式,除了处理逻辑回归的一致性外,该分析还处理有限弱学习类的提升,例如指数,逻辑和铰链损失。在这种有限维的设置中,仍然可以拟合任意的决策边界:用样本大小缩放弱学习类的复杂性几乎肯定会导致最佳分类风险。
2012-06-14 cs.LG stat.ML
Noisy Linear Convergence of Stochastic Gradient Descent for CV@R Statistical Learning under Polyak-Łojasiewicz Conditions
Michigan State University(密歇根州立大学)
条件风险值($\mathrm{CV@R}$)是最流行的风险度量之一,最近被认为是监督统计学习的性能标准,因为它与现代应用中期望的操作特性有关,例如安全性,公平性,分布鲁棒性和预测误差稳定性。然而,由于其变分定义,$\mathrm{CV@R}$通常被认为会导致困难的优化问题,即使是光滑和强凸损失函数。我们通过建立噪声(即,固定精度)线性收敛的随机梯度下降顺序$\mathrm{CV@R}$学习,为一大类不一定强凸(或甚至凸)损失函数满足集限制Polyak-Lojasiewicz不等式。这类包含所有光滑和强凸损失,确认经典问题,如线性最小二乘回归,可以有效地解决$\mathrm{CV@R}$标准下,就像他们的风险中性版本。我们的结果在这样一个风险意识岭回归任务的数值说明,也验证了他们在实践中的有效性。
2021-01-19 cs.LG cs.SY eess.SP
Statistical Estimation of Composite Risk Functionals and Risk Optimization Problems
本文讨论了在概率测度中可能是非线性的复合泛函的统计估计。我们的研究的动机是需要估计一致的风险度量,这在金融,保险和其他与不确定性和风险下的优化相关的领域越来越受欢迎。建立了复合风险泛函的中心极限公式。进一步讨论了以复合风险泛函为目标的最优化问题的渐近性态,并建立了当风险泛函的估计量被使用时其最优值的中心极限公式.虽然数学结构容纳了常用的一致的风险度量,但它们具有更一般的特征,这可能是独立的兴趣。
2015-04-10 math.ST stat.TH
The Statistical Complexity of Early-Stopped Mirror Descent
University of Oxford(牛津大学)
最近,人们对基于梯度的迭代优化算法的隐式正则化性质的理解兴趣激增。本文研究了线性模型和核方法中应用提前停止的无约束镜像下降算法对具有平方损失的非正则化经验风险的超额风险的统计保证。通过完成一个不等式,凸的平方损失的特征,我们确定了一个内在的联系之间的偏移拉德马赫复杂度和潜在的基于镜像下降方法的收敛性分析。我们的观察立即产生超额风险保证的路径跟踪的镜像下降的迭代在偏移复杂度的某些功能类只取决于选择的镜像映射,初始化点,步长,和迭代次数。我们应用我们的理论恢复,在一个干净和优雅的方式,通过相当短的证明,最近的一些结果在隐式正则化文献,同时也显示了如何在某些设置中改进它们。
2020-08-27 cs.LG stat.ML
Minimax Statistical Learning with Wasserstein Distances
University of Illinois(伊利诺伊大学)
与标准经验风险最小化(ERM)相反,分布鲁棒优化旨在最小化包含训练数据的原始经验分布的较大模糊度集上的最坏情况风险。在这项工作中,我们描述了一个极小极大框架的统计学习与模糊集的球在Wasserstein空间。特别是,我们证明了广义界,涉及到原来的ERM问题的覆盖数属性。作为一个说明性的例子,我们提供了基于运输的领域自适应问题的泛化保证,其中源域和目标域分布之间的Wasserstein距离可以可靠地估计从未标记的样本。
2018-10-26 cs.LG stat.ML
Risk Bounds and Rademacher Complexity in Batch Reinforcement Learning
Princeton University(普林斯顿大学)
研究了具有一般价值函数逼近的批量强化学习(RL)。我们的研究探讨了可靠地估计/最小化Bellman误差的最小假设,并通过一般函数类的(局部)Rademacher复杂性来表征泛化性能,这为弥合统计学习理论和批量RL之间的差距迈出了初步步骤。具体地说,我们将Bellman误差看作是最优性缺口的替代损失,证明了:(1)在双抽样条件下,经验风险最小化(ERM)的超额风险受函数类的Rademacher复杂度的限制。(2)在单次抽样制度中,无论算法如何,如果没有进一步的假设,样本有效的风险最小化是不可能的。然而,在完备性假设下,FQI和极大极小型算法的超额风险可以再次受到相应函数类的Rademacher复杂度的限制。(3)快速的统计率可以通过使用本地Rademacher复杂性的工具来实现。我们的分析涵盖了广泛的函数类,包括有限类,线性空间,核空间,稀疏线性特征等。
2021-03-25 cs.AI cs.LG stat.ML
Risk-Stratify: Confident Stratification Of Patients Based On Risk
临床医生希望使用一种风险分层方法,以实现可信的风险分层-不同患者的风险估计反映了高概率的真实风险。这使他/她能够利用这些风险对预后做出准确的预测,并决定对当前患者进行筛查和治疗。我们开发了风险分层-一个两阶段的算法,旨在实现自信的风险分层。在第一阶段,我们生长一棵树来划分协变量空间。树中的每个节点都使用统计测试进行分割,以确定子节点的风险是否不同。统计检验的选择取决于数据是否删失(对数秩检验)或不删失(U检验)。树的叶子的集合形成一个分区。属于一个叶的患者的风险分布不同于兄弟叶,但不是其余叶。因此,一些具有类似潜在风险的叶子被错误地指定为具有不同的风险。在第二阶段,我们开发了一种新的递归图分解方法来解决这个问题。我们合并树中具有相似风险的叶子,形成新的叶子,形成最终输出。我们对来自英国生物银行的一组患者(无心血管疾病史)进行风险分层,并评估他们患心血管疾病的风险。风险分层显著改善了风险分层,即,与最先进的心血管预测方法(随机森林、Cox模型等)相比,较低比例的组具有过高/过低估计的风险(根据错误发现率测量;降低33%)。我们发现Cox模型显著高估了216,211例患者中21,621例患者的风险。风险分层可以准确地将这21,621名患者中的2,987名归类为低风险个体。
2018-11-02 cs.LG stat.ML
Statistical inference for expectile-based risk measures
Newey和Powell(1987)在线性回归模型中引入了期望值。最近,Bellini等人(2014)揭示,预期也可以被视为合理的法律不变的风险措施。在这篇文章中,我们证明了相应的统计泛函是连续w.r.t. $1$ -弱拓扑和适当的功能可微。利用这些正则性结果,我们可以得到非参数和参数统计模型中相应估计的相合性、渐近正态性、Bootstrap相合性和定性稳健性等性质.
2016-09-20 math.ST stat.TH
Coupled risk measures and their empirical estimation when losses follow heavy-tailed distributions
相当多的文献一直致力于发展统计推断结果的风险措施,特别是对于那些是L-泛函的形式。然而,实际和理论上的考虑已经突出了相当数量的风险措施的形式的比率,甚至更复杂的组合,两个L-泛函。在本文中,我们称这种组合为“耦合风险措施”,并制定了一个统计推断理论,他们的损失遵循重尾分布。我们的理论意味着-在中风-绝对和相对失真的风险措施,加权保费计算原则,以及许多经济不平等的指数,已经出现在计量经济学文献的统计推断结果。
2011-05-30 math.ST stat.TH
Learning with Semi-Definite Programming: new statistical bounds based on fixed point analysis and excess risk curvature
许多统计学习问题最近已经被证明是服从半定规划(SDP)的,其中高斯混合模型中的社区检测和聚类是最引人注目的实例[javanmard等人,2016年]。鉴于基于SDP的技术在机器学习问题中的应用范围越来越广,以及解决SDP的有效算法设计的快速进展,一个有趣的问题是理解如何将经验过程理论的最新进展投入工作,以提供SDP估计量的精确统计分析。在本文中,我们借用尖端技术和概念的学习理论文献,如不动点方程和超额风险曲率的参数,产生一般的估计和预测结果的广泛的SDP估计。从这个角度来看,我们回顾了社区检测中的一些经典结果[guédon et al.,2016]和[Chen等人,2016],并且我们获得了用于符号聚类,组同步和MAXCUT的SDP估计器的统计保证。
2020-04-04 math.ST stat.TH
Information Theory of Penalized Likelihoods and its Statistical Implications
我们扩展了数据压缩中的两阶段编码程序和统计估计中的惩罚似然程序之间的对应关系。传统上,这需要限制到可数参数空间。我们展示了如何扩展这种对应的不可数参数的情况下。利用惩罚似然程序的描述长度的解释,我们设计了新的技术,以获得自适应的风险界限,这样的程序。我们证明了参数空间的某些可数覆盖的存在性意味着自适应风险界,因此我们的理论是相当一般的。我们应用我们的技术来说明风险界$\ell_1$型惩罚程序在典型的高维统计问题,如线性回归和高斯图形模型。在线性回归问题中,我们还演示了如何传统的$l_0$惩罚时间$\frac{\log(n)}{2}$加上低阶项有两个阶段的描述长度的解释和目前的风险界限,这个惩罚似然程序。
2015-05-07 math.ST stat.TH
Statistical minimax theorems via nonstandard analysis
对于具有有限参数空间的统计判定问题,上界值(minimax值)与下界值(maximin值)一致是众所周知的。只有在先验的广义概念下,这种等价性才能推广到无限参数空间的情况,前提是自然界可以采用先验分布,统计学家可以采用随机策略。这个经典结果的各种扩展已经建立,但它们受到技术条件,如紧的参数空间或连续的风险函数。利用非标准分析,证明了任意统计判定问题的一个极小极大定理。非正式地,我们表明,对于每一个统计判定问题,标准的上限值等于下限值时,$\sup$被接管的所有内部先验的集合,这可能会分配无穷小的概率(内部)事件。应用我们的非标准极大极小定理,我们得到了几个标准的极小极大定理:具有连续风险函数的紧参数空间上的极小极大定理,具有有界风险函数的可加极小极大定理和具有Lipschitz风险函数的完全有界度量参数空间上的极小极大定理.
2022-12-26 math.ST stat.TH
Privacy and Statistical Risk: Formalisms and Minimax Bounds
我们探讨和比较各种定义的隐私和披露限制的统计估计和数据分析,包括(近似)差分隐私,测试为基础的定义的隐私,和事后保证披露风险。我们给出等价的定义之间的结果,揭示不同的形式主义之间的关系的隐私。我们还采取了推理的角度来看,在那里-建立这些定义-我们提供了几个估计问题,包括均值估计,估计的支持分布,和非参数密度估计的极大极小风险界限。这些界限突出了不同的隐私定义的统计后果,并提供了第二个镜头,用于评估披露限制的不同技术的优点和缺点。
2014-12-15 cs.IT math.IT math.ST
U-Statistic Reduction: Higher-Order Accurate Risk Control and Statistical-Computational Trade-Off, with Application to Network Method-of-Moments
本文提出面向不完全U统计量的高阶精确风险控制推断框架,揭示风险控制精度与速度的权衡,并覆盖退化、非退化情形及网络矩。
2023-06-06 math.ST stat.ME stat.TH
Statistical estimation in the proportional hazards model with risk set sampling
回归参数的Thomas偏似然估计被广泛应用于Cox模型嵌套病例对照数据的分析。本文提出了回归参数的一种新的估计,它是相合的且渐近正态的。它的渐近方差比Thomas的估计量离零点的渐近方差小于。与其他一些现有的估计,建议的估计不依赖于任何更多的数据比严格必要的托马斯估计,是很容易计算的封闭形式的估计方程的唯一的解决方案。方差估计是以估计函数的导数的倒数的负来获得的,因此推断是容易获得的。最后给出了一个数值例子来支持理论。
2004-10-05 math.ST stat.TH
Risk-Monotonicity in Statistical Learning
Australian National University(澳大利亚国立大学);Massachusetts Institute of Technology(麻省理工学院)
在机器学习的许多应用中,数据的获取是一项艰巨的任务,人们希望并期望群体风险随着数据点的增加而单调降低(更好的性能)是很自然的。令人惊讶的是,即使是最标准的算法,即使是最小化经验风险的算法,情况也并非如此。训练中的风险和不稳定性的非单调行为已经表现出来,并出现在流行的深度学习范式双下降的描述下。这些问题凸显了当前对学习算法的理解和泛化能力的不足。因此,至关重要的是要继续关注这一问题,并对这种行为进行定性。在本文中,我们在弱假设下推导出了一般统计学习设置的第一个一致和风险单调(高概率)算法,从而回答了Viering等人2019年提出的关于如何避免风险曲线非单调行为的一些问题。我们进一步表明,风险单调性不一定是以更坏的超额风险率为代价的。为了实现这一点,我们得到了新的经验Bernstein型浓度不等式的独立利益,保持一定的非独立同分布~鞅差序列(Martingale Difference Sequences)
2022-01-15 cs.LG math.ST stat.ML
Statistical Modeling of Data Breach Risks: Time to Identification and Notification
由于网络风险的复杂性,预测网络事件的成本非常具有挑战性。然而,对于提供网络保险的保险公司来说,这是不可避免的。识别事件的时间和注意到受影响个人的时间是确定网络事件成本的两个重要组成部分。在这项工作中,我们通过统计建模方法对这两个指标进行了初步研究。特别是,我们提出了一种新的方法来填补缺失数据,并进一步开发了一个依赖模型,以捕捉这两个指标所表现出的复杂模式。实证研究表明,该方法具有令人满意的预测性能,优于其他常用的模型。
2022-09-24 cs.CY math.ST stat.AP
Minimax rates for statistical inverse problems under general source conditions
当光滑性由一般源集给出时,我们描述了希尔伯特空间中线性不适定方程组的极小极大重构率。基本结果,椭球上的极大极小率,类似于D。L.多诺霍河~ C. Liu和B. MacGiant,{ \it Minimax risk over hyperrectanges,and implications},Ann.~中央集权主义者1990年18日这些作者强调了截断序列估计量的特殊作用,对于这种估计量,可以明确地给出风险。我们提供了几个例子,表明结果统计估计不适定的问题在希尔伯特空间。
2017-11-15 math.ST stat.TH
On the Statistical Consistency of Risk-Sensitive Bayesian Decision-Making
我们在贝叶斯框架下研究数据驱动的决策问题,其中贝叶斯风险中的期望被风险敏感的熵风险度量所取代。我们专注于计算的后验分布是棘手的问题,在现代应用程序中的一个典型的情况下,大型数据集和复杂的数据生成模型。我们利用熵风险度量的双重表示引入一种新的风险敏感变分贝叶斯(RSVB)框架,用于联合计算风险敏感后验近似和相应的决策规则。建议RSVB框架可以用来提取计算方法做风险敏感的近似贝叶斯推理。我们表明,我们的一般框架包括两个著名的计算方法做近似贝叶斯推理即天真VB和损失校准VB。我们还研究了这些计算近似对推断的决策规则和值的预测性能的影响。我们计算了RSVB近似后验的收敛速度以及相应的最优值和决策规则。我们说明了我们的理论研究结果在参数和非参数设置的帮助下,三个例子:单一和多产品报童模型和高斯过程分类。
2021-09-09 math.OC math.PR math.ST
Fast learning rates in statistical inference through aggregation
我们开发的一般学习任务,包括在预测以及最好的功能,在一个参考集G的最小可能的附加项,称为收敛速度的最小极大最优风险界。当参考集是有限的,当n表示训练数据的大小时,我们提供了形式为C([log |G| ]/n)^v的极大极小收敛速度,其中严格评估了正常数C和精确的v [0;1],后者的值取决于损失函数的凸性和输出分布中的噪声水平。风险上界基于顺序随机化算法,该算法在每一步集中于相对于前一步预测函数具有低风险和低方差的函数。我们的分析提出了概率和最坏情况的观点之间的联系,并允许获得风险界限无法实现的标准统计学习方法。这项工作的关键思想之一是使用概率不等式相对于适当的(吉布斯)分布的预测函数空间,而不是使用它们相对于生成数据的分布。风险下界的基础上,特别考虑到损失函数的属性的Assouad引理的改进。我们的关键例子来说明的上限和下界是考虑L_q-回归设置的收敛速度给出详尽的分析,而q描述[1;+无穷大[。
2008-03-04 math.ST stat.TH
Coherent estimation of risk measures
European Central Bank(欧洲中央银行);Illinois Institute of Technology(伊利诺伊理工学院);Jagiellonian University(雅盖隆大学)
本文提出基于风险度量公理理论的统计框架,通过稳健表示与L-估计相结合,定义了继承风险度量经济性质的相干风险估计量,并通过实证展示相干性在估计量中未必保持,以及不同权重结构对资本充足性的影响。
2026-03-28 math.ST q-fin.RM q-fin.ST
Integration of external predictions for efficient estimation of the risk ratio
Harvard T.H. Chan School of Public Health(哈佛陈曾熙公共卫生学院);Heidelberg University, Department of Mathematics(海德堡大学);Brigham and Women’s Hospital(布莱根妇女医院)
本文扩展增强逆概率加权框架至风险比估计,整合外部基础模型预测,所得估计器渐近方差不劣于仅用实验数据的默认估计器。
2026-10-02 math.ST stat.TH
Quasi-Hadamard differentiability of general risk functionals and its application
我们适用于一个适当的修改的功能性三角洲方法的统计泛函,从法律不变的连贯的风险措施。为此,我们建立微分的统计功能在一个轻松的阿达玛意义上,即相对于一个适当选择的规范和方向的一个专门选择的“切空间“。我们表明,这一概念的准阿达玛可微性产生强法律和极限定理的渐近分布的插件估计。我们的研究结果可以被视为对风险度量的统计和数值的贡献,也可以作为通过微调可微性的基本概念来改进函数δ方法的案例研究
2015-02-16 math.ST q-fin.RM stat.TH
Markov Decision Processes under Ambiguity
我们考虑统计马尔可夫决策过程中的决策者是风险厌恶对模型的模糊性。后者由影响过渡律和费用函数的未知参数给出。风险厌恶可以通过熵风险度量或平均风险值来衡量。我们展示了如何使用一般的极小极大定理来解决这类问题。在一些连续性和紧凑性的假设下,我们证明了最优(确定性)政策的存在性,并讨论其计算。我们用一个统计决策论的例子来说明我们的结果。
2019-07-04 math.OC math.ST stat.TH
Lossless Transformations and Excess Risk Bounds in Statistical Inference
Budapest University of Technology and Economics(布达佩斯技术与经济大学);Queen’s University(女王大学);Universität Stuttgart(斯图加特大学)
本文研究统计推断中由特征变换导致的最小超额风险,刻画无损变换并提出强一致的划分检验,同时给出统一的信息论风险上界及 δ-无损变换的充分条件。
2023-09-27 cs.IT cs.LG math.IT
Statistical inference of a competing risks model based on improved adaptive type-II progressive censored data under Gompertz lifetime distribution
Maulana Azad National Institute of Technology Bhopal(莫拉纳·阿扎德国立博帕尔理工学院);National Institute of Technology Rourkela(鲁尔基拉国立理工学院)
本文针对斑胸草雀生存现象,研究Gompertz分布下改进自适应II型逐步删失数据的竞争风险模型,推导参数估计、构造区间并通过模拟与真实数据验证方法性能。
2026-08-04 math.ST stat.ME stat.TH
High-Probability Risk Bounds via Sequential Predictors
Korteweg-de Vries Institute for Mathematics(科特韦赫-德弗里斯数学研究所);University of Amsterdam(阿姆斯特丹大学);University of California, Berkeley(加州大学伯克利分校);Università degli Studi di Milano(米兰大学);Politecnico di Milano(米兰理工大学)
本文利用在线到批量转换及损失函数的二阶校正,借助非正当在线学习算法,为多种经典统计估计问题建立近乎最优的高概率风险界。
2023-08-15 cs.IT cs.LG math.IT
A Risk Management Perspective on Statistical Estimation and Generalized Variational Inference
本文从风险管理视角提出一种带约束的广义变分推断新公式,将无限维估计问题转化为二维凸规划,自动确定学习率并给出最优密度解析表达式,同时证明经验近似的渐近一致性。
2023-10-26 math.OC math.PR math.ST
Empirical entropy, minimax regret and minimax risk
University of Pennsylvania(宾夕法尼亚大学);Cornell University(康奈尔大学);CREST-ENSAE(法国国家统计与经济管理学院(CREST-ENSAE))
考虑了平方损失的随机设计回归模型。我们提出了一种方法,聚集经验极小(ERM)在适当选择的随机子集,并减少到ERM在极端情况下,我们建立尖锐的预言不等式的风险。我们表明,在经验$\varepsilon$ -熵的$\varepsilon^{-p}$增长下,所提出的方法的超额风险对于$p\in(0,2)$达到率$n^{-2/(2+p)}$,对于$p>2$达到率$n^{-1/p}$,其中$n$是样本量。此外,对于$p\in(0,2)$,超额风险率匹配函数估计的极小极大风险在良好指定的模型下的回归问题中的行为。由此得出结论,在$p\in(0,2)$方案中,在明确指定的模型(极大极小风险)和错误指定的模型(极大极小后悔)中的统计估计率是相等的。换句话说,对于$p\in(0,2)$,统计学习问题与统计估计问题享有相同的极大极小化率。相反,对于$p>2$,我们表明,在一般情况下,最小最大后悔率比最小最大风险慢。我们的预言不等式还意味着$v\log(n/v)/n$率Vapnik-Chervonenkis型类的尺寸$v$没有通常的凸性假设的类,我们表明,这些利率是最优的。最后,对于一个稍微修改的方法,我们推导出一个界限上的超额风险的$s$ -稀疏凸聚集改进,Lounici [数学。16(2007)246-259]并提供最佳速率。
2017-07-03 cs.LG math.ST stat.TH
Statistical evaluation of a long-memory process using the generalized entropic Value-at-Risk
针对长记忆径流数据中回归测度不可观测的问题,提出以Tsallis风险价值(TsVaR)替代熵风险价值(EVaR)作为统计指标,利用半隐式梯度下降法计算其上下界,避免指数矩爆炸,实现对关键统计量的有效评估。
2023-01-29 math.OC math.PR math.ST
Risk Aware Benchmarking of Large Language Models
IBM Research(IBM研究院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
本文提出基于一阶和二阶随机占优的风险感知基准评测框架,通过指标组合与自助法方差估计量化统计显著性,用于比较不同大语言模型在偏离指令和输出有毒内容方面的风险。
2024-06-09 cs.LG math.ST q-fin.RM
PAC-Bayesian Bounds for Randomized Empirical Risk Minimizers
本文的目的是推广的PAC贝叶斯定理证明的Catoni在分类设置更一般的问题的统计推断。我们展示了如何控制随机估计的风险偏差。一个特别注意的是在一个小邻域的经典估计,其研究导致控制后者的风险随机估计。这些结果允许约束非常一般的估计程序的风险,以及执行模型选择。
2009-01-09 math.ST stat.ML stat.TH
Statistical Decision Theory with Counterfactual Loss
Harvard University(哈佛大学)
针对经典统计决策理论忽略反事实信息的问题,提出在强可忽略性下反事实风险可识别当且仅当损失函数在潜在结果上可加,并证明可加反事实损失能捕捉决策难度,通过符号线性逆规划无需数据即可判断可识别性。
2026-06-08 cs.LG econ.TH math.ST
Orthogonal Statistical Learning
Microsoft Research(微软研究院);Stanford University(斯坦福大学)
本文提出基于 Neyman 正交性与两阶段样本切分的统计学习框架,证明冗余参数估计误差对超额风险仅具二阶影响,并在复杂非参数设定下获得 oracle 速率。
2023-06-06 cs.LG econ.EM math.ST
Over-the-Air Statistical Estimation
在统计估计和无线通信相结合的框架下,研究了高斯多址信道(MAC)下均方误差损失下的分布式极大极小统计估计的方案和下界.首先,我们开发了“模拟”联合估计通信计划,利用高斯MAC的叠加特性,我们的节点数量和参数空间的维度来表征其风险。然后,我们推导出信息理论的最小最大风险的任何估计方案限制在一个给定的使用信道的样本进行通信的下限,并表明我们提出的计划实现的风险是在这些下限的对数因子。我们比较两个可扩展性和下限结果到以前的“数字”下限,其中节点在MAC的香农容量传输无差错比特,表明利用物理层的估计方案提供了依赖于物理层抽象的数字方案的估计误差大幅减少。
2021-03-06 cs.DC cs.IT math.IT
Risk reversal for least squares estimators under nested convex constraints
Broad Institute of MIT and Harvard(麻省理工学院和哈佛大学博德研究所)
本文研究了在嵌套凸约束下最小二乘估计器的风险反转现象,揭示了在高噪声环境下收紧约束可能反而导致统计性能下降。
2026-07-28 cs.LG math.OC math.ST
Distributed Nonparametric Regression under Communication Constraints
University of Pennsylvania(宾夕法尼亚大学);Yale University(耶鲁大学)
研究了多机分布数据下光滑函数的非参数估计问题。我们假设在每台机器上收集来自白噪声模型的独立样本,并且需要在中央机器上构建底层真函数的估计量。我们对每台机器可以用来向中央机器传输信息的比特数进行了限制。我们的结果给出了各种设置下的统计风险的渐近下界和匹配上界。我们确定了三种制度,这取决于机器的数量,在每台机器上可用的数据的大小,和通信预算之间的关系。当沟通预算较小时,统计风险仅取决于此沟通瓶颈,而与样本量无关。在通信预算较大的情况下,恢复了非分布估计设置中的经典极小极大风险。在中间状态下,统计风险取决于样本量和通信预算。
2018-06-23 cs.LG math.ST stat.ML
Basic Inequalities for First-Order Optimization with Applications to Statistical Risk Analysis
University of California, Berkeley(加州大学伯克利分校);Columbia University(哥伦比亚大学);New York University(纽约大学)
本文提出了一阶优化的基本不等式,用于统计风险分析,并通过实验验证了其在不同优化方法中的应用效果。
2026-09-15 cs.LG cs.NA math.NA