Statistical learning by sparse deep neural networks
Tel Aviv University(特拉维夫大学)
本文提出基于l_1正则化经验风险最小化的深度神经网络估计器,推导其在回归与分类中的超额风险界,并证明其在整个函数类范围内自适应地接近极小极大最优。
2023-11-15 cs.LG math.ST stat.ME
Monotonic Learning in the PAC Framework: A New Perspective
Jinan University(济南大学);University of Canterbury(坎特伯雷大学);East China Normal University(华东师范大学)
该研究基于PAC学习理论构建近似算法实际性能的理论风险分布,证明其随样本量增大呈单调性,明确ERM确定性算法单调的两类情形,并通过实验验证了泛化误差单调性的结论,填补了机器学习泛化理论的相关认知缺口。
2025-05-20 cs.LG
Lossless Transformations and Excess Risk Bounds in Statistical Inference
Budapest University of Technology and Economics(布达佩斯技术与经济大学);Queen’s University(女王大学);Universität Stuttgart(斯图加特大学)
本文研究统计推断中由特征变换导致的最小超额风险,刻画无损变换并提出强一致的划分检验,同时给出统一的信息论风险上界及 δ-无损变换的充分条件。
2023-09-27 cs.IT cs.LG math.IT
Robust Risk Minimization for Statistical Learning
Uppsala University(乌普萨拉大学)
我们考虑一个一般的统计学习问题,其中一个未知的部分的训练数据被损坏。我们开发了一个强大的学习方法,只需要指定一个上限的损坏的数据部分。该方法最小化由具有未知概率权重的非参数分布定义的风险函数。我们推导和分析的最佳权重,并显示它们如何提供对损坏的数据的鲁棒性。此外,我们给出了一个计算效率高的坐标下降算法来解决风险最小化问题。我们展示了广泛的适用性的方法,包括回归,分类,无监督学习和经典的参数估计,与国家的最先进的性能。
2020-02-07 cs.LG eess.SP stat.ML
Statistical Learning with Conditional Value at Risk
The University of Tokyo(东京大学);National Institute of Informatics(国立情报学研究所)
我们提出了一个风险厌恶的统计学习框架,其中的学习算法的性能评估的条件风险价值(CVaR)的损失,而不是预期损失。我们设计的算法的基础上,随机梯度下降为这个框架。虽然现有的CVaR优化研究需要直接存取底层分布,我们的算法做了一个较弱的假设,只有i.i.d.\提供样品。对于凸和Lipschitz损失函数,我们证明了我们的算法具有$O(1/\sqrt{n})$ -收敛到最优CVaR,其中$n$是样本数.对于非凸的光滑损失函数,我们给出了CVaR的一个推广界。通过对各种机器学习任务进行数值实验,我们证明了我们的算法有效地最小化CVaR与其他基线算法相比。
2020-02-14 cs.LG stat.ML
Learning Variational Inequalities from Data: Fast Generalization Rates under Strong Monotonicity
University of California, Berkeley(加州大学伯克利分校)
本文研究强单调变分不等式的数据驱动学习,证明凸优化中基于稳定性的泛化论证可推广至该问题,从而获得 Θ(1/ε) 的快速学习速率。
2025-02-19 cs.LG math.OC stat.ML
Non-asymptotic estimates of the minimal risk in statistical learning
IASM, Harbin Institute of Technology(哈尔滨工业大学数学研究院)
本文利用经验风险原则,通过非渐近高置信度界估计最小风险的下界和上界,放宽了有界性条件,并证明了置信度与训练参数数和输入维数无关。
2026-06-23 cs.LG math.PR stat.ML
Nearly Optimal Clustering Risk Bounds for Kernel K-Means
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);Inception Institute of Artificial Intelligence(启智人工智能研究院)
本文研究了核$k$ -means的统计性质,得到了一个接近最优的超聚类风险界,大大改进了现有聚类风险分析中的超聚类风险界.我们进一步分析了Nyström核$k$ -均值的计算近似的统计效果,并证明了它达到了与只考虑$Ω(\sqrt{nk})$ Nyström标志点的精确核$k$ -均值相同的统计精度。据我们所知,这样的核(或近似核)$k$ -means的急剧过剩的聚类风险界从来没有被提出过。
2020-05-14 cs.LG stat.ML
Complexity, Statistical Risk, and Metric Entropy of Deep Nets Using Total Path Variation
Yale University(耶鲁大学);Rutgers University – New Brunswick(罗格斯大学新不伦瑞克分校)
对于任何ReLU网络,都有一种表示,其中每个节点的权重的绝对值之和正好是$1$,并且输入层变量乘以与路径权重的总变化一致的值$V$。高斯复杂性,拉德马赫复杂度,统计风险,和度量熵,所有这些都被证明是成比例的$V$的影响。除了输入$d$的数量之外,不依赖于每层的节点数量。对于具有亚高斯噪声的估计,可以获得的均方泛化误差界是$V \sqrt{L + \log d}/\sqrt{n}$阶,其中$L$是层数,$n$是样本量。
2019-02-06 cs.LG stat.ML
Statistical Analysis of Stationary Solutions of Coupled Nonconvex Nonsmooth Empirical Risk Minimization
George Washington University(乔治华盛顿大学);University of Southern California(南加州大学);University of North Carolina, Chapel Hill(北卡罗来纳大学教堂山分校)
本文有两个主要目标:(a)建立了一类耦合非凸非光滑经验风险最小化问题的定态解和定态值的几个统计性质-一致性、渐近分布和收敛速度,(b)通过一个基于噪声幅度的相位恢复问题验证了这些性质,后者是一个非常热门的问题。这些经验风险最小化问题是涉及随机泛函的期望值的最小化的总体风险模型的计算主力。当这些最小化问题是非凸的,其全局最优解的计算是难以捉摸的。再加上不能对一般概率分布计算期望算子的事实,就有必要证明经验问题的定态解是否是人口问题定态解的实际近似。当这两个功能,一般分布和非凸性,再加上不可微性,往往使问题“非克拉克经常”,任务的理由变得具有挑战性。我们的工作旨在在无算法的环境中解决这样的挑战。因此,所得到的分析是不同的,在最近的文献中,是基于本地搜索算法的分析。此外,补充经典的极小化中心的分析,我们的研究结果提供了第一步,以关闭之间的差距耦合非凸非光滑统计估计问题的计算优化和渐近分析,扩大前者与统计特性的实际获得的解决方案,并提供后者与一个更实际的重点有关的计算易处理性。
2019-10-06 cs.LG math.OC math.ST
Statistically Robust, Risk-Averse Best Arm Identification in Multi-Armed Bandits
IIT Bombay(印度理工学院孟买分校);Stanford University(斯坦福大学);IIT Madras(印度理工学院马德拉斯分校)
传统的多臂强盗(MAB)公式通常对底层武器的分布做出某些假设,例如支持的边界或它们的尾部行为。此外,这种参数信息通常被“烘焙”到算法中。在本文中,我们表明,专门的算法,利用这样的参数信息时,参数被错误指定容易不一致的学习性能。我们的主要贡献是双重的:(i)我们建立基本的性能限制的统计鲁棒MAB算法下的固定预算的纯探索设置,及(ii)我们提出了两类算法是渐近接近最优的。此外,我们考虑了一个风险意识的最佳臂识别标准,其中与每个臂相关的目标是平均值和条件风险值(CVaR)的线性组合。在整个过程中,我们做了一个非常温和的“有界矩”假设,这让我们可以在一个统一的框架内处理轻尾和重尾分布。
2022-03-28 cs.LG stat.ML
Statistical curriculum learning: An elimination algorithm achieving an oracle risk
Technion – Israel Institute of Technology(以色列理工学院)
本文研究统计课程学习中目标参数估计问题,提出单源消除学习方法和多源自适应多轮消除课程学习算法,并以弱预言机风险为基准,通过极小极大下界刻画其最优性条件。
2024-02-20 cs.LG stat.ML
Binary Excess Risk for Smooth Convex Surrogates
Michigan State University(密歇根州立大学)
在统计学习理论中,0-1损失的凸替代物是高度优选的,因为凸性带来的计算和理论优点。这是更重要的,如果我们考虑光滑的代理证明了这一事实,即平滑度是进一步有益的计算-通过获得优化的{ \it optimal}收敛速度,并在统计意义上-通过提供一个改进的{ \it optimal}速度的泛化界限。本文从统计一致性的角度研究了光滑性,并展示了它对二元超额风险的影响。我们发现,在相反的优化和泛化误差,有利于选择光滑的替代损失,光滑的损失函数可能会降低二进制超额风险。出于这个负面的结果,我们提供了一个统一的分析,整合优化误差,泛化界,并在凸过度风险转化为二进制过度风险时,检查平滑的影响,二进制过度风险的错误。我们表明,在有利的条件下,适当的选择光滑凸损失将导致一个二元超额风险,优于$O(1/\sqrt{n})$。
2014-02-07 cs.LG stat.ML
Localized Adaptive Risk Control
Centre for Intelligent Information Processing Systems(智能信息处理系统中心);Department of Engineering(工程学院);King’s College London(伦敦国王学院)
提出局部自适应风险控制(L-ARC)方法,通过在RKHS中更新阈值函数实现从条件到边缘的统计局部风险保证,在保留最坏情况性能的同时提升不同数据子群体上的预测公平性。
2024-10-10 cs.AI cs.IT cs.LG
Adaptive Newton Method for Empirical Risk Minimization to Statistical Accuracy
University of Pennsylvania(宾夕法尼亚大学)
我们考虑大规模数据集的经验风险最小化。我们引入Ada Newton作为自适应算法,它使用具有自适应样本大小的牛顿方法。Ada Newton的主要思想是将训练集的大小增加一个大于1的因子,使得当前训练集的最小化变量位于下一个训练集的最优参数的局部邻域中。这允许利用牛顿方法的二次收敛特性,并且仅用牛顿方法的一次迭代就达到每个训练集的统计精度。我们从理论上和经验上证明,Ada Newton可以在每次迭代中将训练集的大小增加一倍,以实现整个训练集的统计准确性,大约两次通过数据集。
2016-05-24 cs.LG math.OC
Minimax Excess Risk of First-Order Methods for Statistical Learning with Data-Dependent Oracles
本文针对监督、迁移、鲁棒及联邦学习等场景,研究数据依赖预言机下强凸光滑统计学习一阶方法的极小极大超额风险,给出与梯度估计最小均方误差成正比的精确上下界。
2024-07-01 cs.LG math.OC
Fast Rates for Empirical Risk Minimization of Strict Saddle Problems
The Hebrew University(希伯来大学)
我们得出的经验风险最小化(ERM)的背景下,最小化非凸风险,承认严格的鞍性质的样本复杂性的界限。非凸优化的最新进展已经产生了有效的算法来最小化这样的功能。我们的研究结果表明,这些有效的算法是统计稳定的,也推广得很好。特别是,我们得到快速的利率类似的界限,往往达到强凸设置。我们指定了主成分分析和独立成分分析的界限。我们的结果和技术可能铺平道路的统计分析额外的严格鞍问题。
2017-06-04 cs.LG
Oculi: A Conversational Agentic Platform for Automated Credit Risk Analysis
Royal Bank of Canada(加拿大皇家银行);RBC Borealis
研究人员推出对话式智能体平台Oculi,采用三层架构及结合确定性统计与LLM引导特征选择的细分发现流程,可自动完成信用风险分析,缩短洞察时间并保持严谨性,能发现手动探索难以处理的风险细分领域。
2026-09-01 cs.AI cs.LG
SGM: A Statistical Godel Machine for Risk-Controlled Recursive Self-Modification
Fudan University(复旦大学);Tongji University(同济大学);University of California, San Diego(加州大学圣地亚哥分校)
针对递归自我修改缺乏安全保障的问题,提出统计哥德尔机(SGM),用统计置信检验替代形式化证明,并引入确认触发谐波支出(CTHS)控制累积风险,在多个学习任务上验证了其有效性与鲁棒性。
2026-09-18 cs.AI cs.LG
Quantile Learn-Then-Test: Quantile-Based Risk Control for Hyperparameter Optimization
本文提出一种LTT变体,通过为风险度量的分位数提供统计保证来控制风险感知目标,并在无线电接入调度问题中验证了其优势。
2024-07-24 cs.IT cs.LG math.IT