Certification Frontiers for Gaussian LoRA: Independent Priors, Posterior Risk, and Prediction-Preserving Balancing
本研究刻画高斯LoRA后验的PAC-Bayes认证前沿,区分先验、预测器与复杂度干预,证明仅降低复杂度无法在记录预算下认证,而Chernoff核算优于Hoeffding,矩阵平衡可显著降低KL且不改变预测。
2026-09-29 cs.LG
Sharp Risk Bounds for Early-Stopping in Gaussian Linear Regression
Department of Computer Science, ETH Zürich(苏黎世联邦理工学院计算机科学系);Department of Statistics, University of Oxford(牛津大学统计系)
研究高维高斯线性回归中早停镜像下降法的最优风险界,基于局部高斯宽度推导出LSE的风险界扩展,提出Minkowski函数条件下的新势能构造方法,实现ESMD的minimax最优性分析。
2026-04-27 cs.LG math.ST stat.ML
Learning Non-Gaussian SEMs with Conditional Risk, and Why the Direction of Recursion Matters
University of Colorado Boulder(科罗拉多大学博尔德分校);Heriot-Watt University(赫瑞瓦特大学)
该研究提出用条件风险替代条件方差,将SEM学习的方差方法扩展至非高斯噪声场景,发现递归方向在非高斯噪声下会影响方法有效性,模拟验证了相关结论。
2026-10-14 cs.LG stat.ML
Characterization of Gaussian Universality Breakdown in High-Dimensional Empirical Risk Minimization
School of Data Science, The Chinese University of Hong Kong, Shenzhen, China;Huawei Noah's Ark Lab, Huawei Technologies, Paris, France;School of Electronic Information;Communications, Huazhong University of Science \& Technology, China
通过将凸高斯极小极大定理推广到非高斯数据,刻画了高维经验风险最小化估计量的渐近分布,揭示了高斯普适性的适用范围与局限。
2026-08-11 cs.LG stat.ML
Asymptotic Optimality of Thompson Sampling for Risk-Averse Bandits with Sub-Gaussian Rewards
University of California, Berkeley(加州大学伯克利分校)
本文证明了一种无锚非参数汤普森采样算法在风险厌恶型多臂赌博机中达到实例依赖的渐近最优后悔界,适用于任意连续风险泛函,且仅需连续性条件,优于先前参数方法。
2026-08-25 cs.LG stat.ML
Risk Bounds for Over-parameterized Maximum Margin Classification on Sub-Gaussian Mixtures
The University of Hong Kong(香港大学);University of California, Los Angeles(加州大学洛杉矶分校);University of California San Diego(加州大学圣迭戈分校)
现代机器学习系统(如深度神经网络)通常是高度过参数化的,因此它们可以精确地拟合嘈杂的训练数据,但在实践中仍然可以实现小的测试误差。在本文中,我们研究了线性分类问题的最大间隔分类器的这种“良性过拟合”现象。具体来说,我们考虑从亚高斯混合物生成的数据,并提供了一个严格的风险界的最大利润线性分类器在过参数化设置。我们的研究结果精确地描述了在线性分类问题中可能发生良性过拟合的条件,并改进了以前的工作。它们也对过度参数化的logistic回归有直接影响。
2022-01-03 cs.LG math.ST stat.ML
Chaining Bounds for Empirical Risk Minimization
University of Alberta(阿尔伯塔大学);Imperial College London(帝国理工学院)
本文推广了标准链技术,证明了在随机设计条件下,即使噪声和估计值的大小是无界的,经验风险最小化的超额风险上界也是存在的。该界适用于许多损失函数,除了平方损失,和尺度仅与亚高斯或亚指数参数没有进一步的统计假设,如有界峰度条件的假设类。一个详细的分析提供了斜率约束和惩罚线性最小二乘回归与亚高斯设置,这往往证明了严格的样本复杂性界对数因子。
2016-09-07 cs.LG stat.ML
Policy Evaluation with Variance Related Risk Criteria in Markov Decision Processes
The Technion - Israel Institute of Technology(以色列理工学院)
在本文中,我们扩展的时间差的政策评估算法的性能标准,包括方差的累积奖励。这些标准对风险管理很有用,在财务和流程控制等领域也很重要。我们提出了TD(0)和LSTD(lambda)变量与线性函数逼近,证明了它们的收敛性,并证明了它们在4维连续状态空间问题中的实用性。
2013-01-01 cs.LG stat.ML
Variance-Based Risk Estimations in Markov Processes via Transformation with State Lumping
Concordia Institute of Information System Engineering(康考迪亚信息系统工程研究院);Concordia University(康考迪亚大学)
方差在风险敏感强化学习中起着至关重要的作用,大多数风险度量都可以通过方差进行分析。在本文中,我们考虑两个法律不变的风险作为例子:均值方差风险和指数效用风险。借助于状态增强变换(SAT),我们证明了这两种风险可以在具有随机转移报酬和随机策略的马尔可夫决策过程(MDP)中得到估计.为了缓解状态空间的扩大,提出了一种新的同位素态的定义状态集总,考虑到特殊的结构转换的转移概率。在数值实验中,我们说明了状态集总在SAT,错误从一个天真的奖励简化,和SAT的有效性的两个风险估计。
2019-07-09 cs.AI cs.LG stat.ML
Conditional Risk Minimization for Stochastic Processes
IST Austria(奥地利科学技术研究所)
我们研究向非独立身份者学习的任务。数据特别是,我们的目标是学习预测器,最大限度地减少条件风险的随机过程,即预期损失的预测器上的下一个点的条件下,到目前为止观察到的训练样本集。对于非i.i.d.数据,训练集包含有关即将到来的样本的信息,因此可以期望关于条件分布的学习产生比从最小化边际风险的经典设置获得的更好的预测器。我们的主要贡献是基于非参数时间序列预测理论的条件风险的实用估计器,以及有限样本浓度界,该界在过程的某些规律性假设下建立了估计器对真实条件风险的一致收敛。
2016-03-13 cs.LG stat.ML
Risk-Aware General-Utility Markov Decision Processes
研究风险感知通用效用马尔可夫决策过程,聚焦熵风险度量,提出基于蒙特卡洛树搜索的方法,可解决该过程并达任意精度,实验表明此方法在多种任务的GUMDPs中优化风险感知行为时成功。
2026-07-13 cs.AI cs.LG
Fast Risk Assessment for Autonomous Vehicles Using Learned Models of Agent Futures
Massachusetts Institute of Technology(麻省理工学院)
本文提出了快速非采样为基础的方法来评估风险的轨迹自动驾驶车辆时,概率预测其他代理的未来产生的深度神经网络(DNN)。所提出的方法解决了广泛的表示不确定的预测,包括高斯和非高斯混合模型的预测代理的位置和控制。我们发现,当高斯混合模型(Gestival)的代理位置的学习,风险评估的问题可以迅速解决,以任意水平的精度与现有的数值方法。为了解决代理位置的非高斯混合模型的风险评估的问题,我们提出了使用切比雪夫不等式和平方和(SOS)编程的风险上界,他们都是感兴趣的,因为前者是快得多,而后者可以是任意紧。这些方法只需要代理位置的统计矩来确定风险的上限。为了执行风险评估时,学习代理控制,而不是位置的模型,我们开发树环,一种算法类似于树搜索的多项式环,可用于精确传播的时刻控制分布到位置分布,通过非线性动力学。所提出的方法在Argoverse和CARLA数据集上训练的DNN的实际预测上得到了证明,并且证明了该方法对于快速评估低概率事件的概率是有效的。
2020-06-03 cs.LG cs.RO stat.ML
Linear Exponential Quadratic Gaussian Covariance Steering
Iowa State University(爱荷华州立大学)
本文提出并分析连续时间LEQG协方差转向问题,证明最优控制器由对称矩阵参数化,推广风险中性结果,并证明匹配噪声情形下解的存在唯一性。
2026-09-14 cs.AI cs.LG cs.SY
Harmonic Mean Point Processes: Proportional Rate Error Minimization for Obtundation Prediction
Heinz College of Information Systems and Public Policy(海因茨信息系统与公共政策学院);Carnegie Mellon University(卡内基梅隆大学)
在医疗保健中,发病率和死亡率风险最高的个体很少是那些具有最大可改变风险的人。相比之下,许多机器学习公式隐含地关注最高风险的个体。我们专注于这个问题的点过程中,流行的建模技术的时间事件序列的分析,在电子健康记录(EHR)数据与应用程序中的风险分层和风险评分系统。我们发现,优化的对数-似然函数也给予不成比例的关注高风险的个人,并导致低风险的个人相比,在高风险的预测结果不佳。我们的问题的特点,并提出了一个调整后的对数似然制定点过程作为一个新的目标。我们证明了我们的方法的好处,在模拟和EHR数据的病人入院重症监护病房脑出血。
2019-11-14 cs.AI cs.LG stat.ML
Risk Averse Alert Prioritization for IDS Using Subnormal Gaussian Fuzzy Models
Murat Moran
提出基于次正态高斯模糊数的警报优先级排序框架,通过建模威胁严重性、检测置信度和组织风险态度三种不确定性,利用排序指数实现可调安全姿态,实验证明在检测器退化下比基线方法更鲁棒。
2026-05-26 cs.AI cs.CR cs.HC
Asymptotic Bayes risk for Gaussian mixture in a semi-supervised setting
INRIA-ENS(法国国家信息与自动化研究所-巴黎高等师范学院)
半监督学习(SSL)使用未标记的数据进行训练,并且与可用的标记数据上的监督方法相比,已被证明可以大大提高性能。这种说法既取决于可用的标记数据的数量,也取决于所使用的算法。在本文中,我们计算分析之间的差距最好的全监督方法,只使用标记的数据和最好的半监督方法,使用标记和未标记的数据。我们量化了由于未标记数据而获得的性能的最佳可能增加,即我们计算了由于未标记数据中包含的信息而导致的准确性增加。我们的工作涉及一个简单的高维高斯混合模型的数据在贝叶斯设置。我们严格的分析建立在最近的理论突破,在高维推理和大量的数学工具,从统计物理最初开发的自旋玻璃。
2019-09-28 cs.LG math.ST stat.ML
STL Robustness Risk over Discrete-Time Stochastic Processes
University of Pennsylvania(宾夕法尼亚大学)
我们提出了一个框架来解释信号时序逻辑(STL)公式在离散时间随机过程的诱导风险。随机过程的每个实现要么满足要么违反STL公式。事实上,我们可以为每个实现分配一个鲁棒性值,以指示该实现满足STL公式的鲁棒性。然后,我们定义了一个随机过程不满足STL公式鲁棒的风险,称为STL鲁棒性风险。在我们的定义中,我们允许一般类别的风险度量,例如但不限于条件风险价值。虽然在一般情况下很难计算,我们提出了一个近似的STL鲁棒性风险。这种近似具有理想的性质是STL鲁棒性风险的上限时,所选择的风险度量是单调的,大多数风险措施所满足的属性。出于对数据驱动方法的兴趣,我们提出了一种基于抽样的方法,用于从风险值的数据中估计近似STL鲁棒性风险。当我们考虑风险价值时,我们强调这种基于抽样的方法对于其他风险度量是可行的。
2022-03-07 cs.FL cs.LG cs.SY