Accounting for Input Noise in Gaussian Process Parameter Retrieval
Universitat de València(瓦伦西亚大学)
高斯过程(GPs)是一类在地球科学和遥感应用中非常有用的核方法,用于参数反演、模型反演和仿真。它们被广泛使用,因为它们简单,灵活,并提供准确的估计。GP基于贝叶斯统计框架,该框架为每个估计提供后验概率函数。因此,除了通常的预测(在这种情况下由均值函数给出)之外,GP还具有获得预测方差(即,误差条,置信区间)。不幸的是,GP公式通常假设输入中没有噪声,只有观测中有噪声。然而,这往往不是在地球观测问题的情况下,测量仪器的误差的准确评估通常是可用的,并且有巨大的兴趣,通过处理管道的误差传播的特征。在这封信中,我们演示了如何可以占输入噪声估计使用GP模型配方传播的误差项使用的预测均值函数的导数。我们分析了由此产生的预测方差项,并展示了它们如何更准确地代表红外探测数据的温度预测问题中的模型误差。
2020-05-20 cs.LG stat.ML
Accounting for Uncertainty in Machine Learning Surrogates: A Gauss-Hermite Quadrature Approach to Reliability Analysis
Purdue University(普渡大学)
本文提出高斯-埃尔米特求积方法解耦机器学习代理中的认知与偶然不确定性,结合一阶/二阶可靠性方法进行可靠性分析,在保持计算效率的同时提高预测可信度。
2025-09-11 cs.LG
Reconciling modern machine learning practice and the bias-variance trade-off
The Ohio State University(俄亥俄州立大学);Columbia University(哥伦比亚大学)
机器学习的突破正在迅速改变科学和社会,但我们对这项技术的基本理解却远远落后。事实上,该领域的核心原则之一,偏差-方差权衡,似乎与现代机器学习实践中使用的方法的观察行为不一致。偏差-方差权衡意味着模型应该平衡欠拟合和过拟合:足够丰富以表达数据中的底层结构,足够简单以避免拟合虚假模式。然而,在现代实践中,诸如神经网络的非常丰富的模型被训练成精确地拟合(即,内插)数据。传统上,这样的模型会被认为是过拟合的,但它们通常在测试数据上获得高精度。这种明显的矛盾引发了人们对机器学习的数学基础及其与从业者的相关性的质疑。在本文中,我们调和的经典理解和现代实践中的一个统一的性能曲线。这条“双下降”曲线包含了教科书中的U形偏差-方差权衡曲线,显示了增加模型容量超过插值点如何提高性能。我们为广泛的模型和数据集提供了双下降存在和普遍存在的证据,并为它的出现提供了一种机制。机器学习模型的性能和结构之间的这种联系描绘了经典分析的局限性,并对机器学习的理论和实践都有影响。
2019-09-10 cs.LG stat.ML
Transforming Triple-Entry Accounting with Machine Learning: A Path to Enhanced Transparency Through Analytics
AI Experts(AI专家机构);University of Birmingham Dubai(迪拜伯明翰大学)
本文探讨三式记账与机器学习的结合,通过自动化数据收集分析、异常识别和交易关系挖掘,提升大型组织财务透明度与可信度。
2024-11-19 cs.CR cs.LG
Vulnerability Under Adversarial Machine Learning: Bias or Variance?
Waterloo AI Institute, University of Waterloo(滑铁卢大学滑铁卢人工智能研究所);ADC Automotive Distance Control Systems GmbH, Continental(大陆集团ADC汽车距离控制系统有限公司)
先前的研究已经揭示了深度神经网络在对抗性机器学习背景下的脆弱性,导致最近对这一领域的极大关注。一个有趣的问题是对抗性机器学习的偏差-方差关系,这可能会为这种行为提供更深入的见解。偏差和方差的概念是分析和评价机器学习模型泛化能力和可靠性的主要方法之一。虽然它已被广泛用于其他机器学习模型,但在深度学习领域还没有得到很好的探索,在对抗性机器学习领域更是探索得很少。在这项研究中,我们研究了对抗性机器学习对训练的深度神经网络的偏差和方差的影响,并分析了对抗性扰动如何影响网络的泛化。我们推导出基于两个主要损失函数的分类和回归应用的偏差-方差权衡:(i)均方误差(MSE),和(ii)交叉熵。此外,我们进行定量分析与模拟和真实的数据,经验性地评估一致性与推导出的偏差方差权衡。我们的分析揭示了为什么深度神经网络从偏差-方差的角度来看在对抗性扰动下表现不佳,以及这种类型的扰动将如何改变网络的性能。此外,鉴于这些新的理论发现,我们引入了一种新的对抗性机器学习算法,其计算复杂性度低于众所周知的对抗性机器学习策略(例如,PGD),同时在较低的扰动幅度下欺骗深度神经网络时提供高成功率。
2020-08-01 cs.LG cs.NE stat.ML
Uncertainty Quantification in Extreme Learning Machine: Analytical Developments, Variance Estimates and Confidence Intervals
University of Lausanne(洛桑大学)
不确定性量化对于评估机器学习模型的预测质量至关重要。在极端学习机(ELM)的情况下,文献中提出的大多数方法对数据进行强假设,忽略输入权重的随机性或忽略置信区间估计中的偏差贡献。本文提出了新的估计,克服这些限制,提高ELM变异的理解。在一般假设下提供了分析推导,支持识别和解释不同变异性来源的贡献。根据同性和异方差,提出了几个方差估计,调查,并进行了数值测试,显示其有效性,在复制预期的方差行为。最后,置信区间估计的可行性进行了讨论,通过采用一个关键的方法,从而提高意识的ELM用户有关他们的一些陷阱。本文附带了一个兼容scikit-learn的Python库,可以有效计算本文讨论的所有估计值。
2020-11-03 cs.LG stat.ME stat.ML
The Morgan-Pitman Test of Equality of Variances and its Application to Machine Learning Model Evaluation and Selection
Department of Computer Science Universitat Politècnica de Catalunya Barcelona(计算机科学系,巴塞罗那理工大学)
本文提出基于Morgan-Pitman方法的统计检验来评估预测误差方差齐性,结合稳健性增强和残差独立策略,为非线性模型评估与选择提供可靠工具。
2025-09-15 cs.LG math.ST stat.ML
Fighting Accounting Fraud Through Forensic Data Analytics
The University of Sydney Business School(悉尼大学商学院)
会计舞弊是一个全球性的问题,对金融体系的稳定构成了重大威胁,因为它会削弱市场信心和监管机构的信任。有几种手法可用于实施会计欺诈,因此需要考虑到不同欺诈模式的非静态监管干预。因此,本研究旨在通过实施几种机器学习方法来更好地区分欺诈和非欺诈公司,并通过评估相关财务指标来进一步协助风险较高公司的检查任务,从而提高会计欺诈的检测。样本外的结果表明,通过统计建模和分析公开的会计信息,在发现伪造的财务报表方面有很大的潜力。拟议的方法可以帮助公共审计员和监管机构,因为它便利了审计过程,并支持对会计报告进行更有针对性和更有效的审查。
2018-05-08 cs.LG stat.AP stat.ML
Ensemble Method for Censored Demand Prediction
National Research University Higher School of Economics(国立研究型大学高等经济学院)
包括最优定价和库存管理在内的许多经济应用都需要根据销售数据预测需求,并估计销售对价格变化的反应。有一个广泛的计量经济学方法,用于纠正偏差的需求参数的估计删失的销售数据。这些方法也可以应用到各类机器学习模型中,以减少销量的预测误差。在这项研究中,我们构建了两个集成模型的需求预测和不占需求审查。销售审查的核算基于审查分位数回归方法的思想,其中模型估计分为两个单独的部分:a)分类模型预测零销售额; b)回归模型预测非零销售额。考虑审查和不考虑审查的模型是基于最小二乘、岭回归和拉索回归以及随机森林模型的预测聚合。在估计了这两个模型的预测特性之后,我们根据经验测试了考虑到需求的删失性质的模型的最佳预测能力。我们还表明,机器学习方法与审查会计提供偏差校正的估计价格变化的需求敏感性类似的计量经济学模型。
2018-10-22 cs.LG stat.ML
Variance-Reduced Methods for Machine Learning
LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎高等电信学院LTCI实验室);University of British Columbia(英属哥伦比亚大学);Amii(阿尔伯塔机器智能研究所);Inria - PSL Research University(法国国家信息与自动化研究所-巴黎文理研究大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
随机优化是机器学习的核心,其基石是随机梯度下降(SGD),这是一种60多年前引入的方法。在过去的8年里,我们看到了一个令人兴奋的新发展:随机优化方法的方差缩减(VR)。这些VR方法在允许不止一次通过训练数据的设置中表现出色,在理论和实践中实现了比SGD更快的收敛。这些加速强调了人们对VR方法的兴趣激增,以及关于这一主题的工作的快速增长。这篇评论涵盖了有限数据集优化VR方法背后的关键原则和主要发展,针对非专家读者。我们主要集中在凸设置,并留下指针的读者感兴趣的扩展最小化非凸函数。
2020-10-02 cs.LG math.OC stat.ML
Functional effects models: Accounting for preference heterogeneity in panel data with machine learning
Department of Civil, Environmental and Geomatic Engineering, University College London(土木、环境与测绘工程系,伦敦大学学院)
本文提出函数效应模型,利用梯度提升决策树和深度神经网络从社会人口特征中学习个体特定偏好参数,以解决面板选择数据中的个体异质性问题,并在合成实验和真实面板数据上验证其优于传统固定/随机效应模型及现有机器学习选择模型。
2025-09-22 cs.LG econ.EM stat.ME
Gradient tracking and variance reduction for decentralized optimization and machine learning
解决有限和最小化问题的分散式方法在许多信号处理和机器学习任务中是重要的,其中数据分布在节点网络上,并且由于隐私和/或资源约束而不允许原始数据共享。在这篇文章中,我们回顾了分散随机一阶方法,并提供了一个统一的算法框架,结合方差减少与梯度跟踪,以实现鲁棒性能和快速收敛。当目标函数是光滑的和强凸的时,我们给出了相应方法的明确的理论保证,并通过数值实验证明了它们对非凸问题的适用性。在整篇文章中,我们通过对感兴趣的方法进行适当的权衡和比较,并通过突出机器学习模型的分散训练应用,直观地说明了主要的技术思想。
2020-02-13 cs.DC cs.LG cs.MA
Adaptive Sampling Distributed Stochastic Variance Reduced Gradient for Heterogeneous Distributed Datasets
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
我们研究分布式优化算法,最大限度地减少平均分布在几台机器上的\emph{heterogeneous}功能,重点是通信效率。在这样的设置中,天真地使用经典的随机梯度下降(SGD)或其变体(例如,SVRG)的机器的均匀采样通常会产生较差的性能。这往往导致收敛速度依赖于跨设备梯度的最大Lipschitz常数。在本文中,我们提出了一种新的\emph{adaptive}采样的机器专门迎合这些设置。我们的方法依赖于一个自适应估计的局部Lipschitz常数的基础上过去的梯度信息。我们表明,新的方法提高了收敛速度的依赖性从最大Lipschitz常数\emph{average} Lipschitz常数跨机器,从而显着加快收敛。我们的实验表明,我们的方法确实加快了标准SVRG算法在异构环境中的收敛速度。
2020-11-17 cs.LG math.OC stat.ML
Convergence of Distributed Stochastic Variance Reduced Methods without Sampling Extra Data
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research Asia(微软亚洲研究院)
随机方差缩减方法由于其运行时间复杂性,近年来在经验风险最小化方面得到了广泛的关注。当数据量很大并且不相交地存储在不同的机器上时,分布这种方差减少方法的实现就变得势在必行。在本文中,我们考虑了一个一般的框架,直接分布流行的随机方差减少的方法在主/从模型,通过分配外循环的参数服务器,和工人机器的内循环。这个框架是自然和友好的实现,但其理论上的收敛性还没有得到很好的理解。我们获得了一个全面的了解算法收敛性的数据同质性,通过测量本地和全球损失函数之间的差异的平滑度。我们建立了一个家庭的随机方差减少算法,包括那些使用加速和递归梯度更新,最小化强凸损失的分布式版本的线性收敛。我们的理论捕捉了分布式算法的收敛如何随着机器数量和本地数据大小的变化而变化。此外,我们表明,当数据不平衡时,正则化可以用来确保以较慢的速度收敛。我们还证明,我们的分析可以进一步扩展到处理非凸损失函数。
2020-07-09 cs.LG math.OC stat.ML
Minimax Gaussian Mechanisms for Continual Machine Unlearning
Fudan University(复旦大学)
该研究针对持续机器遗忘问题,开发了用于牛顿更新的高斯机制,通过极小极大优化校准噪声,在高斯差分隐私框架下实现了与精确重训练相近的模型更新效果,经模拟和信用违约数据验证有效。
2026-10-09 cs.LG stat.ML
Investigating Data Variance in Evaluations of Automatic Machine Translation Metrics
Carnegie Mellon University(卡内基梅隆大学);Nara Institute of Science and Technology(奈良先端科学技术大学院大学);University of Trento(特伦托大学);Tencent AI Lab(腾讯人工智能实验室)
度量评估中的当前实践集中于单个数据集,例如,每年的WMT任务中的最新数据集。然而,在本文中,我们定性和定量地表明,指标的性能是敏感的数据。在不同的数据集上进行评价时,指标的排名各不相同。然后,本文进一步研究了两个潜在的假设,即,无关数据点和独立同分布(i.i.d)假设的偏差可能导致数据方差问题。总之,我们的研究结果表明,在评估自动翻译指标时,研究人员应该考虑数据方差,并谨慎地在单个数据集上声明结果,因为它可能导致与大多数其他数据集不一致的结果。
2022-04-19 cs.CL cs.LG
A high-bias, low-variance introduction to Machine Learning for physicists
Boston University(波士顿大学);University of California, Berkeley(加州大学伯克利分校);City University of New York(纽约市立大学)
机器学习(ML)是现代研究和应用中最令人兴奋和最具活力的领域之一。本评论的目的是以物理学家易于理解和直观的方式介绍机器学习的核心概念和工具。该综述首先涵盖了ML和现代统计学中的基本概念,如偏差-方差权衡、过拟合、正则化、泛化和梯度下降,然后转向监督学习和无监督学习中更高级的主题。综述中涵盖的主题包括集成模型、深度学习和神经网络、聚类和数据可视化、基于能量的模型(包括MaxEnt模型和受限玻尔兹曼机)以及变分方法。在整个过程中,我们强调ML和统计物理之间的许多自然联系。这篇评论的一个值得注意的方面是使用Python的Queryter笔记本向读者介绍现代ML/统计软件包,这些软件包使用物理启发的数据集(伊辛模型和质子-质子碰撞超对称衰变的蒙特卡罗模拟)。最后,我们展望了机器学习的可能用途,以进一步了解物理世界,以及物理学家可能能够做出贡献的ML中的开放问题。(笔记本可从https://physics.bu.edu/~pankajm/MLnotebooks.html获得)
2019-05-27 cond-mat.stat-mech cs.LG physics.comp-ph
Distributed Stochastic Variance Reduced Gradient Methods and A Lower Bound for Communication Complexity
UC Berkeley(加州大学伯克利分校);The University of Iowa(爱荷华大学);Princeton University(普林斯顿大学)
研究了最小化凸函数平均值的分布式优化算法。这些应用包括统计机器学习中的经验风险最小化问题,其中数据集很大,必须存储在不同的机器上。我们设计了一个分布式的随机方差约简梯度算法,在一定的条件下的条件数,同时实现了最佳的并行运行时间,通信量和通信轮之间的所有分布式一阶方法常数的因素。我们的方法和它的加速扩展也优于现有的分布式算法的轮通信,只要条件数是不是太大的数据在每台机器的大小相比。我们还证明了一个下界的通信轮数广泛的一类分布式一阶方法,包括本文提出的算法。我们表明,我们的加速分布式随机方差降低梯度算法达到这个下界,使它使用最少的通信轮之间的所有分布式一阶算法。
2016-01-06 cs.LG math.OC stat.ML
A Mathematical Foundation for Robust Machine Learning based on Bias-Variance Trade-off
机器学习中的一个常见假设是样本独立同分布(i.i.d)。然而,不同样本在训练中的贡献并不相同。有些样本很难学习,有些样本有噪声。样本贡献的不平等对训练性能有很大的影响。侧重于不平等样本贡献的研究(例如,简单、困难、噪声)通常将这些贡献称为鲁棒机器学习(RML)。加权和正则化是RML中两种常用的技术。已经提出了许多学习算法,但是用于处理容易/困难/噪声样本的策略与不同的学习算法不同甚至矛盾。例如,有些策略首先采用硬样本,而有些策略首先采用简单样本。由于缺乏统一的RML理论框架,很难对现有的RML算法在处理不同样本时进行清晰的比较。本研究试图建立一个基于偏差-方差权衡理论的RML的数学基础。给出并证明了一系列的定义和性质。对几种经典的学习算法进行了解释和比较。在此基础上对现有方法进行了改进。提出了一种结合两种经典学习策略的统一方法。
2021-11-22 cs.LG
Fast Stochastic Variance Reduced Gradient Method with Momentum Acceleration for Machine Learning
The Chinese University of Hong Kong(香港中文大学)
最近,对加速的随机梯度下降方法(例如,SVRG)取得了令人兴奋的进展(例如,强凸问题的线性收敛)。然而,最知名的方法(例如,卡秋莎)至少需要两个辅助变量和两个动量参数。在本文中,我们提出了一种快速的随机方差降低梯度(FSVRG)方法,在该方法中,我们设计了一个新的更新规则与Nesterov的动量,并结合不断增长的历元大小的技术。FSVRG只有一个辅助变量和一个动量权重,因此它更简单,每次迭代的复杂度也更低。证明了FSVRG对于强凸问题具有线性收敛性,对于非强凸问题具有最佳的$\mathcal{O}(1/T^2)$收敛速度,其中$T$是外迭代次数。我们还扩展了FSVRG直接解决非光滑分量函数的问题,如SVM。最后,我们实证研究FSVRG解决各种机器学习问题,如逻辑回归,岭回归,Lasso和SVM的性能。我们的研究结果表明,FSVRG优于最先进的随机方法,包括喀秋莎。
2017-04-17 cs.AI cs.LG math.OC
FairTree: Subgroup Fairness Auditing of Machine Learning Models with Bias-Variance Decomposition
University of Zurich(苏黎世大学);EPFL(瑞士联邦理工学院)
本文提出FairTree算法,通过偏差-方差分解实现对机器学习模型子组公平性的审计,支持连续、分类和有序特征,且无需离散化。通过模拟研究验证了其在公平性评估中的有效性。
2026-04-21 cs.LG
Dynamic Boltzmann Machines for Second Order Moments and Generalized Gaussian Distributions
IBM Research - Tokyo(IBM东京研究院);LeapMind, Inc.(LeapMind公司)
动态玻尔兹曼机(DyBM)已被证明是非常有效的预测时间序列数据。Gaussian DyBM是一种DyBM,它假设预测数据是由高斯分布生成的,其一阶矩(均值)随时间动态变化,但其二阶矩(方差)是固定的。然而,在许多金融应用中,该假设在两个方面具有相当大的限制。首先,即使数据遵循高斯分布,其方差也可能随时间而变化。这种差异还与市场波动等重要的时间经济指标有关。其次,金融时间序列数据通常需要学习由广义高斯分布生成的数据集,并带有一个额外的形状参数,这对近似重尾分布很重要。针对这些方面,我们展示了如何扩展DyBM,从而在预测财务时间序列数据方面实现显着的性能提升。
2017-12-17 cs.LG cs.NE stat.ML
A Farewell to the Bias-Variance Tradeoff? An Overview of the Theory of Overparameterized Machine Learning
Ben-Gurion University(本-古里安大学);Georgia Institute of Technology(佐治亚理工学院);Rice University(莱斯大学)
本文综述过参数化机器学习理论,从统计信号处理视角解释双下降现象,强调其作为现代ML理论子领域的独特方面及开放前沿。
2026-09-10 cs.LG stat.ML
Prediction-Powered Conditional Inference
University of California, Los Angeles(加州大学洛杉矶分校)
本文提出一种预测驱动的条件推断方法,在标记数据稀缺的情况下利用机器学习预测器和未标记协变量,通过局部化与方差缩减技术提高统计效率,实现更精确的置信区间估计。
2026-09-01 cs.LG stat.ML
Variance Reduction in SGD by Distributed Importance Sampling
Université de Montréal(蒙特利尔大学)
人类能够通过选择信息量最大且难度适当的培训材料来加速学习。我们提出了一个分布式深度学习的框架,其中一组工作人员并行搜索信息量最大的示例,而单个工作人员根据重要性抽样选择的示例更新模型。这导致模型使用梯度的无偏估计来更新,当采样建议与梯度的L2范数成比例时,该梯度的无偏估计也具有最小方差。我们的实验表明,这种方法降低梯度方差,即使在机器之间的同步成本不能忽略的情况下,其中的重要性抽样的因素没有立即更新整个训练集。
2016-04-16 cs.LG stat.ML
Mitigating loss of variance in ensemble data assimilation: machine learning-based and distance-free localization
Novel Reservoir Modelling and Simulation Group, Imperial College London(帝国理工学院伦敦分校新型油藏建模与模拟小组);Faculty of Civil Engineering and Geosciences, TU Delft(代尔夫特理工大学土木工程与地质科学学院)
本研究针对集合数据同化中采样误差导致的方差损失问题,提出两种适配表格数据的无距离局部化机器学习方法,集成至ES-MDA框架,可提升协方差估计与数据同化效果,且易实现、无需额外模拟或调参。
2025-07-30 cs.AI cs.LG math.ST
Imputation Uncertainty in Interpretable Machine Learning Methods
Leibniz Institute for Prevention Research & Epidemiology – BIPS(预防研究与流行病学研究所);Faculty of Mathematics and Computer Science, University of Bremen(数学与计算机科学学院)
研究探讨了可解释机器学习方法中不同填补技术对置信区间覆盖概率的影响,发现单一填补会导致方差低估,而多重填补更接近预期覆盖水平。
2025-12-19 cs.LG stat.ME stat.ML
Stochastic Gradient Estimate Variance in Contrastive Divergence and Persistent Contrastive Divergence
Aalto University(阿尔托大学)
对比发散(CD)和持续对比发散(PCD)是训练受限玻尔兹曼机权值的常用方法。然而,这两种方法都使用近似方法从模型分布中进行采样。作为一个副作用,这些近似产生显着不同的偏差和方差的随机梯度估计的个别数据点。众所周知,CD产生有偏梯度估计。然而,在本文中,我们的经验表明,CD具有较低的随机梯度估计方差比精确采样,而随后的PCD估计的平均值具有较高的方差比精确采样。结果给出了一个解释的发现,CD可以使用更小的小批量或更高的学习率比PCD。
2014-02-14 cs.LG cs.NE stat.ML
VR-SGD: A Simple Stochastic Variance Reduction Method for Machine Learning
Xidian University(西安电子科技大学);The Chinese University of Hong Kong(香港中文大学);University of Technology Sydney(悉尼科技大学);Nanjing University(南京大学);University of Sydney(悉尼大学)
在本文中,我们提出了一个简单的变种,原来的SVRG,称为方差减少随机梯度下降(VR-SGD)。与SVRG及其邻近变体Prox-SVRG中的快照和起始点的选择不同,VR-SGD的两个向量分别设置为前一个历元的平均值和最后一个历元。这些设置允许我们使用更大的学习率,也使我们的收敛分析更具挑战性。我们还分别为光滑和非光滑目标函数设计了两种不同的更新规则,这意味着VR-SGD可以直接处理非光滑和/或非强凸问题,而无需任何约简技术。此外,我们还分析了VR-SGD在强凸问题上的收敛性,证明了VR-SGD具有线性收敛性。不同于其同行,没有收敛保证的非强凸问题,我们还提供了这种情况下的VR-SGD的收敛保证,并实证验证了VR-SGD与不同的学习率达到类似的性能,其动量加速的变种,具有最佳的收敛速度$\mathcal{O}(1/T^2)$。最后,我们应用VR-SGD解决各种机器学习问题,如凸和非凸经验风险最小化,和领先的特征值计算。实验结果表明,VR-SGD的收敛速度明显快于SVRG和Prox-SVRG,并且通常优于最先进的加速方法,例如,喀秋莎
2018-10-28 cs.CV cs.LG math.OC
Privacy Accounting and Quality Control in the Sage Differentially Private ML Platform
Columbia University(哥伦比亚大学)
公司越来越多地将在敏感用户数据上训练的机器学习(ML)模型暴露给不受信任的域,例如最终用户设备和广泛访问的模型存储。我们介绍了Sage,一个差分私有(DP)ML平台,它通过模型限制了训练数据的累积泄漏。Sage基于DP ML算法的丰富文献,为全球DP的两个最紧迫的系统挑战提供实用的解决方案:隐私预算耗尽和隐私-效用权衡。为了解决前者,我们开发了块组合,这是一种新的隐私损失核算方法,它利用ML工作负载不断增长的数据库机制,在敏感数据流上无休止地保持训练模型,同时为该数据流强制执行全局DP保证。为了解决后者,我们开发了隐私自适应训练,这是一个在不断增长的数据量和/或不断增加的隐私参数上训练模型的过程,直到模型很有可能满足开发人员配置的质量标准。它们说明了系统如何专注于ML工作负载的特征,从而实现务实的解决方案,而当人们专注于单个算法时,这些解决方案并不明显,正如大多数DP ML文献所做的那样。
2019-09-06 cs.CR cs.LG stat.ML
Towards Inferential Reproducibility of Machine Learning Research
Heidelberg University(海德堡大学)
针对机器学习评估中现有去噪做法限制结论范围的问题,研究提出纳入多种方差来源及与数据属性的交互,用LMEMs、GLRT和VCA开展统计分析,以实现推断层面的可复现性。
2023-10-09 cs.AI cs.CL cs.LG
MECHVAR: Variance-Guided Mechanism Discrimination for Autonomous Machine Learning Experiment Selection
Stony Brook University(石溪大学)
MECHVAR提出一种基于后验加权方差的轻量级获取规则,用于有限库自主机器学习实验选择,在保持可审计性的同时实现高效评分,并在多个中等错误设定下优于先确认策略。
2026-10-02 cs.LG
On The Impact of Machine Learning Randomness on Group Fairness
National University of Singapore(新加坡国立大学)
本文研究神经网络训练中随机性对群体公平性指标高方差的影响,发现主要根源是数据顺序的随机性及代表性不足群体上的学习波动,并提出仅改变单个epoch数据顺序即可高效控制群体公平性。
2023-07-09 cs.CY cs.LG
Maximizing information from chemical engineering data sets: Applications to machine learning
Imperial College London(帝国理工学院)
人工智能如何对化学工程产生(并且已经产生)重大影响,这是有据可查的。但是经典的机器学习方法对于许多化学工程应用来说可能是弱的。这篇综述讨论了如何在化学工程应用中出现具有挑战性的数据特性。我们确定了化学工程应用中出现的数据的四个特征,这些特征使得应用经典人工智能方法变得困难:(1)高方差,低容量数据,(2)低方差,高容量数据,(3)噪声/损坏/缺失数据,以及(4)具有基于物理限制的受限数据。对于这四个数据特征中的每一个,我们讨论了这些数据特征出现的应用程序,并展示了当前的化学工程研究如何扩展数据科学和机器学习领域,以应对这些挑战。最后,我们确定了未来研究的几个挑战。
2022-01-25 cs.AI cs.LG math.OC
Bayesian Differential Privacy for Machine Learning
Artificial Intelligence Lab, Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院人工智能实验室)
传统的差分隐私与数据分布无关。然而,这与现代机器学习环境并不匹配,其中模型是在特定数据上训练的。因此,在ML中实现有意义的隐私保证通常会过度降低准确性。我们提出贝叶斯差分隐私(BDP),它考虑到数据的分布,提供更实际的隐私保障。我们还得到了一个一般的隐私会计方法下BDP,著名的时刻会计师的基础上。我们的实验表明,在经典的机器学习数据集,如MNIST和CIFAR-10,分布样本享有显着更强的隐私保证比DP假设,而模型保持高分类精度。
2020-08-19 cs.CR cs.LG stat.ML
Prediction-Enhanced Monte Carlo: A Machine Learning View on Control Variate
Morgan Stanley(摩根士丹利);Columbia University(哥伦比亚大学)
研究针对蒙特卡洛模拟计算成本过高的问题,提出预测增强蒙特卡洛(PEMC)框架,将其应用于金融衍生品定价、救护车调度等场景,可在保持无偏性的同时降低方差,提升模拟效率。
2026-08-05 cs.CE cs.LG q-fin.PR
The Benefits of Balance: From Information Projections to Variance Reduction
University of Washington(华盛顿大学)
该研究揭示机器学习基础模型中跨模态和来源的数据平衡具有意外的方差减少益处,提出量化该效应的非渐近统计界并关联马尔可夫算子特征值衰减,为理解和改进相关任务的数据平衡提供新视角。
2025-02-11 cs.LG math.ST stat.ML
On the Extreme Variance of Certified Local Robustness Across Model Seeds
Georgia Institute of Technology(佐治亚理工学院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
研究揭示了训练种子差异导致认证鲁棒性极值方差显著,质疑了验证结果的可靠性,并呼吁增加置信区间报告和更全面的验证方法。
2026-04-02 cs.LG
A new robust feature selection method using variance-based sensitivity analysis
University of Tehran(德黑兰大学)
在模式识别任务中排除不相关的特征在维护更简单的机器学习模型和优化计算效率方面起着重要作用。随着大规模数据集的出现,特征选择成为高维数据集的核心问题。本研究提供了一种新的措施的显着性特征采用灵敏度分析(SA)技术称为扩展傅立叶幅度灵敏度测试,和一个训练有素的前馈神经网络(FNN)模型,最终导致一个有前途的最佳特征子集的选择。本文的思想主要是在分类问题中采用模糊神经网络模型进行特征选择。但在最后,一个泛化框架进行了讨论,以便深入了解在回归问题中的使用,以及表达如何其他函数近似模型可以部署。通过对UCI机器学习数据库中几个著名数据集的实验结果分析和数据可视化,验证了该方法的有效性。
2018-04-13 cs.AI cs.LG stat.ML
Asynchronous Stochastic Composition Optimization with Variance Reduction
University of Science and Technology of China(中国科学技术大学);Sun Yat-Sen University(中山大学)
组合优化在从风险管理到强化学习的各种机器学习领域中引起了广泛的关注。现有的求解组合最优化问题的方法多采用单机顺序求解的方式,限制了其在大规模问题中的应用。为了解决这个问题,本文提出了两个异步并行方差减少随机组成梯度(AsyVRSC)算法,适合于处理大规模数据集。这两个算法是AsyVRSC-Shared的共享内存架构和AsyVRSC-Distributed的主从架构。嵌入式方差减少技术使算法能够实现线性收敛速率。此外,AsyVRSC-Shared和AsyVRSC-Distributed享受可证明的线性加速比,当时间延迟分别由数据维数或部分梯度的稀疏比限制时。大量的实验验证了所提出的算法的有效性。
2018-11-15 cs.DC cs.LG math.OC
An Integrated Machine Learning and Hierarchical Variance Decomposition Pipeline for Student Performance Prediction and Metacognitive Calibration on Multi-Signal Telemetry
Fergana State Technical University(费尔干纳技术大学)
提出UBP-CAP框架,集成LightGBM分类器、校准指标和交叉广义线性混合模型,引入预测-解释分歧指数(PEDI),在1195条记录上验证了系统性校准偏差和情境性校准特性。
2026-06-27 cs.AI cs.LG
Orthogonal variance-based feature selection for intrusion detection systems
Canadian University Dubai(加拿大迪拜大学)
在本文中,我们采用融合机器学习方法来构建一个自动入侵检测系统。具体而言,我们采用正交方差分解技术来识别网络流量数据中的相关特征。所选择的特征用于构建用于入侵检测的深度神经网络。该算法对DDoS攻击的检测准确率达到100%。测试结果表明,该方法具有很大的潜力。
2021-10-25 cs.CR cs.LG
A Biased Graph Neural Network Sampler with Near-Optimal Regret
Georgia Institute of Technology(佐治亚理工学院);Amazon Shanghai AI Lab(亚马逊上海人工智能实验室);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
图神经网络(GNN)最近已经成为将深度网络架构应用于图和关系数据的工具。然而,考虑到工业数据集的规模越来越大,在许多实际情况下,跨GNN层共享信息所需的消息传递计算不再具有可扩展性。虽然已经引入了各种采样方法来在易于处理的预算内近似全图训练,但仍然存在未解决的复杂性,例如高方差和有限的理论保证。为了解决这些问题,我们在现有工作的基础上,将GNN邻居采样视为多臂强盗问题,但新设计的奖励函数引入了一定程度的偏差,旨在减少方差并避免不稳定,可能无界的支付。与之前的bandit-GNN用例不同,由此产生的策略在考虑SGD引入的GNN训练动态的同时会导致接近最优的遗憾。从实际的角度来看,这意味着在几个基准测试中,方差估计值更低,测试精度更高。
2021-11-14 cs.LG
Non-Asymptotic Guarantees for Robust Statistical Learning under Infinite Variance Assumption
University of Macau(澳门大学);Zhuhai UM Science & Technology Research Institute(珠海澳大科技研究院);Peking University(北京大学)
在统计学和机器学习中,对于具有重尾和有界方差数据的模型,人们对开发鲁棒估计器的兴趣激增,而很少有工作施加无界方差。本文提出了两类稳健估计:岭对数截尾M估计和弹性网对数截尾M估计。第一个估计器应用于凸回归,如分位数回归和广义线性模型,而另一个估计器应用于高维非凸学习问题,如通过深度神经网络的回归。模拟和实际数据分析证明了对数截尾估计相对于标准估计的稳健性。
2022-10-11 cs.LG math.ST stat.ML
Federated and Privacy-Preserving Learning of Accounting Data in Financial Statement Audits
University of St.Gallen (HSG)(圣加仑大学(HSG));Deutsche Bundesbank(德意志联邦银行)
正在进行的“数字化转型”从根本上改变了审计证据的性质、记录和数量。如今,国际审计准则(ISA)要求审计师检查大量财务报表的基础数字会计记录。因此,审计事务所也“提升”了他们的分析能力,并投资于深度学习(DL),这是机器学习的一个成功的子学科。DL的应用提供了从多个客户端的数据中学习专门的审计模型的能力,例如,在同一行业或司法管辖区内经营的组织。一般而言,法规要求审计人员遵守严格的数据保密措施。与此同时,最近有趣的发现表明,大规模DL模型很容易泄漏敏感的训练数据信息。如今,审计公司如何在遵守数据保护法规的同时应用深度学习模型仍然不清楚。在这项工作中,我们提出了一个联邦学习框架,训练DL模型审计相关的会计数据的多个客户端。该框架包含差分隐私和分割学习功能,以减轻模型推断的数据机密性风险。我们评估我们的方法来检测会计异常在三个现实世界的城市支付数据集。我们的研究结果提供了经验证据,审计师可以受益于DL模型,积累知识,从多个来源的专有客户数据。
2022-08-26 cs.CE cs.CR cs.LG
Variance Reduction Methods Do Not Need to Compute Full Gradients: Improved Efficiency through Shuffling
Federated Learning Problems Laboratory(联邦学习问题实验室);Basic Research of Artificial Intelligence Laboratory (BRAIn Lab)(人工智能基础研究实验室(BRAIn Lab))
本文提出了一种无需计算完整梯度的方差减少方法,通过洗牌启发式和SAG/SAGA方法提升效率,适用于大规模机器学习任务。
2026-01-09 cs.LG math.OC
A Randomized Approach for Tight Privacy Accounting
Princeton University(普林斯顿大学);Virginia Tech(弗吉尼亚理工大学)
本文提出差分隐私新范式EVR,通过Monte Carlo技术构建随机化隐私验证器和DP accountant,将隐私参数估计转化为严格上界保证,提升了隐私保护机器学习的效用-隐私权衡。
2023-11-21 cs.CR cs.DS cs.LG
When Machine Learning Meets Importance Sampling: A More Efficient Rare Event Estimation Approach
School of Data Science, the Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院)
针对串联队列稳态稀有事件概率估计,提出基于边际似然比的新重要性采样方法,并用机器学习估计该比率,实验证明优于经典方法。
2025-04-18 cs.LG math.OC math.PR
Liquid State Machine-Empowered Reflection Tracking in RIS-Aided THz Communications
Amirkabir University of Technology(阿米尔卡比尔理工大学);Tarbiat Modares University(塔比亚特·莫达雷斯大学);Pasargad Institute for Advanced Innovative Solutions(帕萨加德高级创新解决方案研究所);York University(约克大学);University of Manitoba(曼尼托巴大学)
在可重构智能表面(RIS)的被动波束形成,使一个可行的和有效的通信方式时,RIS反射系数精确调整。在本文中,我们提出了一个框架来跟踪RIS反射系数的帮助下,深度学习从时间序列预测的角度在太赫兹(THz)通信系统。建议的框架实现了两个步骤的增强类似的学习驱动的同行。具体来说,在第一步中,我们训练液态机(LSM)以跟踪先前时间步长(称为时间序列序列)的历史RIS反射系数并预测其即将到来的时间步长。我们还通过Xavier初始化技术对训练的LSM进行微调,以减少预测方差,从而提高预测精度。在第二步中,我们使用集成学习技术,利用多个LSM的预测能力,以最小化预测方差,提高第一步的精度。数值结果表明,在第一步中,采用Xavier初始化技术微调的LSM的结果在最多26%的低LSM预测方差和高达46%的可实现的频谱效率(SE)的改善,比现有的同行,当RIS的大小为11x11部署。在第二步中,在与训练单个LSM相同的计算复杂性下,多个LSM的集成学习将单个LSM的预测方差降低到66%,并且将系统可实现的SE提高到最多54%。
2022-08-08 cs.LG eess.SP
Leaking Sensitive Financial Accounting Data in Plain Sight using Deep Autoencoder Neural Networks
University of St. Gallen (HSG)(圣加仑大学(HSG));German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI))
如今,各组织在“企业资源规划"系统中收集了大量的敏感信息,如与会计有关的交易、客户主数据或战略销售价格信息。此类信息的泄露对公司构成了严重威胁,因为事件的数量和对经历这些事件的人的声誉损害继续增加。与此同时,深度学习研究的发现表明,机器学习模型可能被恶意滥用,以创建新的攻击向量。了解这种攻击的性质对于(内部)审计和欺诈检查实践变得越来越重要。这种意识的建立尤其适用于使用基于深度学习的隐写技术的欺诈性数据泄漏,而这种技术可能仍然无法被最先进的“计算机辅助审计技术”检测到。在这项工作中,我们介绍了一个真实世界的“威胁模型”,旨在泄漏敏感的会计数据。此外,我们表明,一个深隐写过程,由三个神经网络,可以训练隐藏这些数据在不显眼的“日常”图像。最后,我们对两个公开的真实世界支付数据集进行了定性和定量评估。
2020-12-13 cs.CR cs.CV cs.LG
Federated learning with heavy-tailed gradient noise and communication noise: a variance-reduction based algorithm
School of Mathematics, China University of Mining and Technology(中国矿业大学数学学院);School of Mathematical Sciences, Dalian University of Technology(大连理工大学数学科学学院)
针对联邦学习中重尾梯度噪声和通信噪声问题,提出基于方差缩减的VRA-FedSGD算法,通过动量方差缩减和非线性映射抑制噪声,在非凸和强凸目标下分别达到理论收敛速率,实验验证有效性。
2026-10-21 cs.LG math.OC
Accounting for Variations in Speech Emotion Recognition with Nonparametric Hierarchical Neural Network
University of Michigan(密歇根大学)
近年来,基于深度学习的语音情感识别模型已经超过了经典的机器学习模型。以前,神经网络设计,如多任务学习,已经考虑到由于人口统计和上下文因素引起的情感表达的变化。然而,现有的模型面临一些限制:1)它们依赖于域的明确定义(例如,性别、噪声条件等)。和领域标签的可用性; 2)他们经常尝试学习领域不变的特征,而情感表达可以是领域特定的。在本研究中,我们提出了非参数分层神经网络(NHNN),一个轻量级的分层神经网络模型的基础上贝叶斯非参数聚类。与多任务学习方法相比,该模型不需要域/任务标签。在我们的实验中,NHNN模型在语料库内和跨语料库测试中通常优于具有相似复杂性水平的模型和最先进的模型。通过聚类分析,我们表明,NHNN模型能够学习特定于组的特征,并弥合组之间的性能差距。
2021-09-09 cs.AI cs.HC cs.LG
An Adaptive Learning Method of Restricted Boltzmann Machine by Neuron Generation and Annihilation Algorithm
Hiroshima City University(广岛市立大学);Prefectural University of Hiroshima(广岛县立大学)
限制玻尔兹曼机(RBM)是一种基于生成式随机能量的人工神经网络模型,用于无监督学习。最近,RBM被认为是深度学习的一种预训练方法。除了可见和隐藏的神经元之外,RBM的结构还具有许多参数,例如神经元之间的权重和它们的系数。因此,我们在确定分析大数据的最佳网络结构时可能会遇到一些困难。为了避免这个问题,我们在学习过程中研究了参数的方差,以找到一个最佳的结构。因此,在RBM模型中,需要对引起能量函数波动的参数方差进行检验。在本文中,我们提出了RBM的自适应学习方法,可以发现一个最佳数量的隐藏的神经元,根据训练情况,通过应用神经元生成和湮灭算法。在该方法中,如果能量函数仍不收敛,且参数方差较大,则生成新的隐层神经元。此外,如果神经元不影响学习情况,则失活的隐藏神经元将被湮灭。本文讨论了一些基准数据集的实验结果。
2018-07-11 cs.CV cs.LG cs.NE
Efficient Quantum One-Class Support Vector Machines for Anomaly Detection Using Randomized Measurements and Variable Subsampling
LMU Munich(慕尼黑大学);Fraunhofer AISEC(弗劳恩霍夫应用安全研究所)
针对量子单类支持向量机处理大型数据集时的二次时间复杂度问题,结合量子随机测量核、可变子采样与旋转特征装袋,实现了数据和特征维度的双重线性复杂度,并显著提升了性能与训练测试速度。
2024-07-30 cs.AI cs.LG quant-ph