Quantifying Distribution Shifts and Uncertainties for Enhanced Model Robustness in Machine Learning Applications
Norwegian University of Science and Technology(挪威科技大学)
本文利用范德瓦尔斯方程生成合成数据,并通过 KL 散度、Jensen-Shannon 距离和 Mahalanobis 距离等统计度量量化分布偏移与不确定性,提出以插值/外推区域判断作为增强模型鲁棒性和泛化能力的互补方法。
2024-05-03 cs.LG stat.ML
Generalization of Long-Range Machine Learning Potentials in Complex Chemical Spaces
研究探讨了长程修正对机器学习势在不同化学空间中的泛化能力的影响,提出偏置训练-测试分割策略以评估模型在不同化学区域的性能,强调长程建模对实现可推广的机器学习势的重要性。
2026-03-19 cs.LG physics.chem-ph
Out-of-Distribution Generalization in Kernel Regression
Harvard University(哈佛大学)
在实际应用中,用于训练机器学习模型的数据生成过程通常与模型在测试阶段遇到的不同。理解机器学习模型如何以及是否在这种分布变化下泛化一直是一个理论挑战。在这里,我们使用统计物理学的方法研究了训练和测试分布不同时核回归的泛化。使用副本方法,我们推导出适用于任何核数据集和真实数据集的分布外推广误差的解析公式。我们确定了一个重叠矩阵,量化了给定内核的分布之间的不匹配,作为分布偏移下泛化性能的关键决定因素。使用我们的分析表达式,我们阐明了各种泛化现象,包括可能的改善泛化时,有一个不匹配。我们开发了优化给定数据预算的训练和测试分布的程序,以找到最好和最坏情况下的转变。我们目前的应用程序,我们的理论,真正的和合成的数据集和许多内核。我们将我们的理论应用于神经切线核的结果与宽网络的模拟进行比较,并显示出一致性。我们将进一步深入分析线性回归。
2022-02-04 cond-mat.dis-nn cs.LG stat.ML
A composable machine-learning approach for steady-state simulations on high-resolution grids
Ansys Inc.(安思斯公司)
在本文中,我们表明,我们的机器学习(ML)的方法,CoMLSim(可组合机器学习模拟器),可以模拟偏微分方程的高分辨率网格具有更高的精度和泛化到分布源项和几何形状比传统的ML基线。我们独特的方法结合了传统PDE求解器的关键原则与局部学习和低维流形技术,在大型计算域上迭代模拟PDE。所提出的方法在高分辨率网格上不同PDE条件下的5个以上稳态PDE上进行了验证,并与商业求解器Ansys Fluent以及其他4种最先进的ML方法进行了比较。数值实验表明,我们的方法在以下方面优于ML基线:1)跨定量指标的准确性; 2)对分布外条件和域大小的泛化。此外,我们提供了大量的消融实验的结果,突出我们的方法,强烈影响结果的组成部分。我们的结论是,我们的本地学习和迭代推理方法减少了大多数ML模型面临的泛化挑战。
2022-10-11 cs.LG
Bias as a Virtue: Rethinking Generalization under Distribution Shifts
Tsinghua University(清华大学);University of Southern California(南加州大学)
挑战传统验证范式,提出ADB框架通过在训练中引入受控统计多样性利用分布内偏差,显著提升了模型在分布偏移下的泛化能力并降低误差。
2025-05-31 cs.AI cs.LG stat.ML
Counting and Algorithmic Generalization with Transformers
Lab42 AI Research Institute(Lab42 人工智能研究院)
本文分析标准 Transformer 中阻碍计数任务分布外泛化的架构因素,并通过消融层归一化和 softmax 注意力归一化,提出一种轻量修改版 Transformer 以提升计数算法泛化能力。
2024-01-12 cs.LG
Out-Of-Distribution Generalization on Graphs: A Survey
Tsinghua University(清华大学)
图机器学习在学术界和工业界都得到了广泛的研究。尽管随着大量新兴方法和技术的出现而蓬勃发展,但大多数文献都建立在分布假设的基础上,即,测试和训练图数据是相同分布的。然而,在许多真实世界的图形场景中,当测试和训练图形数据之间存在分布偏移时,模型性能大大降低时,这种分布内假设很难得到满足。为了解决这一关键问题,图的分布外推广(out-of-distribution generalization,OOD)超越了分布内假设,取得了很大的进展,引起了研究界越来越多的关注。本文对图上的面向对象的推广进行了全面的综述,并对这一领域的最新进展进行了详细的回顾。首先,我们提供了一个正式的问题定义的图上的OOD推广。其次,我们从概念上不同的角度将现有的方法分为三类,即,数据、模型和学习策略,基于它们在图机器学习管道中的位置,然后对每个类别进行详细讨论。我们还回顾了与图上的OOD推广相关的理论,并介绍了常用的图数据集进行全面评估。最后,我们分享了我们对未来研究方向的见解。本文是第一个系统的和全面的审查图上的OOD推广,尽我们所知。
2022-12-29 cs.LG
Fermi-Bose Machine achieves both generalization and adversarial robustness
School of Physics, Sun Yat-sen University(中山大学物理学院);Guangdong Provincial Key Laboratory of Magnetoelectric Physics and Devices, Sun Yat-sen University(中山大学广东省磁电物理与器件重点实验室)
针对深度神经网络易受对抗样本攻击的问题,提出一种生物合理的局部对比学习(Fermi-Bose 机器),通过调节目标费米子对距离控制原型流形分离,在 MNIST 上显著提升对抗鲁棒性并保持泛化能力。
2024-07-18 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Generalization Across Experimental Parameters in Machine Learning Analysis of High Resolution Transmission Electron Microscopy Datasets
Molecular Foundry(分子铸造厂);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);University of California Berkeley(加州大学伯克利分校)
本研究探究训练数据元特征对神经网络在TEM图像纳米颗粒分割中的泛化影响,发现网络对显微镜参数不稳健,但对样品参数可泛化,且预处理影响显著,凸显了理解数据集特征的重要性。
2023-06-20 cond-mat.mtrl-sci cs.LG eess.IV
Near-Tight Margin-Based Generalization Bounds for Support Vector Machines
Aarhus University(奥胡斯大学)
支持向量机(SVM)是最基本的二进制分类工具之一。在其最简单的公式中,SVM使用数据的最大可能余量产生分离两类数据的超平面。通过大量的泛化界限,对最大化边际的关注得到了很好的激励。在本文中,我们重新审视和改进的经典推广界的边缘。此外,我们补充了我们的新的泛化边界的一个几乎匹配的下限,从而几乎解决了泛化性能的支持向量机的利润。
2020-06-03 cs.LG stat.ML
Optimizing for Generalization in Machine Learning with Cross-Validation Gradients
Department of Electrical Engineering(电气工程系);Stanford University(斯坦福大学)
交叉验证是现代应用统计学和机器学习的主力,因为它为选择最大化泛化性能的模型提供了原则性框架。在本文中,我们证明了交叉验证风险对于许多常见的机器学习算法,包括逻辑斯谛回归,弹性网络回归和支持向量机的超参数和训练数据是可区分的。利用这种可微性,我们提出了一种用于超参数优化的交叉验证梯度方法(CVGM)。我们的方法可以在高维超参数空间中有效地优化交叉验证风险,这是我们学习算法真正泛化能力的最佳替代。
2018-05-18 cs.LG stat.ML
Modeling Generalization in Machine Learning: A Methodological and Computational Study
Cambridge University(剑桥大学);Politecnico di Torino(都灵理工大学);Université Paris-Saclay(巴黎萨克雷大学);INRAE(法国国家农业食品与环境研究院)
随着机器学习越来越多地为公众所用,理论问题正在转变为紧迫的实际问题。可能,最相关的问题之一是评估我们对信任机器学习预测的信心。在许多现实世界的情况下,最重要的是估计机器学习算法的泛化能力,即,根据目标问题的特征,对未知数据进行准确预测。在这项工作中,我们进行了109个公开的分类数据集的荟萃分析,建模机器学习泛化作为各种数据集特征的函数,范围从样本数量的内在维度,从类的功能偏度评估测试样本落在训练集的凸包之外的$F1$。实验结果证明了使用训练数据的凸包的概念在评估机器学习泛化中的相关性,通过强调内插和外推预测之间的差异。除了几个可预测的相关性,我们观察到出乎意料的弱关联之间的泛化能力的机器学习模型和所有指标的维度,从而挑战的共同假设,\textit{curse of dimensionality}可能会损害泛化机器学习。
2020-06-28 cs.LG stat.ML
A Note on High-Probability versus In-Expectation Guarantees of Generalization Bounds in Machine Learning
Delft University of Technology(代尔夫特理工大学)
统计机器学习理论经常试图给出机器学习模型的泛化保证。这些模型基于数据样本,自然存在一些波动。如果我们运气不好,收集的样本不能代表潜在的分布,就不能指望构建一个可靠的机器学习模型。在此之后,关于机器学习模型性能的陈述必须考虑采样过程。两种常见的方法是生成在随机抽样过程中以高概率或预期成立的语句。在这个简短的说明中,我们展示了如何将一个语句转换为另一个语句。作为一种技术创新,我们解决的情况下,无界损失函数,我们使用一个相当新的假设,称为证人条件。
2022-11-18 cs.LG stat.ML
From Optimization Dynamics to Generalization Bounds via Łojasiewicz Gradient Inequality
National University of Singapore(新加坡国立大学)
优化和泛化是统计机器学习的两个基本方面。本文通过分析梯度流算法下基于优化轨迹的泛化误差,提出了一个将优化与泛化相结合的框架。该框架的关键成分是Uniform-LGI,这是在训练机器学习模型时通常满足的属性。利用Uniform-LGI,我们首先推导了梯度流算法的收敛速度,然后给出了一大类机器学习模型的泛化界。我们进一步将我们的框架应用于三种不同的机器学习模型:线性回归,核回归和两层神经网络。通过我们的方法,我们得到的泛化估计匹配或扩展以前的结果。
2022-10-12 cs.LG stat.ML
Compositional Generalization via Neural-Symbolic Stack Machines
UC Berkeley(加州大学伯克利分校);Google Brain(谷歌大脑)
尽管取得了巨大的成功,但现有的深度学习模型已经暴露了组合泛化的局限性,即学习组合规则并以系统的方式将其应用于看不见的案例的能力。为了解决这个问题,我们提出了神经符号堆栈机(NeSS)。它包含一个神经网络来生成跟踪,然后由一个增强了序列操作操作的符号堆栈机执行。NeSS将神经序列模型的表达能力与符号堆栈机支持的递归相结合。在没有对执行轨迹进行训练监督的情况下,NeSS在四个领域实现了100%的泛化性能:语言驱动导航任务的SCAN基准测试、组合指令的少样本学习任务、组合机器翻译基准测试和上下文无关文法解析任务。
2020-10-22 cs.AI cs.LG stat.ML
Efficient Decision Trees for Multi-class Support Vector Machines Using Entropy and Generalization Error Estimation
Chulalongkorn University(朱拉隆功大学);Osaka University(大阪大学)
我们提出了新的方法,支持向量机(SVM)使用树结构的多类分类。在树的每个节点上,利用熵和泛化误差估计选择合适的二元分类器,然后根据所选分类器将样本分为正类和负类,并训练一个新的分类器用于分类阶段。所提出的方法可以在O(log2N)到O(N)之间的时间复杂度内工作,其中N是类的数量。我们使用10倍交叉验证将我们提出的方法的性能与UCI机器学习存储库上的传统技术进行了比较。实验结果表明,我们提出的方法是非常有用的问题,需要快速的分类时间或大量的类的问题,因为所提出的方法运行速度比传统的技术,但仍然提供相当的准确性。
2017-08-28 cs.LG stat.ML
Least Squares Maximum and Weighted Generalization-Memorization Machines
Hainan University(海南大学);Inner Mongolia University(内蒙古大学)
本文提出一种记忆影响机制用于LSSVM,在不改变约束下精确划分训练集,并构建MIMM和WIMM模型,实验显示其泛化性能优于LSSVM且时间成本更低。
2023-08-31 cs.LG stat.ML
Effective dimension of machine learning models
IBM Quantum, IBM Research – Zurich(IBM量子计算,IBM苏黎世研究院);University of KwaZulu-Natal, Durban(夸祖鲁-纳塔尔大学,德班);Department of Mathematics, ETH Zurich(苏黎世联邦理工学院数学系)
对训练模型在涉及新数据的任务上的性能进行陈述是机器学习的主要目标之一,即,来理解模型的泛化能力。各种容量度量试图捕捉这种能力,但通常无法解释我们在实践中观察到的模型的重要特征。在这项研究中,我们提出了当地的有效尺寸作为一个能力的措施,这似乎与标准数据集上的泛化误差。更重要的是,我们证明了局部有效维数限制了泛化误差,并讨论了这种能力测度对机器学习模型的适用性。
2021-12-09 cs.LG stat.ML
Generalization of Machine Learning for Problem Reduction: A Case Study on Travelling Salesman Problems
RMIT University(皇家墨尔本理工大学);Monash University(蒙纳士大学)
组合优化在实际问题求解中起着重要的作用。在大数据时代,组合优化问题的维数通常非常大,这对现有的求解方法提出了重大挑战。在本文中,我们研究的推广能力的机器学习模型的问题约简的经典旅行商问题(TSP)。我们证明,我们的方法可以greenly删除决策变量的优化问题,预测不是最优解的一部分。更具体地说,我们研究了模型在训练阶段没有看到的测试实例上进行泛化的能力。我们考虑三种情况,其中训练和测试实例在以下方面不同:1)问题特征; 2)问题大小; 3)问题类型。我们的实验表明,这种基于机器学习的技术可以推广到广泛的TSP测试实例具有不同的特性或大小。虽然预测未使用变量的准确性会随着测试实例远离训练集而自然恶化,但我们观察到,即使在不同的TSP问题变体上进行测试,机器学习模型仍然可以对哪些变量可以被消除而不会显着影响解决方案质量进行有用的预测。
2020-09-08 cs.LG stat.ML
pystacked: Stacking generalization and machine learning in Stata
pstacked通过Python的scikit-learn实现了回归和二进制分类的堆叠泛化(Wolpert,1992)。堆叠将多个有监督的机器学习器(“基础”或“0级”学习器)组合成一个学习器。目前支持的基本学习器包括正则化回归,随机森林,梯度提升树,支持向量机和前馈神经网络(多层感知器)。pstacked也可以作为“常规”机器学习程序使用,以适应单个基础学习器,从而为scikit-learn的机器学习算法提供易于使用的API。
2023-03-06 econ.EM stat.ML
Restricted Boltzmann Machine with Multivalued Hidden Variables: a model suppressing over-fitting
ALBERT Inc.(阿尔伯特公司);Graduate School of Science and Engineering, Yamagata University(山形大学理工学研究生院)
泛化是机器学习中最重要的问题之一。在这项研究中,我们考虑在限制玻尔兹曼机(RBM)的推广。我们提出了一个多值隐变量的RBM,这是一个简单的扩展传统的RBM。我们证明了该模型是优于传统的模型,通过数值实验的对比发散学习与人工数据和分类问题与MNIST。
2020-01-08 cs.LG stat.ML
Distributional Robustness Bounds Generalization Errors
Institute of Data Science, National University of Singapore(新加坡国立大学数据科学研究院);Department of Industrial Systems Engineering and Management, National University of Singapore(新加坡国立大学工业系统工程与管理系)
本文研究贝叶斯、分布鲁棒优化和正则化三大框架的联系,提出鲁棒性度量概念,证明贝叶斯方法在PAC意义下分布鲁棒且正则化方法等价于贝叶斯方法,从而以新视角统一解释了这些模型泛化误差更小的原因。
2024-03-25 cs.LG stat.ML
Generalization In Multi-Objective Machine Learning
Institute of Science and Technology Austria (ISTA)(奥地利科学技术研究所(ISTA))
现代机器学习任务通常需要考虑的不仅仅是一个而是多个目标。例如,除了预测质量之外,这还可以是学习模型的效率、鲁棒性或公平性,或者它们的任何组合。多目标学习提供了一个自然的框架来处理这些问题,而不必承诺早期的权衡。令人惊讶的是,到目前为止,统计学习理论几乎没有提供多目标学习的泛化特性。在这项工作中,我们采取了第一步来填补这一空白:我们建立了多目标设置的基本泛化界限以及标量化学习的泛化和超额界限。我们还提供了第一个理论分析的帕累托最优集的真实目标和帕累托最优集的经验近似从训练数据之间的关系。特别是,我们发现了一个令人惊讶的不对称性:所有的帕累托最优解可以近似经验帕累托最优的,但反之亦然。
2022-08-29 cs.AI cs.LG stat.ML
Understanding quantum machine learning also requires rethinking generalization
Freie Universität Berlin(柏林自由大学);Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所);Helmholtz-Zentrum Berlin für Materialien und Energie(亥姆霍兹柏林材料与能源研究中心)
本文通过随机化实验和理论构造,证明传统泛化理论无法解释量子神经网络的记忆行为,挑战了基于复杂度度量的泛化理解,并呼吁范式转变。
2024-02-12 cond-mat.quant-gas cs.LG quant-ph
Generalization in quantum machine learning from few training data
Technical University of Munich(慕尼黑工业大学);Munich Center for Quantum Science and Technology (MCQST)(慕尼黑量子科学与技术中心(MCQST));Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);University of Maryland(马里兰大学);Quantum Science Center(量子科学中心)
现代量子机器学习(QML)方法涉及在训练数据集上变化地优化参数化量子线路,并且随后在测试数据集上进行预测(即,一般化)。在这项工作中,我们提供了一个全面的研究泛化性能QML训练后,有限数量的$N$的训练数据点。我们证明了具有$T$可训练门的量子机器学习模型的泛化误差在最坏情况下为$\sqrt{T/N}$。当只有$K \ll T$门在优化过程中发生了实质性的变化,我们证明了推广误差改善到$\sqrt{K / N}$。我们的研究结果意味着,将幺正元编译成多项式数量的本机门,这是通常使用指数大小训练数据的量子计算行业的关键应用,可以显着加快。我们还表明,与量子卷积神经网络的相变的量子态的分类只需要一个非常小的训练数据集。其他潜在的应用包括学习量子纠错码或量子动力学模拟。我们的工作为QML领域注入了新的希望,因为从很少的训练数据就可以保证良好的泛化能力。
2022-09-05 cs.LG quant-ph stat.ML
Rethinking Conventional Wisdom in Machine Learning: From Generalization to Scaling
Google DeepMind(谷歌DeepMind)
本文反思机器学习从泛化到扩展的范式转变,质疑 L2、小批量和大学习率等正则化原则在 LLM 时代的有效性,并提出“扩展定律交叉”现象及规模化模型比较问题。
2025-02-14 cs.LG stat.ML
Enhancements of Multi-class Support Vector Machine Construction from Binary Learners using Generalization Performance
Chulalongkorn University(朱拉隆功大学);Walailak University(瓦莱岚大学)
我们提出了几种新的方法来提高多类支持向量机的应用推广性能的二进制分类器的核心思想。这个概念将应用于现有的算法,即,有向无环图(DDAG)、自适应有向无环图(ADAG)和Max Wins。虽然在以前的方法中已经有很多尝试使用一些信息,如利润的大小和支持向量的数量作为二进制支持向量机的性能估计,他们可能无法准确地反映二进制支持向量机的实际性能。我们表明,通过交叉验证机制评估的泛化能力更适合于直接提取二进制支持向量机的实际性能。我们的方法是围绕这个性能指标构建的,每一个方法都是为了克服以前算法的弱点而设计的。提出的方法包括重排序自适应有向无环图(RADAG),强消除的分类器(SE),弱消除的分类器(WE),和基于投票的候选过滤(VCF)。实验结果表明,我们的方法提供了显着更高的准确性比所有的传统的。特别是,我们提供了显着优于结果相比,最大的胜利,这是公认的最先进的算法在准确性和分类速度方面的平均速度快两倍。
2013-09-11 cs.LG stat.ML
Differential Description Length for Hyperparameter Selection in Machine Learning
University of Hawaii at Manoa(夏威夷大学马诺阿分校);Shenzhen Research Institute of Big Data, CUHKSZ(香港中文大学(深圳)深圳大数据研究院)
本文介绍了一种新的方法,模型选择和更一般的超参数选择在机器学习。最小描述长度(MDL)是一种用于模型选择的既定方法,然而,它并不直接旨在最小化泛化误差,而泛化误差通常是机器学习的主要目标。本文证明了泛化误差与训练数据的描述长度差之间的关系,我们称之为差分描述长度(DCL)。这允许通过执行对训练数据的编码来仅从训练数据预测泛化误差。然后,通过选择具有最小预测泛化误差的模型,可以将泛化用于模型选择。我们展示了这种方法如何用于线性回归、神经网络和深度学习。实验结果表明,该方法的泛化误差小于交叉验证方法和传统的MDL、Bayes方法。
2019-05-22 cs.IT cs.LG math.IT
Demand Prediction Using Machine Learning Methods and Stacked Generalization
Istanbul Technical University(伊斯坦布尔理工大学)
供给和需求是卖方和客户的两个基本概念。准确预测需求对于组织来说至关重要,以便能够制定计划。在本文中,我们提出了一种新的方法,对电子商务网站的需求预测。所提出的模型在几个方面不同于早期的模型。在电子商务网站中使用的商业模型,该模型是实现的,包括许多卖家在同一时间以不同的价格出售相同的产品,其中公司经营的市场模型。这种模型的需求预测应该考虑竞争卖方出售的相同产品的价格,沿着这些卖方的特征。在这项研究中,我们首先应用不同的回归算法的一个部门的一个公司,是在土耳其最流行的在线电子商务公司之一的特定产品集。然后,我们使用堆叠泛化或堆叠集成学习来预测需求。最后,所有的方法进行评估,从电子商务公司获得的真实世界的数据集。实验结果表明,一些机器学习方法确实产生了几乎与堆叠泛化方法一样好的结果。
2022-11-01 cs.AI cs.LG stat.ML
Fractal Dimension Generalization Measure
CognitiveScale(认知尺度公司)
为机器学习模型的性能开发鲁棒的泛化度量是一项重要且具有挑战性的任务。在预测泛化时,该领域的许多研究都集中在模型决策边界上。在本文中,作为“深度学习中的预测泛化“竞赛的一部分,我们使用分形维数的概念分析了决策边界的复杂性,并开发了一种基于该技术的泛化度量。
2020-12-22 cs.LG stat.ML
Meta Dropout: Learning to Perturb Features for Generalization
KAIST(韩国科学技术院);AITRICS(艾特里克斯)
一个推广良好的机器学习模型应该在看不见的测试示例上获得低错误。因此,如果我们知道如何最优地扰动训练样本来解释测试样本,我们可以实现更好的泛化性能。然而,由于测试数据的分布是未知的,因此在标准机器学习框架中不可能获得这种扰动。为了应对这一挑战,我们提出了一种新的正则化方法,元丢弃,学习扰动的潜在特征的训练样本泛化的元学习框架。具体来说,我们元学习一个噪声生成器,它输出潜在特征的乘性噪声分布,以输入依赖的方式在测试实例上获得低错误。然后,学习噪声生成器可以在元测试时间扰动看不见的任务的训练样本,以提高泛化能力。我们在Few-Shot分类数据集上验证了该方法,结果表明,该方法显著提高了基础模型的泛化性能,并且在很大程度上优于现有的正则化方法,如信息瓶颈,流形混淆和信息丢失。
2022-02-12 cs.LG stat.ML
Generalization in Machine Learning via Analytical Learning Theory
Massachusetts Institute of Technology(麻省理工学院);University of Montreal(蒙特利尔大学);Aalto University(阿尔托大学)
本文介绍了一种新颖的用于机器学习的测量理论理论,该理论不需要统计假设。基于这一理论,我们推导出了一种新的深度学习正则化方法,并在CIFAR-10、CIFAR-100和SVHN中表现出优于以前的方法。此外,所提出的理论为深度学习中一系列实际成功的正则化方法提供了理论基础。我们讨论了我们的结果对一次性学习,表征学习,深度学习和课程学习的几个后果。与统计学习理论不同,所提出的学习理论通过测量理论单独分析每个问题实例,而不是通过统计分析一组问题实例。因此,与统计学习理论相比,它提供了不同类型的结果和见解。
2019-03-06 cs.AI cs.LG cs.NE
Over-Parameterization and Generalization in Audio Classification
Institute of Computational Perception, Johannes Kepler University Linz(林茨约翰内斯·开普勒大学计算感知研究所);LIT AI Lab(LIT人工智能实验室)
卷积神经网络(CNN)在机器视觉、机器听力和自然语言处理等领域的分类任务中占据主导地位。在机器收听中,虽然通常表现出非常好的泛化能力,但CNN对所使用的特定音频记录设备敏感,这已被认为是声学场景分类(DCASE)社区中的一个实质性问题。在这项研究中,我们调查的声学场景分类模型的过参数化之间的关系,以及由此产生的泛化能力。具体来说,我们在不同的条件下测试了CNN的宽度和深度。我们的研究结果表明,增加宽度提高了对看不见的设备的泛化,即使没有增加参数的数量。
2021-07-19 cs.LG cs.SD eess.AS
Generalization in Quantum Machine Learning: a Quantum Information Perspective
University of Florence(佛罗伦萨大学);INFN Sezione di Firenze(意大利国家核物理研究院佛罗伦萨分部);University of York(约克大学)
量子分类和假设检验是两个紧密相关的主题,主要区别在于前者是数据驱动的:如何将量子态$ρ(x)$分配给相应的类$c$(或假设)是在训练期间从示例中学习的,其中$x$可以是可调的实验参数或“嵌入”到量子态中的经典数据。该模型具有普适性吗?这是任何数据驱动策略的主要问题,即预测正确类的能力,即使是以前看不见的状态。在这里,我们建立了量子机器学习分类和量子假设检验(状态和通道鉴别)之间的联系,然后证明了量子分类器的准确性和泛化能力取决于量子状态空间$Q$和经典参数空间$X$或类空间$C$之间的(Rényi)互信息$I(C{:}Q)$和$I_2(X{:}Q)$。基于上述特征,然后我们展示了$Q$的不同属性如何影响分类准确性和泛化,例如希尔伯特空间的维度、噪声量以及来自$X$的被忽略的信息量,例如,池化层。此外,我们引入了量子版本的信息瓶颈原则,使我们能够探索准确性和泛化之间的各种权衡。最后,为了验证我们的理论预测,我们研究了伊辛自旋链的量子相位的分类,我们提出了变分量子信息瓶颈(VQIB)方法来优化经典数据的量子嵌入,以利于推广。
2021-08-06 cs.LG quant-ph stat.ML
A Flatness-Generalization Relation in the Teacher-Student Tree-Committee Machine
ICTP Trieste(里雅斯特国际理论物理中心);Bocconi University(博科尼大学);Bocconi Institute for Data Science and Analytics (BIDSA)(博科尼数据科学与分析研究所(BIDSA))
本研究在教师-学生树委员会机器中解析验证了损失景观平坦性与泛化误差的关系,发现该关系依赖于学习任务和参数-数据比,回归中谱均值与右边缘相关,分类中仅在高度过参数化阶段成立。
2026-09-28 cond-mat.dis-nn cs.LG stat.ML
Generalization Error of Generalized Linear Models in High Dimensions
University of California, Los Angeles(加州大学洛杉矶分校);New York University(纽约大学)
机器学习的核心问题是学习规则在以前看不见的数据上的可推广性。虽然基于神经网络的过参数化模型现在在机器学习应用中无处不在,但我们对其泛化能力的理解是不完整的。由于底层学习问题的非凸性,这一任务变得更加困难。我们提供了一个一般框架来表征单层神经网络的渐近泛化误差(即,广义线性模型)与任意非线性,使其适用于回归以及分类问题。该框架使得能够分析(i)建模期间的过度参数化和非线性;以及(ii)学习期间的损失函数、初始化和正则化器的选择的影响。我们的模型还捕获了训练和测试分布之间的不匹配。作为例子,我们分析了几个特殊的情况,即线性回归和逻辑回归。我们也能够严格地和分析地解释广义线性模型中的\emph{double descent}现象。
2020-05-01 cs.LG stat.ML
Heteroscedastic Relevance Vector Machine
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在这项工作中,我们提出了一个异方差推广RVM,一个快速的贝叶斯框架回归,最近的一些类似的作品的基础上。我们使用变分近似和期望传播来解决这个问题。这项工作仍在进行中,我们正在研究结果,并与以前的工作进行比较。
2013-01-10 cs.LG stat.ML
Which Algorithms Have Tight Generalization Bounds?
EPFL(洛桑联邦理工学院);University of Haifa(海法大学);MIT(麻省理工学院)
本文研究机器学习算法紧致泛化界的判定条件,证明不稳定算法不承认紧致泛化界,而足够稳定的算法具有紧致泛化界,并将其存在性归结为算法损失的条件方差。
2024-10-02 cs.LG stat.ML
Description and Discussion on DCASE 2022 Challenge Task 2: Unsupervised Anomalous Sound Detection for Machine Condition Monitoring Applying Domain Generalization Techniques
Hitachi, Ltd.(日立有限公司);Doshisha University(同志社大学);NTT Corporation(日本电信电话公司);Google(谷歌)
我们介绍了DCASE 2022挑战任务2的任务描述和结果讨论:“应用领域泛化技术进行机器状态监测的无监督异常声音检测(ASD)”。域移位是ASD系统应用的关键问题。由于域偏移可以改变数据的声学特性,因此在源域中训练的模型对于目标域表现不佳。在DCASE 2021挑战任务2中,我们组织了一个ASD任务来处理域转移。在这项任务中,假设域移位的发生是已知的。然而,在实践中,可能没有给出每个样本的域,并且域偏移可能隐含地发生。在2022年的任务2中,我们将重点关注领域泛化技术,该技术可以检测异常,而不管领域的变化。具体地,在测试数据中不给出每个样本的域,并且对于所有域仅允许一个阈值。对来自31个团队的81个提交的分析揭示了两种显着类型的领域泛化技术:1)基于域混合的方法,获得广义表示和2)基于域分类的方法,显式或隐式地对不同的域进行分类,以提高每个域的检测性能。
2022-11-22 cs.LG cs.SD eess.AS
DeepNNK: Explaining deep models and their generalization using polytope interpolation
University of Southern California(南加州大学)
基于神经网络的现代机器学习系统在学习复杂数据模式方面取得了巨大成功,同时能够对看不见的数据点进行良好的预测。然而,这些系统的有限的可解释性阻碍了进一步的进展和应用到现实世界中的几个领域。这种困境体现在耗时的模型选择和预测可解释性面临的困难,特别是在存在对抗性例子的情况下。在本文中,我们采取了一个步骤,更好地理解神经网络通过引入局部多面体插值方法。提出的深度非负核回归(NNK)插值框架是非参数的,理论上简单,几何直观。我们展示了基于实例的深度学习模型的可解释性,并开发了一种方法来识别具有良好泛化特性的模型,使用留一估计。最后,我们从机器学习的插值观点出发,对不可避免的对抗性和生成性示例进行了合理化。
2020-07-20 cs.LG stat.ML
Neutralized Empirical Risk Minimization with Generalization Neutrality Bound
目前,机器学习在许多人的生活和个人活动中发挥着重要作用。因此,有必要设计机器学习算法,以确保通过机器学习做出的决策或预测不会导致歧视、偏见或不公平待遇。在这项工作中,我们引入了一种新的经验风险最小化(ERM)框架的监督学习,中立的ERM(NERM),确保任何分类器获得可以保证是中立的观点假设。更具体地说,给定一个观点假设,NERM的工作是找到一个目标假设,最大限度地减少经验风险,同时确定一个目标假设是中立的观点假设。在NERM框架内,我们得出了一个理论界的经验和泛化中性风险。此外,作为线性分类的NERM的实现,我们推导出一个最大间隔算法,中性支持向量机(SVM)。实验结果表明,我们的中性SVM在真实数据集上显示出更好的分类性能,而不牺牲中立性保证。
2015-11-06 stat.ML
Zero Generalization Error Theorem for Random Interpolators via Algebraic Geometry
The University of Tokyo(东京大学);Kyoto University(京都大学);RIKEN AIP(日本电子科学技术研究所)
该研究通过代数几何工具证明,在教师-学生框架下,当训练样本超过阈值时,随机插值器的泛化误差为零。
2025-12-06 cs.LG stat.ML
Information-Theoretic Bounds on the Moments of the Generalization Error of Learning Algorithms
University College London(伦敦大学学院)
泛化误差界对于理解机器学习模型的性能至关重要。在这项工作中,建立在一个新的约束的期望值的任意函数的人口和经验风险的学习算法,我们提供了一个更精细的分析的泛化行为的机器学习模型的基础上的表征(边界),他们的泛化误差时刻。我们讨论了如何建议的界限-其中也包括新的界限,预期的泛化误差-与现有的界限在文献中。我们还讨论了如何建议的泛化误差矩界可以用来构建新的泛化误差高概率界。
2021-05-05 cs.IT cs.LG math.IT
Stability and Generalization of the Decentralized Stochastic Gradient Descent
College of Computer, National University of Defense Technology(国防科技大学计算机学院);Scientific Computing & Imaging Institute, University of Utah(犹他大学科学计算与成像研究所)
基于随机梯度的方法的稳定性和推广性为理解机器学习模型的算法性能提供了有价值的见解。作为深度学习的主要工具,随机梯度下降已经得到了大量的研究。然而,社区很少关注其分散的变体。在本文中,我们提供了一个新的制定分散随机梯度下降。利用这个公式与(非)凸优化理论,我们建立了分散随机梯度下降的第一稳定性和推广保证。我们的理论结果是建立在一些常见的和温和的假设之上,并首次揭示了分散化恶化了SGD的稳定性。我们通过使用各种分散的设置和基准机器学习模型来验证我们的理论发现。
2021-02-23 cs.LG math.OC stat.ML
Deep Function Machines: Generalized Neural Networks for Topological Layer Expression
Machine Learning at Berkeley(伯克利机器学习);University of California, Berkeley(加州大学伯克利分校)
在本文中,我们提出了一种广义的深度神经网络,称为深度函数机(DFM)。DFM作用于任意(可能是无限)维的向量空间,我们证明了一族DFM对输入数据的维数是不变的;也就是说,模型的参数化并不直接取决于输入的质量(例如:高分辨率图像)。利用这一推广,我们提供了一个新的理论的泛逼近的有界非线性算子之间的函数空间。然后,我们建议DFMs提供了一个表达框架,设计新的神经网络层类型的拓扑考虑。最后,我们介绍了一种新的架构,RippLeNet,分辨率不变的计算机视觉,凭经验达到最先进的不变性。
2017-11-06 cs.CV cs.LG stat.ML
Generalization Studies of Neural Network Models for Cardiac Disease Detection Using Limited Channel ECG
IBM Research(IBM研究中心)
加速医疗保健领域的机器学习研究面临着缺乏大型注释和平衡数据集的挑战。此外,处理测量误差和利用无监督数据被认为是改进现有解决方案的核心。特别地,预测建模的主要目标是很好地概括观察到的类和看不见的类中的看不见的变化。在这项工作中,我们考虑了机器学习驱动诊断中的一个具有挑战性的问题:检测各种心血管疾病(例如梗塞,心律失常等)。有限通道ECG测量。尽管深度神经网络在预测建模方面取得了前所未有的成功,但它们仅仅依赖于判别模型,而判别模型对看不见的类的泛化能力很差。我们认为,无监督学习可以用来构建有效的潜在空间,促进更好的推广。这项工作广泛地比较了我们提出的方法与最先进的深度学习解决方案的泛化。我们的研究结果显示F1分数有显着改善。
2019-01-05 cs.LG eess.SP stat.ML
Measuring Compositional Generalization: A Comprehensive Method on Realistic Data
Google Research(谷歌研究院)
最先进的机器学习方法表现出有限的合成泛化。与此同时,缺乏全面衡量这一能力的现实基准,这使得寻找和评估改进之处具有挑战性。我们引入了一种新的方法,系统地构建这样的基准,通过最大限度地提高复合发散,同时保证小原子之间的分歧训练和测试集,我们定量比较这种方法与其他方法创建组合泛化基准。我们提出了一个大的和现实的自然语言问答数据集,根据这种方法构建,我们用它来分析组合泛化能力的三个机器学习架构。我们发现,他们未能概括成分,有一个令人惊讶的强大的负相关性之间的复合分歧和准确性。我们还演示了如何使用我们的方法在现有的SCAN数据集之上创建新的组合性基准,这证实了这些发现。
2020-06-25 cs.CL cs.LG stat.ML
Distributional Generalization: A New Kind of Generalization
Harvard University(哈佛大学)
我们引入了一个新的泛化概念--分布泛化--它粗略地说,分类器在训练和测试时的输出是接近 * 的分布 *,而不是接近它们的平均误差。例如,如果我们在CIFAR-10的训练集中将30%的狗错误地标记为猫,那么经过插值训练的ResNet实际上也会在 * 测试集 * 上将大约30%的狗错误地标记为猫,而其他类则不受影响。这种行为并没有被经典的推广所捕获,经典的推广只考虑平均误差,而不考虑误差在输入域上的分布。我们的形式化模型比这个例子更一般,它描述了分布泛化的形式,这些形式可以在问题参数方面得到预期:模型结构、训练过程、样本数量和数据分布。我们在机器学习的各个领域,包括神经网络,内核机,和决策树,这些架构提供了经验证据。因此,我们的研究结果推进我们的经验理解插值分类。
2020-10-15 cs.LG cs.NE math.ST
FAIRM: Learning invariant representations for algorithmic fairness and domain generalization with minimax optimality
Institute of Statistics and Big Data, Renmin University of China(中国人民大学统计与大数据研究院);Department of Statistics, Rutgers University(罗格斯大学统计系)
本文提出基于训练环境的不变学习方法 FAIRM,在多样性条件下兼顾算法公平性与领域泛化,并在线性模型中给出有限样本保证和极小极大最优性,实验表明其优于现有方法。
2024-04-02 cs.LG stat.ME stat.ML
Machine learning-based conditional mean filter: a generalization of the ensemble Kalman filter for nonlinear data assimilation
RWTH Aachen University(亚琛工业大学);Technische Universität Braunschweig(布伦瑞克工业大学);KAUST(阿卜杜拉国王科技大学)
本文提出了基于机器学习的集成条件均值滤波器(ML-EnCMF)--一种基于条件均值滤波器(CMF)的滤波方法。CMF的更新均值与后验均值相匹配,后验均值是通过对过滤器的预测分布应用贝叶斯规则获得的。此外,我们证明了CMF的更新协方差与期望的条件协方差一致。实现EnCMF需要计算条件均值(CM)。基于似然的估计器对于小的系综尺寸容易产生显著的误差,从而导致滤波器发散。我们开发了一个系统的方法集成机器学习到EnCMF的基础上CM的正交投影属性。首先,我们使用一个人工神经网络(ANN)和一个线性函数的组合,获得基于集成卡尔曼滤波器(EnKF),近似CM,使ML-EnCMF继承EnKF的优点。其次,在估计损失函数时,我们应用适当的方差缩减技术来减少统计误差。最后,我们提出了一个模型选择过程,用于明智地选择所应用的滤波器,即,在每个更新步骤中,使用EnKF或ML-EnCMF。我们使用Lorenz-63和Lorenz-96系统证明了ML-EnCMF的性能,并表明ML-EnCMF优于EnKF和基于似然的EnCMF。
2022-08-01 cs.LG cs.NA math.NA
Machine Learning For Elliptic PDEs: Fast Rate Generalization Bound, Neural Scaling Law and Minimax Optimality
Stanford University(斯坦福大学);Caltech(加州理工学院);Duke University(杜克大学)
在本文中,我们研究了使用深度里兹方法(DRM)和物理信息神经网络(PINN)从随机样本求解椭圆偏微分方程(PDE)的深度学习技术的统计极限。为了简化问题,我们研究了一个椭圆型偏微分方程的原型:超立方体上的零Dirichlet边界条件的薛定谔方程,它在量子力学系统中有着广泛的应用。我们建立了这两种方法的上界和下界,这提高了同时开发的上界,通过一个快速的泛化界。我们发现现有的Deep Ritz方法是次优的,并提出了一种改进的Deep Ritz方法,同时证明了PINN和改进的DRM方法可以在索伯列夫空间上达到极大极小最优界.从经验上讲,最近的工作表明,根据幂律,随着训练集的增长,深度模型的准确性将得到提高,我们提供了计算实验,以显示深度PDE求解器的维度相关幂律的类似行为。
2021-11-13 cs.LG cs.NA math.NA
The Dependence of Machine Learning on Electronic Medical Record Quality
将机器学习方法应用于电子病历(EMR)的兴趣越来越大。然而,在不同的机构中,EMR质量可能差异很大。这项工作研究了这种差异对三种先进的机器学习算法性能的影响:逻辑斯谛回归,多层感知器和递归神经网络。使用在洛杉矶儿童医院(CHLA)儿科重症监护室(PICU)和心胸重症监护室(CTICU)收集的EMR的不同排列来模拟EMR差异。使用来自PICU的患者训练算法,以预测PICU和CTICU患者中患者的ICU死亡率。PICU和CTICU之间的不同患者人群提供了不同ICU之间的泛化误差估计。我们量化和评估了这些算法在不同EMR大小,输入类型和数据保真度上的泛化能力。
2017-03-23 stat.ML
Reassessing How to Compare and Improve the Calibration of Machine Learning Models
Duke University(杜克大学)
本研究重新评估机器学习模型校准指标的报告方式,提出基于Bregman散度分解的可靠性图扩展以联合可视化校准与泛化误差,并证明相关理论结果。
2025-02-23 cs.LG math.ST stat.ML
Generalization Bounds for Noisy Iterative Algorithms Using Properties of Additive Noise Channels
Harvard University(哈佛大学);The University of Texas at Austin(得克萨斯大学奥斯汀分校)
在不同的数据分布情况下,通过不同的优化算法训练的机器学习模型可以表现出不同的泛化行为。在本文中,我们分析了噪声迭代算法训练的模型的泛化。我们推导出分布相关的泛化界连接噪声迭代算法的通信和信息理论中发现的加性噪声信道。我们的泛化界揭示了几个应用程序,包括差分私有随机梯度下降(DP-SGD),联邦学习和随机梯度朗之万动力学(SGLD)。我们通过数值实验证明了我们的边界,表明它们可以帮助理解最近的经验观察的泛化现象的神经网络。
2022-12-27 cs.IT cs.LG math.IT