Learn to Expect the Unexpected: Probably Approximately Correct Domain Generalization
MIT(麻省理工学院);Microsoft Research(微软研究院);Hebrew University(希伯来大学);University of Minnesota(明尼苏达大学)
当训练数据和测试数据来自不同的数据域时,领域泛化是机器学习的问题。我们提出了一个简单的理论模型,学习跨域泛化,其中有一个元分布的数据分布,这些数据分布甚至可能有不同的支持。在我们的模型中,提供给学习算法的训练数据由多个数据集组成,每个数据集都来自一个单独的域,这些域依次从元分布中提取。我们研究这个模型在三个不同的问题设置-一个多域Massart噪声设置,决策树多数据集设置,和一个特征选择设置,并发现,计算效率高,多项式样本领域泛化是可能的。实验表明,我们的特征选择算法确实忽略了虚假的相关性,提高了泛化。
2020-02-13 cs.LG stat.ML
A principled approach to model validation in domain generalization
Tufts University(塔夫茨大学);Boston University(波士顿大学)
针对领域泛化中模型选择仅依赖分类风险的问题,本文理论证明了分类风险与领域差异间的权衡,提出一种兼顾两者的新颖模型选择方法,并在多个数据集上验证了其有效性。
2023-04-02 cs.LG
Dynamic Kernel Selection for Improved Generalization and Memory Efficiency in Meta-learning
Transmute AI Lab (Texmin Hub), Indian Institute of Technology, ISM Dhanbad(印度理工学院(印度矿业学院丹巴德分校)变形人工智能实验室(Texmin中心))
基于梯度的元学习方法容易在元训练集上过拟合,并且这种行为在大型复杂网络中更加突出。此外,大型网络限制了元学习模型在低功耗边缘设备上的应用。虽然选择较小的网络可以在一定程度上避免这些问题,但它会影响整体泛化能力,从而降低性能。显然,存在最适合每个元学习问题的近似最优网络架构选择,然而,事先识别它并不简单。在本文中,我们提出了MetaDOCK,这是一种特定于任务的动态内核选择策略,用于设计压缩的CNN模型,该模型可以很好地概括元学习中看不见的任务。我们的方法是基于这样的假设,即对于一组给定的类似任务,不是每个任务都需要网络的所有内核。相反,每个任务仅使用一部分内核,并且每个任务的内核选择可以作为内部更新步骤的一部分动态学习。MetaDOCK压缩了元模型以及特定于任务的内部模型,从而为每个任务提供了模型大小的显着减少,并且通过约束每个任务的活动内核的数量,它隐式地减轻了元过拟合的问题。我们表明,对于相同的推理预算,使用我们的方法获得的大型CNN模型的修剪版本始终优于CNN模型的传统选择。MetaDOCK与流行的元学习方法(如iMAML)结合得很好。我们的方法的有效性在CIFAR-fs和mini-ImageNet数据集上得到了验证,我们观察到我们的方法可以在标准元学习基准上将模型准确性提高高达2%,同时将模型大小减少75%以上。
2022-06-03 cs.CV cs.LG
Weasel: Out-of-Domain Generalization for Web Agents via Importance-Diversity Data Selection
Seoul National University(首尔国立大学);McGill University(麦吉尔大学);Mila -- Quebec AI Institute(蒙特利尔AI研究所);Canada CIFAR AI Chair(加拿大CIFAR人工智能主席)
提出Weasel方法,通过优化平衡单步重要性与状态、网站、交互模式成对多样性的目标,选择固定预算的轨迹子集,结合目标中心AXTree剪枝和风格一致理由替换,提升Web智能体离线训练的域外泛化性能并降低训练成本。
2026-05-26 cs.LG
SwiftTS: A Swift Selection Framework for Time Series Pre-trained Models via Multi-task Meta-Learning
East China Normal University(华东师范大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
SwiftTS通过多任务元学习方法,提出了一种高效的时序预训练模型快速选择框架,提升了模型在不同数据集和时间范围下的泛化能力和鲁棒性。
2026-03-07 cs.LG
A microservice-based framework for exploring data selection in cross-building knowledge transfer
LIRIS UMR5205(利昂高等师范学院计算机科学研究所UMR5205);Univ Lyon(里昂大学);CNRS(法国国家科学研究中心);Université Claude Bernard Lyon 1(里昂第一大学(克洛德·贝尔纳));CETHIL UMR5008(热科学与能源研究所UMR5008);INSA-Lyon(里昂国立应用科学学院);Instituto Universitário de Lisboa (ISCTE-IUL)(里斯本大学学院(ISCTE-IUL))
监督式深度学习在各种应用中取得了显著的成功。然而,成功的机器学习应用取决于足够大量数据的可用性。在缺乏来自目标域的数据的情况下,通常需要从多个来源收集代表性的数据汇集。然而,在现有的多源数据上训练的模型可能在看不见的目标域上泛化得很差。这个问题被称为域转移。在本文中,我们探讨了多源训练数据选择的适用性,以解决领域泛化的背景下的领域转移的挑战。我们还提出了一个面向微服务的方法来支持这个解决方案。我们对建筑能耗预测的用例进行了实验研究。实验结果表明,最小建筑描述是能够提高跨建筑泛化性能时,用于选择能源消耗数据。
2021-02-23 cs.DB cs.IR cs.LG
On the Complementarity of Data Selection and Fine Tuning for Domain Adaptation
Stanford University(斯坦福大学);Google Brain(谷歌大脑)
神经网络的领域自适应通常依赖于三个训练阶段:预训练、选择数据训练和微调。数据选择通过在依赖于目标域数据的小样本识别的预训练数据上进一步训练来改进目标领域泛化。本文研究了语言建模和机器翻译的数据选择的好处。我们的实验评估了选择与微调的互补性,并得出了实际的建议:(i)选择的数据必须与微调域相似,但不能太多,以侵蚀微调的互补效果;(ii)在选择少量数据以获得快速但有限的进展或选择大量数据以获得缓慢但持久的进展之间存在权衡;(iii)数据选择可以在预训练早期应用,性能增益与长时间预训练会话相当;(iv)从域分类器中选择数据通常比流行的对比数据选择方法更有效。
2021-09-15 cs.CL cs.LG
The Limits of Post-Selection Generalization
Georgetown University(乔治城大学);Boston University(波士顿大学);IBM Research – Almaden(IBM阿尔马登研究中心);Weizmann Institute of Science(魏茨曼科学研究所);Northeastern University(东北大学)
本研究揭示了满足事后泛化的算法的局限性,给出了其回答自适应统计查询的误差紧下界,且证明该性质不满足组合封闭性。
2026-10-22 cs.DS cs.LG stat.ML
Unlock the Power of Algorithm Features: A Generalization Analysis for Algorithm Selection
The Hong Kong Polytechnic University(香港理工大学);Peking University(北京大学)
本文从泛化视角首次提出基于算法特征的算法选择可证明保证,推导了不同学习范式下的泛化误差上界,并揭示了训练规模、模型参数及数据分布差异等因素的影响。
2024-06-03 cs.LG
OOD-Chameleon: Is Algorithm Selection for OOD Generalization Learnable?
EPFL(瑞士联邦理工学院);Idiap Research Institute(IDIAP研究所)
本文提出OOD-Chameleon,将OOD泛化的训练算法选择建模为多标签分类,通过数据集特征在无需训练模型的情况下预测高性能算法,为算法选择和适用性提供了新见解。
2025-05-31 cs.LG
Instance Selection for Dynamic Algorithm Configuration with Reinforcement Learning: Improving Generalization
Leibniz University Hannover(汉诺威莱布尼茨大学);Jožef Stefan International Postgraduate School(约热夫·斯泰凡国际研究生学院);Jožef Stefan Institute(约热夫·斯泰凡研究所);L3S Research Center(L3S研究中心)
针对动态算法配置中强化学习智能体泛化能力受限的问题,提出通过选择代表性训练实例子集并重新训练,以提升策略在多样实例空间上的泛化性能。
2024-07-18 cs.LG
Algorithmic Stability and Generalization of an Unsupervised Feature Selection Algorithm
University of Kentucky(肯塔基大学)
特征选择作为一种重要的降维技术,通过识别输入特征的基本子集来降低数据维数,从而有助于对学习和推理过程的理解。数学稳定性是算法的关键特性,关于其对输入样本的扰动的敏感性。在本文中,我们提出了一种创新的无监督特征选择算法,实现这种稳定性与可证明的保证。我们的算法的架构包括一个功能评分器和一个功能选择器。评分器训练一个神经网络(NN)对所有特征进行全局评分,选择器采用一个依赖的子NN对特征的表示能力进行局部评价,从而选择特征。此外,我们提出了算法的稳定性分析,并表明,我们的算法有一个性能保证通过泛化误差界。在真实数据集上的大量实验结果表明,我们所提出的算法的泛化性能优于强基线方法。此外,我们的理论分析揭示的属性和我们算法选择的特征的稳定性也得到了经验证实。
2022-01-05 cs.LG stat.ML
Differential Description Length for Hyperparameter Selection in Machine Learning
University of Hawaii at Manoa(夏威夷大学马诺阿分校);Shenzhen Research Institute of Big Data, CUHKSZ(香港中文大学(深圳)深圳大数据研究院)
本文介绍了一种新的方法,模型选择和更一般的超参数选择在机器学习。最小描述长度(MDL)是一种用于模型选择的既定方法,然而,它并不直接旨在最小化泛化误差,而泛化误差通常是机器学习的主要目标。本文证明了泛化误差与训练数据的描述长度差之间的关系,我们称之为差分描述长度(DCL)。这允许通过执行对训练数据的编码来仅从训练数据预测泛化误差。然后,通过选择具有最小预测泛化误差的模型,可以将泛化用于模型选择。我们展示了这种方法如何用于线性回归、神经网络和深度学习。实验结果表明,该方法的泛化误差小于交叉验证方法和传统的MDL、Bayes方法。
2019-05-22 cs.IT cs.LG math.IT
An Empirical Study of Pre-trained Model Selection for Out-of-Distribution Generalization and Calibration
Mila - Quebec AI Institute(魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);RIKEN AIP(日本理化学研究所AIP);Institute of Science Tokyo(东京科学研究所)
本文系统研究了预训练模型大小、数据集规模及训练策略对分布外泛化和置信度校准的影响,发现合理选择预训练模型可显著提升OOD准确率并改善校准,强调了模型选择的重要性。
2025-04-27 cs.AI cs.LG
Landscape Features in Single-Objective Continuous Optimization: Have We Hit a Wall in Algorithm Selection Generalization?
本研究评估了基于不同问题表示的算法选择模型在单目标连续优化中的泛化能力,发现面对分布外数据时,所有基于特征的模型均未能超越单一最佳求解器基线。
2025-01-29 cs.LG
Coreset selection can accelerate quantum machine learning models with provable generalization
Peking University(北京大学);JD Explore Academy(京东探索研究院)
针对量子神经网络与量子核方法训练效率低、难适配大规模数据集的问题,提出核心集选择的统一加速方法,证明其泛化误差界与全量训练相当,且在多类量子机器学习任务中有效。
2023-12-12 cs.LG quant-ph
Training Data Subset Selection for Regression with Controlled Generalization Error
IIT Bombay(印度理工学院孟买分校);UT Dallas(德克萨斯大学达拉斯分校)
从大量的训练实例中选择数据子集是一种有效且经济的机器学习方法。然而,在较小子集上训练的模型可能表现出较差的泛化能力。在本文中,我们的目标是设计一个算法,用于选择一个子集的训练数据,使模型可以快速训练,而不会显着牺牲的准确性。更具体地说,我们专注于L2正则化回归问题的数据子集选择,并提供了一个新的问题制定,旨在尽量减少训练损失的可训练参数和训练数据的子集,受到验证集上的误差界。我们通过几项技术创新来解决这个问题。首先,我们使用原始训练问题的对偶用简化的约束来表示这个问题,并表明这种新表示的目标是单调和α-次模函数,用于各种各样的建模选择。这些属性使我们开发SELCON,一个有效的优化最小化算法的数据子集选择,承认一个近似保证,即使当训练提供了一个不完美的估计训练模型。最后,我们在几个数据集上的实验表明,SELCON比当前最先进的方法更有效地权衡了准确性和效率。
2021-06-23 cs.LG stat.ML
Towards a Theoretical Framework of Out-of-Distribution Generalization
Peking University(北京大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
对分布外数据的泛化是现代机器学习的核心问题之一。最近,有一个浪潮的尝试提出的算法,主要建立在提取不变特征的想法。虽然直观上是合理的,但对什么样的不变性可以保证OOD推广的理论理解仍然有限,并且推广到任意的分布外显然是不可能的。在这项工作中,我们迈出了严格和定量定义的第一步:1)什么是OOD; 2)什么是OOD问题是可学习的。我们还引入了一个新的概念的扩展函数,它的特点是在多大程度上的方差被放大的测试域的训练域,从而给出了一个定量的意义上的不变特征。在此基础上,我们证明了OOD的泛化误差界。结果表明,OOD推广在很大程度上取决于扩展函数。正如Gulrajani和Lopez-Paz(2020)最近指出的那样,任何没有模型选择模块的OOD学习算法都是不完整的。我们的理论自然地归纳出一个模型选择标准。在基准OOD数据集上的大量实验表明,我们的模型选择标准比基线具有显着的优势。
2021-11-08 cs.LG
Bayesian Model Selection, the Marginal Likelihood, and Generalization
New York University(纽约大学)
该研究针对边际似然作为模型选择泛化代理的局限展开分析,揭示其与泛化负相关、易引发欠过拟合等问题,结合PAC-贝叶斯界阐明缺陷,并提出条件边际似然作为部分改进方案,可提升大规模超参数学习效果。
2023-05-02 cs.LG stat.ML
Depth Selection for Deep ReLU Nets in Feature Extraction and Generalization
State Key Laboratory of Robotics, Shenyang Institute of Automation, Chinese Academy of Sciences(中国科学院沈阳自动化研究所机器人学国家重点实验室)
深度学习被认为能够通过利用人类的独创性和先验知识来发现用于表示学习和模式识别的深度特征,而不需要优雅的特征工程技术。因此,它引发了机器学习和模式识别的大量研究活动。深度学习最重要的挑战之一是弄清楚深度神经网络(简称深度网络)的特征和深度之间的关系,以反映深度的必要性。我们的目的是在特征提取和泛化中量化这种特征深度对应。我们提出的自适应功能的深度和反之亦然,通过显示在提取单一功能和复合功能的深度参数的权衡。基于这些结果,我们证明了在深度网络上实现经典的经验风险最小化可以为许多学习任务实现最佳的泛化性能。我们的理论结果得到了一系列数值实验的验证,包括玩具模拟和地震烈度预测的实际应用。
2020-04-01 cs.LG stat.ML
Benign Overfitting in Token Selection of Attention Mechanism
Department of Computer Science, The University of Tokyo, Tokyo, Japan(东京大学计算机科学系)
该研究聚焦带标签噪声分类任务中注意力机制的token选择问题,理论证明其可借助信噪比表征实现良性过拟合,还发现过拟合后延迟泛化的现象,并通过合成与真实数据集实验验证了结论。
2025-05-17 cs.LG
Epiplexity Guided Data Selection and Generation for Out-of-Distribution Generalization
New York University(纽约大学)
该研究提出以Epiplexity为引导,通过数据选择与合成数据生成提升模型分布外泛化能力,实验显示更高Epiplexity可改善零样本及微调任务的下游性能。
2026-11-05 cs.CL cs.LG
GLISTER: Generalization based Data Subset Selection for Efficient and Robust Learning
University of Texas at Dallas(德克萨斯大学达拉斯分校);Indian Institute of Technology, Bombay(印度理工学院孟买分校)
大规模机器学习和深度模型非常需要数据。不幸的是,获得大量的标记数据是昂贵的,并且训练最先进的模型(具有超参数调整)需要大量的计算资源和时间。其次,真实世界的数据是嘈杂和不平衡的。因此,最近的几篇论文试图使训练过程更有效和鲁棒。然而,大多数现有的工作要么集中在鲁棒性或效率,但不是两者兼而有之。在这项工作中,我们介绍了Glister,一个基于泛化的数据子集选择的高效和鲁棒的学习框架。我们制定Glister作为一个混合的离散-连续的双层优化问题,以选择一个子集的训练数据,最大限度地提高了对数似然验证集。接下来,我们提出了一种迭代在线算法Glister-Online,它随着参数更新迭代地执行数据选择,并且可以应用于任何基于损失的学习算法。然后,我们表明,丰富的一类损失函数,包括交叉熵,铰链损失,平方损失,和物流损失,内部离散数据的选择是一个实例(弱)子模块优化,我们分析的条件下,Glister在线减少验证损失和收敛。最后,我们提出了Glister-Active,批量主动学习的扩展,我们经验证明了Glister在各种任务上的性能,包括:(a)数据选择,以减少训练时间,(b)标签噪声和不平衡设置下的鲁棒学习,以及(c)批量主动学习与几个深度和浅模型。我们表明,我们的框架在效率和准确性方面都提高了现有技术(在情况(a)和(c)中),并且与其他最先进的鲁棒学习算法相比,在情况(b)中更有效。
2021-06-11 cs.AI cs.LG
Client Selection for Generalization in Accelerated Federated Learning: A Multi-Armed Bandit Approach
Ben-Gurion University of the Negev(内盖夫本-古里安大学);Cornell University(康奈尔大学)
联邦学习(FL)是一种新兴的机器学习(ML)范例,用于训练多个节点(即,客户端)持有本地数据集,而不显式地交换数据。近年来,由于其在隐私考虑和通信资源方面的优势,它吸引了越来越多的兴趣。在FL中,选定的客户端训练它们的本地模型并将模型的函数发送到服务器,这消耗随机处理和传输时间。服务器更新全局模型并将其广播回客户端。FL中的客户端选择问题是在每个给定的时间调度一个子集的客户端进行训练和传输,以优化学习性能。在本文中,我们提出了一种新的基于多臂强盗(MAB)的客户端选择方法,以最大限度地减少训练延迟,而不损害模型的泛化能力,即为新的观察提供可靠的预测。我们开发了一种新的算法来实现这一目标,被称为强盗调度FL(BSFL)。我们从理论上分析BSFL,并表明它实现了对数遗憾,定义为BSFL的损失相比,一个精灵,有完整的知识的延迟意味着所有客户端。此外,使用合成和真实数据集的仿真结果表明,BSFL优于现有的方法。
2023-03-18 cs.LG eess.SP
Mapping the Emergence of Regularization-Driven Dynamics in Grokking
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
该研究将 Grokking 作为动态探测工具,通过扫描权重衰减脉冲,发现功能选择的 canalization 现象,即剂量有序时间效应在可见泛化前出现,且测试损失障碍收敛时该效应仍持续。
2026-10-07 cs.LG
Model Assessment and Selection under Temporal Distribution Shift
Columbia University(哥伦比亚大学)
针对变化环境中的模型评估与选择问题,提出自适应滚动窗口方法估计泛化误差,并结合单败淘汰赛实现近优模型选择,理论与实验证明其对数据非平稳性具有自适应性。
2024-06-03 cs.AI cs.LG stat.ME
Max-Margin Stacking and Sparse Regularization for Linear Classifier Combination and Selection
Sabanci University(萨班哲大学)
堆叠泛化(或堆叠)的主要原理是使用第二级泛化器将基本分类器的输出组合在一起。在本文中,我们研究不同的组合类型下的堆叠框架,即加权和(WS),类依赖加权和(CWS)和线性堆叠推广(LSG)。为了学习权重,我们建议使用正则化的经验风险最小化与铰链损失。此外,我们建议使用组稀疏性进行正则化,以方便分类器的选择。我们使用两种不同的集合设置进行实验,在8个真实世界的数据集上进行不同的分类。结果显示了具有铰链损失函数的正则化学习的能力。使用稀疏正则化,我们能够在不牺牲准确性的情况下减少所选分类器的数量。对于非多样性集成,我们甚至通过使用稀疏正则化来获得平均精度。
2011-06-08 cs.LG
Optimizing Neural Networks with Gradient Lexicase Selection
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Amherst College(阿默斯特学院)
针对聚合性能指标导致过拟合和泛化差的问题,提出梯度词典选择框架,结合梯度下降与词典选择,在三个图像基准上提升多种深度网络泛化性能并促进多样化表示学习。
2023-12-19 cs.CV cs.LG cs.NE
Dataset Pruning: Reducing Training Data by Examining Generalization Influence
University of Technology Sydney(悉尼科技大学);Baidu Research(百度研究院)
深度学习的巨大成功在很大程度上依赖于越来越大的训练数据,这是以巨大的计算和基础设施成本为代价的。这就提出了一个关键问题,即所有的训练数据是否都对模型的性能有贡献?每个单独的训练样本或子训练集对模型的泛化有多大影响,以及如何从整个训练数据中构造最小子集作为代理训练集,而不会显着牺牲模型的性能?为了解决这些问题,我们提出了数据集修剪,一种基于优化的样本选择方法,可以(1)检查删除一组特定的训练样本对模型的泛化能力的影响,并具有理论保证,(2)构建最小的训练数据子集,产生严格约束的泛化差距。经验观察到的数据集修剪的泛化差距与我们的理论预期基本一致。此外,该方法在CIFAR-10数据集上修剪了40%的训练样本,收敛时间减半,测试精度仅下降1.3%,优于以往基于分数的样本选择方法。
2023-02-27 cs.LG
Small Data, Big Decisions: Model Selection in the Small-Data Regime
DeepMind(深度思维)
高度过参数化的神经网络可以表现出令人好奇的强大泛化性能--为了更好地理解这一现象,最近已经积累了大量的理论和实证研究。与大多数以前的工作相反,这些工作通常认为性能是模型大小的函数,在本文中,我们经验性地研究了当训练集的大小在多个数量级上变化时的泛化性能。这些系统性的实验产生了一些有趣且可能非常有用的观察结果;也许最值得注意的是,在较小的数据子集上进行训练可以导致更可靠的模型选择决策,同时享受更小的计算成本。此外,我们的实验使我们能够估计最小描述LQs的常见数据集给定现代神经网络架构,从而铺平了道路的原则模型选择考虑到奥卡姆剃刀。
2020-09-26 cs.LG stat.ML
Evaluating Real-World Generalizability of Algorithm Selection Models
Computer Systems Department, Jožef Stefan Institute(计算机系统部门,约泽夫·斯蒂芬研究所);Brno University of Technology(布拉格技术大学)
通过跨基准测试系统评估算法选择模型在合成与现实优化问题上的泛化能力,分析其迁移性能并指出在特定领域应用中的挑战。
2026-06-01 cs.LG
ASAP: Exploiting the Satisficing Generalization Edge in Neural Combinatorial Optimization
针对神经组合优化模型在分布偏移下的脆弱性,提出ASAP框架,通过将决策分解为提案和选择两阶段,并利用MAML增强在线适应能力,在3D-BPP、TSP和CVRP上提升了泛化性能。
2026-06-02 cs.AI cs.LG
Enhancing RL Generalizability in Robotics through SHAP Analysis of Algorithms and Hyperparameters
Fraunhofer Institute for Applied Information Technology(弗劳恩霍夫应用信息科技研究所);University of Cologne(科隆大学);University Hospital of Cologne(科隆大学医院)
提出基于SHAP的可解释框架,量化算法和超参数对强化学习泛化差距的贡献,并用于配置选择以提升泛化能力。
2026-08-26 cs.AI cs.LG cs.RO
Empirical Study on Optimizer Selection for Out-of-Distribution Generalization
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);University of Tsukuba(筑波大学);Tokyo Institute of Technology(东京工业大学);Denso IT Laboratory Inc.(电装信息技术实验室有限公司)
本文在 DomainBed、WILDS 和 Backgrounds Challenge 上比较一阶优化器,基于两万余个模型发现 Adam 等自适应优化器的 OOD 性能通常逊于 SGD。
2023-06-05 cs.AI cs.LG
A Contribution-based Device Selection Scheme in Federated Learning
Aalborg University(奥尔堡大学)
在联邦学习(FL)设置中,许多设备有助于训练公共模型。我们提出了一种方法来选择提供更新的设备,以实现更好的泛化,快速收敛,更好的设备级性能。我们制定了一个最小-最大优化问题,并将其分解成一个原始-对偶设置,其中的对偶间隙是用来量化的设备级性能。我们的策略结合了\emph{exploration}的数据新鲜度通过随机设备选择与\emph{exploitation}通过简化的估计设备的贡献。这提高了训练模型在泛化和个性化方面的性能。在开发阶段,采用了一种改进的截断蒙特卡罗(TMC)方法来估计设备的贡献,降低通信开销。实验结果表明,该方法具有较低的通信开销和较好的个性化性能。
2022-06-07 cs.DC cs.LG cs.NI
Evading the Simplicity Bias: Training a Diverse Set of Models Discovers Solutions with Superior OOD Generalization
Idiap Research Institute(Idiap 研究院);Australian Institute for Machine Learning, University of Adelaide(阿德莱德大学澳大利亚机器学习研究所);Amazon(亚马逊)
用SGD训练的神经网络最近被证明优先依赖于线性预测特征,并且可以忽略复杂的、同等预测的特征。这种简单性偏差可以解释它们缺乏分布外(OOD)的鲁棒性。学习任务越复杂,统计伪像(即选择偏差、虚假相关性)就越有可能比学习机制简单。我们证明了简单性偏差可以减轻和OOD泛化改善。我们训练了一组类似的模型,以不同的方式拟合数据,对它们的输入梯度的对齐使用惩罚。我们从理论和经验上表明,这会导致学习更复杂的预测模式。面向对象的一般化从根本上要求信息超越独立同分布。示例,例如多个训练环境、反事实示例或其他辅助信息。我们的方法表明,我们可以推迟到一个独立的模型选择阶段的要求。我们获得SOTA结果在视觉识别上有偏见的数据和泛化跨视觉域。该方法--第一个避免简单性偏见的方法--强调了在深度学习中更好地理解和控制归纳偏见的必要性。
2022-09-11 cs.CV cs.LG
Multi-Objective Genetic Algorithm for Multi-View Feature Selection
University of Eastern Finland(东芬兰大学);Aalto University(阿尔托大学)
提出MMFS-GA多目标遗传算法,在统一框架内同时进行视图内与视图间特征选择,提升多视图分类性能与可解释性。
2024-03-04 cs.AI cs.LG cs.NE
Scalable and Generalizable Social Bot Detection through Data Selection
Indiana University(印第安纳大学);Northeastern University(东北大学)
高效可靠的社交机器人分类对于检测社交媒体上的信息操纵至关重要。尽管发展迅速,但最先进的机器人检测模型仍然面临泛化和可扩展性的挑战,这极大地限制了它们的应用。在本文中,我们提出了一个框架,使用最少的帐户元数据,使有效的分析,规模扩大到处理完整的流的公共推特在实时的。为了确保模型的准确性,我们构建了一个丰富的标记数据集集合,用于训练和验证。我们部署了一个严格的验证系统,以便除了传统的交叉验证之外,还可以优化模型在未知数据集上的性能。我们发现,战略性地选择一个子集的训练数据产生更好的模型的准确性和泛化比详尽的训练所有可用的数据。由于所提出的模型的简单性,其逻辑可以被解释为提供对社交机器人特征的见解。
2019-11-20 cs.CY cs.LG cs.SI
When Dynamic Data Selection Meets Data Augmentation
National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术全国重点实验室);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
本文提出首个统一动态数据选择与数据增强的在线训练框架,通过联合估计局部密度和多模态语义一致性筛选适合增强的样本,在 ImageNet-1k 等基准上降低50%训练成本且性能无损,并提升鲁棒性。
2025-05-02 cs.AI cs.CV cs.LG
Loss-Curvature Matching for Dataset Selection and Condensation
KAIST(韩国科学技术院);Ewha Womans University(梨花女子大学)
在大型数据集上训练神经网络需要大量的计算成本。数据集缩减基于大型数据集选择或合成数据实例,同时最大限度地降低完整数据集的泛化性能下降。现有的方法在数据集约简过程中使用神经网络,因此模型参数成为保持约简后性能的重要因素。根据参数的重要性,本文提出了一种新的约简目标LCMat,它在模型参数空间上匹配原始数据集和约简数据集的损失曲率,而不是参数点。这个新的目标诱导一个更好的适应减少的数据集上的扰动参数区域比精确的点匹配。特别地,我们从局部参数区域中识别出损耗曲率间隙的最坏情况,并通过理论分析推导出这种最坏情况的可实现上界。我们在核心集选择和凝聚基准上的实验表明,LCMat比现有的基准具有更好的泛化性能。
2023-03-08 cs.AI cs.CV cs.LG
Identifying Selections for Unsupervised Subtask Discovery
Carnegie Mellon University(卡内基梅隆大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
该研究针对无监督子任务发现问题,提出子任务是动作选择机制产物的理论,开发seq-NMF方法学习子目标提取子任务,实验验证其可提升多任务模仿学习的新任务泛化能力。
2024-10-28 cs.AI cs.LG cs.RO
Unsupervised Dynamic Feature Selection for Robust Latent Spaces in Vision Tasks
Universidade da Coruña(科鲁纳大学);CITIC Research Center(CITIC研究中心)
针对视觉任务中潜在表征易受噪声/无关特征干扰的问题,提出无监督动态特征选择方法,无标注依赖地逐样本筛选特征以构建鲁棒潜在空间,在多视觉任务上以极小计算代价提升了模型泛化性能。
2025-10-02 cs.AI cs.CV cs.LG
Escaping the Mode Lottery: Multi-Response Training Improves Language Model Generalization
Department of Computer Science, Purdue University(计算机科学系,普渡大学)
本文提出多响应训练(MRT)方法,通过保留每个提示的多个有效响应来缓解传统单响应微调导致的“模式抽彩”问题,并从统计角度揭示了其提升分布泛化的原理和适用条件。
2026-05-30 cs.CL cs.LG
ZooD: Exploiting Model Zoo for Out-of-Distribution Generalization
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Hong Kong Baptist University(香港浸会大学);Kyung-Hee University(庆熙大学);Beijing Normal University(北京师范大学)
大规模预训练的最新进展已经显示出利用大量预训练模型(PTM)来改善分布外(OoD)泛化的巨大潜力,其目标是在对多个训练域进行微调后,在可能的未知域上表现良好。然而,最大限度地利用PTM的动物园是具有挑战性的,因为微调PTM的所有可能组合在计算上是禁止的,而PTM的准确选择需要解决OoD任务的可能数据分布偏移。在这项工作中,我们提出了ZooD,PTM排名和集成与特征选择的范例。我们提出的度量排名PTM通过量化类间区分度和域间稳定性的功能提取的PTM在留一域交叉验证的方式。然后为目标OoD任务聚合排名前K的模型。为了避免模型集成引起的噪声积累,我们提出了一种有效的变分EM算法来选择信息特征。我们在一个由35个模型组成的不同模型动物园上评估了我们的范例,并证明了:(i)模型排名与微调排名的相关性比以前的方法更好,比暴力微调快9859倍;(ii)具有特征选择的模型集成后的OoD泛化优于当前状态,在最具挑战性的任务DomainNet上,准确率从46.5%提高到50.6%。此外,我们还提供了35个PTM在7个OoD数据集上的微调结果,希望对模型动物园和OoD泛化的研究有所帮助。代码将在https://gitee.com/mindspore/models/tree/master/research/cv/zood上提供。
2022-10-17 cs.AI cs.CV cs.LG
High-dimensional Analysis of Synthetic Data Selection
Institute of Science and Technology (ISTA)(科学与技术研究所)
本文通过高维回归分析合成数据选择,发现协方差偏移影响泛化误差而均值偏移不影响,并证明协方差匹配在多种模型和设置中表现优异。
2025-10-09 cs.LG stat.ML
Evaluating natural language processing models with generalization metrics that do not need access to any training or testing data
Dartmouth College(达特茅斯学院);University of California, Berkeley(加州大学伯克利分校);University of Melbourne(墨尔本大学);Calculation Consulting(计算咨询公司);International Computer Science Institute(国际计算机科学研究所);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
本文面向NLP任务评估无需训练或测试数据的泛化指标,通过51个Huggingface预训练Transformer和28种指标,发现重尾类指标更能预测测试误差。
2023-06-04 cs.CL cs.LG
Data Difficulty and the Generalization--Extrapolation Tradeoff in LLM Fine-Tuning
IIIS, Tsinghua University(清华大学人工智能学院);College of AI, Tsinghua University(清华大学人工智能学院);Shanghai Qi Zhi Institute(上海启智研究院);Amazon AGI SF Lab(亚马逊AGI旧金山实验室)
本文通过实证和理论分析,研究了监督微调中数据难度对模型行为的影响,发现数据难度与数据量共同决定泛化与外推之间的权衡,并存在最优难度随数据量增加而向更难数据偏移的规律。
2026-05-25 cs.AI cs.LG
Accelerating data-driven algorithm selection for combinatorial partitioning problems
UC Santa Cruz(加州大学圣克鲁兹分校);Stanford University(斯坦福大学)
本文提出了一种理论基础,用于数据驱动算法选择中的大小泛化,通过在较小样本上评估算法性能来预测大规模实例的表现,并验证了三种聚类算法和两种max-cut算法的泛化能力。
2025-12-03 cs.LG stat.ML
Stable Coresets via Posterior Sampling: Aligning Induced and Full Loss Landscapes
Purdue University(普渡大学)
本文提出了一种基于后验采样的稳定聚类方法,通过优化损失景观对齐,提升模型稳定性与泛化能力。
2025-11-21 cs.LG
Generalization Guarantees for Learning Branch-and-Cut Policies in Integer Programming
Dept. of Applied Mathematics & Statistics Johns Hopkins University(应用数学与统计学系约翰霍普金斯大学)
本文为整数规划 Branch-and-Cut 中节点、割和分支决策策略的机器学习建立样本复杂度界,其分段多项式框架统一涵盖线性模型与 ReLU 神经网络,并可推广至一般序贯决策。
2025-05-16 cs.LG math.OC
Empirical Comparison between Cross-Validation and Mutation-Validation in Model Selection
Institute of Neuroscience and Medicine, Brain and Behaviour (INM‑7), Research Center Jülich(于利希研究中心神经科学与医学研究所(脑与行为,INM‑7));Institute of Systems Neuroscience, Medical Faculty, Heinrich Heine University Düsseldorf(海因里希·海涅杜塞尔多夫大学医学院系统神经科学研究所);Max Planck School of Cognition(马克斯·普朗克认知学院);Department of Computer Science 3 - Software Engineering, RWTH Aachen University(亚琛工业大学计算机科学3系(软件工程方向))
本研究在基准和真实数据集上经验比较了变异验证(MV)与$k$折交叉验证(CV),发现两者泛化性能实际等价,但MV能选更简单模型且计算成本更低,不过存在欠拟合和超参数选择不稳定等局限。
2024-02-15 cs.LG stat.ML
Distribution-free Deviation Bounds and The Role of Domain Knowledge in Learning via Model Selection with Cross-validation Risk Estimation
Mathematical Sciences Institute and France-Australia Mathematical Sciences and Interactions ANU-CNRS International Research Lab(数学科学研究所和法澳数学科学与互动ANU-CNRS国际研究实验室);Department of Applied Mathematics, Institute of Mathematics and Statistics, Universidade de São Paulo(应用数学系、数学与统计研究所、圣保罗大学)
本文在经典统计学习理论中,构建通过交叉验证风险估计进行模型选择学习的通用无分布框架,建立基于VC维的偏差界,引入学习空间探讨候选模型结构对泛化的影响,通过案例和模拟研究展示其优势并提供模型选择指导。
2026-07-07 cs.LG stat.ML
Sketchy Moment Matching: Toward Fast and Provable Data Selection for Finetuning
New York University(纽约大学)
本文提出Sketchy Moment Matching(SkMM)数据选择方法,通过梯度草图控制低秩近似偏差、矩匹配降低方差,在微调中实现快速且可证明的数据选择,并保持与参数维度无关的快速泛化率。
2024-11-17 cs.LG cs.NA math.NA
Formalizing and Estimating Task-Space Complexity for Zero-shot Generalization
Massachusetts Institute of Technology(麻省理工学院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出一种基于性能的有向任务差异(符号散度),用于界定零样本泛化差距,并推导出任务空间复杂度的概念,通过贪心选择源策略实现ε覆盖。
2026-10-28 cs.LG cs.SY eess.SY