Empirical PAC-Bayes Bounds for Markov Chains
本文提出了一种基于马尔可夫链伪谱间隙的经验PAC-Bayes界,解决了传统界中依赖未知常数的问题,并通过实验验证了其有效性。
2026-03-11 cs.LG stat.ML
Private Empirical Risk Minimization Beyond the Worst Case: The Effect of the Constraint Set Geometry
Google(谷歌);Microsoft Research Silicon Valley(微软研究院硅谷分院);Yahoo Labs(雅虎实验室)
经验风险最小化(ERM)是机器学习中的一种标准技术,其中通过最小化约束集上的损失函数来选择模型。当训练数据集由私有信息组成时,很自然地使用差分私有ERM算法,这个问题一直是Chaudhuri和Monteleoni 2008开始的一系列工作的主题。私有ERM算法输出损失函数的近似最小值,其误差可以用与损失函数最优值的差来衡量。当约束集是任意的时,所需的误差界限是相当好理解的\cite{BassilyST14}。在这项工作中,我们表明,几何属性的约束集可以用来获得更好的结果。具体而言,我们表明,镜像下降的差分私有版本导致Lipschitz损失函数的$\tilde{O}(G_{\mathcal{C}}/n)$形式的误差界,改进了Basily,Smith和Thakurta 2014中的$\tilde{O}(\sqrt{p}/n)$界。这里$p$是问题的维度,$n$是训练集中的数据点数量,$G_{\mathcal{C}}$表示我们优化的约束集的高斯宽度。我们表现出类似的改进强凸函数,光滑的功能。此外,我们表明,当损失函数是Lipschitz的$\ell_1$规范和$\mathcal{C}$是$\ell_1$有界的,差分私人版本的弗兰克-沃尔夫算法给出的误差界的形式$\tilde{O}(n^{-2/3})$。当数据$x_i$满足$|x_i|_{\infty} \leq 1$并且我们在$\ell…
2016-11-20 cs.CR cs.LG stat.ML
High Dimensional Classification via Regularized and Unregularized Empirical Risk Minimization: Precise Error and Optimal Loss
本文通过理论分析,深入研究了当考虑高维数据时,经验风险最小化框架在岭正则化和非正则化两种情况下的分类性能。专注于分离两类高斯混合的基本问题,建议的分析允许一组足够大的维度$p$的众多数据向量$\mathbf{x} \in \mathbb R^p$的分类误差的精确预测。这个精确的误差取决于损失函数、训练样本的数量以及混合数据模型的统计数据。研究表明,在数据统计的某些额外非稀疏条件下,它仍然超出高斯分布。在此定量误差分析的基础上,我们将简单平方损失确定为脊正则化和非正则化情况下高维分类的最佳选择,无论训练样本的数量如何。
2020-11-25 cs.LG stat.ML
Model Similarity Mitigates Test Set Overuse
University of California, Berkeley(加州大学伯克利分校)
在当今的机器学习工作流程中,过度重用测试数据已变得司空见惯。流行的基准测试、竞赛、工业规模调整以及其他应用都涉及测试数据重用,超出了统计置信界限的指导。尽管如此,最近的复制研究提供的证据表明,流行的基准继续支持的进展,尽管多年的广泛重用。对于测试数据的明显寿命,我们提供了一个新的解释:许多提出的模型在预测中是相似的,我们证明了这种相似性减轻了过拟合。具体来说,我们根据经验表明,为ImageNet ILSVRC基准提出的模型在预测方面的一致性远远超出了我们仅从其准确性水平得出的结论。同样,通过大规模超参数搜索创建的模型具有很高的相似性。出于这些经验的观察,我们给出了一个非渐近的泛化界,考虑到相似性,从而在实际环境中有意义的置信区间。
2019-05-29 cs.LG stat.ML
Localization of VC Classes: Beyond Local Rademacher Complexities
在本文中,我们介绍了一种替代本地化的方法,导致了一种新的复杂性措施:不动点的本地经验熵。我们表明,这种复杂性的措施给出了严格的控制复杂性的上界。我们的结果伴随着一个新的极大极小下界,涉及相同的数量。特别是,我们实际上回答的最优性问题的ERM下有界噪声一般VC类。
2017-12-17 math.ST stat.TH
Beyond UCB: Optimal and Efficient Contextual Bandits with Regression Oracles
Massachusetts Institute of Technology(麻省理工学院)
上下文强盗的一个根本挑战是开发灵活的通用算法,其计算要求不低于经典的监督学习任务,如分类和回归。基于回归的算法已经显示出有希望的经验成功,但理论保证仍然难以捉摸,除非在特殊情况下。我们提供了第一个普遍的和最佳的减少从上下文强盗在线回归。我们将展示如何将任何具有给定价值函数类的在线回归的Oracle转换为具有诱导策略类的上下文强盗的算法,在运行时或内存要求中没有开销。我们的特点是极大极小利率的上下文土匪一般,潜在的非参数函数类,并表明我们的算法是极大极小最优的预言机获得最佳的回归率。与以前的结果相比,我们的算法不需要超出可实现性的分布假设,并且即使在上下文选择对抗时也有效。
2020-06-23 cs.LG math.ST stat.ML
On Empirical Risk Minimization with Dependent and Heavy-Tailed Data
在这项工作中,我们建立的经验风险最小化(ERM)与依赖和重尾数据生成过程的风险界限。我们这样做是通过扩展的开创性的工作Mendelson [Men15,Men18]的分析ERM重尾,但独立和同分布的意见,严格平稳指数$β$混合的情况下。我们的分析是基于显式控制的乘法器的过程中所产生的噪声和输入上的功能评估之间的相互作用。它允许交互甚至是多项式重尾的,这涵盖了学习理论文献中分析的大量重尾模型。我们说明了我们的结果,推导出收敛速度的高维线性回归问题的依赖和重尾数据。
2021-09-10 math.ST stat.ML stat.TH
Grokking Beyond Neural Networks: An Empirical Exploration with Model Complexity
ANU College of Engineering, Computing and Cybernetics(澳大利亚国立大学工程、计算与控制学院)
本文通过实证研究发现grokking现象不仅存在于神经网络中,也出现在高斯过程、线性回归和贝叶斯神经网络等模型中,并提出了通过添加虚假信息维度诱导grokking的机制,表明该现象可能普遍存在于由复杂度和误差引导解搜索的模型中。
2024-04-01 cs.LG stat.ML
Asymptotics of the Empirical Bootstrap Method Beyond Asymptotic Normality
Microsoft Research(微软研究院)
形成统计推断的置信区间的最常用的方法之一是经验自助法,当估计量的极限分布未知时,该方法特别方便。然而,尽管它无处不在的作用,它的理论性质仍然没有得到很好的理解非渐近正态估计。本文在稳定性条件下,建立了经验Bootstrap估计的极限分布,导出了渐近相合的紧条件,并量化了收敛速度。此外,我们提出了三种替代方法来使用自举方法建立置信区间的覆盖保证。最后,我们通过一系列的例子,包括均匀置信带,两个样本核测试,极小极大随机程序和堆叠估计的经验风险,说明我们的结果的一般性和紧密性。
2020-11-23 cs.LG math.ST stat.ML
Efficient Algorithms for Empirical Group Distributionally Robust Optimization and Beyond
School of Data Science, Fudan University(复旦大学数据科学学院);National Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);Pazhou Laboratory (Huangpu)(琶洲实验室(黄埔))
该研究针对经验分组分布鲁棒优化问题,将其建模为有限和凸凹极小极大问题,提出融合方差缩减的双环随机原始对偶算法ALEG,复杂度更优,还拓展出两阶段算法ALEM求解经验极小极大超额风险优化问题。
2024-09-20 cs.LG stat.ML
Understanding the Behaviour of the Empirical Cross-Entropy Beyond the Training Distribution
Mila(米拉)
机器学习理论主要集中在对来自与训练数据相同分布的样本的泛化。而更好地理解训练分布之外的泛化,其中观察到的分布变化对于实现更强大的泛化形式也非常重要。在本文中,我们试图通过信息度量的镜头来研究当样本的真实概率规律在训练和测试时可能不同时,特定架构的行为。我们的主要结果是,经验交叉熵和它的统计期望(相对于测试概率法测量)之间的测试差距可以有界的输入测试样本和相应的表示,在训练时获得的编码器之间的互信息的概率很高。这些理论性质的结果得到了数值模拟的支持,表明上述互信息代表了测试间隙,定性地捕捉了网络超参数的动态。
2019-05-28 cs.IT cs.LG math.IT
Beyond Empirical Support: Structured Outlier Generation via Sinkhorn Optimal Transport
针对现有离群点合成方法依赖启发式且不稳定,本文提出Sinkhorn边界离群点生成(SBOG)框架,结合最优输运几何与分布鲁棒边界建模,生成语义受控的离群点,提升跨模态鲁棒性评估。
2026-11-10 cs.LG math.OC stat.ML
Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond
University of Cambridge(剑桥大学)
本研究提出由一阶近似序列构成的简单神经网络分析模型,通过三个案例揭示其在双下降、grokking等现象中的实证洞见,还能分离训练组件、分析设计选择影响并发现神经网络学习与梯度提升的相似性。
2024-10-31 cs.AI cs.LG stat.ML
Beyond the Selected Completely At Random Assumption for Learning from Positive and Unlabeled Data
KU Leuven(鲁汶大学)
大多数积极的和未标记的数据都会受到选择偏差的影响。例如,标记的示例可以从正集合中选择,因为它们更容易获得或更明显地是正的。本文探讨了如何在这种环境下进行学习。我们提出并从理论上分析了一种基于药物风险的方法,将标签机制。此外,我们研究在哪些假设下,学习是可能的,当标签机制没有完全理解,并提出了一个实用的方法来实现这一点。我们的实证分析支持的理论结果,并表明,考虑到选择偏差的可能性,即使在标签机制是未知的,提高了训练的分类。
2019-06-28 cs.LG stat.ML
Beyond Real-world Benchmark Datasets: An Empirical Study of Node Classification with GNNs
Osaka University(大阪大学);TDAI Lab Co., Ltd.(TDAI实验室有限公司)
图神经网络(GNNs)在节点分类任务上取得了巨大的成功。尽管人们对开发和评估GNN有广泛的兴趣,但它们是用有限的基准数据集进行评估的。因此,GNN的现有评估缺乏对图的各种特征的细粒度分析。出于这一动机,我们进行了广泛的实验与合成图生成器,可以生成具有控制特性的细粒度分析的图形。我们的实证研究从具有节点类标签的真实世界图的四个主要特征中阐明了GNN的优点和缺点,即,1)类大小分布(平衡对不平衡),2)类之间的边连接比例(同性对异性),3)属性值(有偏对随机),以及4)图大小(小对大)。此外,为了促进未来对GNN的研究,我们公开发布了我们的代码库,允许用户使用各种图表评估各种GNN。我们希望这项工作为未来的研究提供有趣的见解。
2022-12-28 cs.LG
Beyond General Purpose Machine Translation: The Need for Context-specific Empirical Research to Design for Appropriate User Trust
Carnegie Mellon University(卡内基梅隆大学);University of California, Berkeley(加州大学伯克利分校)
机器翻译(MT)有可能帮助人们克服语言障碍,并广泛应用于医院等高风险场景。然而,为了可靠和安全地使用机器翻译,用户需要了解何时信任机器翻译输出,以及如何评估往往不完美的翻译结果的质量。在本文中,我们讨论的研究方向,以支持用户校准信任MT系统。我们分享了一项实证研究的结果,在这项研究中,我们对20名临床医生进行了半结构化访谈,以了解他们如何跨越语言障碍与患者沟通,以及他们是否以及如何使用MT系统。基于我们的研究结果,我们主张对MT系统如何在实践中使用的实证研究作为重要的第一步,以解决在用户和MT工具之间建立适当的信任的挑战。
2022-05-13 cs.AI cs.HC cs.LG
Scaling Fine-Grained MoE Beyond 50B Parameters: Empirical Evaluation and Practical Insights
NVIDIA;IDEAS NCBR, University of Warsaw(IDEAS NCBR,华沙大学)
本文通过实证评估细粒度 MoE 在最高 56B 总参数规模下的扩展特性,提出训练配方并证明其在验证损失和下游基准准确率上优于标准 MoE,为大规模模型开发提供实践指导。
2025-06-03 cs.AI cs.CL cs.LG
Beyond Empirical Risk Minimization: Local Structure Preserving Regularization for Improving Adversarial Robustness
Northwestern University(西北大学);Peking University(北京大学)
众所周知,深度神经网络很容易被具有人类无法感知的扰动的对抗性示例所愚弄。已经提出了各种防御方法来提高对抗鲁棒性,其中对抗训练方法是最有效的。然而,这些方法大多独立地处理训练样本,并且需要大量的样本来训练鲁棒网络,而忽略了这些样本之间的潜在结构信息。在这项工作中,我们提出了一种新的局部结构保持(LSP)正则化,其目的是保持学习的嵌入空间中的输入空间的局部结构。以这种方式,可以减轻位于干净样本附近的对抗样本的攻击效果。我们展示了强有力的经验证据,无论是否有对抗训练,与基线和一些最先进的方法相比,我们的方法在几个图像分类数据集上始终提高了对抗鲁棒性的性能,从而为未来的研究提供了有希望的方向。
2023-03-29 cs.CR cs.CV cs.LG
Beyond empirical models: Discovering new constitutive laws in solids with graph-based equation discovery
Eastern Institute of Technology(东方理工大学);Tsinghua University(清华大学);Lingnan University(岭南大学)
针对传统经验本构模型普适性差、依赖专家直觉的问题,本文提出基于图的方程发现框架,从多源实验数据中自动发现新本构模型,在合金钢应变率效应和锂金属变形行为研究中精度更高、结构更简洁。
2025-11-13 cond-mat.mtrl-sci cs.LG physics.app-ph
Beyond the One Step Greedy Approach in Reinforcement Learning
Technion, Israel Institute of Technology(以色列理工学院);INRIA(法国国家信息与自动化研究所)
著名的策略迭代算法在策略改进和策略评估之间交替进行。在以前的工作中,已经分析了该算法的实现与后一个评估阶段的几个变体,例如,$n$ -步骤和基于跟踪的返回。然而,多步骤前瞻性政策改进的情况下,尽管最近增加了其实力的经验证据,据我们所知,尚未仔细分析。在这项工作中,我们介绍了第一个这样的分析。也就是说,我们制定多步策略改进的变体,使用这些定义推导出新的算法,并证明其收敛性。此外,我们表明,最近突出的强化学习算法,事实上,我们的框架的实例。因此,我们揭示了他们的经验成功,并给出了一个配方,为未来的研究得出新的算法。
2018-07-30 cs.AI cs.LG stat.ML
Frequency Principle in Deep Learning Beyond Gradient-descent-based Training
Wuhan University(武汉大学);Shanghai Jiao Tong University(上海交通大学)
频率视角最近在理解深度学习方面取得了进展。在经验和理论研究中都得到了广泛验证,深度神经网络(DNN)往往从低频到高频拟合目标函数,即频率原理(F-Principle)。F-Principle揭示了DNN的优点和缺点,并激发了一系列后续工作,包括理论研究,实证研究和高效DNN结构的设计等。目前还不清楚基于梯度下降的训练是否是F原则的必要条件。在本文中,我们证明了F原则在非梯度下降训练的DNN的训练过程中稳定存在,包括具有梯度信息的优化算法,如共轭梯度和BFGS,以及没有梯度信息的算法,如Powell方法和粒子群优化。这些实证研究表明了F-原则的普遍性,并为进一步研究F-原则提供了启示。
2021-01-04 cs.LG
To the Fairness Frontier and Beyond: Identifying, Quantifying, and Optimizing the Fairness-Accuracy Pareto Frontier
Rice University(莱斯大学);University of Florida(佛罗里达大学)
在使用机器学习做出高风险的社会决策时,公平性已经成为一个重要的考虑因素。然而,提高公平性往往是以牺牲模型准确性为代价的。虽然已经研究了公平性-准确性权衡的各个方面,但大多数工作分别报告了各种模型的公平性和准确性;这使得如果没有反映两个必要条件的平衡的模型不可知度量,模型比较几乎是不可能的。我们寻求识别,量化和优化的公平性和准确性权衡的经验帕累托边界。具体来说,我们确定和概述的经验帕累托边界之间的权衡公平和准确性(TAF)曲线,然后我们开发了一个度量,通过加权面积下的TAF曲线,我们称之为公平面积下的曲线(FAUC)来量化这个帕累托边界。TAF曲线提供了帕累托边界的第一个经验性的、模型不可知的特征,而FAUC提供了第一个公正地比较模型家族公平性和准确性的指标。TAF曲线和FAUC都可以用于所有组公平性定义和准确性测量。接下来,我们问:是否有可能扩大经验帕累托前沿,从而提高FAUC为一个给定的集合拟合模型?我们肯定地回答开发一种新的公平的模型堆叠框架,FairStacks,解决了一个凸计划,以最大限度地提高模型集成的精度受到分数偏差约束。我们表明,优化与FairStacks总是扩大了经验帕累托前沿,提高了FAUC,我们还研究了我们提出的方法的其他理论属性。最后,我们通过对几个真实基准数据集的研究,实证验证了TAF,FAUC和FairStacks,表明FairStacks导致FAUC的重…
2022-05-31 cs.CY cs.LG stat.ME
Beyond Accuracy: An Empirical Study of Uncertainty Estimation in Imputation
Department of Computer Science Western University London, Ontario, Canada(计算机科学系 温哥华大学 安大略省伦敦市 加拿大)
本文通过实证研究比较了三种主要填补方法家族的不确定性估计,发现高重建准确性并不一定意味着可靠的不确定性,提出了选择不确定性感知填补器的指导方针。
2025-11-26 cs.DB cs.LG
Beyond Kemeny Medians: Consensus Ranking Distributions Definition, Properties and Statistical Learning
本文提出了一种基于树结构的统计算法,用于在排名数据中逐步细化共识排名分布,通过Kendall距离优化变形,提升对称群上概率分布的学习效率。
2026-02-11 cs.LG stat.ML
Cross-Model Consensus of Explanations and Beyond for Image Classification Models: An Empirical Study
Baidu Research, Baidu Inc(百度研究院,百度公司);Nanyang Technological University(南洋理工大学)
现有的解释算法发现,即使深度模型对同一图像做出相同和正确的预测,它们也可能依赖于不同的输入特征集进行分类。然而,在这些特征集合中,大多数模型可能会使用一些共同的特征。在本文中,我们想知道各种模型用于分类的共同特征是什么,以及具有更好性能的模型是否会青睐这些共同特征。为此,我们的工作使用解释算法来归属特征的重要性(例如,像素或超像素)作为解释,并提出解释的跨模型共识以捕获共同特征。具体来说,我们首先准备一组深度模型作为一个委员会,然后推导出每个模型的解释,并通过投票获得整个委员会对解释的共识。通过跨模型的解释共识,我们使用80多个模型在5个数据集/任务上进行了广泛的实验。我们发现了以下三个有趣的现象:(1)由图像分类模型得到的共识与语义分割的基础事实一致;(2)我们度量了委员会中每个模型的解释结果与共识的相似度(即一致性得分),并发现一致性得分与模型性能之间存在正相关关系;以及(3)一致性得分与可解释性巧合地相关。
2021-09-02 cs.LG
Beyond Empirical Windowing: An Attention-Based Approach for Trust Prediction in Autonomous Vehicles
Honda Research Institute USA, Inc.(本田美国研究院有限公司);University of Michigan(密歇根大学)
针对自动驾驶中信任等渐进状态因标签稀疏而难以建模的问题,本文提出选择性窗口化注意力网络SWAN,利用窗口提示和掩码注意力实现灵活长度的区间选择,在驾驶模拟数据集上显著优于CNN-LSTM和Transformer等基线,并对窗口大小具有鲁棒性。
2024-01-16 cs.HC cs.LG
Looking Beyond What You See: An Empirical Analysis on Subgroup Intersectional Fairness for Multi-label Chest X-ray Classification Using Social Determinants of Racial Health Inequities
Massachusetts Institute of Technology(麻省理工学院);University at Buffalo(布法罗大学)
本文针对胸部X光多标签分类中的交叉群体公平性问题,提出通过平衡数据集重训练预训练模型最后一层并结合公平约束与类别平衡微调的框架,在MIMIC-CXR上实现了准确性与公平性的最优权衡。
2024-03-27 cs.AI cs.CV cs.CY
Beyond spectral gap: The role of the topology in decentralized learning
EPFL(洛桑联邦理工学院)
在机器学习模型的数据并行优化中,工作人员协作以改进他们对模型的估计:更准确的梯度允许他们使用更大的学习率并更快地优化。我们考虑所有工人从同一数据集采样,并通过稀疏图(分散式)进行通信的设置。在这种情况下,当前的理论未能捕捉到现实世界行为的重要方面。首先,通信图的“频谱间隙”不能预测其在(深度)学习中的经验表现。第二,目前的理论并没有解释合作比单独训练能够实现更大的学习率。事实上,它规定了较小的学习率,随着图变得更大,学习率进一步降低,无法解释无限图中的收敛。本文的目的是描绘一个精确的图片稀疏连接的分布式优化时,工人共享相同的数据分布。我们量化了图的拓扑结构如何影响二次玩具问题的收敛性,并为一般光滑和(强)凸目标提供了理论结果。我们的理论与深度学习中的经验观察相匹配,并准确地描述了不同图拓扑的相对优点。
2022-11-08 cs.LG math.OC stat.ML
Beyond Linear and Overcomplete Regimes: A Mean-Field Analysis of Bottleneck Autoencoders
STCS department, Tata Institute Of Fundamental Research(STCS部门,印度塔塔基础研究 institute);Department of Mathematics, Indiana University(数学系,印第安纳大学);Department of Mathematics, Ludwig-Maximilians-Universität München(数学系,慕尼黑路德维希-马克西米利安大学);Department of Mathematics, National University of Singapore(数学系,新加坡国立大学)
研究非线性瓶颈自编码器在平均场机制下的学习动态,推导编码器和解码器的显式动态方程,证明有限宽度网络的经验风险高概率跟踪平均场风险轨迹,且最优解收敛于平均场最优。
2026-06-23 cs.LG
Uniform Convergence Beyond Glivenko-Cantelli
Purdue University(普渡大学)
本文提出UME-可学习性概念,扩展了Glivenko-Cantelli原理,证明了均值向量分离性是均匀均值估计的充分条件,并展示了非分离集合仍可能通过不同技术实现UME-可学习。
2026-01-15 cs.LG
Beyond Objective-Based Improvement: Stationarity-Aware Expected Improvement for Bayesian Optimization
Department of Chemical and Biomolecular Engineering, University of California, Berkeley, CA, USA(加州大学伯克利分校化学与生物分子工程系)
本文提出了一种新的期望改进(EI-GN)获取函数,通过引入一阶站性条件来扩展改进原则,从而在高表现和接近站点的区域促进采样,通过在获取标准中嵌入向站性进展,提供更丰富的改进概念。
2026-05-18 cs.LG
Beyond Ridge Regression for Distribution-Free Data
Tel-Aviv University(特拉维夫大学)
在监督批处理学习中,预测归一化最大似然(pNML)已被提出作为无分布设置的最小-最大遗憾解决方案,其中对数据没有分布假设。然而,对于大容量假设类,pNML没有被定义为过参数化线性回归。对于大型类,常见的方法是使用正则化或模型先验。在在线预测的上下文中,最小-最大解是归一化最大似然(NML),有人建议使用带有“幸运”的NML:将类似先验的函数应用于假设类,从而减小其有效大小。受幸运概念的启发,对于线性回归,我们引入了一个幸运函数,该函数与其l2范数成比例地惩罚假设。这导致岭回归解决方案。与幸运相关的pNML(LpNML)预测偏离岭回归经验风险最小化(Ridge ERM):当测试数据驻留在与训练数据的经验相关矩阵的小特征值对应的子空间中时,预测向0偏移。我们的LpNML减少了高达20%的PMLB集的岭ERM错误,并高达4.9%更强大的分布偏移的存在相比,最近领先的方法UCI集。
2022-06-17 cs.LG
Neural Collapse Beyond the Unconstrained Features Model: Landscape, Dynamics, and Generalization in the Mean-Field Regime
Institute of Science and Technology Austria (ISTA)(奥地利科学技术研究所)
本文在平均场区域下的三层神经网络中从数据特定视角分析神经坍缩NC1,证明小经验损失和梯度范数的点近似满足NC1,并展示梯度流收敛到NC1解及NC1与低测试误差在分离良好数据分布上同时实现。
2025-02-04 cs.LG
An Empirical Study of Accuracy, Fairness, Explainability, Distributional Robustness, and Adversarial Robustness
IBM Research – T. J. Watson Research Center(IBM研究院–托马斯·J·沃森研究中心);DataArt(数据艺术公司);IBM Research – Africa(IBM研究院–非洲分院)
为了确保对人工智能模型的信任,越来越明显的是,模型的评估必须超越传统的性能指标,如准确性,扩展到其他维度,如公平性,可解释性,对抗性鲁棒性和分布偏移。我们描述了一项实证研究,以评估多个模型类型的各种指标,沿着这些方面的几个数据集。我们的研究结果表明,没有一种特定的模型类型在所有维度上都表现良好,并展示了在选择多个维度评估的模型时所涉及的权衡。
2021-09-29 cs.CY cs.LG
Beyond Barren Plateaus: A Scalable Quantum Convolutional Architecture for High-Fidelity Image Classification
School of Computing Science and Engineering (SCOPE), Vellore Institute of Technology(计算科学与工程学院(SCOPE),vellore技术学院)
本文提出了一种可扩展的量子卷积架构,通过局部化成本函数和硬件高效初始化策略缓解 barren plateaus 问题,在 MNIST 数据集上实现 98.7% 的分类准确率,优于基线 QCNN 的 52.32% 并具有参数效率优势。
2026-03-11 cs.LG
Beyond spectral gap (extended): The role of the topology in decentralized learning
EPFL(洛桑联邦理工学院)
在机器学习模型的数据并行优化中,工作人员协作以改进他们对模型的估计:更准确的梯度允许他们使用更大的学习率并更快地优化。在去中心化的环境中,工作人员通过稀疏图进行通信,当前的理论无法捕捉现实世界行为的重要方面。首先,通信图的“频谱间隙”不能预测其在(深度)学习中的经验表现。第二,目前的理论并没有解释合作比单独训练能够实现更大的学习率。事实上,它规定了较小的学习率,随着图变得更大,学习率进一步降低,无法解释无限图中的收敛动力学。本文旨在描绘稀疏连接分布式优化的准确画面。我们量化了图的拓扑结构如何影响二次玩具问题的收敛性,并为一般光滑和(强)凸目标提供了理论结果。我们的理论与深度学习中的经验观察相匹配,并准确地描述了不同图拓扑的相对优点。本文是Vogels等人的会议论文的扩展。等(2022)。代码:https://github.com/epfml/topology-in-decentralized-learning.
2023-01-05 cs.DC cs.LG math.OC
Beyond Non-Expert Demonstrations: Outcome-Driven Action Constraint for Offline Reinforcement Learning
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院);School of Computer and Information Technology, Shanxi University(山西大学计算机与信息技术学院)
针对离线强化学习中的次优非专家数据问题,提出ODAF方法,通过结果驱动的保守奖励机制减少对行为策略动作分布的依赖,在MuJoCo等基准上有效容忍未见转移并提升轨迹拼接与学习能力。
2025-04-03 cs.LG cs.RO
Beyond Reweighting: On the Predictive Role of Covariate Shift in Effect Generalization
Harvard University(哈佛大学);Columbia University(哥伦比亚大学);Stanford University(斯坦福大学)
该研究通过两项大规模多站点复制研究的实证分析,提出协变量偏移可预测未知条件偏移强度的新作用,结合理论解释并验证其能提升部分观测数据泛化任务的不确定性量化效果,为分布偏移问题提供新研究方向。
2024-12-12 cs.LG stat.AP stat.ME
Beyond Gaussian Assumptions: Distribution-Aware Channel Capacity for Effective Connectivity
针对脑信号有效连接性估计中高斯残差假设的局限,提出基于一般残差分布信道容量的分布感知度量,并开发双流极小极大估计器,在模拟和真实脑信号中优于现有方法。
2026-09-29 cs.LG q-bio.NC