Scalable Quantitative Verification For Deep Neural Networks
National University of Singapore(新加坡国立大学)
尽管深度神经网络(DNN)在功能上取得了成功,但它们的可信度仍然是一个关键的公开挑战。为了应对这一挑战,已经提出了测试和验证技术。但这些现有技术要么为大型网络提供可扩展性,要么提供正式的保证,而不是两者兼而有之。在本文中,我们提出了一个可扩展的深度神经网络定量验证框架,即,一种测试驱动的方法,它具有满足所需概率属性的正式保证。我们的技术进行了足够的测试,直到一个正式的概率属性的合理性可以证明。它可以用来证明确定性和随机化DNN的属性。我们在一个名为PROVERO的工具中实现了我们的方法,并将其应用于DNN的对抗鲁棒性认证。在这种情况下,我们首先展示了一种新的攻击不可知的鲁棒性措施,它提供了一种替代纯粹的基于攻击的方法来评估鲁棒性今天报道。其次,PROVERO为大型DNN提供了鲁棒性证书,现有的最先进的验证工具无法产生结论性结果。我们的工作为验证现实世界的深度神经网络捕获的分布属性铺平了道路,具有可证明的保证,即使测试人员只能黑盒访问神经网络。
2021-03-23 cs.LG stat.ML
A Fast, Scalable, and Robust Deep Learning-based Iterative Reconstruction Framework for Accelerated Industrial Cone-beam X-ray Computed Tomography
Oak Ridge National Laboratory(橡树岭国家实验室);UT-Battelle, LLC(UT-巴特勒有限责任公司)
提出一种基于深度学习的迭代重建框架,集成伪影减少CNN和自动正则化参数选择,实现工业锥束XCT的快速、可扩展且稳健的重建,在密集金属部件上超越现有监督方法。
2025-01-21 cs.CV cs.LG
A General Retraining Framework for Scalable Adversarial Classification
Vanderbilt University(范德堡大学);Shanghai Jiaotong University(上海交通大学)
传统的分类算法假设训练数据和测试数据来自相似的分布。这种假设在对抗性设置中被违反,其中恶意行为者修改实例以逃避检测。针对对抗性规避攻击和鲁棒学习,已经开发了许多自定义方法。我们提出了第一个系统和通用的再训练框架,它可以:a)提高\emph{arbitrary}学习算法的鲁棒性,面对b)比任何现有方法更广泛的对抗模型。我们证明了,在自然条件下,再训练框架最小化了最优对抗风险的上限,并展示了如何将这一结果扩展到规避攻击的近似值。广泛的实验评估表明,我们的再训练方法与最先进的优化对抗风险的算法几乎没有区别,但更通用,可扩展性更强。实验还证实,如果没有再训练,我们的对抗框架会大大降低学习的有效性。相比之下,再训练显著提高了对规避攻击的鲁棒性,而不会显著影响整体准确性。
2016-11-26 cs.GT cs.LG stat.ML
AutoDO: Robust AutoAugment for Biased Data with Label Noise via Scalable Probabilistic Implicit Differentiation
Panasonic AI Lab(松下人工智能实验室);AIoli Labs(AIoli实验室);Panasonic Technology Division(松下技术部门)
AutoAugment引发了人们对深度学习模型自动增强方法的兴趣。这些方法估计用于训练数据的图像变换策略,其改进了对测试数据的泛化。虽然最近的论文朝着降低策略搜索复杂性的方向发展,但我们发现这些方法在应用于有偏见和有噪声的数据时并不鲁棒。为了克服这些局限性,我们将AutoAugment重新定义为广义自动数据集优化(AutoDO)任务,该任务最大限度地减少了测试数据和扭曲的训练数据集之间的分布偏移。在我们的AutoDO模型中,我们显式地估计一组每点超参数,以灵活地改变训练数据的分布。特别是,我们包括用于增强,损失权重和软标签的超参数,这些超参数使用隐式微分联合估计。我们开发了一个理论概率解释这个框架,使用Fisher信息,并表明其复杂性与数据集大小呈线性关系。我们在SVHN、CIFAR-10/100和ImageNet分类上的实验显示,与之前的方法相比,带有标签噪声的有偏数据集的性能提高了9.3%,重要的是,对于代表性不足的SVHN类,性能提高了36.6%。
2021-03-11 cs.AI cs.CV cs.LG
A combination of noise and bilateral filters achieve supralinear and scalable adversarial robustness in CNNs
Institute of Neuroinformatics ETH Zürich, University of Zürich(神经信息学研究所,苏黎世联邦理工学院,苏黎世大学)
本文提出结合高斯噪声和双边滤波的预处理方法,通过互补机制实现超线性对抗鲁棒性提升,并验证其与对抗训练结合后能以更低计算成本达到与最先进防御相当的性能。
2026-06-01 cs.CV cs.LG
Can collaborative learning be private, robust and scalable?
Technical University of Munich(慕尼黑工业大学);Imperial College London(伦敦帝国学院);Helmholtz Zentrum München(慕尼黑亥姆霍兹中心)
在用于医学图像分析的联邦学习中,学习协议的安全性至关重要。这样的设置通常会被攻击者破坏,攻击者的目标要么是联盟使用的私有数据,要么是模型本身的完整性。这就要求医学成像界开发出一种机制来训练协作模型,这种模型是私有的,并且对对抗性数据具有鲁棒性。为了应对这些挑战,我们提出了一个实用的开源框架来研究差分隐私,模型压缩和对抗性训练相结合的有效性,以提高模型对对抗性样本在训练和推理时间攻击下的鲁棒性。使用我们的框架,我们实现了有竞争力的模型性能,显着减少模型的大小和改进的经验对抗鲁棒性没有严重的性能下降,在医学图像分析中至关重要。
2022-08-08 cs.CR cs.LG
Towards Scalable and Robust Structured Bandits: A Meta-Learning Framework
North Carolina State University(北卡罗来纳州立大学)
在线学习在大规模的结构化土匪是众所周知的,是具有挑战性的,由于维数灾难。本文针对一类结构化强盗问题提出了一个统一的元学习框架,其中参数空间可以分解到项目级。新的Bandit算法具有通用性,适用于许多流行的问题,可扩展到巨大的参数和动作空间,并对泛化模型的规格说明具有鲁棒性。在这个框架的核心是一个贝叶斯层次模型,允许通过其功能项目之间的信息共享,在此基础上,我们设计了一个Meta汤普森抽样算法。三个有代表性的例子进行了深入的讨论。理论分析和数值结果都支持了该方法的有效性。
2022-02-26 cs.LG
Robust and Scalable Bayesian Online Changepoint Detection
University College London(伦敦大学学院);The Alan Turing Institute(艾伦·图灵研究所)
提出一种在线、可证明鲁棒且可扩展的贝叶斯变点检测算法,利用广义贝叶斯和扩散分数匹配实现闭式共轭后验,速度比最接近方法快10倍以上。
2023-05-12 cs.LG stat.ML
WeaveMark: Robust and Scalable Multi-bit LLM Watermarking via Coded Payload Spreading
University of Ulsan(蔚山大学)
WeaveMark是一种基于编码载荷扩散的多比特LLM水印方案,通过多比特扩散、软判决纠错码等技术突破提取准确率、文本质量与载荷容量的权衡,在长消息、编辑文本及抗替换攻击场景下表现显著优于现有方法BiMark。
2026-09-29 cs.CR cs.LG
Scalable and Robust Construction of Topical Hierarchies
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
自动生成高质量的主题层次结构的文本集合是知识工程中的一个梦想问题,具有许多有价值的应用。本文提出了一个可扩展的和强大的算法,用于构建一个层次的主题从文本集合。我们使用自上而下的递归框架,张量正交分解技术的基础上,分治的问题。我们解决了一个关键的挑战,我们新设计的分层主题模型进行可扩展的推理。各种现实世界的数据集的实验表明,它能够有效地生成强大的,高质量的层次结构。我们的方法减少了几个数量级的建设时间,其强大的功能使用户能够交互式地修改层次结构。
2014-03-13 cs.CL cs.DB cs.IR
Conformal Predictions for Probabilistically Robust Scalable Machine Learning Classification
Istituto di Elettronica e di Ingegneria dell’Informazione e delle Telecomunicazioni, CNR(意大利国家研究委员会电子、信息与电信研究所);Funded Research Department, Aitek SpA(艾泰克股份有限公司资助研究部);Universidad de Sevilla(塞维利亚大学)
本文通过引入共形安全集和新的评分函数,将可扩展分类器与共形预测统一,为分类问题提供概率鲁棒的错误覆盖保证,并在DNS隧道攻击检测中验证其有效性。
2024-03-15 cs.CR cs.LG stat.ML
MixTrain: Scalable Training of Verifiably Robust Neural Networks
Columbia University(哥伦比亚大学);Pennsylvania State University(宾夕法尼亚州立大学)
使神经网络对敌对输入具有鲁棒性,导致了新防御和攻击之间的军备竞赛。最有前途的防御,对抗性的鲁棒训练和可验证的鲁棒训练,有限制其实际应用的局限性。对抗性的鲁棒训练只能使网络对攻击者的一个子类具有鲁棒性,我们通过开发一种基于区间梯度的新攻击来揭示这种弱点。相比之下,可验证的鲁棒训练提供了对任何L-p范数有界攻击者的保护,但比对抗性鲁棒训练产生了多个数量级的计算和内存开销。我们提出了两种新的技术,随机鲁棒逼近和动态混合训练,大大提高效率的可验证的鲁棒训练,而不牺牲验证的鲁棒性。我们利用两个关键的见解:(1)而不是在整个训练集上,在随机子采样的训练数据点上的声音过近似足以有效地指导鲁棒训练过程;(2)我们观察到,在某些训练时期之后,测试准确性和可验证的鲁棒性经常发生冲突。因此,我们使用一个动态的损失函数,以适应平衡他们为每个时期。我们设计并实现了我们的技术作为MixTrain的一部分,并在三个流行的数据集(包括MNIST,CIFAR和ImageNet-200)上训练的六个网络上进行了评估。我们的评估表明,MixTrain可以实现高达$95.2\%$验证强大的准确性对$L_\infty$范数有界的攻击者,同时采取$15$和$3$倍少的训练时间比国家的最先进的可验证的强大的训练和adversarially强大的训练计划,分别。此外,MixTrain很容易扩展到更大的网络,比如在ImageNet…
2018-12-01 cs.CR cs.LG stat.ML
Robust and Scalable Column/Row Sampling from Corrupted Big Data
University of Central Florida(中佛罗里达大学)
本文提出新的采样算法,能在严重数据腐蚀下定位信息列,并开发可扩展的随机化设计,同时对稀疏腐蚀和异常值具有鲁棒性,实验显示优于现有鲁棒采样算法。
2016-11-18 cs.LG cs.NA math.NA
Scalable First-Order Methods for Robust MDPs
Columbia University(哥伦比亚大学)
鲁棒马尔可夫决策过程(MDP)是一个强大的框架建模的顺序决策问题的模型不确定性。本文提出了求解鲁棒MDP的第一个一阶框架。我们的算法交错原始-对偶一阶更新与近似值迭代更新。通过仔细控制值迭代更新的精度和成本之间的权衡,我们实现了遍历收敛速度$O \left( A^{2} S^{3}\log(S)\log(ε^{-1}) ε^{-1} \right)$的最佳选择的参数椭圆和Kullback-Leibler $s$ -矩形不确定性集,其中$S$和$A$是状态和动作的数量,分别。我们对状态和动作数量的依赖性比纯值迭代算法要好得多(好$O(A^{1.5}S^{1.5})$倍)。在椭圆体不确定性集的数值实验中,我们表明我们的算法比最先进的方法具有更高的可扩展性。我们的框架也是第一个解决强大的MDPs与$s$ -矩形KL不确定性集。
2021-01-14 cs.LG math.OC
Towards Robust and Scalable Density-based Clustering via Graph Propagation
School of Computer Science, University of Auckland, New Zealand(奥克兰大学计算机科学学院);Department of Mathematics and Computer Science, University of Southern Denmark, Denmark(丹麦南部大学数学与计算机科学系)
本文提出CluProp框架,将高维空间中的变密度聚类转化为邻域图上的标签传播过程,通过高效的传播机制缓解传统密度方法的参数敏感性,实现大规模数据的高效准确聚类。
2026-08-27 cs.LG
RoseCDL: Robust and Scalable Convolutional Dictionary Learning for Rare event and Anomaly Detection
Université Paris-Saclay, Inria, CEA(巴黎-萨克雷大学,法国国家信息与自动化研究所,法国国家科学研究中心);Université Paris-Saclay, Inria, CNRS, Laboratoire Interdisciplinaire des Sciences du Numériques(巴黎-萨克雷大学,法国国家信息与自动化研究所,法国国家科学研究中心,跨学科数字科学实验室)
RoseCDL通过高效训练和在线异常检测方法,提升大规模信号中稀有事件和异常检测的鲁棒性和效率。
2026-04-28 cs.LG
GARNET: Reduced-Rank Topology Learning for Robust and Scalable Graph Neural Networks
Cornell University(康奈尔大学);UC Berkeley(加州大学伯克利分校);Stevens Institute of Technology(史蒂文斯理工学院)
图神经网络(GNN)已经越来越多地部署在涉及对非欧几里德数据进行学习的各种应用中。然而,最近的研究表明,GNN容易受到图对抗攻击的攻击。虽然有几种防御方法可以通过消除对抗性组件来提高GNN的鲁棒性,但它们也可能损害有助于GNN训练的底层干净图结构。此外,由于其高计算复杂性和存储器使用,这些防御模型中很少有可以扩展到大型图的。在本文中,我们提出了GARNET,一种可扩展的谱方法,以提高GNN模型的对抗鲁棒性。GARNET首先利用加权谱嵌入来构建一个基础图,它不仅能抵抗对抗攻击,而且还包含用于GNN训练的关键(干净)图结构。接下来,GARNET通过基于概率图模型修剪额外的非关键边来进一步细化基础图。GARNET已经在各种数据集上进行了评估,包括具有数百万节点的大型图。我们广泛的实验结果表明,GARNET在最先进的GNN(防御)模型上分别实现了高达13.27%和14.7倍的对抗准确性提高和运行时加速。
2023-01-08 cs.LG
SPOCC: Scalable POssibilistic Classifier Combination -- toward robust aggregation of classifiers
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);CRIStAL(里尔信息信号与自动化研究中心)
我们研究一个问题,其中一组学习者的每个成员分别训练解决相同的分类任务。每个学习者都可以访问训练数据集(可能在学习者之间有重叠),但每个训练过的分类器都可以在验证数据集上进行评估。我们提出了一种新的方法来聚合的可能性理论框架中的学习者预测。对于每个分类器的预测,我们建立一个可能性分布评估如何可能的分类器预测是正确的使用频率论概率估计的验证集。使用自适应t范数聚合可能性分布,该自适应t范数可以适应分类器预测的依赖性和差的准确性。我们证明了所提出的方法具有一些理想的分类器组合的鲁棒性。
2020-02-20 cs.LG stat.ML
Robust and Scalable Differentiable Neural Computer for Question Answering
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
深度学习模型通常不容易适应新任务,需要针对特定任务进行调整。可微神经计算机(DNC)是一种记忆增强的神经网络,它被设计成一种通用的问题求解器,可用于广泛的任务。但在现实中,很难将这种模式应用于新的任务。我们分析了DNC,并确定可能的改进应用程序中的问答。这激发了更强大和可扩展的DNC(rsDNC)。客观前提是保持该模型的一般特征不变,同时使其应用更可靠,并加快其所需的训练时间。rsDNC的特点是更强大的训练,苗条的存储单元和双向架构。我们不仅在bAbI任务上实现了新的最先进的性能,而且还最小化了不同初始化之间的性能差异。此外,我们证明了rsDNC对新任务的简化适用性,在没有适应的CNN RC任务上具有可通过的结果。
2018-07-07 cs.CL cs.LG
Scalable and Robust Tensor Ring Decomposition for Large-scale Data
University of Central Florida(中佛罗里达大学)
针对大规模张量数据中缺失条目与异常值损坏问题,提出一种可扩展且鲁棒的TR分解算法,通过自适应加权最速下降法填补缺失并识别异常值,结合快速Gram矩阵计算和随机子张量素描策略降低复杂度,在精度和速度上均优于现有方法。
2023-05-15 cs.LG stat.ML
Learned Robust PCA: A Scalable Deep Unfolding Approach for High-Dimensional Outlier Detection
University of California, Los Angeles(加州大学洛杉矶分校);Damo Academy, Alibaba US(阿里巴巴美国达摩院)
鲁棒主元分析(RPCA)是现代机器学习中的一个重要工具,用于检测低秩矩阵重构任务中的异常值。在本文中,我们提出了一个可扩展的和可学习的非凸的高维RPCA问题,我们称之为学习鲁棒PCA(LRPCA)的方法。LRPCA是高效的,其自由参数可以通过深度展开有效地学习以进行优化。此外,我们通过一种新的前馈-递归-混合神经网络模型,将深度展开从有限迭代扩展到无限迭代。我们建立了恢复保证LRPCA温和的假设下RPCA。数值实验表明,LRPCA优于最先进的RPCA算法,如ScaledGD和AltProj,在合成数据集和现实世界的应用。
2021-10-11 cs.CV cs.IT cs.LG
Minimal Value-Equivalent Partial Models for Scalable and Robust Planning in Lifelong Reinforcement Learning
Mila(米拉研究所);McGill University(麦吉尔大学);Google DeepMind(谷歌DeepMind)
针对终身强化学习中全环境模型难以实现可扩展鲁棒规划的问题,提出最小价值等价部分模型,给出形式化定义与理论优势,结合深度学习启发式学习方法,通过实验验证其在可扩展性和抗分布偏移、累积误差方面的有效性。
2023-06-11 cs.AI cs.LG
Decentralized Neural Networks for Robust and Scalable Eigenvalue Computation
提出一种基于分布式协作神经网络的去中心化算法,使多个智能体协作估计大型矩阵的最小特征值,在通信延迟或中断下仍保持稳健与可扩展,性能优于集中式方法。
2024-09-19 cs.LG cs.NA math.NA
DEHB: Evolutionary Hyperband for Scalable, Robust and Efficient Hyperparameter Optimization
University of Freiburg(弗莱堡大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
现代机器学习算法主要依赖于几个设计决策来实现强大的性能,这使得超参数优化(HPO)问题比以往任何时候都更加重要。在这里,我们结合了流行的基于带宽的HPO方法Hyperband(HB)和差分进化(DE)的进化搜索方法的优点,产生一个新的HPO方法,我们称之为DEHB。在非常广泛的HPO问题上的综合结果,以及来自神经架构搜索的广泛的表格基准测试,表明DEHB比我们所知道的所有以前的HPO方法都更稳健地实现了强大的性能,特别是对于具有离散输入维度的高维问题。例如,DEHB比随机搜索快1000倍。它在计算时间上也是有效的,概念简单,易于实现,使其成为一个新的默认HPO方法。
2021-10-21 cs.LG cs.NE
Robust and highly scalable estimation of directional couplings from time-shifted signals
Inria Saclay(法国国家信息与自动化研究所萨克雷中心);Université Paris-Sud(巴黎第十一大学);Donders Institute for Brain, Cognition, and Behaviour(唐德斯脑、认知与行为研究所);Radboud University(拉德堡德大学)
针对网络节点间有向耦合估计中的未知延迟问题,提出基于变分贝叶斯框架的混合变分推断方法,通过边缘化延迟和梯度变分推断获得保守估计,在真实标签实验中优于回归动态因果模型。
2025-01-27 cs.LG
Robust and Scalable SDE Learning: A Functional Perspective
Oxford University(牛津大学);InstaDeep Ltd.(InstaDeep公司);Discovery Insure(Discovery Insure公司)
随机微分方程提供了丰富的一类灵活的生成模型,能够描述广泛的时空过程。最近的一系列工作都是使用神经网络和其他灵活的函数逼近器来学习数据表示的SDES。尽管有这些进步,学习仍然是计算昂贵的,由于连续性积分器。在这项工作中,我们提出了一个重要性抽样估计的概率观测的学习的目的。至关重要的是,我们建议的方法并不依赖于这样的积分器。所提出的方法产生较低的方差梯度估计相比,算法的基础上的非线性积分器,并具有额外的优势,被并行化。这有助于有效地使用大规模并行硬件,以大幅减少计算时间。
2021-10-11 cs.LG stat.ML
Robust and Scalable Bayes via a Median of Subset Posterior Measures
University of Southern California(南加州大学);The University of Iowa(爱荷华大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Duke University(杜克大学)
我们提出了一种新的贝叶斯分析方法,该方法对数据中的离群值具有可证明的鲁棒性,并且通常比标准方法具有计算优势。我们的技术是基于分裂成非重叠的子组的数据,评估每个独立的子组的后验分布,然后结合所产生的措施。我们的方法的主要新颖之处是建议的聚合步骤,这是基于一个中位数的评价空间中的概率测度配备了一个合适的收集的距离,可以快速,有效地评估在实践中。我们提出了理论和数值证据说明我们的方法所取得的改进。
2016-06-02 cs.DC cs.LG math.ST
Scalable and Robust Physics-Informed Graph Neural Networks for Water Distribution Systems
Center for Cognitive Interaction Technology(认知交互技术中心);Bielefeld University(比勒费尔德大学)
针对配水系统(WDSs)在气候变化和城市发展下的规划需求,提出整合改进图神经网络架构、物理信息算法等的鲁棒可扩展替代深度学习模型,其性能优于现有最优模型,能扩展至更真实系统且对分布外输入更鲁棒,推动AI在WDSs中弥合仿真与现实差距。
2025-02-11 cs.LG cs.NE cs.SY
A Dirichlet Process Mixture of Robust Task Models for Scalable Lifelong Reinforcement Learning
Nanjing University(南京大学);University of New South Wales(新南威尔士大学)
虽然强化学习(RL)算法在各种具有挑战性的任务中实现了最先进的性能,但当面对终身流信息时,它们很容易遇到灾难性遗忘或干扰。在本文中,我们提出了一种可扩展的终身强化学习方法,该方法动态扩展网络容量以容纳新知识,同时防止过去的记忆受到干扰。我们使用一个Dirichlet过程混合模型的非平稳任务分布,它捕获任务相关性估计的可能性任务集群分配和集群的任务模型在一个潜在的空间。我们将混合物的先验分布制定为中餐厅过程(CRP),该过程根据需要实例化新的混合物成分。混合物的更新和扩展由具有期望最大化(EM)过程的贝叶斯非参数框架来管理,该过程动态地适应模型复杂性而没有明确的任务边界或算法。此外,我们使用域随机化技术来训练混合中每个任务模型初始化的鲁棒先验参数,从而使得到的模型能够更好地概括和适应看不见的任务。在机器人导航和运动领域进行了广泛的实验,我们表明,我们的方法成功地促进了可扩展的终身RL,并优于相关的现有方法。
2022-05-22 cs.AI cs.LG
RecSys Challenge 2023: From data preparation to prediction, a simple, efficient, robust and scalable solution
University of Mons (UMONS)(蒙斯大学)
本文提出 Team UMONS 在 RecSys Challenge 2023 中的广告安装预测方案,以较小模型取得 6.622686 的分数,兼具可扩展性与对缺失值的鲁棒性。
2024-01-12 cs.AI cs.IR cs.LG
Scalable Iterative Algorithm for Robust Subspace Clustering
子空间聚类(SC)是一种流行的高维数据降维方法,它推广了主成分分析(PCA)。最近,已经提出了几种方法来提高PCA和SC的鲁棒性,但大多数方法在计算上非常昂贵,特别是对于高维大规模数据。在本文中,我们开发了更快的迭代算法SC,将鲁棒性使用{ \em非平方} $\ell_2$规范的目标。用于优化目标的已知实现将是昂贵的,这是由于两个单独的目标的替代优化:最佳聚类成员分配和鲁棒子空间选择,而一个过程的替代更快的代理可能会导致收敛失败。为了解决这个问题,我们使用一个简化的过程,需要有效的矩阵向量乘法子空间更新,而不是解决一个昂贵的特征向量问题,在每次迭代,除了释放嵌套的强大的PCA循环。我们证明了所提出的算法单调收敛到一个局部最小的近似保证,例如,它实现了鲁棒PCA目标的2-近似。在我们的实验中,所提出的算法被证明比已知的优化相同目标的算法收敛速度快一个数量级,并且在MNIST数据集的准确性和运行时间方面优于先前的子空间聚类方法。
2015-06-05 cs.DS cs.LG
RoS-Guard: Robust and Scalable Online Change Detection with Delay-Optimal Guarantees
针对现有在线变化检测(OCD)方法依赖精确系统知识且大规模场景效率低的问题,提出鲁棒可扩展的RoS-Guard算法,通过优化问题重构与神经展开实现GPU并行加速,提供延迟最优保证,在大规模系统中兼具有效性与计算效率。
2025-11-17 cs.AI cs.LG
Robust and Scalable Variational Bayes
Washington University in St. Louis(圣路易斯华盛顿大学);University of Maryland(马里兰大学)
针对大型数据集中的离群值和污染问题,提出鲁棒可扩展的变分贝叶斯框架,通过划分数据集、独立近似子集后验并基于Wasserstein距离的几何中位数聚合,得到VM-Posterior,在保留收缩性质的同时保证鲁棒性与可扩展性。
2025-04-16 cs.LG stat.ME stat.ML
Simplified Swarm Learning Framework for Robust and Scalable Diagnostic Services in Cancer Histopathology
The University of Sydney(悉尼大学);University of Technology Sydney(技术大学悉尼);Australian Catholic University(澳大利亚天主教大学)
本文提出一种简化点对点群学习框架,去除区块链依赖,结合预训练模型与DenseNet解码器,在癌症组织病理学中实现隐私保护下的高效分布式诊断,性能媲美集中式模型。
2025-04-23 cs.DC cs.LG
Adaptive, Robust and Scalable Bayesian Filtering for Online Learning
School of Mathematical Sciences(数学科学学院)
该论文以贝叶斯滤波统一在线学习、序贯预测和上下文老虎机问题,提出自适应框架、鲁棒广义贝叶斯滤波器及可扩展二阶更新工具。
2025-05-12 cs.LG stat.ML
Force-Aware Neural Tangent Kernels for Scalable and Robust Active Learning of MLIPs
InstaDeep;Department of Engineering, University of Cambridge(工程系,剑桥大学)
本文提出一种线性可扩展的主动学习框架,结合力感知神经切线核,有效提升MLIPs在大规模候选池中的鲁棒性和效率,验证了其在多个数据集上的优越性能。
2026-05-15 cs.LG
A Near-optimal, Scalable and Parallelizable Framework for Stochastic Bandits Robust to Adversarial Corruptions and Beyond
MoE Engineering Research Center of Hardware/Software Co-design Technology and Application(硬件/软件协同设计技术与应用的MoE工程研究中心);East China Normal University(东华大学)
本文提出了一种改进的随机老虎机框架BARBAT,通过消除K因子实现最优悔恨界,并扩展至多种设置,提升并行化能力与计算效率。
2026-01-02 cs.LG
Parallel Active Subspace Decomposition for Scalable and Efficient Tensor Robust Principal Component Analysis
Department of Mathematics, Hong Kong Baptist University(香港 Baptist 大学数学系)
本文提出并行主动子空间分解方法,通过将张量展开的每个模式分解为正交矩阵和小矩阵,降低核范数最小化问题的规模,提升张量鲁棒主成分分析的效率和精度。
2017-12-28 cs.LG cs.NA math.NA
Scalable and Order-robust Continual Learning with Additive Parameter Decomposition
KAIST(韩国科学技术院);AITRICS
虽然最近的持续学习方法在很大程度上缓解了玩具大小的数据集上的灾难性问题,但仍有一些问题有待解决,以将其应用于现实世界的问题领域。首先,持续学习模型应该有效地处理灾难性遗忘,并且即使有大量任务也能有效地进行训练。其次,它需要解决顺序敏感性问题,其中任务的性能根据任务到达序列的顺序而变化很大,因为它可能会导致公平性起关键作用的严重问题(例如医疗诊断)。为了解决这些实际挑战,我们提出了一种新的持续学习方法,该方法是可扩展的,以及顺序鲁棒性,而不是学习一个完全共享的权重集,表示每个任务的参数作为任务共享和稀疏任务自适应参数的总和。使用我们的加性参数分解(APD),早期任务的任务自适应参数基本上不受影响,我们只更新它们以反映对任务共享参数所做的更改。参数的这种分解有效地防止了灾难性遗忘和阶次敏感性,同时具有计算和存储效率。此外,我们可以实现更好的可扩展性与APD使用分层知识整合,集群的任务自适应参数,以获得分层共享的参数。我们在多个基准数据集上使用APD,APD-Net对最先进的持续学习方法验证了我们的网络,该方法在准确性,可扩展性和顺序鲁棒性方面表现出色。
2020-02-15 cs.LG stat.ML
Toward Production-Ready Federated Learning in Healthcare: Privacy, Orchestration, and Governance in MLOps
Jarvis College of Computing and Digital Media(贾维斯计算与数字媒体学院);DePaul University(德保罗大学)
研究医疗保健领域联邦学习,探讨 MLOps 实践和 FLOps 理念,回答容器化编排对联邦部署的支持、隐私机制的影响及部署后重要实践等问题,提出需集成 MLOps 架构让联邦医疗保健机器学习系统更具性能。
2026-07-15 cs.LG cs.SE
Scalable Whitebox Attacks on Tree-based Models
Borealis AI
对抗鲁棒性是保证机器学习模型可靠性的基本安全标准之一。虽然在过去的十年中引入了各种对抗性鲁棒性测试方法,但我们注意到其中大多数与不可微模型(如树集合)不兼容。由于树集成在工业中得到了广泛的应用,这揭示了对抗鲁棒性研究与实际应用之间的一个关键差距。提出了一种新的树集成模型的白盒对抗鲁棒性测试方法。具体地说,所提出的方法通过温度控制的sigmoid函数平滑树集合,这使得基于梯度下降的对抗攻击成为可能。通过利用采样和对数导数技巧,所提出的方法可以扩展到以前无法管理的测试任务。我们在多个公共数据集(和相应的模型)上将该方法与随机扰动和黑盒方法进行了比较。我们的结果表明,该方法可以1)成功地揭示树集成模型的对抗脆弱性,而不会造成测试的计算压力,2)灵活地平衡搜索性能和时间复杂度,以满足各种测试标准。
2022-03-31 cs.LG stat.ML
Tuning Hyperparameters without Grad Students: Scalable and Robust Bayesian Optimisation with Dragonfly
Carnegie Mellon University(卡内基梅隆大学)
贝叶斯优化(BO)是指一套用于全局优化昂贵的黑盒函数的技术,它使用函数的内省贝叶斯模型来有效地搜索最优值。虽然BO已成功地应用于许多应用程序,但现代优化任务带来了新的挑战,传统方法通常会失败。在这项工作中,我们介绍了Dragonfly,一个用于可扩展和健壮BO的开源Python库。Dragonfly结合了多个最近开发的方法,允许BO应用于具有挑战性的现实世界的设置;这些方法包括更好的方法,用于处理高维域,用于处理多保真度评估的方法时,廉价的近似昂贵的功能是可用的,方法优化结构化的组合空间,如空间的神经网络架构,并处理并行评估的方法。此外,我们在BO中开发了新的方法改进,用于选择贝叶斯模型,选择采集函数,并优化具有不同变量类型和附加约束的复杂域。我们比较Dragonfly的一套其他软件包和算法的全局优化,并证明,当上述方法集成,它们使BO的性能显着改善。Dragonfly库可以在dragonfly.github.io上找到。
2020-04-19 cs.AI cs.LG stat.ML
Linear Algorithms for Robust and Scalable Nonparametric Multiclass Probability Estimation
University of Arizona(亚利桑那大学)
多类概率估计是在给定协变量信息的情况下,估计数据点属于某类的条件概率的问题。它在统计分析和数据科学中有着广泛的应用。最近,已经开发了一类加权支持向量机(wSVM),通过集成学习来估计$K$类问题的类概率(Wu,Zhang和Liu,2010; Wang,Zhang和Wu,2019),其中$K$是类的数量。估计器是鲁棒的,并实现高精度的概率估计,但他们的学习是通过成对耦合,这需要在$K$多项式时间。在本文中,我们提出了两个新的学习方案,基线学习和一对所有(OVA)学习,以进一步提高wSVM的计算效率和估计精度。特别地,基线学习在$K$中是线性的意义上具有最佳计算复杂度。虽然不是最有效的计算,OVA提供了最好的估计精度在所有的程序进行比较。由此产生的估计是分布自由,并显示是一致的。我们进一步进行了广泛的数值实验,以证明有限样本的性能。
2022-09-22 cs.LG stat.ME stat.ML
Understanding and Comparing Scalable Gaussian Process Regression for Big Data
Nanyang Technological University(南洋理工大学);Rolls-Royce(罗尔斯·罗伊斯)
高斯过程(GP)作为一种非参数贝叶斯模型,能够产生信息量丰富的预测分布,在回归、分类、优化等领域有着广泛的应用。然而,标准GP的立方复杂性导致可扩展性差,这在大数据时代带来了挑战。因此,在文献中已经开发了各种可扩展的GP,以便在保持期望的预测精度的同时提高可扩展性。本文从可扩展性、能力、可控性和鲁棒性四个方面研究了具有代表性的全局和局部可扩展GP(包括稀疏近似和局部聚集)的方法学特征和性能。在两个玩具例子和五个真实世界的数据集上进行的数值实验,最多25万个点,提供了以下发现。在可扩展性方面,大多数可扩展GP的时间复杂度与训练大小呈线性关系。在能力方面,稀疏近似捕获长期的空间相关性,局部聚集捕获局部模式,但在某些情况下遭受过拟合。在可控性方面,我们可以通过简单地增加诱导大小来提高稀疏近似的性能。但对于本地聚合,情况并非如此。在鲁棒性方面,由于局部注意机制,局部聚集对各种超参数的初始化具有鲁棒性。最后,我们强调,全球和本地可扩展的GP的适当的混合可能是一个有前途的方式来提高大数据的模型能力和可扩展性。
2018-11-03 cs.LG stat.ML
SCENT: Robust Spatiotemporal Learning for Continuous Scientific Data via Scalable Conditioned Neural Fields
Brookhaven National Laboratory(布鲁克海文国家实验室);Cornell University(康奈尔大学);Cornell Tech(康奈尔科技学院)
针对科学数据时空学习的挑战,本文提出SCENT框架,统一插值、重建与预测任务,结合Transformer与稀疏注意力机制,实现可扩展且连续性感知的学习,在多任务中取得最先进性能。
2025-04-16 cs.AI cs.LG
Robust and Scalable Routing with Multi-Agent Deep Reinforcement Learning for MANETs
EpiSys Science, Inc.(EpiSys科学公司);Boeing Research and Technology(波音研究与技术公司)
高度动态的移动ad-hoc网络(MANNETWORK)继续作为最具挑战性的环境之一,开发和部署强大的,高效的,可扩展的路由协议。在本文中,我们提出了DeepCQ+路由,它以一种新颖的方式,将新兴的多代理深度强化学习(MADRL)技术集成到现有的基于Q学习的路由协议及其变体中,并在仅在有限范围的网络参数和条件下进行训练的同时,在广泛的MANET配置中实现持续的更高性能。与基于Q-learning的同类产品相比,DeepCQ+始终显示出更高的端到端吞吐量和更低的开销,其效率总体提高了10-15%。更重要的是,DeepCQ+在许多场景下保持了非常相似的性能增益,而这些场景在网络规模、移动性条件和流量动态方面都没有经过训练。据我们所知,这是第一次成功的示范MADRL的MANET路由问题,实现并保持高度的可扩展性和鲁棒性,即使在环境中的训练范围之外的情况。这意味着所提出的结合MADRL和Q学习的DeepCQ+混合设计方法显着提高了其实用性和可解释性,因为现实世界的MANET环境可能会在MANET场景的训练范围之外变化。
2021-03-29 cs.AI cs.LG cs.MA
Scalable and Robust Self-Learning for Skill Routing in Large-Scale Conversational AI Systems
Amazon Alexa AI(亚马逊Alexa人工智能)
技能路由是大规模会话系统的重要组成部分。与传统的基于规则的技能路由相比,最先进的系统使用基于模型的方法来实现自然对话。为了提供训练此类模型所需的监督信号,提出了人工注释、复制基于规则的系统、基于用户释义的重新标记以及基于强盗的学习等想法。然而,这些方法:(a)在技能和技能加入的数量方面不成比例,(b)需要非常昂贵的专家注释/规则设计,(c)在每次模型更新的用户体验中引入风险。在本文中,我们提出了一种可扩展的自学习方法,探索路由选择,而不会导致突然的政策变化,打破了用户体验,从用户交互中学习,并通过频繁的模型刷新逐步提高路由。为了实现这种强大的频繁的模型更新,我们建议一种简单有效的方法,确保控制策略更新的各个域,然后由一个off-policy评估,使部署决策,而不需要任何冗长的A/B实验。我们进行各种离线和在线A/B实验的商业大规模的会话系统,以证明所提出的方法在现实世界的生产环境中的有效性。
2022-04-14 cs.AI cs.CL cs.HC
Scalable and Robust Community Detection with Randomized Sketching
University of Central Florida(中佛罗里达大学)
本文探讨和分析了大型部分可观察图的无监督聚类。我们提出了一个可扩展的和可证明的随机框架,从随机块模型生成的聚类图。首先将聚类应用于与使用随机采样构造的简化图草图相关联的图的邻接矩阵的子矩阵。然后,使用基于相关性的检索步骤,基于从草图提取的聚类来推断完整图的聚类。均匀随机节点抽样被证明可以提高整个图的聚类的计算复杂性时,集群大小是平衡的。提出了一种新的基于随机度的节点抽样算法,该算法在聚类不平衡的情况下也能显著提高聚类算法的性能。该框架提高了相变矩阵分解为基础的聚类方面的计算复杂性和最小集群大小,这被证明是几乎无量纲的低集群间连接制度。第三个抽样技术,以提高平衡随机抽样节点的空间分布的基础上。我们提供的分析和数值结果使用凸聚类算法的基础上矩阵完成。
2022-12-04 cs.LG cs.SI stat.ML
Scalable Valuation of Human Feedback through Provably Robust Model Alignment
The University of Osaka(大阪大学);Lattice Lab, Toyota Motor Corporation(丰田公司Lattice实验室);Machine Learning Research Group, University of Oxford(牛津大学机器学习研究组);RIKEN AIP(理化学研究所AIP)
针对人类反馈噪声问题,提出具有可证明红下降属性的Hölder-DPO损失,实现稳健对齐并估计干净数据分布,提供无梯度的数据集估值度量,有效检测错误标签,提升对齐性能。
2025-10-24 cs.AI cs.LG stat.ML
Lipschitz-Margin Training: Scalable Certification of Perturbation Invariance for Deep Neural Networks
The University of Tokyo(东京大学);RIKEN(理化学研究所)
神经网络对输入的恶意扰动的高敏感性引起安全问题。为了向鲁棒分类器迈出稳步的一步,我们的目标是创建可证明免受扰动的神经网络模型。以前的认证工作需要对网络结构和大量计算成本进行强有力的假设,因此其应用范围受到限制。从Lipschitz常数和预测裕度之间的关系出发,提出了一种计算效率高的计算方法,用于确定欺骗网络的对抗性扰动的大小下限,该方法广泛适用于各种复杂网络.此外,我们提出了一个有效的训练过程,使网络健壮,并显着提高数据点周围的可证明的保护区域。在实验评估中,我们的方法显示出它能够提供非平凡的保证,并增强即使是大型网络的鲁棒性。
2018-10-31 cs.CV cs.LG stat.ML
Scalable and Precise Patch Robustness Certification for Deep Learning Models with Top-k Predictions
City University of Hong Kong(香港城市大学);The Education University of Hong Kong(香港教育大学)
针对现有top-k预测补丁鲁棒性认证方法存在的精度不足或组合爆炸问题,提出可扩展且精确的基于投票的CostCert认证方法,实验证明其性能显著优于当前最优方法PatchGuard。
2025-07-31 cs.LG cs.SE
Scalable Training of Language Models using JAX pjit and TPUv4
Cohere(Cohere公司)
现代大语言模型由于其规模而需要分布式训练策略。有效和有力地培训他们的挑战是在软件和硬件前沿的快速发展。在本技术报告中,我们探讨了与开发可扩展的培训框架相关的挑战和设计决策,并对采用新的软件和硬件解决方案所带来的效率提升进行了定量分析。
2022-04-13 cs.CL cs.LG
TD-MPC2: Scalable, Robust World Models for Continuous Control
University of California San Diego(加利福尼亚大学圣迭戈分校)
本文提出TD-MPC2,通过改进基于隐式世界模型的强化学习算法,仅用一组超参数在104个任务上超越基线,并成功训练出能执行80项任务的317M参数单一智能体。
2024-03-21 cs.AI cs.CV cs.LG
Non-recurrent Traffic Congestion Detection with a Coupled Scalable Bayesian Robust Tensor Factorization Model
School of Mechanical Engineering, Beijing Institute of Technology(北京理工大学机械工程学院);School of Transportation Engineering, Southeast University(东南大学交通工程学院);Faculty of Momenta(Momenta学院);McGill University(麦吉尔大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
非重现性交通拥堵(NRTC)通常会给通勤者带来意想不到的延误。因此,以实时的方式准确地检测和识别NRTC是至关重要的。道路交通检测器和环路检测器的发展为研究人员提供了大规模的多变量时空交通数据,为深入研究非线性交通流控制提供了条件。然而,它仍然是一个具有挑战性的任务,构建一个分析框架,通过该框架可以有效地表示和利用多变量交通信息的自然时空结构特性,以更好地理解和检测NRTC。在本文中,我们提出了一种新的分析训练免费框架的基础上耦合可扩展贝叶斯鲁棒张量分解(耦合SBRTF)。该框架可以通过共享相似或相同的稀疏结构来耦合多变量交通数据,包括交通流量、道路速度和占用率。而且,它自然地捕获的高维时空结构特性的交通数据的张量因式分解。该框架的共享稀疏结构包含了足够丰富的NRTC信息,其条目揭示了NRTC的分布和大小。而框架的低秩部分则将总体期望交通状况的分布作为辅助产品来表达。在真实交通数据上的实验结果表明,该方法在NRTC检测中的性能优于耦合贝叶斯鲁棒主成分分析(耦合BRPCA)、秩稀疏张量分解(RSTD)和标准正态偏差(SND).当只利用工作日的交通数据时,所提出的方法表现得更好,因此可以为日常通勤者提供更精确的NRTC估计。
2020-05-10 cs.CV cs.LG physics.soc-ph