Nonparametric Probabilistic Regression with Coarse Learners
Numeristical
概率回归是指以特征为条件预测目标的全概率密度函数。我们提出了一个非参数的方法来解决这个问题,它结合了基础分类器(通常是梯度提升森林)训练的目标值的不同粗化。通过结合这些分类器和平均所得密度,我们能够计算精确的条件密度与密度的形状或形式的最小假设。我们结合这种方法与结构化的交叉熵损失函数,用于正则化和平滑所产生的密度。从这些密度计算出的预测区间在实践中具有很高的保真度。此外,在特定的观测中检查这些密度的性质可以提供有价值的见解。我们在各种数据集上演示了这种方法,并显示出具有竞争力的性能,特别是在较大的数据集上。
2022-10-28 cs.AI cs.LG stat.ME
Meta-learners' learning dynamics are unlike learners'
DeepMind(深度思维)
元学习是一种工具,它允许我们构建样本高效的学习系统。在这里,我们表明,一旦经过元训练,LSTM元学习者不仅比样本效率低下的深度学习(DL)和强化学习(RL)兄弟更快,而且它们实际上追求的是根本不同的学习轨迹。我们在三组结构化任务上研究了它们的学习动态,对于这三组任务,先前已经描述了DL和RL系统的相应学习动态:线性回归(Saxe等人,2013)、非线性回归(Rahaman等人,2018; Xu等人,2018),以及上下文强盗(Schaul等人,2019年)。在每种情况下,虽然样本效率低下的DL和RL学习者以交错的方式发现了任务结构,但经过元训练的LSTM元学习者同时发现了几乎所有的任务结构,与贝叶斯最优推理算法预期的模式一致。这对学习行为本身感兴趣的研究领域有影响,例如安全,课程设计和人机回路机器学习。
2019-05-03 cs.AI cs.LG stat.ML
Adversarially Pretrained Transformers May Be Universally Robust In-Context Learners
The University of Tokyo(东京大学);Chiba University(千叶大学);National Institute of Informatics(国立信息学研究所)
本研究提出对抗性预训练的Transformer可作为普遍稳健的基础模型,通过上下文学习实现对多种下游任务的稳健泛化。
2026-03-01 cs.CV cs.LG stat.ML
Sample Compression for Real-Valued Learners
Princeton(普林斯顿大学);Ben-Gurion University(本-古里安大学)
我们在Moran和Yehudayoff(2016)中给出了学习者到压缩方案转换的算法有效版本。在将这种技术扩展到实值假设时,我们还获得了一个高效的回归到有界样本压缩转换器。据我们所知,这是第一个一般的压缩回归结果(无论效率或有界性),保证一致的近似重建。一路上,我们开发了一个通用的程序,用于构建弱实值学习抽象回归;这可能是独立的利益。特别是,这一结果揭示了一个开放的问题H。Simon(1997年)。我们展示了两个回归问题的应用:学习Lipschitz和有界变差函数。
2018-05-21 cs.LG stat.ML
Adversarially Trained Linear Transformers Are Optimal Robust In-Context Learners for Gaussian Mixtures
LY Corporation
本研究证明,大规模对抗预训练的线性Transformer可通过上下文学习将鲁棒性迁移至未见的高斯混合分类任务,渐近达到最优鲁棒贝叶斯误差,而标准训练模型无法实现。
2026-10-07 cs.CV cs.LG stat.ML
Adversarial Robustness of Deep Convolutional Candlestick Learner
National Taiwan University(国立台湾大学);Brookhaven National Laboratory(布鲁克海文国家实验室);Soochow University(东吴大学);National Sun Yat-sen University(国立中山大学)
深度学习(DL)已经广泛应用于各个领域。然而,已经表明DL模型对称为\emph{adversarial attacks}的某种扰动敏感。为了在金融交易等关键领域充分释放深度学习的力量,有必要解决这些问题。在本文中,我们提出了一种方法来构造扰动的例子,并使用这些例子来提高模型的鲁棒性。我们的算法增加了在输入数据的扰动的烛台分类的DL模型的稳定性。
2020-05-29 cs.CR cs.LG q-fin.ST
Defending Regression Learners Against Poisoning Attacks
University of Melbourne(墨尔本大学);Northrop Grumman Corporation(诺斯罗普·格鲁曼公司)
从工程应用到金融预测广泛使用的回归模型容易受到有针对性的恶意攻击,例如训练数据中毒,攻击者可以通过这种攻击操纵其预测。以前的作品,试图解决这个问题依赖于假设的性质的攻击/攻击者或高估的知识的学习者,使他们不切实际。我们引入了一种新的局部内在相似性(LID)为基础的措施称为N-LID,衡量一个给定的数据点的LID相对于其邻居的局部偏差。然后,我们表明,N-LID可以区分中毒样本正常样本,并提出了一个N-LID为基础的防御方法,使攻击者没有假设。通过对基准数据集的大量数值实验,我们表明,所提出的防御机制在预测精度(与未防御的岭模型相比,MSE降低了76%)和运行时间方面优于最先进的防御。
2020-08-21 cs.LG stat.ML
Efficient Testable Learning of Halfspaces with Adversarial Label Noise
UW Madison(威斯康星大学麦迪逊分校);UC San Diego(加州大学圣地亚哥分校)
我们给出了第一个多项式时间算法的可测试学习的半空间在对抗标签噪声的存在下的高斯分布。在最近引入的可测试学习模型中,需要产生一个测试器-学习器,这样如果数据通过测试器,那么人们可以信任鲁棒学习器对数据的输出。我们的测试-学习器在时间上运行$\poly(d/\eps)$,并输出具有误分类误差$O(\opt)+\eps$的半空间,其中$\opt$是最佳拟合半空间的0-1误差。在技术层面上,我们的算法采用了迭代软定位技术,通过适当的测试来增强,以确保数据分布与高斯分布足够相似。
2023-03-09 cs.LG stat.ML
Unknown Delay for Adversarial Bandit Setting with Multiple Play
Wichita State University(威奇托州立大学);Department of Electrical Engineering and Computer Science(电气工程与计算机科学系(不单独作为机构提取,此处主要机构为大学))
研究了具有多重博弈的多臂强盗系统中的未知时延问题。现有的工作类似的游戏设置只集中在学习者在每一轮选择一个手臂的情况下。然而,在机器人技术中有很多应用,学习者需要在每一轮中选择多个手臂。因此,当选择多个臂时,研究延迟的影响是值得的。在此设置中,每轮选择的多个臂使得它们经历相同的延迟量。可以有一个聚合的反馈损失,从不同的组合中选择的武器在不同的回合,学习者面临的挑战,关联的反馈损失的武器产生他们。针对这一问题,提出了一种基于延迟指数的多播开发与探索(DEXP3.M)算法。遗憾界仅比DEXP3的遗憾稍差,DEXP3已经为具有未知延迟的单次播放设置提出。
2020-10-01 cs.LG cs.MA stat.ML
Generalist: Decoupling Natural and Robust Generalization
Peking University(北京大学);University of Hong Kong(香港大学)
通过标准训练获得的深度神经网络一直受到对抗性样本的困扰。尽管对抗性训练证明了它能够防御对抗性示例,但不幸的是,它导致了自然泛化能力的不可避免的下降。为了解决这个问题,我们将自然泛化和鲁棒泛化从联合训练中分离出来,并为每一个制定不同的训练策略。具体而言,而不是最大限度地减少这两个泛化误差的期望的全球损失,我们提出了一个双专家框架,称为\emph{Generalist},我们同时训练基地学习者的任务意识的战略,使他们能够专注于自己的领域。在训练过程中,每隔一段时间收集基本学习器的参数并组合形成全局学习器。然后将全局学习器作为初始化参数分发给基本学习器,以继续训练。理论上,我们证明了基础学习者经过良好的训练后,通才的风险会降低。大量的实验验证了Generalist的适用性,以实现高精度的自然例子,同时保持相当的鲁棒性对抗的。代码可在https://github.com/PKU-ML/Generalist上获得。
2023-03-24 cs.AI cs.CV cs.LG
ReLATE: Resilient Learner Selection for Multivariate Time-Series Classification Against Adversarial Attacks
San Diego State University(圣地亚哥州立大学);University of California, San Diego(加利福尼亚大学圣迭戈分校)
ReLATE 框架通过数据集相似性选择最优鲁棒模型,在对抗攻击下平均降低 81.2% 计算开销,性能保持在 Oracle 的 4.2% 以内。
2025-03-10 cs.CR cs.LG
The Teaching Dimension of Linear Learners
University of Rochester(罗切斯特大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
教学维度是一个学习理论量,它规定了将目标模型教授给学习者的最小训练集大小。以往关于教学维度的研究主要集中在版本空间学习器上,这些学习器保持所有假设与训练数据一致,而不能应用于通过优化选择特定假设的现代机器学习器。本文介绍了岭回归,支持向量机,逻辑回归的第一个已知的教学维。我们还展示了与这些教学维度相匹配的最佳训练集。我们的方法可以推广到其他线性学习器。
2015-12-07 cs.LG
Adversarial Attacks are a Surprisingly Strong Baseline for Poisoning Few-Shot Meta-Learners
University of Cambridge(剑桥大学)
本文研究了部署的Few-Shot元学习系统的鲁棒性,当它们被馈送一个不可察觉的扰动Few-Shot数据集。我们攻击摊销的元学习者,这使我们能够精心设计输入的勾结集,这些输入被定制为在用作训练数据时欺骗系统的学习算法。联合制作的对抗性输入可能会协同操纵分类器,从而允许很难检测到的非常强大的数据中毒攻击。我们表明,在白盒设置中,这些攻击是非常成功的,可以导致目标模型的预测变得比机会更糟。然而,与一般对抗性示例的众所周知的可转移性相反,共谋集不能很好地转移到不同的分类器。我们探索两个假设来解释这一点:“过拟合”的攻击,和模型之间的不匹配的攻击产生的攻击和攻击转移。不管这些假设所提出的缓解策略如何,合谋输入的转移并不比以通常方式独立产生的对抗性输入更好。
2022-11-23 cs.CR cs.LG
Adversarial Resilience against Clean-Label Attacks in Realizable and Noisy Settings
D-MATH IFOR ETH Zürich(苏黎世联邦理工学院数学研究所)
针对干净标签对抗攻击,我们扩展了可实现设定下的弃权(不执行)学习方法至不可知噪声设定,首次给出阈值分类器在对抗噪声下的理论保证。
2025-04-17 cs.LG stat.ML
Defending Against Adversarial Machine Learning
分析了一个对抗攻击的系统和一个防御攻击的作者归属系统。防御系统免受对抗性机器学习器的攻击可以通过在系统模型之间随机切换,通过检测和响应正常输入分布的变化,或通过使用其他方法来完成。对抗性机器学习用于识别用于将系统输入映射到输出的系统。三种类型的机器学习器用于被攻击的模型。用于对被攻击的系统建模的机器学习器是径向基函数支持向量机、线性支持向量机和前馈神经网络。使用准确度作为适应度度量来进化特征掩模。系统通过识别与正常输入的概率分布不匹配的输入来防御对抗性机器学习攻击。系统还通过在用于将系统输入映射到输出的特征掩码之间随机切换来防御对抗攻击。
2019-11-26 cs.AI cs.CR cs.LG
Risk-Aware Algorithms for Adversarial Contextual Bandits
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
在这项工作中,我们考虑了对抗性的上下文土匪与风险约束。在每一轮中,大自然都准备了一个上下文,每个手臂的成本,以及每个手臂的风险。学习者利用上下文来拉动手臂,然后接收与被拉动的手臂相关联的相应成本和风险。除了最小化累积成本之外,学习者还需要满足长期风险约束--所有被拉手臂的累积风险的平均值不应大于预先设定的风险。定义阈值。为了解决这个问题,我们首先研究了全信息设置,在每一轮中,学习者都会收到一个对抗性凸损失和一个凸约束。我们开发了一个Meta算法,利用在线镜像下降的充分信息设置,并将其扩展到上下文的强盗与风险约束设置使用专家的意见。我们的算法可以实现接近最优的遗憾方面的总成本最小化,同时成功地保持了次线性增长的累积风险约束违反。
2016-10-17 cs.LG stat.ML
Generative Data Imputation for Sparse Learner Performance Data Using Generative Adversarial Imputation Networks
Institute for Intelligent Systems, University of Memphis(孟菲斯大学智能系统研究所);Faculty of Education, The University of Hong Kong(香港大学教育学院);Human-Computer Interaction Institute, Carnegie Mellon University(卡内基梅隆大学人机交互研究所);Centre for Learning Analytics, Faculty of Information Technology, Monash University(莫纳什大学信息技术学院学习分析中心);Educational Testing Service(教育考试服务中心);Department of Psychology and Counseling, Arkansas State University(阿肯色州立大学心理学与咨询系);Department of Applied Social Sciences, Hong Kong Polytechnic University(香港理工大学应用社会科学系)
针对智能辅导系统中学习者表现数据因缺失导致的稀疏问题,提出基于生成对抗插补网络(GAIN)的三维框架插补方法,实验证明其插补精度优于传统方法,能提升模型拟合度并保留关键学习特征。
2025-04-13 cs.AI cs.LG
Near Optimal Adversarial Attacks on Stochastic Bandits and Defenses with Smoothed Responses
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文研究随机多臂老虎机中的对抗攻击与防御,提出针对UCB和汤普森采样的近最优攻击策略,并设计两种简单防御算法,使竞争比任意接近1。
2024-03-14 cs.LG stat.ML
Best of Both Worlds Model Selection
Microsoft Research(微软研究院);Google(谷歌)
我们研究的问题,在土匪的情况下,存在嵌套的政策类的模型选择,同时获得对抗性和随机(“两全其美”)的高概率后悔保证的目标。我们的方法要求每个基础学习者都有一个候选后悔界限,这个界限可能成立,也可能不成立,而我们的Meta算法根据一个时间表来播放每个基础学习者,这个时间表保持基础学习者的候选后悔界限平衡,直到他们被检测到违反了他们的保证。我们开发了专门设计的仔细的错误规范测试,以将上述模型选择标准与利用环境(潜在的良性)性质的能力相结合。我们恢复模型选择保证的CORRAL算法的对抗性环境,但额外的好处是实现高概率的遗憾界限,特别是在嵌套的对抗性线性土匪的情况下。更重要的是,我们的模型选择结果也同时成立于随机环境下的间隙假设。这些是第一个理论结果,实现最好的两个世界(随机和对抗)的保证,同时执行模型选择(线性)土匪的情况。
2022-06-29 cs.AI cs.LG stat.ML
Black-box Certification and Learning under Adversarial Perturbations
McMaster University(麦克马斯特大学);Scotiabank(丰业银行);York University(约克大学)
我们从学习者的角度以及第三方的目的是证明给定的黑盒分类器的鲁棒性,正式研究了对抗扰动下的分类问题。我们分析了半监督学习的PAC型框架,并确定了在这种情况下正确学习VC类的可能性和不可能性结果。我们进一步介绍了一个新的设置下的黑盒认证有限的查询预算,并分析这对各类预测和扰动。我们还考虑了一个黑盒对手的观点,旨在寻找对抗性的例子,表明存在一个对手的多项式查询复杂性可以意味着存在一个样本有效的鲁棒学习器。
2022-02-22 cs.LG stat.ML
Optimizing Ensemble Weights and Hyperparameters of Machine Learning Models for Regression Problems
Iowa State University(爱荷华州立大学)
通过集成模型聚合多个学习者旨在通过更准确地捕获数据的底层分布来做出更好的预测。不同的组合方法,如装袋、增压和堆叠/混合,已在研究和实践中被广泛研究和采用。bagging和boosting分别更侧重于减少方差和偏差,而stacking方法则通过找到组合基本学习器的最佳方式来实现这两个目标。在使用加权平均值进行堆叠时,从多个基本学习器的加权平均值创建集合。众所周知,在集成权重优化过程中调整每个基学习器的超参数可以产生性能更好的集成。为此,设计了一种基于优化的嵌套算法,该算法考虑调整超参数以及找到组合集成的最佳权重(具有内部调整超参数的广义加权集成(GEM-ITH))。此外,贝叶斯搜索被用来加快优化过程,并实施启发式生成多样化和性能良好的基础学习器。通过对10个公开数据集的分析,证明了该算法可推广到真实数据集。
2020-10-31 cs.LG stat.ME stat.ML
Best of both worlds: Stochastic & adversarial best-arm identification
Adobe Research, USA(Adobe研究院,美国);University of California, Berkeley, USA(加州大学伯克利分校,美国);Queensland University of Technology - ACEMS, Australia(昆士兰理工大学 - ACEMS,澳大利亚);Massachusetts Institute of Technology, USA(麻省理工学院,美国);SequeL team, INRIA Lille - Nord Europe, France(INRIA里尔 - 北欧,法国)
研究在任意对抗性奖励下的多臂老虎机最佳臂识别问题,探讨在随机和对抗场景下如何设计鲁棒的最优算法,证明无法同时满足两种场景的最优性,并提出一种参数无关算法在随机场景下达到下界,同时对抗鲁棒。
2026-10-20 cs.LG stat.ML
Adversarial Training Makes Weight Loss Landscape Sharper in Logistic Regression
NTT Secure Platform Laboratories(NTT安全平台实验室);NTT Software Innovation Center(NTT软件创新中心);NTT Communication Science Laboratories(NTT通信科学实验室)
对抗性训练正在被积极研究,以针对对抗性示例学习鲁棒模型。最近的一项研究发现,对抗训练的模型在对抗示例上的泛化性能会退化,因为它们的权重损失景观(即权重损失变化)是尖锐的。不幸的是,实验表明对抗性训练可以改善减肥效果,但这种现象尚未在理论上得到澄清。为此,本文从理论上对这一现象进行了分析。作为第一步,本文证明了具有L2范数约束的对抗性训练使线性逻辑斯谛回归模型中的减肥景观更加清晰。我们的分析表明,减肥景观的清晰度是由在增加损失的方向上对齐的噪声引起的,这在对抗训练中使用。我们从理论上和实验上证实,在线性逻辑斯谛回归模型中,随着对抗训练噪声的增加,体重减轻的情况变得更加尖锐。此外,我们在ResNet18中用softmax实验证实了同样的现象。
2021-02-05 cs.AI cs.LG stat.ML
Adversarial confidence and smoothness regularizations for scalable unsupervised discriminative learning
Nanyang Technological University(南洋理工大学)
在本文中,我们认为一个通用的概率判别学习器从功能的观点,并认为,要使它学习好,有必要限制其假设空间的一组非平凡的分段常数函数。为了实现这一目标,我们提出了一个可扩展的无监督正则化框架。在理论方面,我们证明了这个框架有助于建立一个事实上自信和平滑的判别模型,并将其与对抗性禁忌游戏、谱聚类和虚拟对抗性训练联系起来。在实验中,我们将深度神经网络作为我们的学习者,并证明,当在无监督环境中在我们的框架下训练时,它们不仅可以实现最先进的聚类结果,而且可以很好地推广合成和真实数据。
2018-06-04 cs.LG stat.ML
Inverse-Inverse Reinforcement Learning. How to Hide Strategy from an Adversarial Inverse Reinforcement Learner
Cornell University(康奈尔大学);Lockheed Martin Advanced Technology Laboratories(洛克希德·马丁先进技术实验室)
逆强化学习(IRL)处理从代理的动作估计代理的效用函数。在本文中,我们考虑代理如何隐藏其策略并减轻对抗性IRL攻击;我们称之为逆IRL(I-IRL)。决策者应该如何选择其响应,以确保其战略的一个不良重建的对手执行IRL估计代理的战略?本文包括四个结果:第一,我们提出了一个对抗IRL算法,估计代理的策略,同时控制代理的效用函数。我们的I-IRL结果的第二个结果欺骗了对手使用的IRL算法。我们的I-IRL结果是基于微观经济学中的显示偏好理论。关键思想是代理人故意选择次优响应,充分掩盖其真实策略。第三,我们给出了一个样本的复杂性结果,我们的主要I-IRL的结果时,代理人有噪声估计的对手指定的效用函数。最后,我们说明了我们的I-IRL计划在雷达问题中的元认知雷达试图减轻敌对目标。
2022-05-22 cs.LG eess.SP
Distance Learner: Incorporating Manifold Prior to Model Training
Microsoft Research India(微软印度研究院)
流形假设(真实世界的数据集中在低维流形附近)被认为是机器学习算法在视觉和语音等领域常见的高维问题中有效性的原理。已经提出了多种方法来明确地将流形假设作为现代深度神经网络(DNN)中的先验,并取得了不同的成功。在本文中,我们提出了一种新的方法,远程学习者,将这种先验知识用于基于DNN的分类器。Distance Learner被训练来预测点到每个类的底层流形的距离,而不是类标签。对于分类,远程学习器然后选择与最接近的预测类流形相对应的类。如果到最近流形的距离高于阈值,则Distance Learner还可以将点识别为不在分布中(不属于任何类)。我们在多个合成数据集上评估了我们的方法,结果表明,与标准分类器相比,远程学习器学习到了更有意义的分类边界。我们还评估了我们的方法在对抗鲁棒性任务上的表现,发现它不仅比标准分类器表现更好,而且与通过最先进的对抗训练训练的分类器表现相当。
2022-07-14 cs.AI cs.LG
Efficient Testable Learning of General Halfspaces with Adversarial Label Noise
UW Madison(威斯康星大学麦迪逊分校);UC San Diego(加利福尼亚大学圣迭戈分校)
本文提出首个多项式时间测试器-学习器,用于在对抗性标签噪声下学习一般半空间,实现与维度无关的误分类误差,核心是将一般半空间可测试学习归约为近似齐次半空间的可测试学习。
2024-08-30 cs.DS cs.LG stat.ML
Online Meta-Learning in Adversarial Multi-Armed Bandits
Technion - Israel Institute of Technology(以色列理工学院)
我们研究了对抗性多武装匪徒的元学习。我们认为在线内在线设置,其中一个球员(学习者)遇到一系列的多武装土匪插曲。玩家的表现是根据对手造成的损失,在每一集中对最好的手臂进行后悔。问题的难度取决于对手选择的每集最佳手臂的经验分布。我们提出了一个算法,可以利用这种经验分布的非均匀性,并获得问题相关的遗憾界。该解决方案包括单独播放每一集的内部学习器,以及在剧集之间更新内部算法的超参数的外部学习器。在最佳手臂分布远不均匀的情况下,它改进了可以通过在每个情节上单独执行的任何在线算法而无需元学习来实现的最佳界限。
2022-07-12 cs.LG stat.ML
Targeted Forgetting and False Memory Formation in Continual Learners through Adversarial Backdoor Attacks
Rowan University(罗文大学)
众所周知,人工神经网络在不断地从任务序列中学习时容易发生灾难性遗忘。已经提出了各种连续(或“增量”)学习方法来避免灾难性遗忘,但是它们通常是对手不可知的,即,他们不考虑恶意攻击的可能性。在这项工作中,我们探讨弹性权重合并(EWC),一个流行的持续学习算法,以避免灾难性遗忘的脆弱性。我们表明,智能对手可以绕过EWC的防御,而是通过在训练过程中向模型引入少量错误信息来引起逐渐和故意的遗忘。我们证明了这样一个对手的能力,通过注入“后门”攻击样本的MNIST数据集的置换和分裂基准变量的模型的控制。重要的是,一旦模型学习了对手的错误信息,对手就可以控制任何任务的遗忘量。同样,恶意行为者可以通过将精心设计的后门样本插入到该任务的测试实例的任何部分来创建关于该任务的“虚假记忆”。也许最具破坏性的是,我们发现这种漏洞非常严重;即使是单个任务的训练数据的1%,也可以通过添加后门样本来轻松损害神经网络内存。
2020-02-17 cs.AI cs.CR cs.LG
Laws of Learning Dynamics and the Core of Learners
Department of mathematics, Boston University, Boston, USA(数学系,波士顿大学)
本文提出了一种基于熵的终身集成学习方法,通过构建免疫机制有效防御对抗攻击,提升了在强扰动下的模型准确性。
2026-11-10 cs.AI cs.IT cs.LG
Meta-Learning Adversarial Bandit Algorithms
Carnegie Mellon University(卡内基梅隆大学);Technion - Israel Institute of Technology(以色列理工学院)
本文首次研究对抗性赌博机反馈下的在线元学习,提出元算法同时调节内层学习器初始化与超参数,在MAB和BLO两种设置下给出任务平均遗憾界,并证明两层低维超参数调节足以学习界定OMD遗憾的复杂函数。
2023-11-01 cs.AI cs.LG stat.ML
Transductive and Learning-Augmented Online Regression
University of Michigan(密歇根大学);Texas A&M University(德克萨斯农工大学)
该研究针对可获取未来样本预测的在线回归场景,刻画了直推式在线学习的最小最大期望后悔值,提出适配不完美预测的学习增强在线学习器,实现预测质量相关的性能提升,拓展了可学习类别范围。
2025-10-04 cs.DS cs.LG
Is Ordered Weighted $\ell_1$ Regularized Regression Robust to Adversarial Perturbation? A Case Study on OSCAR
IBM Research(IBM研究院)
许多最先进的机器学习模型,如深度神经网络,最近被证明容易受到对抗性扰动的影响,特别是在分类任务中。受对抗性机器学习的启发,本文研究了具有强相关协变量的稀疏回归模型对对抗性测量噪声的鲁棒性。具体来说,我们考虑家庭的有序加权$\ell_1$(OWL)正则化回归方法和研究的情况下,OSCAR(八角形收缩聚类算法回归)在对抗设置。在一个范数有界的威胁模型下,我们制定的过程中找到一个最大的破坏性噪音OWL-正则化回归作为一个优化问题,并说明了步骤,找到这样的噪音的情况下,OSCAR。实验结果表明,在我们的对抗性设置下,对强相关特征进行分组的回归性能可能会严重下降,即使噪声预算明显小于地面实况信号。
2018-10-03 cs.LG stat.ML
Adversarial Regression. Generative Adversarial Networks for Non-Linear Regression: Theory and Assessment
SLAC National Accelerator Laboratory(SLAC国家加速器实验室);University of Neuchâtel(纳沙泰尔大学)
对抗性回归是一种进行高维非线性回归的不确定性估计的方法。我们使用条件生成对抗网络来获得新观察的完整预测分布的估计。生成对抗网络(GAN)是一种隐式生成模型,它从近似数据分布的分布中产生样本。它的条件版本(CGAN)采用以下表达式:$\min\limits_G \max\limits_D V(D, G) = \mathbb{E}_{x\sim p_{r}(x)} [log(D(x, y))] + \mathbb{E}_{z\sim p_{z}(z)} [log (1-D(G(z, y)))]$。可以通过同时训练两个神经网络来对D和G进行建模并向G馈送随机噪声向量$z$来找到近似解。经过训练,我们有了那个$G(z, y)\mathrel{\dot\sim} p_{data}(x, y)$。通过修复$y$,我们得到了$G(z|y) \mathrel{\dot\sim} p{data}(x|y)$。因此,通过对$z$进行采样,我们可以获得近似遵循$p(x|y)$的样本,这是新$y$的$x$的预测分布。我们运行实验来测试各种损失函数,数据分布,样本大小,噪声向量的大小等,即使我们观察到差异,也没有实验始终优于其他实验。CGAN回归的质量依赖于微调一系列超参数。从更广的角度来看,结果表明,CGAN是非常有前途的方法来执行高维非线性回归的不确定性估计。
2019-10-18 cs.LG stat.ML
Adversarial Orthogonal Regression: Two non-Linear Regressions for Causal Inference
Sharif University of Technology(谢里夫理工大学);Carnegie Mellon University(卡内基梅隆大学)
我们提出了两种非线性回归方法,命名为对抗正交回归(AdOR)的加性噪声模型和对抗正交结构方程模型(AdOSE)的一般情况下的结构方程模型。这两种方法都试图使回归残差与回归变量无关,同时不对噪声分布作任何假设。在这两种方法中,同时训练两个对抗网络,其中回归网络输出预测,损失网络估计互信息(在AdOR中)和KL发散(在AdOSE中)。这些方法可以被公式化为一个极大极小两人博弈;在均衡时,AdOR发现输入和输出之间的确定性映射,并估计残差和输入之间的互信息,而AdOSE估计给定输入的输出的条件概率分布。所提出的方法可以用作子程序来解决因果关系中的几个学习问题,例如因果方向确定(或更一般地,因果结构学习)和因果模型估计。合成和真实世界的实验表明,所提出的方法具有显着的性能相对于以前的解决方案。
2019-09-10 cs.LG stat.ML
Adversarial Attacks, Regression, and Numerical Stability Regularization
Booz Allen Hamilton(博思艾伦汉密尔顿)
在回归环境中对神经网络的对抗攻击是一个关键但尚未充分研究的问题。在这项工作中,我们通过调查对回归网络的对抗攻击,并制定一个更有效的防御这些攻击的最先进的。特别是,我们认为对抗攻击可能是由学习函数的数值不稳定性引起的。我们引入了一个稳定的诱导,正则化为基础的防御对抗攻击的回归设置。我们的新的和易于实现的防御优于以前的方法,并提高数值稳定性的学习功能。
2018-12-07 cs.CR cs.LG stat.ML
Causality-aware counterfactual confounding adjustment as an alternative to linear residualization in anticausal prediction tasks based on linear learners
Sage Bionetworks(Sage生物网络公司)
线性残差化是机器学习(ML)应用中用于混杂调整的常见实践。最近,已经提出了一种替代的基于随机性的预测建模方法,用于调整混杂因素。其基本思想是模拟反事实数据,这些数据不受观察到的混杂因素产生的虚假关联的影响。在本文中,我们比较了线性残差化方法对cacidity-aware混杂调整anticausal预测任务,并表明cacidity-aware方法往往(渐近)优于残差调整线性学习器的预测性能。重要的是,即使真实模型不是线性的,我们的结果仍然成立。我们说明了我们的结果在回归和分类任务,在那里我们比较了容差感知和残差化方法使用均方误差和分类精度在合成数据实验中的线性回归模型被错误指定,以及,当线性模型是正确指定的。此外,我们还说明了在混杂因素和结果变量的联合分布中,相对于数据集的变化,空腔感知方法比残差更稳定。
2020-11-09 cs.AI cs.LG stat.ML
Adversarial Resilience in Sequential Prediction via Abstention
University of Pennsylvania(宾夕法尼亚大学);Purdue University(普渡大学);Technion(以色列理工学院);Google Research, Israel(谷歌研究院(以色列));University of California, Berkeley(加利福尼亚大学伯克利分校)
本文提出介于随机与完全对抗之间的序列预测模型,允许对干净标签对抗样本无成本弃权,并给出依赖 VC 维而非 Littlestone 维的学习器及不确定性度量。
2024-01-25 cs.DS cs.LG stat.ML
Predicting students' learning styles using regression techniques
Princess Sumaya University for Technology(苏玛雅公主科技大学);Applied Science Private University(应用科学私立大学)
传统的学习系统对COVID大流行做出了快速反应,并转向在线或远程学习。在线学习需要个性化的方法,因为学习者和教师之间的互动是最小的,学习者有一个特定的学习方法,最适合他们。个性化学习的方法之一是检测学习者的学习风格。为了检测学习风格,已经提出了几个作品使用分类技术。然而,当学习者没有主导风格或混合学习风格时,当前的检测模型变得无效。因此,本研究的目的是双重的。首先,构建一个基于回归分析的预测模型,提供了一个概率的方法来推断首选的学习风格。其次,比较了回归模型和分类模型在学习风格识别中的应用。地面我们的概念模型,一组机器学习算法已被实施的基础上收集的样本的72名学生使用视觉,听觉,阅读/写作,动觉(VARK的)库存问卷的数据集。结果表明,回归技术比分类算法更准确,更能代表现实世界的场景,学生可能有多种学习风格,但概率不同。我们相信,这项研究将有助于教育机构从事学习风格在教学过程中。
2022-09-12 cs.CY cs.LG
Adversarially Robust Estimate and Risk Analysis in Linear Regression
Purdue University(普渡大学);University of Nebraska-Lincoln(内布拉斯加大学林肯分校)
对抗鲁棒学习旨在设计对输入变量的小对抗扰动具有鲁棒性的算法。除了现有的对抗性样本预测性能的研究,我们的目标是了解对抗性鲁棒估计的统计特性,并在线性回归模型的设置中分析对抗性风险。通过发现统计极小极大收敛速度的对抗稳健估计,我们强调了纳入模型信息的重要性,例如,sparsity稀疏,in adversarially对立robust鲁棒learning学习.此外,我们揭示了对抗和标准估计的显式连接,并提出了一个简单的两阶段对抗学习框架,该框架有助于利用模型结构信息来提高对抗鲁棒性。在理论上,证明了对抗稳健估计的相合性,并给出了对抗稳健估计的Bahadur表示,以便于统计推断。无论是低维或稀疏的情况下,建议的估计收敛在一个尖锐的速度。此外,我们的理论证实了对抗鲁棒学习中的两个现象:对抗鲁棒性损害泛化,未标记数据有助于提高泛化。最后,我们进行了数值模拟来验证我们的理论。
2020-12-18 cs.LG stat.ML
Generalist++: A Meta-learning Framework for Mitigating Trade-off in Adversarial Training
State Key Lab of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University(通用人工智能国家重点实验室,智能科学与技术学院,北京大学);School of Mathematical Sciences, Peking University(数学学院,北京大学);School of Computing and Data Science, The University of Hong Kong(计算与数据科学学院,香港大学)
提出Generalist元学习框架,通过将泛化目标分解为子任务并分配给专用基础学习器,后期插值参数形成全局模型,以缓解对抗训练中自然准确率下降和跨范数鲁棒性迁移差的问题。
2025-10-15 cs.AI cs.CR cs.LG
Active Regression by Stratification
Ben Gurion University(本-古里安大学);INRIA(法国国家信息与自动化研究所)
提出了一种新的随机设计参数线性回归的主动学习算法。我们提供有限样本收敛保证一般分布在错误指定的模型。这是第一个主动学习者为这个设置,可证明可以改善被动学习。与其他学习设置(如分类)不同,在回归中,$O(1/ε)$的被动学习率通常无法提高。然而,收敛速度的所谓“常数”,其特点是依赖于分布的风险,在许多情况下可以改进。对于给定的分布,实现最优风险需要分布的先验知识。在Monte-Carlo函数集成中倡导的分层技术之后,我们的主动学习者使用分段常数近似来接近最佳风险。
2014-10-22 cs.LG stat.ML
Yet Meta Learning Can Adapt Fast, It Can Also Break Easily
Michigan State University(密歇根州立大学)
元学习算法已经被广泛应用于许多有效的学习任务中,例如Few-Shot图像分类和快速强化学习。在Meta训练期间,Meta学习者从各种学习任务中开发出共同的学习策略或经验。因此,在Meta测试过程中,Meta学习者可以使用学习到的策略来快速适应新的任务,即使只有很少的训练样本。然而,在可靠性和鲁棒性方面,元学习仍然有黑暗的一面。特别是,元学习是否容易受到对抗攻击?换句话说,如果对手不经意地操纵给定的训练集,训练有素的Meta学习者会利用其学习到的经验来构建错误或可能无用的知识吗?如果不理解这个问题,在安全关键应用中应用元学习是非常危险的。因此,在本文中,我们进行了初步的研究对抗攻击的元学习下的Few-Shot分类问题。特别是,我们正式定义的对抗攻击独特的元学习的关键元素,并提出了第一个攻击算法对元学习在各种设置。我们评估了所提出的攻击策略的有效性以及几个代表性的元学习算法的鲁棒性。实验结果表明,该攻击策略可以很容易地攻破Meta学习器,并且元学习容易受到对抗攻击。拟议框架的实施情况将在本文件获得接受后公布。
2020-09-02 cs.LG stat.ML
Benign-Overfitting in Conditional Average Treatment Effect Prediction with Linear Regression
The University of Tokyo(东京大学);CyberAgent, Inc.(CyberAgent公司)
我们研究了良性过拟合理论在预测条件平均处理效应(CATE)中的应用,并建立了线性回归模型。随着因果推断的机器学习的发展,大范围的因果关系模型越来越受到关注。一个问题是,已经提出了怀疑,大规模的模型是倾向于过度拟合的样本选择的观察,因此,大型模型可能不适合因果预测。在这项研究中,为了解决可疑问题,我们通过应用最近的良性过拟合理论(Bartlett et al.,2020年)。具体来说,我们认为样本的分布开关取决于分配规则,并研究预测CATE的线性模型,其尺寸发散到无穷大。我们专注于两种方法:T-学习器,其基于每个治疗组的单独构造的估计量之间的差异,以及逆概率权重(IPW)-学习器,其解决由倾向分数近似的另一回归问题。在这两种方法中,估计器由完全拟合样本的插值器组成。结果表明,T-学习者除了随机分配外,无法实现一致性,而IPW-学习者在倾向分数已知的情况下,将风险收敛到零。这种差异源于T学习器无法保持协方差的特征空间,这对于过参数化设置中的良性过拟合是必要的。我们的结果提供了新的见解因果推断方法的使用在overparameterizated设置,特别是,双稳健估计。
2022-02-11 cs.LG econ.EM math.ST
Adversarial Perturbation Intensity Achieving Chosen Intra-Technique Transferability Level for Logistic Regression
Independent Researcher, Bordeaux, France
机器学习模型已被证明容易受到对抗性示例的影响,即。攻击者在测试时操纵数据以击败防御者的分类器。我们提出了一种新的概率定义的对抗性的例子在完美的或有限的知识设置使用先验概率分布的防御者的分类。使用的逻辑斯谛回归的渐近性质,我们推导出一个封闭形式的表达的强度的任何对抗扰动,以达到一个给定的预期的误分类率。该技术在已知模型规范和未知训练数据的威胁模型中是相关的。据我们所知,这是第一种允许攻击者直接选择攻击成功概率的方法。我们在两个真实世界的数据集上评估我们的方法。
2018-01-06 cs.LG stat.ML
Adversarial Online Multi-Task Reinforcement Learning
University of Victoria(维多利亚大学)
我们考虑对抗性在线多任务强化学习设置,其中在每个$K$情节中,学习者被给予从$M$未知有限时域MDP模型的有限集合中获取的未知任务。学习者的目标是最大限度地减少其后悔相对于每个任务的最优策略。我们假设$\mathcal{M}$中的MDPs在$λ$ -可分性的概念下是很好分离的,并表明这个概念概括了许多以前工作中的任务可分性概念。我们证明了$Ω(K\sqrt{DSAH})$关于任何学习算法的遗憾的极小极大下界和$Ω(\frac{K}{λ^2})$关于样本复杂度的实例特定下界。我们使用一种新的构造称为2-JAO MDP证明的实例特定的下界。的下限补充多项式时间算法,获得$\tilde{O}(\frac{K}{λ^2})$样本的复杂性保证的聚类阶段和$\tilde{O}(\sqrt{MK})$遗憾保证的学习阶段,表明$K$和$\frac{1}{λ^2}$的依赖性是紧密的。
2023-01-11 cs.AI cs.LG stat.ML
Adversarial Examples in Deep Learning for Multivariate Time Series Regression
University of Missouri(密苏里大学)
多元时间序列(MTS)回归任务在许多现实世界的数据采掘应用中很常见,包括金融、网络安全、能源、医疗保健、统计学等。由于深度学习(DL)算法在包括图像识别和计算机视觉在内的各个领域取得了巨大成功,研究人员开始采用这些技术来解决MTS数据采掘问题,其中许多问题针对安全关键型和成本关键型应用。不幸的是,DL算法以其对对抗性示例的敏感性而闻名,这也使得用于MTS预测的DL回归模型也容易受到这些攻击。据我们所知,以前的工作没有探索过DL MTS回归模型对对抗性时间序列示例的脆弱性,这是一个重要的步骤,特别是当这些模型的预测用于安全关键型和成本关键型应用时。在这项工作中,我们利用图像分类领域现有的对抗攻击生成技术,并为三种最先进的深度学习回归模型制作对抗性多变量时间序列示例,特别是卷积神经网络(CNN),长短期记忆(LSTM)和门控递归单元(GRU)。我们使用Google股票和家庭功耗数据集来评估我们的研究。结果表明,所有评估的DL回归模型都容易受到对抗攻击的攻击,并且具有可转移性,从而在能源和金融等安全关键和成本关键领域可能导致灾难性后果。
2020-09-24 cs.LG stat.ML
Adversarial Training with Generated Data in High-Dimensional Regression: An Asymptotic Study
Michigan State University(密歇根州立大学)
本文理论分析了两阶段对抗训练在高维线性回归中的渐近行为,发现适当L2正则化下其性能优于无岭训练,并提出了针对性的捷径交叉验证公式。
2023-06-21 cs.LG stat.ML
Improved Generalization Bounds for Adversarially Robust Learning
Ben-Gurion University(本-古里安大学);Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院)
我们考虑一个在对抗环境中的鲁棒学习模型。学习器获得未损坏的训练数据,并可以访问在测试期间可能受到对手影响的可能损坏。学习器的目标是构建一个强大的分类器,并将在未来的对抗性示例中进行测试。攻击者仅限于每个输入的$k$可能损坏。我们将学习者与对手的互动模型化为一个零和博弈。该模型与Schmidt et al.(2018); Madry et al.(2017)的对抗性示例模型密切相关。我们的主要结果包括二进制和多类分类,以及实值的情况下(回归)的推广界。对于二元分类设置,我们都收紧了Feige et al.(2015)的泛化边界,并且还能够处理无限的假设类。对于任何$α> 0$,样本复杂度从$O(\frac{1}{ε^4}\log(\frac{|H|}δ))$提高到$O\big(\frac{1}{ε^2}(kVC(H)\log^{\frac{3}{2}+α}(kVC(H))+\log(\frac{1}δ)\big)$。此外,我们扩展的算法和推广范围从二进制的多类和实值的情况下。一路上,我们得到的结果脂肪粉碎尺寸和Rademacher复杂性的$k$倍最大的功能类,这些可能是独立的利益。对于二进制分类,Feige等人的算法。(2015)使用遗憾最小化算法和ERM oracle作为黑盒;我们将其适用于多类和回归设置。该算法为给定训练样本的参与者提供了接近最优的策略。
2022-07-01 cs.LG stat.ML
Generalization Certificates for Adversarially Robust Bayesian Linear Regression
Data61, CSIRO(联邦科学与工业研究组织数据61研究院);Monash University(莫纳什大学)
本文研究分布式预测器的对抗鲁棒性,提出对抗 Bregman 负对数似然、闭式扰动与鲁棒后验,并基于 PAC-Bayes 给出贝叶斯线性回归的首个泛化证书。
2025-02-20 cs.LG stat.ML
Detecting Adversarial Examples in Learning-Enabled Cyber-Physical Systems using Variational Autoencoder for Regression
Vanderbilt University(范德堡大学)
学习使能组件(LEC)被广泛应用于信息物理系统(CPS),因为它们可以处理环境的不确定性和可变性,并提高自主性水平。然而,已经表明,诸如深度神经网络(DNN)之类的LEC并不健壮,并且对抗性示例可能导致模型做出错误的预测。本文考虑了在CPS中用于回归的LEC中有效检测对抗性示例的问题。所提出的方法是基于归纳共形预测,并使用基于变分自编码器的回归模型。该架构允许考虑输入和神经网络预测两者,以检测对抗性的,更一般地,分布外的示例。我们使用在自动驾驶汽车的开源模拟器中实现的高级紧急制动系统来演示该方法,其中DNN用于估计到障碍物的距离。仿真结果表明,该方法可以有效地检测敌对的例子,具有很短的检测延迟。
2020-03-21 cs.LG stat.ML
Demystifying Causal Features on Adversarial Examples and Causal Inoculation for Robust Network by Adversarial Instrumental Variable Regression
KAIST(韩国科学技术院)
对抗性例证的起源在研究领域中仍然是一个谜,尽管有广泛的研究,但它引起了各种观点的争论。在本文中,我们提出了一种从因果角度深入研究对抗训练网络中意外脆弱性的方法,即对抗工具变量(IV)回归。通过部署它,我们估计的因果关系的对抗性预测在一个无偏的环境下分离未知的混杂因素。我们的方法旨在通过利用休闲特征估计器(即,假设模型)和最坏情况的反事实(即,测试功能)干扰寻找因果特征。通过广泛的分析,我们证明了估计的因果特征与对抗鲁棒性的正确预测高度相关,并且反事实表现出严重偏离正确预测的极端特征。此外,我们提出了如何有效地将因果特征(CAFE)引入防御网络,以提高对抗鲁棒性。
2023-03-02 cs.AI cs.CV cs.LG
Universal Regression with Adversarial Responses
MIT(麻省理工学院)
该研究针对一般可分度量空间下大类非独立同分布实例序列的对抗响应回归问题,提出最少假设下的算法与可学习性刻画,给出乐观通用学习规则及无界损失下的可积条件,还得到无矩约束的对抗均值估计学习规则。
2023-06-10 cs.LG stat.ML
Impact of Positional Encoding: Clean and Adversarial Rademacher Complexity for Transformers under In-Context Regression
Michigan State University(密歇根州立大学)
本文分析了位置编码对Transformer在上下文回归中的泛化能力的影响,提出清洁和对抗Rademacher复杂性的理论框架,证明位置编码扩大了泛化差距,并通过实验验证了其在对抗攻击下的脆弱性。
2026-03-24 cs.LG stat.ML