In recent years, there has been growing interest in developing robust machine learning (ML) models that can withstand adversarial attacks, including one of the most widely adopted, efficient, and interpretable ML algorithms-decision trees (DTs). This paper proposes a novel coevolutionary algorithm (CoEvoRDT) designed to create robust DTs capable of handling noisy high-dimensional data in adversarial contexts. Motivated by the limitations of traditional DT algorithms, we leverage adaptive coevolution to allow DTs to evolve and learn from interactions with perturbed input data. CoEvoRDT alternately evolves competing populations of DTs and perturbed features, enabling construction of DTs with desired properties. CoEvoRDT is easily adaptable to various target metrics, allowing the use of tailored robustness criteria such as minimax regret. Furthermore, CoEvoRDT has potential to improve the results of other state-of-the-art methods by incorporating their outcomes (DTs they produce) into the initial population and optimize them in the process of coevolution. Inspired by the game theory, CoEvoRDT utilizes mixed Nash equilibrium to enhance convergence. The method is tested on 20 popular datasets and shows superior performance compared to 4 state-of-the-art algorithms. It outperformed all competing methods on 13 datasets with adversarial accuracy metrics, and on all 20 considered datasets with minimax regret. Strong experimental results and flexibility in choosing the error measure make CoEvoRDT a promising approach for constructing robust DTs in real-world applications.
Minimax Regret of Switching-Constrained Online Convex Optimization: No Phase Transition
Yale University(耶鲁大学);Simons Institute for the Theory of Computing(西蒙斯理论计算研究所);Massachusetts Institute of Technology(麻省理工学院);University of Southern California(南加利福尼亚大学)
我们研究的问题切换约束在线凸优化(OCO),玩家有有限的机会改变她的行动。虽然这个在线学习任务的离散模拟已被广泛研究,以前的工作在连续设置既没有建立极大极小率,也没有算法实现it.In本文中,我们表明,$ T $轮开关约束OCO少于$ K $开关有极大极小遗憾$ Θ(\frac{T}{\sqrt{K}}) $。特别地,对于一维,其至少为$ \frac{T}{\sqrt{2K}} $,对于更高维度,其至少为$ \frac{T}{\sqrt{K}} $。在高维的下界是通过一个正交子空间的论点。在一维中,一种新的对抗策略产生了$O(\frac{T}{\sqrt{K}})$的下界,但更涉及到包含常数的精确极大极小分析。为了建立更严格的一维结果,我们引入了\emph{fugal game}松弛,其极小极大遗憾的下限开关约束OCO。我们证明了逃逸对策的最小最大遗憾至少是$ \frac{T}{\sqrt{2K}} $,从而建立了一维最优最小最大遗憾下界。为了建立与维数无关的上界,我们接下来证明了一个minimax算法提供了一个$ O(\frac{T}{\sqrt{K}}) $上界,因此得出结论,对于任何$K$,切换约束OCO的极小极大遗憾是$ Θ(\frac{T}{\sqrt{K}}) $。这是在鲜明的对比,它的离散对应,开关约束预测专家的问题,表现出一个相变之间的低开关和高开关制度的最小最大遗…
Minimax Regret for Stochastic Shortest Path with Adversarial Costs and Known Transition
University of Southern California(南加州大学)
研究了具有对抗费用和已知转移的随机最短路问题,证明了在完全信息和强盗反馈下,极小极大后悔分别为$\widetilde{O}(\sqrt{DT^\star K})$和$\widetilde{O}(\sqrt{DT^\star SA K})$,其中$D$为直径,$T^\star$为最优策略的期望命中时间,$S$为状态数,$A$为行动数,$K$为发作数.我们的研究结果显着改进了现有的工作(Rosenberg和Mansour,2020),该工作只考虑了完全信息设置,并实现了次优的遗憾。我们的工作也是第一个考虑强盗反馈与对抗成本。我们的算法是建立在网上镜像下降框架的各种新技术,可能是独立的利益,包括改进的多尺度专家算法,减少从一般的随机最短路径到一个特殊的无环的情况下,倾斜的占用测量空间,和一个新的校正项添加到成本估计。有趣的是,最后两个元素分别通过正偏置和负偏置来减少学习者的方差和最优策略的方差,并且同时具有它们对于在强盗反馈设置中获得最优高概率界是至关重要的。
Towards minimax policies for online linear optimization with bandit feedback
Princeton University(普林斯顿大学);Università degli Studi di Milano(米兰大学);Microsoft Research New England(微软新英格兰研究院);Wharton School, University of Pennsylvania(宾夕法尼亚大学沃顿商学院)
本文研究了带反馈的在线线性优化问题。我们的贡献是双重的。首先,我们提供了一个算法(基于指数权重)的遗憾顺序$\sqrt{d n \log N}$为任何有限的行动集$N$行动,假设的瞬时损失是有界的1。这剃掉了一个无关的$\sqrt{d}$因素相比,以前的作品,并给出了一个遗憾界的顺序$d \sqrt{n \log n}$的任何紧凑的行动。在没有进一步假设的情况下,最后一个界限是极大极小最优的对数因子。有趣的是,我们的结果还表明,在$d$维的专家意见的强盗线性优化的极小极大遗憾是相同的基本$d$ -武装强盗专家意见。我们的第二个贡献是展示如何使用镜像下降算法,以获得计算效率高的策略,在具体的例子中的最小最大的最佳遗憾界。更确切地说,我们研究两个典型的行动集:超立方体和欧几里德球。在前一种情况下,我们获得了第一个计算效率高的算法与$d \sqrt{n}$遗憾,从而提高了一个因素$\sqrt{d \log n}$的最佳已知的结果的计算效率高的算法。在后一种情况下,我们的方法给出了第一个算法与$\sqrt{d n \log n}$遗憾,再次剃掉一个无关的$\sqrt{d}$相比,以前的作品。
Achieving Near Instance-Optimality and Minimax-Optimality in Stochastic and Adversarial Linear Bandits Simultaneously
University of Southern California(南加州大学);The Chinese University of Hong Kong(香港中文大学)
在这项工作中,我们开发的线性强盗算法,自动适应不同的环境。通过将新的损失估计器插入到表征实例最优策略的优化问题中,我们的第一个算法不仅在随机环境中实现了接近实例最优的遗憾,而且还在损坏的环境中工作,额外的遗憾是损坏的量,而现有技术(Li et al.,2019)既没有实现实例最优性,也没有实现对腐败量的最优依赖性。此外,通过为该算法配备对抗组件和精心设计的测试,我们的第二个算法在完全对抗的环境中还享有最小最大最优遗憾,这是我们所知的第一个此类算法。最后,我们所有的保证都具有很高的概率,而现有的实例最优保证仅在预期中有效。
A conversion theorem and minimax optimality for continuum contextual bandits
University of Oxford CMAP, Ecole Polytechnique, IP Paris(牛津大学计算机应用数学中心,巴黎高等技术学院,IP巴黎);CMAP, Ecole Polytechnique, IP Paris(计算机应用数学中心,巴黎高等技术学院,IP巴黎);CSML, Istituto Italiano di Tecnologia University College London(计算机科学与机器学习,意大利技术研究所,伦敦大学学院);CREST, ENSAE, IP Paris(CREST,ENSAE,IP巴黎)
Asymptotically and Minimax Optimal Regret Bounds for Multi-Armed Bandits with Abstention
Institute of Operations Research and Analytics(运营研究与分析研究所);National University of Singapore(新加坡国立大学);Department of Electrical and Computer Engineering(电子与计算机工程系);Department of Mathematics(数学系)
Multi-Armed Bernoulli Bandits via Minimax Single-Arm Stopping
Shanghai Jiao Tong University(上海交通大学);The University of Sydney(悉尼大学);École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Imperial College Business School(帝国理工学院商学院)