Tree Search vs Optimization Approaches for Map Generation
基于搜索的程序内容生成使用随机全局优化算法来搜索游戏内容。然而,标准的树搜索算法可以在某些优化问题上与进化竞争。我们调查了几个树搜索方法的适用性水平生成,并比较它们系统地与几个优化算法,包括进化算法。我们比较他们在三个不同的游戏水平生成问题:二进制,塞尔达,推箱子。我们引入了两个新的表示,可以帮助树搜索算法处理大分支因子的生成问题。我们发现,在一般情况下,优化算法明显优于树搜索算法,但给定正确的问题表示某些树搜索算法执行类似的优化算法,并在一个特定的问题,我们看到令人惊讶的强大的结果从MCTS。
2020-08-13 cs.AI
Convex Hull Monte-Carlo Tree Search
Oxford Robotics Institute, University of Oxford(牛津大学牛津机器人研究所)
这项工作研究了在随机环境中,多个目标的代理蒙特卡洛规划。我们提出了凸包蒙特卡罗树搜索(CHMCTS)框架,它建立在基于试验的启发式树搜索和凸包值迭代(CHVI),作为一种解决方案,在大环境中的多目标规划。此外,我们考虑如何提出的问题,近似多目标规划解决方案的上下文多武装土匪问题,给出了一个原则性的动机,如何选择行动,从上下文的遗憾。这导致我们使用上下文缩放进行动作选择,产生缩放CHMCTS。我们使用广义深海宝藏环境评估我们的算法,证明缩放CHMCTS可以实现次线性上下文遗憾和规模比CHVI在给定的计算预算。
2020-03-23 cs.AI
Optimal Sensing via Multi-armed Bandit Relaxations in Mixed Observability Domains
Tampere University of Technology(坦佩雷理工大学)
研究在混合可观测域中不确定决策问题,通过放松约束推导最优价值函数上界,并利用多臂老虎机的可计算最优策略提升搜索空间剪枝效率,实验显示在目标监控领域有效。
2016-03-15 cs.AI cs.RO cs.SY
Bandits in Prod: Hyperparameter Optimization at Inference Time
Tiime
该研究针对生产系统推理时超参数优化的问题,提出IMABO框架,结合IMOSS策略与三类神谕,在多类OHPO场景中实现了更低的累积遗憾。
2026-09-03 cs.AI cs.LG
Measurable Monte Carlo Search Error Bounds
蒙特卡洛规划器通常可以返回次优的行动,即使他们保证在无限样本的限制下收敛。已知的渐近后悔界限不提供任何方法来衡量信心的建议行动在搜索结束。在这项工作中,我们证明了非平稳土匪和马尔可夫决策过程的Monte Carlo估计的次最优性的界限。这些界限可以在搜索结束时直接计算,并且不需要了解真实的动作值。所提出的界限举行一般蒙特卡罗求解器满足温和的收敛条件。我们经验测试的紧密性的界限,通过实验上的多臂土匪和离散马尔可夫决策过程的一个简单的求解器和蒙特卡罗树搜索。
2021-11-02 cs.AI cs.NA math.NA
Genetic multi-armed bandits: a reinforcement learning approach for discrete optimization via simulation
University of Augsburg(奥格斯堡大学)
本文提出了一种新的算法,称为GMAB,结合了多武装匪徒的强化学习域的概念和随机搜索策略域的遗传算法,通过模拟来解决离散随机优化问题。特别是,重点是嘈杂的大规模问题,这往往涉及众多的维度以及多个局部最优。我们的目标是结合属性的多武装匪徒,以应付挥发性的模拟观测的能力,遗传算法处理高维的解决方案空间伴随着大量的可行的解决方案。为此,多臂强盗框架作为基础,其中每个观察到的模拟被纳入GMAB的内存。基于这种记忆,遗传算子指导搜索,因为它们为探索和开发提供了强大的工具。实证结果表明,GMAB实现了优越的性能相比,从文献中的基准算法在各种各样的测试问题。在所有的实验中,GMAB需要相当少的模拟,以实现类似的或(远)更好的解决方案比现有的方法产生的。同时,GMAB在所需运行时方面的开销非常小,这是因为建议了基于树的内存实现。此外,我们证明了它的收敛到全局最优的模拟努力去无穷大。
2023-02-15 cs.AI cs.LG cs.NE
Does Sparsity Help in Learning Misspecified Linear Bandits?
University of California, Los Angeles(加州大学洛杉矶分校)
最近,对线性错误指定强盗的研究产生了有趣的影响,强盗和强化学习(RL)的学习难度。特别是,Du et al.(2020)表明,即使学习者在$\mathbb{R}^d$中被赋予线性特征,这些线性特征近似于具有$\varepsilon$的均匀误差的强盗或RL中的奖励,搜索$O(\varepsilon)$最优动作也需要至少拉取$Ω(\exp(d))$查询。此外,Lattlefield等人(2020)表明,可以在$\operatorname{poly}(d/\varepsilon)$查询中学习降级的$O(\varepsilon\sqrt{d})$最优解。然而,目前尚不清楚对地面实况参数(如稀疏性)的结构性假设是否可以打破$\varepsilon\sqrt{d}$的障碍。在本文中,我们解决这个问题,算法可以通过查询$O(\varepsilon^{-s}d^s)$行动,其中$s$是稀疏参数,消除$\exp(d)$的依赖,获得$O(\varepsilon)$ -最优的行动。然后,我们建立信息理论下限,即,$Ω(\exp(s))$,以表明如果要求$0<δ<1$的错误$ O(s^δ\varepsilon)$,则我们对样本复杂度的上限几乎是紧的。对于$δ\geq 1$,我们进一步表明,$\operatorname{poly}(s/\varepsilon)$查询是可能的,当线性功能是“好”,甚至在一般的…
2023-03-29 cs.AI cs.LG
Learning Robust Search Strategies Using a Bandit-Based Approach
School of Computing, National University of Singapore(新加坡国立大学计算机学院)
约束问题的有效解决通常需要选择好的或特定的搜索策略。然而,选择或设计一个好的搜索启发是不平凡的,往往是一个手动的过程。在本文中,而不是手动选择/设计搜索引擎,我们提出了使用基于Bandit的学习技术来自动选择搜索引擎。我们的方法是在线的,求解器在搜索过程中从一组算法中学习和选择。我们的目标是获得自动搜索算法,提供强大的性能。初步实验表明,我们的自适应技术是更强大的比原来的搜索算法。它也可以超越原来的竞争力。
2018-05-10 cs.AI
Incorporating Multi-armed Bandit with Local Search for MaxSAT
Huazhong University of Science and Technology(华中科技大学);University of Picardie Jules Verne(皮卡第儒勒·凡尔纳大学);Artificial Intelligence Research Institute (IIIA), CSIC(西班牙国家研究委员会人工智能研究所)
部分MaxSAT(PMS)和加权PMS(WPMS)是MaxSAT问题的两个实际推广。在本文中,我们提出了一个局部搜索算法,称为BandHS,它采用两个多臂土匪引导搜索方向时,逃离局部最优。一个bandit与所有软子句组合以帮助算法选择以满足适当的软子句,而另一个bandit与硬子句中的所有文字组合以帮助算法选择适当的文字以满足硬子句。这两个bandits可以提高算法在可行解空间和不可行解空间的搜索能力。我们进一步提出了一个初始化方法(W)PMS优先单位和二元条款时,产生的初始解决方案。大量的实验表明,我们提出的方法,极大地提高了国家的最先进的局部搜索算法,SATLike3.0,和国家的最先进的SAT为基础的不完全求解器,NuWLS-c的优良性能和泛化能力。
2022-11-29 cs.AI
Combinatorial Multi-armed Bandits for Real-Time Strategy Games
Drexel University(德雷塞尔大学)
具有大分支因子的博弈对博弈树搜索算法提出了重大挑战。在本文中,我们解决这个问题的蒙特卡罗树搜索(MCTS)算法的抽样策略称为{ \em天真抽样},基于一个变种的多臂强盗问题称为{ \em组合多臂强盗}(CMAB)。我们分析了{ \em naïve sampling}的几种变体的理论特性,并将其与文献中其他现有的CMAB策略进行了实证比较。然后,我们评估这些战略的背景下,实时的【形】战略(RTS)游戏,一种类型的计算机游戏,其特点是非常大的分支因子。我们的研究结果表明,随着分支因子的增长,{ \em朴素采样}优于其他采样策略。
2017-10-13 cs.AI
Delightful Exploration
Google DeepMind(谷歌DeepMind)
本文提出Delight-gated探索方法,通过衡量潜在愉悦度来优化探索策略,在不同带宽中表现优于传统方法。
2026-05-13 cs.AI cs.LG math.OC
Partition Tree Weighting for Non-Stationary Stochastic Bandits
Google DeepMind(谷歌DeepMind)
本文针对非平稳随机伯努利赌博机问题,将分区树加权通用源编码从被动预测推广至控制设置,提出一种高效且高性能的算法,解决了动作与观测交织数据流中的自我欺骗问题。
2025-02-26 cs.AI cs.LG
Tree Ensembles for Contextual Bandits
Chalmers University of Technology and University of Gothenburg(查尔姆斯理工大学和哥德堡大学);Volvo Car Corporation(沃尔沃汽车公司)
本文提出基于树集成的上下文老虎机框架,通过改进不确定性估计方法,在减少遗憾和提升计算效率方面优于传统方法。
2024-11-01 cs.AI cs.LG stat.ML
BandMaxSAT: A Local Search MaxSAT Solver with Multi-armed Bandit
Huazhong University of Science and Technology(华中科技大学);University of Picardie Jules Verne(儒勒·凡尔纳皮卡第大学);Artificial Intelligence Research Institute (IIIA), CSIC(西班牙国家研究委员会人工智能研究所(IIIA))
我们解决部分MaxSAT(PMS)和加权PMS(WPMS),MaxSAT问题的两个实际推广,并提出了一个局部搜索算法,这些问题,称为BandMaxSAT,适用于多臂强盗模型来指导搜索方向。在我们的方法中的强盗与输入(W)PMS实例中的所有软子句相关联。每个分支对应一个软从句。Bandit模型可以帮助BandMaxSAT选择一个好的方向,通过选择一个软条款,以满足在当前步骤中,即选择一个手臂被拉动,以逃离局部最优。我们进一步提出了一个初始化方法(W)PMS优先单位和二元条款时,产生的初始解决方案。大量的实验表明,BandMaxSAT显着优于最先进的(W)PMS局部搜索算法SATLike3.0。具体而言,BandMaxSAT获得更好结果的实例数量约为SATLike3.0获得的实例数量的两倍。此外,我们将BandMaxSAT与完整的求解器TT-Open-WBO-Inc.由此产生的解算器BandMaxSAT-c的性能也优于一些最先进的完整(W)PMS解算器,包括SATLike-c、Loandra和TT-Open-WBO-Inc。
2022-06-16 cs.AI
Canopy: Exploiting Piecewise Smooth Tree Priors for Multi-Fidelity Bandits
Amazon(亚马逊);Columbia University(哥伦比亚大学)
针对多保真度树优化问题,提出CANOPY方法,通过在线学习分段平滑先验的有效区域,引导昂贵评估,在多种推理任务中显著提升性能。
2026-09-25 cs.AI cs.LG
Bandit based Dynamic Candidate Edge Selection in Solving Traveling Salesman Problems
Huazhong University of Science and Technology(华中科技大学);University of Picardie Jules Verne(皮卡第儒勒-凡尔纳大学)
本文针对LKH求解TSP时静态候选边易陷入局部最优的问题,提出用多臂老虎机动态选择候选边,并在TSP及其变体基准上显著提升了LKH和LKH-3的求解性能。
2025-06-05 cs.AI
Doing Better Than UCT: Rational Monte Carlo Sampling in Trees
UCT是蒙特卡罗树抽样(MCTS)的一种最新算法,它基于UCB,一种最小化累积后悔的多臂强盗问题(MAB)的抽样策略。然而,MCTS与MAB的不同之处在于,只有最后的选择,而不是所有的手臂拉,带来了奖励,也就是说,简单的遗憾,作为相反的累积遗憾,必须最小化。这项正在进行的工作旨在将元推理技术应用于MCTS,这是不平凡的。我们首先介绍的政策,多武装土匪与较低的简单遗憾比UCB,和算法MCTS相结合的累积和简单的遗憾最小化,并优于UCT。我们还开发了一个抽样方案松散的基础上的近视版本的完美价值的信息。的政策提供的时间和渐近分析,和算法进行了比较经验。
2012-07-25 cs.AI
Stacked Thompson Bandits
Institute for Informatics LMU Munich(信息学院慕尼黑大学)
堆叠汤普森老虎机通过模拟评估计划并采用贝叶斯方法指导搜索,高效生成满足时间逻辑要求的计划。
2017-02-28 cs.AI cs.SE cs.SY
Adaptive Anytime Multi-Agent Path Finding Using Bandit-Based Large Neighborhood Search
University of Southern California(南加州大学)
针对基于LNS的anytime MAPF因固定邻域大小和贪婪优化导致缺乏探索性与灵活性的问题,提出BALANCE方法,利用双层多臂老虎机在线自适应调整破坏启发式与邻域大小,在大规模场景中成本至少降低50%。
2024-01-01 cs.AI cs.MA
Relational Boosted Bandits
Indian Institute of Technology Madras(马德拉斯印度理工学院);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
近年来,上下文强盗算法在现实世界的用户交互问题中变得至关重要。然而,这些算法依赖于上下文作为属性值表示,这使得它们不可行的现实世界的领域,如社交网络是内在的关系。我们提出了关系提升强盗(RB2),上下文强盗算法的基础上(关系)提升树的关系域。RB2使我们能够学习可解释和可解释的模型,因为关系表示的描述性更强。我们实证证明了RB2在链接预测、关系分类和推荐等任务上的有效性和可解释性。
2020-12-16 cs.AI cs.LG
ParBalans: Parallel Multi-Armed Bandits-based Adaptive Large Neighborhood Search
Department of Mechanical & Industrial Engineering, Northeastern University(东北大学机械与工业工程系);AI Center of Excellence, Fidelity Investments(fidelity investments 精英研究中心);Department of Computer Science, University of Southern California(南加州大学计算机科学系);Department of Computer Science, Brown University(布朗大学计算机科学系)
本文提出ParBalans,通过结合求解器级和算法级并行性扩展了基于多臂老虎机的自适应大邻域搜索方法Balans,在困难的混合整数规划基准上展现出与商业求解器Gurobi相当的竞争力。
2025-08-08 cs.AI cs.LG
Bandits for Sponsored Search Auctions under Unknown Valuation Model: Case Study in E-Commerce Advertising
Eindhoven University of Technology(埃因霍温理工大学);Zalando SE(扎兰多股份公司)
针对赞助搜索拍卖估值未知、反馈无假设约束的问题,提出适配黑盒拍卖与延迟批量反馈的多臂老虎机出价系统,经Zalando案例验证可有效提升拍卖盈利能力。
2024-05-14 cs.AI cs.GT cs.LG
Lipschitz Bandit Optimization with Improved Efficiency
我们认为Lipschitz强盗优化问题的实际效率的重点。虽然有丰富的文献对这类问题的遗憾分析,例如,[Kleinberg et al. 2008,Bubeck et al. 2011,Slivkins 2014],他们提出的算法存在严重的实际问题,包括极端的时间复杂度和对oracle实现的依赖。有了这个动机,我们提出了一种新的算法与上置信界(UCB)的探索,即树UCB-Hoeffding,使用自适应分区。我们的分区方案很容易实现,不需要任何Oracle设置。使用基于树的搜索策略,对于第一次$T$迭代,总计算成本可以改进为$\mathcal{O}(T\log T)$。此外,我们的算法实现的遗憾下界的对数因子。
2019-05-15 cs.AI cs.LG math.OC
The Minimal Search Space for Conditional Causal Bandits
Lehman College and The Graduate Center, City University of New York(纽约市立大学雷曼学院和研究生中心)
本文针对条件干预的因果老虎机问题,提出一种图论方法识别包含最优条件干预的最小节点集,并设计O(|V|+|E|)算法,显著缩小搜索空间并加速收敛。
2026-07-09 cs.AI cs.LG stat.ML
Faster Maximum Inner Product Search in High Dimensions
Stanford University(斯坦福大学);Oxford University(牛津大学);University College London(伦敦大学学院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Harvard T.H. Chan School of Public Health(哈佛陈曾熙公共卫生学院)
针对高维最大内积搜索(MIPS)计算瓶颈,提出复杂度与维度无关的随机算法 BanditMIPS,通过多臂老虎机启发的自适应坐标采样策略将复杂度降至 O(1),在保持高精度的同时显著提升速度。
2023-06-27 cs.AI cs.LG
An Analysis of the Value of Information when Exploring Stochastic, Discrete Multi-Armed Bandits
University of Florida(佛罗里达大学)
在本文中,我们提出了一个信息理论的探索策略,随机,离散的多武装土匪,实现最佳的遗憾。我们的战略是基于信息价值标准。这个标准衡量政策信息和可获得的奖励之间的权衡。大量的政策信息与空间的探索主导搜索相关联,并产生高回报。少量的政策信息有利于利用现有的知识。在这一标准中,信息是由一个参数量化的,这个参数在搜索过程中可以变化。我们证明了这个参数的模拟退火更新,具有足够快的冷却时间表,导致一个最佳的遗憾,这是对数相对于情节的数量。
2018-03-03 cs.AI cs.LG stat.ML
Balans: Multi-Armed Bandits-based Adaptive Large Neighborhood Search for Mixed-Integer Programming Problem
Department of Computer Science, University of Southern California(南加州大学计算机科学系);AI Center of Excellence, Fidelity Investments(富达投资人工智能卓越中心);Department of Computer Science, Brown University(布朗大学计算机科学系)
针对学习型 MIP 求解依赖离线训练且泛化有限的问题,本文提出 Balans,利用多臂老虎机在线自适应选择破坏与修复邻域,在困难实例上显著优于默认求解器和现有 LNS。
2025-07-23 cs.AI cs.LG math.OC
The N-Tuple Bandit Evolutionary Algorithm for Game Agent Optimisation
Queen Mary University of London(伦敦玛丽女王大学)
本文介绍了N-Tuple Bandit进化算法(NTALO),噪声和昂贵的离散(组合)优化问题的优化算法。该算法被应用到两个基于博弈的超参数优化问题。N-Tuple系统直接对统计数据进行建模,近似每个建模参数组合的适应度和评估数量。该模型简单、高效、信息量大。结果表明,NTT的显着优于网格搜索和分布估计算法。
2018-05-08 cs.AI cs.NE
Bandit-Based Random Mutation Hill-Climbing
University of Essex(埃塞克斯大学)
随机突变爬山算法是一种主要用于离散域的直接搜索技术。它重复的过程中,随机选择一个邻居的最好的解决方案,并接受邻居,如果它是优于或等于it. In这项工作中,我们提出了一种新的方法来选择邻居的解决方案,使用一组独立的多臂土匪式的选择单元,结果在一个基于土匪的随机突变爬山算法。新算法在OneMax(无噪声和有噪声情况下)和Royal Road问题(无噪声情况下)中的性能明显优于Random Mutation Hill-Climbing。该算法表现出特别的承诺,每个健身评估是昂贵的离散优化问题。
2016-06-20 cs.AI cs.NE
Ksurf-Drone: Attention Kalman Filter for Contextual Bandit Optimization in Cloud Resource Allocation
Electrical \& Computer Engineering University of Toronto Toronto, Canada
针对云资源编排中高波动环境导致决策不准的问题,提出Ksurf-Drone方案,将方差最小化估计方法Ksurf结合Drone编排器,在VarBench基准上实现了延迟、资源占用与成本的显著优化。
2025-11-12 cs.AI cs.DC
Provably Optimal Algorithms for Generalized Linear Contextual Bandits
Microsoft Research(微软研究院);Yale University(耶鲁大学)
从新闻推荐到广告,再到网络搜索,上下文强盗被广泛应用于互联网服务中。广义线性模型(特别是逻辑回归)在许多奖励为二元的应用中表现出比线性模型更强的性能。然而,迄今为止,对语境强盗的理论分析大多是线性强盗。在这项工作中,我们提出了一个基于置信上限的算法广义线性上下文土匪,实现了$\tilde{O}(\sqrt{dT})$遗憾$T$轮$d$维特征向量。这个遗憾匹配极小极大下限,直到对数项,并通过$\sqrt{d}$因子改进了先前的最佳结果,假设臂数是固定的。在我们的分析中的一个关键组成部分是建立一个新的,尖锐的有限样本的广义线性模型的最大似然估计的置信区间,这可能是独立的利益。我们还分析了一个更简单的置信上限算法,这是在实践中有用的,并证明它有一定的情况下,最佳遗憾。
2017-06-18 cs.AI cs.LG stat.ML
Multi-armed Bandit and Backbone boost Lin-Kernighan-Helsgaun Algorithm for the Traveling Salesman Problems
School of Computer Science and Technology, Huazhong University of Science and Technology(华中科技大学计算机科学与技术学院)
针对 LKH 中 α 值未利用历史信息且引导单一的问题,本文提出动态骨干信息,并通过多臂老虎机自适应组合骨干、α 值与距离,显著提升 LKH/LKH-3 在 TSP、CTSP 和 CVRPTW 上的性能与泛化性。
2025-01-07 cs.AI cs.DS
MBExplainer: Multilevel bandit-based explanations for downstream models with augmented graph embeddings
Discover Financial Services Inc.(发现金融服务公司)
MBExplainer提出一种模型无关解释方法,通过多层级搜索和上下文赌博机,为结合图嵌入与表格特征的下游模型生成包含子图、节点特征和下游特征的三元组解释,并用Shapley值量化贡献。
2024-11-01 cs.AI cs.CE cs.LG
Fast mmwave Beam Alignment via Correlated Bandit Learning
University of Waterloo(滑铁卢大学);Texas A&M University at Corpus Christi(德州农工大学科珀斯克里斯蒂分校)
波束对准(BA)是为了确保发射机和接收机波束精确对准,以在毫米波(mmwave)系统中建立可靠的通信链路。现有的BA方法搜索整个波束空间以识别最佳的发送-接收波束对,这在最坏的情况下会引起秒级的显著BA延迟。在本文中,我们开发了一种学习算法,以减少BA延迟,即层次波束对准(HBA)算法。我们首先将BA问题表示为随机多臂强盗问题,目标是最大化一定时间内的累积接收信号强度。该算法利用波束之间的相关性结构,从附近的波束中提取信息来识别最优波束,而不是搜索整个波束空间。此外,信道波动的先验知识被纳入到所提出的算法,以进一步加快BA过程。理论分析表明,该算法是渐近最优的。大量的仿真结果表明,所提出的算法可以识别最佳波束的概率很高,并减少BA延迟从数百毫秒到几毫秒的多径信道中,相比现有的BA方法在IEEE 802.11ad。
2019-09-07 cs.AI eess.SP
Embedded Bandits for Large-Scale Black-Box Optimization
NTU(南洋理工大学);ST Engineering - NTU Corporate Lab(新科工程-南洋理工大学联合实验室)
随机嵌入已经成功地应用于低有效维数的大规模黑盒优化问题。本文提出了EmbeddedHunter算法,它将该技术结合在一个分层的随机强盗设置,以下乐观面对的不确定性原则,并打破了多轮框架中,随机嵌入已被常规应用类似于随机黑箱优化求解器。我们的命题是出于有界的平均变化的目标值的低维点随机投影到决策空间的Lipschitz连续问题。从本质上讲,EmbeddedHunter算法在一个低维(等于问题的有效维数)的搜索空间上乐观地扩展了一棵划分树,该搜索空间基于低维空间中采样点的有限数量的随机嵌入。在对比的概率理论保证多运行的随机嵌入算法,有限时间分析所提出的算法提出了一个理论上的上限的遗憾作为算法的迭代次数的函数。此外,数值实验进行了验证其性能。结果表明,最近提出的随机嵌入方法的大规模问题,提供了一个明显的性能增益的内在维数是低的。
2016-11-27 cs.AI math.OC
Bandits with Single-Peaked Preferences and Limited Resources
Technion—Israel Institute of Technology(技术ion—以色列理工学院)
本文提出了一种基于单峰偏好的高效算法,用于解决带有有限资源的在线老虎机问题,实现了O~(UKT^{2/3})的后悔界。
2026-02-10 cs.AI cs.LG
A Bandit-Based Algorithm for Fairness-Aware Hyperparameter Optimization
Feedzai(飞载);Universidade do Porto(波尔图大学)
相当多的研究工作已被引导到算法公平性,但仍然没有重大突破。在实践中,需要对所有可能的技术和超参数进行详尽的搜索,以找到最佳的公平性-准确性权衡。因此,再加上ML从业者缺乏工具,减少偏差方法的实际应用仍然很少。为了解决这个问题,我们提出了Fairband,一个基于带宽的公平感知超参数优化(HO)算法。Fairband在概念上简单,资源有效,易于实现,并且对目标指标,模型类型和正在探索的超参数空间都不可知。此外,通过将公平概念引入HO,我们可以将公平目标无缝有效地集成到现实世界的ML管道中。我们比较Fairband与流行的HO方法在四个现实世界的决策数据集。我们表明,Fairband可以有效地导航的公平性和准确性的权衡,通过超参数优化。此外,在没有额外的训练成本的情况下,它始终发现在预测准确性的相对较小的降低下实现大幅提高的公平性的配置。
2020-10-22 cs.AI cs.LG
Adaptively Pruning Features for Boosted Decision Trees
Northeastern University(东北大学)
提升决策树在各种应用中很受欢迎;然而,对于大规模数据集,在每轮中训练决策树的成本可能非常昂贵。受多臂强盗文献的启发,我们开发了一种高效的算法来计算精确的贪婪最优决策树,性能优于最先进的Quick Boost方法。我们进一步开发了一个框架,用于导出适用于广泛的家庭的任务(包括我们的算法和快速升压)的算法的问题的下限,我们证明经验上的各种数据集,我们的算法是接近最佳的算法在这个家庭。我们还推导出一个适用于任何算法解决任务的下限,我们证明了我们的算法凭经验达到接近这个最佳可实现的下限的性能。
2018-05-19 cs.AI cs.LG stat.ML