Adapting Heuristic Mastermind Strategies to Evolutionary Algorithms
University of Iceland(冰岛大学);University of Granada(格拉纳达大学)
解决摄魂怪难题的艺术是由唐纳德·克努特(Donald Knuth)发起的,已经有30多年的历史了;尽管如此,它仍然在运筹学和计算机游戏期刊中受到了很大的关注,更不用说自然启发的随机算法文献了。在本文中,我们试图提出一种策略,将允许自然启发的算法获得的结果一样好的那些基于穷举搜索策略,为了做到这一点,我们首先审查,比较和改进目前的方法来解决这个难题,然后我们测试这些策略之一的估计分布算法。最后,我们试图找到一种策略,该策略不具有穷举性,并且可以包含在自然启发的算法(例如进化算法或粒子群算法)中。本文证明了通过将局部熵纳入进化算法的适应度函数,它成为一个更好的球员比随机的,并给出了一个经验法则,如何将最好的启发式策略的进化算法,而不会产生过多的计算成本。
2009-12-12 cs.AI cs.NE
Partnering Strategies for Fitness Evaluation in a Pyramidal Evolutionary Algorithm
University of the West of England(西英格兰大学)
本文将层次分布式遗传算法的思想与不同的代理间的合作策略相结合。子种群的级联集群是从自底向上的构建的,更高级别的子种群优化问题的更大部分。因此,较高级别的子群体以较低的分辨率搜索较大的搜索空间,而较低级别的子群体以较高的分辨率搜索较小的搜索空间。针对两个多项选择优化问题,检查了用于(子)适应度评估目的的不同伙伴选择方案的影响。结果表明,随机合作策略提供更好的抽样和更多的多样性表现最好。
2008-03-03 cs.AI cs.NE
Guiding Evolutionary Strategies by Differentiable Robot Simulators
Tinkoff
近年来,进化策略在机器人任务中被积极探索用于策略搜索,因为它们提供了强化学习算法的更简单的替代方案。然而,这类算法通常被认为是非常样本效率低下的。另一方面,人们对可微分机器人模拟器(DRS)的兴趣越来越大,因为它们可能只需要少数轨迹就可以找到成功的策略。但是,由此产生的梯度并不总是有用的一阶优化。在这项工作中,我们演示了如何DRS梯度可以与进化策略结合使用。初步结果表明,这种组合可以减少样本复杂性的进化策略的3倍-5倍,在模拟和现实世界。
2021-11-09 cs.AI cs.LG cs.NE
Variance-Reduced Gradient Estimation via Noise-Reuse in Online Evolution Strategies
Google DeepMind(谷歌DeepMind);Carnegie Mellon University(卡内基梅隆大学)
针对AD难以处理高敏感、不连续或黑盒展开图的问题,提出无偏在线进化策略并识别出最低方差的NRES,实验证明其在多类任务上收敛更快。
2023-12-09 cs.AI cs.LG cs.NE
Deep Reinforcement Learning Versus Evolution Strategies: A Comparative Survey
Delft University of Technology(代尔夫特理工大学);VU Amsterdam(阿姆斯特丹自由大学)
深度强化学习(DRL)和演化策略(ES)在许多顺序决策问题中已经超越了人类控制,但仍然存在许多开放的挑战。为了深入了解DRL与ES的优势和劣势,分析了它们各自的能力和局限性。在介绍了它们的基本概念和算法之后,在可扩展性、探索性、适应动态环境和多智能体学习等关键方面进行了比较。然后,混合算法的好处,结合DRL和ES的概念突出。最后,有一个关于他们如何在现实世界中的应用程序进行比较的指示,他们支持的应用程序集的文献调查提供。
2021-09-28 cs.AI cs.LG
Communication Efficient and Privacy-Preserving Federated Learning Based on Evolution Strategies
针对现有联邦学习通信开销高、易信息泄露的问题,提出基于进化策略的零阶联邦学习算法FedES,仅传输损失值且依靠预共享种子保障隐私,收敛性能与反向传播方法相当。
2023-11-09 cs.AI cs.LG
An Efficient Reconstructed Differential Evolution Variant by Some of the Current State-of-the-art Strategies for Solving Single Objective Bound Constrained Problems
Faculty of Engineering University of Toyama Toyama, Japan;School of Mechanical Engineering Tongji University Shanghai, China
本文针对单目标边界约束问题,提出一种组合当前最先进策略的重构差分进化算法(RDE),基于CEC2024基准测试验证了其优越性能。
2024-04-25 cs.AI cs.LG cs.NE
Towards Pragmatic Production Strategies for Natural Language Generation Tasks
Institute for Logic, Language and Computation(逻辑、语言与计算研究所);University of Amsterdam(阿姆斯特丹大学)
该立场文件提出了一个概念框架,设计自然语言生成(NLG)系统,遵循高效和有效的生产策略,以实现复杂的交际目标。在这一总体框架中,效率的特点是生产和理解成本的吝啬调节,而有效性是衡量相对于任务导向和上下文接地的交际目标。我们提供了具体的建议,通过现代统计方法的目标,成本和效用的估计,展示我们的框架的应用程序的经典实用任务的视觉接地参考游戏和抽象的文本摘要,两个流行的生成任务与现实世界的应用。总而言之,我们提倡开发NLG系统,通过以人性化的方式推理目标,成本和效用,学习根据经验做出务实的生产决策。
2022-10-23 cs.AI cs.CL
From Natural Language to Executable Option Strategies via Large Language Models
City University of Hong Kong(香港城市大学);The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));Shanghai University of Finance and Economics(上海财经大学);University of Science and Technology of China(中国科学技术大学)
本文提出Option Query Language,通过语法规则将期权市场抽象为高层 primitives,使LLM能作为语义解析器生成可执行期权策略,并通过新数据集验证其优于直接生成方法。
2026-03-17 cs.AI q-fin.TR
Quantized Evolution Strategies: High-precision Fine-tuning of Quantized LLMs at Low-precision Cost
University of California, Los Angeles(加州大学洛杉矶分校);Cognizant AI Lab(Cognizant AI实验室);UT Austin(得克萨斯大学奥斯汀分校)
提出量化进化策略(QES),通过集成累积误差反馈和无状态种子重放,直接在量化空间进行全参数微调,无需反向传播,显著优于现有零阶微调方法。
2026-06-15 cs.AI cs.LG
Computing Evolutionarily Stable Strategies in Imperfect-Information Games
Ganzfried Research, Cornell University(甘兹弗里德研究,康奈尔大学)
提出一种算法计算对称完美回忆不完全信息扩展式博弈中的进化稳定策略,适用于两人及多人博弈,能处理退化与非退化情形,并具有任意时间特性。
2026-07-21 cs.AI cs.GT cs.MA
Distributed Evolution Strategies Using TPUs for Meta-Learning
New York University(纽约大学);The Woodlands College Park High School(伍德兰兹大学公园高中)
元学习传统上依赖于整个任务的反向传播,以迭代地改善模型的学习动态。然而,当扩展到复杂任务时,这种方法在计算上是难以处理的。我们提出了一种分布式进化元学习策略,使用张量处理单元(TPU),是高度并行和可扩展的任意长的任务,而不会增加内存成本。使用在Omniglot数据集上使用演化策略训练的原型网络,我们在5次分类问题上实现了98.4%的准确率。我们的算法使用的内存比自动微分少40倍来计算梯度,所得模型的准确度在反向传播训练等效模型(99.6%)的1.3%以内。我们观察到更好的分类准确率高达99.1%,更大的人口配置。我们进一步通过实验验证了ES-ProtoNet在各种训练条件下的稳定性和性能(不同的群体大小,模型大小,工人数量,镜头,方式,ES超参数等)。我们的贡献是双重的:我们提供了第一个评估的进化元学习在监督设置,并创建一个通用的框架分布式演化策略TPU。
2022-01-01 cs.AI cs.LG cs.NE
Towards Explainable Evolution Strategies with Large Language Models
Carl von Ossietzky Universität Oldenburg(卡尔·冯·奥西茨基奥尔登堡大学)
本文将带重启机制的自适应ES优化日志交由LLM总结,以解释收敛、步长、重启和局部最优等行为,并在Rastrigin函数上验证其透明化效果。
2024-08-05 cs.AI cs.CL cs.NE
Beyond Fine-Tuning: Effective Strategies for Mitigating Hallucinations in Large Language Models for Data Analytics
针对 LLM 在数据分析自然语言查询中的幻觉问题,本文评估结构化输出、规则执行、提示增强与语义层集成四种策略,证明其优于传统微调并提升结果可靠性。
2024-10-26 cs.AI cs.CL
An Empirical Study on Model-agnostic Debiasing Strategies for Robust Natural Language Inference
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室);Beijing University of Posts and Telecommunications(北京邮电大学);University of Chicago(芝加哥大学)
现有的自然语言推理(NLI)去偏工作主要针对一个或几个已知的偏置,而不一定使模型更鲁棒。在本文中,我们专注于模型无关的去偏策略,并探讨如何(或是否可能)使NLI模型对多种不同的对抗攻击具有鲁棒性,同时保持甚至加强模型的泛化能力。我们首先对流行的神经NLI模型进行基准测试,包括在各种对抗数据集上进行预训练的模型。然后,我们试图通过修改混合专家模型(MoE)集成方法,以打击不同的已知偏见,并表明它是不平凡的,以减轻多个NLI偏见在同一时间,模型级集成方法优于MoE集成方法。我们还进行了数据增强,包括文本交换,单词替换和释义,并证明了其在打击各种(虽然不是所有)对抗攻击的效率在同一时间。最后,我们研究了几种方法来合并异构训练数据(1.35 M)和执行模型集成,这是直接的,但有效地加强NLI模型。
2020-10-17 cs.AI cs.CL
Qualitative Differences Between Evolutionary Strategies and Reinforcement Learning Methods for Control of Autonomous Agents
Institute of Cognitive Science and Technologies, National Research Council(国家研究委员会认知科学与技术研究所)
在本文中,我们分析了进化策略和强化学习算法之间的质的差异,重点是两个流行的最先进的算法:OpenAI-ES进化策略和最近端策略优化(PPO)强化学习算法-这两个家庭的最相似的方法。我们分析了这些方法在以下方面的不同:(i)一般功效,(ii)应对稀疏奖励的能力,(iii)发现最小解决方案的倾向/能力,(iv)对奖励塑造的依赖,以及(v)应对环境条件变化的能力。分析的性能和表现出的行为策略的代理培训与基准问题的两种方法,使我们能够证明在以前的研究中没有发现的定性差异,以确定这两种方法的相对弱点,并提出改善这些弱点的方法。我们表明,奖励函数的特性具有很强的影响,不仅对于OpenAI-ES和PPO,而且对于其他强化学习算法,这些特性都有很大的不同,从而证明了优化奖励函数特性对所使用算法的重要性。
2022-05-16 cs.AI cs.LG cs.NE
Meta Reinforcement Learning with Distribution of Exploration Parameters Learned by Evolution Strategies
LevelupAI;Beijing University of Posts and Telecommunications(北京邮电大学);Beijing Normal University(北京师范大学)
在本文中,我们提出了一种新的元学习方法在强化学习设置,基于演化策略(ES),探索参数空间和确定性策略梯度。ES方法易于并行化,这对于现代训练架构是理想的;然而,这种方法通常需要大量的样本来进行有效的训练。我们使用确定性的策略梯度在适应和其他技术,以弥补样本效率的问题,同时保持固有的可扩展性的ES方法。我们证明,我们的方法取得了良好的效果相比,基于梯度的元学习在高维控制任务的MuJoCo模拟器。此外,由于元训练阶段的无梯度方法,在自适应训练中不需要有关梯度和策略的信息,我们预测并确认我们的算法在需要多步自适应的任务中表现更好。
2019-05-08 cs.AI cs.LG stat.ML
Evolution Strategies as a Scalable Alternative to Reinforcement Learning
OpenAI
我们探索使用进化策略(ES),一类黑盒优化算法,作为流行的基于MDP的RL技术,如Q学习和策略约束的替代。MuJoCo和Atari上的实验表明,ES是一种可行的解决方案策略,可随可用CPU的数量扩展得非常好:通过使用基于常见随机数的新型通信策略,我们的ES实现仅需要通信标量,从而可以扩展到超过一千个并行工作者。这使我们能够在10分钟内解决3D人形步行问题,并在一小时的训练后在大多数Atari游戏中获得有竞争力的结果。此外,我们强调了ES作为黑盒优化技术的几个优点:它对动作频率和延迟奖励是不变的,容忍极长的视野,并且不需要时间折扣或值函数近似。
2017-09-07 cs.AI cs.LG cs.NE
Harnessing Bounded-Support Evolution Strategies for Policy Refinement
The University of Sydney(悉尼大学);NVIDIA(NVIDIA公司)
针对在线策略RL改进机器人策略时梯度噪声大、信号弱的问题,提出TD-ES方法,通过有界三角噪声和中心秩有限差分估计器实现稳定无梯度更新,在两阶段流程中保留样本效率并提升成功率26.5%,降低方差。
2025-11-14 cs.AI cs.LG cs.RO
Instance Weighted Incremental Evolution Strategies for Reinforcement Learning in Dynamic Environments
Nanjing University(南京大学);University of New South Wales(新南威尔士大学)
演化策略(ES),作为一个家庭的黑盒优化算法,最近出现作为一个可扩展的替代强化学习(RL)的方法,如Q学习或策略梯度,和更快的速度时,许多中央处理器(CPU)是由于更好的并行化。在本文中,我们提出了一个系统的增量学习方法的专家系统在动态环境中。其目标是在环境发生变化时将以前学习的策略逐步调整为新策略。我们将实例加权机制与ES,以促进其学习适应,同时保持ES的可扩展性。在参数更新期间,较高的权重被分配给包含更多新知识的实例,从而鼓励搜索分布向参数空间的新的有希望的区域移动。我们提出了两个易于实现的指标来计算权重:实例新颖性和实例质量。实例新颖性衡量实例与原始环境中先前最佳值的差异,而实例质量则对应于实例在新环境中的表现。由此产生的算法,实例加权增量演化策略(IW-IES),被验证,以实现显着提高性能的挑战RL任务,从机器人导航运动。因此,本文介绍了一个家庭的可扩展的ES算法RL域,使快速学习适应动态环境。
2022-03-31 cs.AI cs.LG cs.NE
Stein Variational Evolution Strategies
TU Berlin(柏林技术大学);Sakana AI
本文提出了一种结合SVGD与进化策略的无梯度方法,用于高效生成无规范分布的样本,提升了多个基准任务的性能。
2026-03-12 cs.AI cs.LG cs.NE
Optimization-Based Algorithm for Evolutionarily Stable Strategies against Pure Mutations
Ganzfried Research(甘茨弗里德研究(机构))
进化稳定策略(ESS)是博弈论中的一个重要解概念,在生物模型中得到了广泛的应用。非正式地说,ESS是一种策略,如果种群遵循这种策略,那么它就不能被最初罕见的突变策略所取代。从理论复杂性的角度来看,找到这样的策略已经被证明是困难的。我们提出了一个算法的情况下,突变仅限于纯策略,并提出了几个游戏类,包括随机和最近提出的癌症模型的实验。我们的算法是基于一个混合整数非凸的可行性方案制定,这构成了第一个一般的优化制定这个问题。事实证明,实验中包含的绝大多数游戏都包含小支持的ESS,并且我们的算法优于基于支持枚举的方法。然而,我们怀疑我们的算法可能是有用的,在未来的游戏进行研究,有ESS与潜在的更大和未知的支持大小。
2019-01-14 cs.AI cs.GT econ.TH
Learning Synthetic Environments for Reinforcement Learning with Evolution Strategies
University of Freiburg(弗莱堡大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
这项工作探讨了强化学习的学习代理不可知的合成环境(SE)。SE充当目标环境的代理,并允许代理比直接在目标环境上训练时更有效地进行训练。我们制定这作为一个双层优化问题,并表示SE作为一个神经网络。通过使用自然演化策略和人口的SE参数向量,我们训练代理在内部循环中不断发展的SE,而在外部循环中,我们使用的目标任务的性能作为元更新SE人口的分数。我们的经验表明,我们的方法是能够学习SE的两个离散的行动空间的任务(CartPole-v0和Acrobot-v1),使我们能够更强大的训练代理和高达60%的步骤少。我们不仅在4000次评估的实验中表明,SE对超参数变化(如学习率、批量大小和网络大小)具有鲁棒性,我们还表明,用DDQN代理训练的SE以有限的方式转移到TD 3的离散动作空间版本,并且很好地转移到Dueling DDQN。
2021-02-08 cs.AI cs.LG cs.NE
Exploring Natural Language-Based Strategies for Efficient Number Learning in Children through Reinforcement Learning
Univeristy Of Colorado, Boulder(科罗拉多大学博尔德分校)
本文通过强化学习框架研究儿童如何使用十进制积木组成数字,发现明确动作指导的指令更有效,并提出有效的教学课程以加速收敛和提升泛化能力。
2026-04-08 cs.AI cs.CL cs.LG