Benchmarking a $(μ+λ)$ Genetic Algorithm with Configurable Crossover Probability
我们调查了一个家庭的$(μ+λ)$遗传算法(GAs),它创建后代无论是从突变或重组两个随机选择的父母。通过缩放交叉概率,我们可以从完全仅变异的算法向完全基于交叉的GA插值。我们分析,通过实证手段,性能如何取决于人口规模和交叉概率的相互作用。我们对25个伪布尔优化问题的比较揭示了基于交叉的配置在几个简单的优化任务上的优势,而更复杂的优化问题的情况则是混合的。此外,我们观察到,“快速”的变异方案,其幂律分布的变异强度优于标准位变异复杂的优化任务时,它与交叉相结合,但在没有交叉的情况下表现较差。然后,我们仔细研究了基于交叉的$(μ+λ)$ GA在著名的LeadingOnes基准问题上令人惊讶的良好性能。我们观察到,最佳的交叉概率随着人口规模的增加而增加$μ$。同时,它随着问题维数的增加而减小,表明交叉的优势在经典应用于运行时分析的渐近视图中是不可见的。因此,我们认为,固定尺寸的数学调查可能会帮助我们观察到的效果是不可见的,当专注于渐近性能界限。
2020-06-10 cs.NE
Diversity-Preserving Exploitation of Crossover
本文提出保持多样性的交叉利用(DiPEC)范式及DEGA算法,通过缓解交叉与多样性之间的对立,在LeadingOnes上以$O(n^{5/3}\log^{2/3} n)$次评估突破标准遗传算法的$Θ(n^2)$运行时间壁垒,并在其他基准上验证了竞争力。
2025-07-02 cs.NE
The Exact Schema Theorem
模式是固定长度二进制字符串空间的自然定义的子集。霍兰德模式定理给出了一个简单的遗传算法一代后模式中种群的期望分数的下界。本文给出了简单遗传算法在一个方案中经过一代后种群的精确期望分数的计算公式。霍兰德的模式定理有三个部分,一个用于选择,一个用于交叉,一个用于变异。选择部分是精确的,而交叉和变异部分是近似的。本文展示了如何交叉和变异部分可以准确。霍兰德的模式定理作为一个推论自然地遵循。在Walsh基中,模式与总体的表示有着密切的关系。这种关系用于结果的推导,并且还可以使模式平均值的计算更有效。本文给出了Vose无限种群模型的一个版本,其中交叉和变异被分成两个功能,而不是一个单一的“混合”功能。
2011-05-18 cs.NE
Standard Steady State Genetic Algorithms Can Hillclimb Faster than Mutation-only Evolutionary Algorithms
在演化计算中,解释遗传算法的真正力量在多大程度上在于交叉将个体重组成更高质量解的能力是一个重要的问题。在本文中,我们将展示如何变异和交叉之间的相互作用可以使遗传算法爬山速度比他们的变异只有同行。我们设计了一个马尔可夫链框架,允许严格证明上界的标准稳态遗传算法爬山OneMax函数的运行时间。的界限建立,稳态遗传算法是25%的速度比所有标准的位变异的进化算法的静态突变率达到较低的顺序项为中等人口规模。分析还表明,较大的种群可能比大小为2的种群更快。我们提出了一个贪婪的(2+1)GA匹配的上限大于2的人口的下限,严格证明了2个人不能超越更大的人口规模下贪婪的选择和贪婪的交叉到低阶项。在互补实验中的最佳人口规模是大于2和贪婪的遗传算法是比标准的更快,进一步表明,推导出的下限也适用于标准的稳态(2+1)GA。
2017-08-25 cs.NE
Discrete Gene Crossover Accelerates Solution Discovery in Quality-Diversity Algorithms
University of Edinburgh(爱丁堡大学);Edinburgh Napier University(爱丁堡纳皮尔大学)
本文提出一种基于离散基因交叉的突变操作符,通过增强变异操作,加速质量多样性算法中解的发现,提升搜索性能和多样性。
2026-02-14 cs.NE
A Novel Crossover Operator for Genetic Algorithms: Ring Crossover
遗传算法(GA)是一种基于遗传学和自然选择原理的优化搜索技术。GA允许由许多个体组成的种群在指定的选择规则下进化到最大化“适应度”函数的状态。在这个过程中,交叉算子起着重要的作用。为了从整体上理解遗传算法,有必要了解交叉算子的作用。今天,有许多不同的交叉算子可以在遗传算法中使用。然而,如何决定使用什么算子来解决问题?选择了一组不同难度的测试函数作为测试多边形,以确定交叉算子的性能。提出了一种新的交叉算子--环交叉算子。为了评估所提出的运营商的效率和可行性,本研究的结果和遗传算法中使用的不同的交叉运营商的结果之间的比较是通过一些测试功能,具有不同的难度。这项研究的结果清楚地表明,所提出的运营商和其他交叉运营商之间的显着差异。
2011-05-02 cs.NE
Shortest Edit Path Crossover: A Theory-driven Solution to the Permutation Problem in Evolutionary Neural Architecture Search
Cognizant AI Labs(高知特人工智能实验室);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文针对进化神经架构搜索中的排列问题,提出基于图空间最短编辑路径的SEP交叉算子,理论证明其优于变异、标准交叉和强化学习,并在主流NAS基准上取得更优性能。
2023-05-29 cs.AI cs.NE
The Benefits of Population Diversity in Evolutionary Algorithms: A Survey of Rigorous Runtime Analyses
种群多样性在进化算法中是至关重要的,以实现全局探索并避免由于过早收敛而导致的性能低下。这本书的章节回顾了运行时分析,这些分析表明了种群多样性的好处,无论是通过显式的多样性机制还是通过自然出现的多样性。这些工作表明多样性的好处是多方面的:多样性对于全局探索和找到几个全局最优解的能力很重要。多样性增强了交叉,使交叉比变异更有效。多样性在动态优化中可能至关重要,因为问题景观会随着时间的推移而变化。最后,它有利于搜索整个帕累托前沿的进化多目标优化。所提出的分析严格量化的进化算法的性能,根据人口多样性,奠定了基础,严格了解搜索动态是如何影响的存在或不存在的人口多样性和多样性机制的引入。
2018-01-30 cs.NE
Lasting Diversity and Superior Runtime Guarantees for the $(μ+1)$ Genetic Algorithm
在实践中使用的大多数进化算法(EA)采用交叉。相比之下,只有少数和大多数人为的例子,从交叉运行时间的优势可以证明与数学手段。最有说服力的结果表明,$(μ+1)$遗传算法(GA)与人口规模$μ=O(n)$优化跳跃功能与差距大小$k \ge 3$在时间$O(n^k / μ+ n^{k-1}\log n)$,击败运行时的$Θ(n^k)$许多变异为基础的EA。该结果建立在GA偶尔并且然后对于预期数量的$Ω(μ^2)$迭代具有不由单个基因型主导的群体的证明上。在这项工作中,我们表明,这种多样性持续高概率的时间指数$μ$(而不是二次)。从这个更好地理解的人口多样性,我们获得更强的运行时间保证,其中声明,所有$c\ln(n)\leμ\le n/\log n$,与$c$一个合适的常数,运行时间的$(μ+1)$ GA的$\mathrm{Jump}_k$,与$k \ge 3$,是$O(n^{k-1})$。因此,已经与对数人口的大小,GA获得的速度从交叉$Ω(n)$阶。
2023-02-24 cs.NE
Parent Selection Mechanisms in Elitist Crossover-Based Algorithms
University of Passau(帕绍大学)
本文提出了一种精英交叉算法的父代选择策略,通过优先选择最大距离的父代进行交叉,以解决Jump_k问题并改进时间复杂度。
2026-04-09 cs.AI cs.NE
Evaluating the impact of different types of crossover and selection methods on the convergence of 0/1 Knapsack using Genetic Algorithm
遗传算法是一种进化算法,是为了克服梯度法在求解优化搜索问题中的不足而引入的一种元启发式算法。研究了0/1背包对遗传算法收敛性的影响。通过保持代数和初始种群的固定,不同的交叉方法,如一点交叉和两点交叉进行了评估和并列彼此。此外,不同的选择方法,如排名选择,轮盘赌轮和比赛选择的影响进行了评估和比较。我们的结果表明,一点交叉与锦标赛选择相结合的收敛速度最高,从而最有效地解决0/1背包问题,对于我们考虑的0/1背包。
2020-10-07 cs.NE
A Generalized Hybrid Real-Coded Quantum Evolutionary Algorithm Based on Particle Swarm Theory with Arithmetic Crossover
本文提出了一种用于复杂函数优化和组合优化的广义混合实数编码量子进化算法(HRCQEA)。HRCQEA的主要思想是设计一种新的变异和交叉算子。利用粒子群算法的进化方程,设计了一种单-多基因变异算法,并在新的交叉算子中引入了算术交叉的概念。在HRCQEA算法中,每个三倍体染色体代表一个粒子,粒子的位置通过SMM和量子旋转门(QRG)进行更新,可以在探索和利用之间取得平衡。该算法采用交叉算子扩展搜索空间,采用爬山选择和精英策略加快收敛速度。对背包问题和5个高维复杂函数的仿真结果表明,HRCQEA算法在发现全局最优解的能力和收敛速度方面具有较好的性能。
2013-03-06 cs.NE
Crossover Can Guarantee Exponential Speed-Ups in Evolutionary Multi-Objective Optimisation
本文通过构造两类皇家大道函数,从理论上证明交叉算子能使GSEMO和NSGA-II在期望多项式时间内覆盖帕累托前沿,而无交叉时即使使用任意精英选择和无偏变异的黑盒算法也需指数时间,首次揭示了NSGA-II中交叉带来的指数级加速。
2023-12-04 cs.NE
A New Lagrangian Problem Crossover: A Systematic Review and Meta-Analysis of Crossover Standards
Erbil Polytechnic University(埃尔比勒理工大学);Charmo University(查尔莫大学);University of Kurdistan Hewler(库尔德斯坦休勒大学)
大多数进化元启发式算法的性能依赖于各种操作。其中一种是交叉算子,它分为两种类型:应用相关和应用无关交叉算子。这些标准总是有助于在进化算法过程中选择最佳拟合点。交叉算子的高效率使工程师能够在工程应用优化中最大限度地减少错误,同时节省时间并避免成本。本文有两个关键目标:首先,它是一个交叉标准分类的概述,研究人员已经使用它来解决工程操作和问题表示。本文的第二个目的是:提出了新的标准交叉的意义,依靠拉格朗日对偶函数(LDF)的拉格朗日问题的交叉(LPX)作为一个新的标准系统的运营商的发展制定。建议的交叉标准的结果为100代的父染色体进行比较的BX和SBX标准,这是公共的实数编码的交叉标准。建议的标准的准确性和性能进行了评估,由三个单峰测试功能。此外,本文提出的标准结果被统计地证明,与BX和SBX相比,它具有产生和增强新的优化算法的能力
2022-05-15 cs.AI cs.NE
Escaping Local Optima using Crossover with Emergent or Reinforced Diversity
种群多样性是避免遗传算法早熟收敛和有效利用交叉算子的关键。然而,种群中多样性如何出现的动力学还没有得到很好的理解。我们使用严格的运行时分析,以深入了解人口动态和GA性能的($μ$ +1)GA和$\text{Jump}_k$测试功能。我们发现,交叉和突变的相互作用可能会作为一种催化剂,导致突然爆发的多样性。这导致与仅变异算法(如(1+1)EA)相比,$Ω(n/\log n)$阶的预期优化时间的改进。此外,通过任意小的常数因子增加突变率可以促进多样性的产生,从而导致$Ω(n)$阶的加速。我们还比较了七种常用的多样性机制,并评估它们对($μ$ +1)GA运行时边界的影响。在这种情况下,所有以前的结果只适用于不切实际的低交叉概率$p_c=O(k/n)$,而我们在所有情况下,但一个恒定的$p_c < 1$的设置进行分析。对于恒定$k > 2$和恒定$p_c$的典型情况,假设$μ$的最佳选择,我们可以比较不同分集机制的所得预期运行时间:用于重复消除/最小的$O(n^{k-1})$,$O(n^2\log n)$用于最大化凸包,$O(n\log n)$用于确定性拥挤(假设$p_c = k/n$),$O(n\log n)$用于最大化汉明距离,$O(n\log n)$用于适应度共享,$O(n\log n)$用于单接收器岛模型。这证明了($μ$ +1)GA的所有变体与(1+1)EA相比具有相当大的优势,…
2016-08-10 cs.CC cs.NE q-bio.PE
Optimizing LPB Algorithms using Simulated Annealing
提出LPBSA算法,通过在LPB算法的交叉和变异步骤间应用模拟退火及Metropolis接受准则筛选最优个体,显著提升了种群质量和求解效率。
2025-01-29 cs.NE
A Novel Hybrid Crossover based Artificial Bee Colony Algorithm for Optimization Problem
Jagannath University(贾格纳特大学)
人工蜂群算法在解决包括工程优化问题在内的许多问题中发挥着重要作用。ABC算法是基于自然启发的群体元启发式群体智能方法家族中最流行和最年轻的成员之一。ABC算法在应用于基准函数和实际问题时,已经证明了其优于其他一些自然启发算法(NIA)。ABC搜索过程的性能取决于一个随机值,它试图平衡探索和开发阶段。为了提高算法的性能,需要平衡ABC算法对搜索空间的探索和对最优解的利用。本文提出了一种新的ABC算法和遗传算法的混合算法。该方法将遗传算法的交叉操作与ABC算法相结合。该方法被命名为基于交叉的ABC(CbABC)。由于交叉增强了对搜索空间的探索,因此CbABC加强了ABC的开发阶段。CbABC测试了四个标准基准函数和一个流行的连续优化问题。
2014-07-21 cs.AI cs.NE
Achieving Tight $O(4^k)$ Runtime Bounds on Jump$_k$ by Proving that Genetic Algorithms Evolve Near-Maximal Population Diversity
针对JUMP_k问题,提出(μ+1)-λ_c-GA变体,通过分析种群多样性收敛到近完美平衡,证明在温和条件下运行时间上界为O(μn log μ + 4^k),对常数k达到O(n² log n),对较大k达到紧的Θ(4^k),并扩展到其他单峰函数。
2025-04-20 cs.NE
A Tight Runtime Analysis of the $(1+(λ, λ))$ Genetic Algorithm on OneMax
理解交叉是如何工作的仍然是进化计算研究中的一个巨大挑战,而让我们的理解精确并通过数学手段证明可能是一个更大的挑战。作为交叉可证明有用的少数示例之一,$(1+(λ, λ))$遗传算法(GA)最近在[Doerr,Doerr,Ebel:TCS 2015]中提出。利用适应度水平方法,分析了一般OneMax函数的期望优化时间,证明了对于任意后代种群大小$λ\in [1..n]$,期望优化时间都有一个$O(\max\{n\log(n)/λ, λn\})$界.我们改进这项工作在几个方面,导致更清晰的边界和更好地理解如何使用交叉加速运行时在这个算法。我们首先将运行时上界改进为$O(\max\{n\log(n)/λ, nλ\log\log(λ)/\log(λ)\})$。这种改进是通过观察在通过交叉(但不是突变)并行生成$λ$后代中,这些后代中的最佳者通常优于期望值,因此可以在一次迭代中获得多个适应度水平。然后,我们提出了这个问题的第一个下界。它与$λ$的所有值的上限相匹配。这允许确定群体大小的渐近最优值。它是$λ= Θ(\sqrt{\log(n)\log\log(n)/\log\log\log(n)})$,它给出了$Θ(n \sqrt{\log(n)\log\log\log(n)/\log\log(n)})$的优化时间。因此,改进的运行时分析提供了更好的运行时保证,以及对参数$λ$的更好的建议。最后…
2015-06-19 cs.NE
Accelerating Evolution: Integrating PSO Principles into Real-Coded Genetic Algorithm Crossover
Xiaobo Jin School of Information Engineering Taizhou Vocational College of Science & Technology(金晓波 学校信息工程学院 太zhou 职业科技学院);Traditional Chinese Medicine department Taizhou First People’s Hospital(传统中医部门 太zhou 第一人民医院)
本文提出融合粒子群优化思想的实数编码遗传算法交叉算子PSOX,利用全局最优与历史最优信息加速收敛并保持多样性,在15个基准函数上验证其优于五种先进交叉算子,并给出变异率调参指导。
2025-05-06 cs.AI cs.NE
A General Dichotomy of Evolutionary Algorithms on Monotone Functions
如果$c<1$满足,则具有变异率$c/n$的进化算法$(1+1)$-EA有效地优化了每个单调函数,如果$c\geq 2.2$满足,则在某些单调函数(HotTopic函数)上需要指数时间.我们研究了同样的问题,大量的各种算法,特别是$(1+λ)$ -EA,$(μ+1)$ -EA,$(μ+1)$ -GA,他们的快速同行,如快速$(1+1)$ -EA,和$(1+(λ,λ))$ -GA。我们发现,所有考虑的基于变异的算法表现出类似的二分法的HotTopic功能,甚至为所有单调的功能。对于$(1+(λ,λ))$ -GA,该二分法在参数$cγ$中,参数$cγ$是在忽略选择的情况下,在变异和交叉之后个体中的位翻转的预期数量。对于快速算法,二分法是在$m_2/m_1$中,其中$m_1$和$m_2$是位翻转次数的第一和第二下降时刻。令人惊讶的是,有效参数的范围是不受人口规模$μ$,也不受后代人口规模$λ$。如果允许交叉,则图像完全改变。当$μ$足够大时,遗传算法$(μ+1)$ -GA和快速$(μ+1)$ -GA对任意突变强度都是有效的.
2018-03-28 cs.NE
Predicting the Structure of Alloys using Genetic Algorithms
我们讨论了一种新的遗传算法,可以用来找到全局最小的势能面无序陶瓷和合金使用实空间对称适应交叉。由于许多合金存在大量的对称等价解,即使是最小的系统,传统的遗传算法使用合理的种群规模也无法找到全局最小值。我们证明了优越的性能的使用对称性适应交叉的比较,传统的GA寻找全局最小值的两个二元伊辛型合金,无论是顺序或相分离,在低温下。不同的表示和交叉操作的比较表明,使用实空间交叉优于交叉算子工作在二进制表示的几个数量级。
2011-05-30 cond-mat.mtrl-sci cs.NE physics.comp-ph
On the Benefits of Populations on the Exploitation Speed of Standard Steady-State Genetic Algorithms
人们普遍认为,人口是有用的多模态优化问题的全球探索。事实上,有几个理论结果表明,这种优势比单轨迹搜索算法。在本文中,我们提供的证据表明,不断发展的人口通过交叉和变异也可能有利于优化时间爬山单峰函数。特别是,我们证明了OneMax的标准($μ$ +1)~GA的预期运行时间的界限低于其一元黑盒复杂度,并随着人口规模的增加而减少前导常数$μ=O(\sqrt{\log n})$。我们的分析表明,最佳突变策略是在大多数情况下翻转两位。为了实现这一结果,我们提供了两个有趣的贡献随机搜索算法的理论:1)漂移分析的一个新的应用,比较吸收时间的不同马尔可夫链,而不定义一个明确的潜在功能。2)利用基本矩阵的求逆来计算马尔可夫链的吸收时间。后一种策略是以前提出的文献,但据我们所知,这是第一次被用来显示非平凡的预期运行时的界限。
2019-03-26 cs.NE
A Seft-adaptive Multicellular GEP Algorithm Based On Fuzzy Control For Function Optimization
为了提高传统GEP算法的全局寻优能力,提出了一种基于模糊控制的多细胞基因表达式编程算法(Multicellular GEP Algorithm Based On Fuzzy Control,MGEP-FC)。MGEP-FC算法通过构造模糊隶属度函数来描述交叉率、变异率和实数变异率的大小。根据个体适应度值在种群中的集中度和分散度,动态调整遗传操作的交叉率、变异率和实数集变异率。为了使种群的多样性在迭代过程中得以延续,设计了一种新的遗传操作方案,将新个体与父代种群相结合构建临时种群,并对临时种群和子种群的多样性进行了优化。12个Benchmark优化实验结果表明,MGEP-FC算法在稳定性、全局收敛性和寻优速度等方面都有了很大的提高。
2019-04-01 cs.NE
Improving Time and Memory Efficiency of Genetic Algorithms by Storing Populations as Minimum Spanning Trees of Patches
本文提出将遗传算法的种群存储为补丁的最小生成树,以高效重算适应度,在内存和计算成本上实现显著甚至渐近改进。
2023-06-29 cs.NE
Geiringer Theorems: From Population Genetics to Computational Intelligence, Memory Evolutive Systems and Hebbian Learning
经典的盖林格定理解决了重复应用交叉后各种等位基因出现的极限频率。它已被采用的进化算法的设置,最近,强化学习和蒙特卡罗树搜索方法,以应付一个相当具有挑战性的问题,在机会节点的行动评估。该定理激发了新的动态并行算法,明确描述在当前的文件中的第一次。该算法涉及独立的代理遍历一个动态构造的有向图,可能有循环。在过去的30年里,法国著名数学家安德烈·埃雷斯曼(Andree Ehresmann)教授和神经外科医生扬·保罗·范布雷梅尔施(Jan Paul Vanbremeersch)共同开发了一个关于生物神经网络中认知的非常优雅而深刻的范畴理论模型,为这种算法和赫布学习之间的联系提供了一个线索。
2013-05-11 cs.NE
Optimal Parameter Settings for the $(1+(λ, λ))$ Genetic Algorithm
$(1+(λ,λ))$遗传算法是为数不多的几个算法之一,其中一个超常数的速度,通过使用交叉可以证明。到目前为止,该算法已经与基于直观考虑的参数一起使用。在这项工作中,我们严格考虑了整个参数空间,并证明了Doerr和Doerr(GECCO 2015)证明的直观选择的渐近时间复杂度在种群大小,突变概率和交叉偏差的所有设置中都是最好的。
2016-07-29 cs.DS cs.NE
Stochastic Population Update Can Provably Be Helpful in Multi-Objective Evolutionary Algorithms
Nanjing University(南京大学);University of Birmingham(伯明翰大学)
针对多目标进化算法(MOEAs)种群更新通常为贪婪确定性的问题,本文证明将其替换为随机机制可使SMS-EMOA和NSGA-II求解两个双目标问题的期望运行时间指数级减少,实证亦验证该方法有效性,为MOEAs开发提供新方向。
2025-02-16 cs.AI cs.NE
The quasispecies regime for the simple genetic algorithm with roulette-wheel selection
我们引入一个新的参数来讨论遗传算法的行为。该参数是从一代到下一代的最佳拟合染色体的精确拷贝的平均数。我们认为,遗传算法应有效地运作时,这个参数是略大于$1$。我们考虑的情况下,简单的遗传算法与轮盘赌-轮选择机制。我们用$\ell$表示染色体长度,用$m$表示群体大小,用$p_C$表示交叉概率,用$p_M$表示突变概率。我们开始的遗传算法与初始人口的最大适应度等于$f_0^*$和平均适应度等于${\overline{f_0}}$。我们表明,在大种群的限制下,遗传算法的动态性在很大程度上取决于参数$π\,=\,\big({f_0^*}/{\overline{f_0}}\big) (1-p_C)(1-p_M)^\ell\,.$。我们的结果表明,应该调整突变和交叉概率,以便在每一代中,$\text{maximal fitness} \times (1-p_C) (1-p_M)^\ell > \text{mean fitness}$。
2015-12-03 cs.NE math.PR
Larger Offspring Populations Help the $(1 + (λ, λ))$ Genetic Algorithm to Overcome the Noise
HSE University(高等经济大学);Skoltech(斯科尔科沃科技学院);The University of Adelaide(阿德莱德大学);Laboratoire d’Informatique (LIX)(信息学实验室(LIX));CNRS(法国国家科学研究中心);École Polytechnique(巴黎综合理工学院);Institut Polytechnique de Paris(巴黎理工学院)
研究分析了 $(1+(λ,λ))$ 遗传算法在噪声环境下的鲁棒性,发现其不仅未因中间选择和交叉修复机制而降低鲁棒性,反而在多数基准问题上比 $(1+λ)$ 进化算法更抗噪。
2023-05-08 cs.AI cs.NE
Population-Contrastive-Divergence: Does Consistency help with RBM training?
University of Copenhagen(哥本哈根大学);Montreal Institute for Learning Algorithms(蒙特利尔学习算法研究所);Université de Montréal(蒙特利尔大学)
相对于受限玻尔兹曼机(RBM)的参数估计对数似然梯度通常需要使用马尔可夫链蒙特卡罗(MCMC)技术进行采样。为了节省计算时间,马尔可夫链只运行少量的步骤,这会导致有偏的估计。这种偏差可能会导致RBM训练算法(如对比发散(CD)学习)恶化。我们采用人口蒙特卡罗(PMC)方法背后的思想,设计了一个新的RBM训练算法,称为人口对比发散(pop-CD)。与CD相比,它导致一致的估计,并且可能具有显著更低的偏倚。与CD相比,它的计算开销可以忽略不计。然而,梯度估计的方差增加。我们的实验表明,POP-CD可以显着优于CD。在许多情况下,我们观察到更小的偏倚,并获得更高的对数似然值。然而,当RBM分布具有许多隐藏神经元时,pop-CD的一致估计可能仍然具有相当大的偏差,并且梯度估计的方差需要较小的学习率。因此,尽管其优越的理论属性,它是不可取的使用pop-CD在其目前的形式对大型问题。
2017-06-28 cs.LG cs.NE stat.ML
Analyzing the Performance of Mutation Operators to Solve the Travelling Salesman Problem
遗传算法包含了一些需要调整的参数,这样才能得到可靠的结果。选择一个代表性的问题,初始人口,选择方法,交叉算子,变异算子,交叉和变异的概率,插入方法创建一个变种的遗传算法。我们的工作是这个角度的答案的一部分,找到这个组合问题的解决方案。用遗传算法求解旅行商问题(TSP)时,最佳参数是什么?在本文中,我们提出了一个不同的变异算子的比较分析,周围的扩大讨论,证明遗传算子选择解决TSP问题的相关性。
2012-03-14 cs.CE cs.NE
Variable Population Memetic Search: A Case Study on the Critical Node Problem
East China University of Science and Technology(华东理工大学);Université d’Angers(昂热大学);Institut Universitaire de France(法兰西大学研究院);The Chinese University of Hong Kong(香港中文大学);Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳市人工智能与机器人研究院);Nanjing University of Posts and Telecommunications(南京邮电大学)
基于种群的模因算法已经成功地应用于解决许多困难的组合问题。通常,在这样的算法中使用固定大小的种群来记录在搜索期间采样的一些最佳解。然而,考虑到所考虑的问题实例的特定特征,可变大小的种群将更适合于确保尽可能最佳的搜索性能。在这项工作中,我们提出了可变人口模因搜索(VPMS),其中一个战略人口规模的机制是用来动态调整人口规模在模因搜索过程中。我们的VPMS方法从只有两个解决方案的小种群开始搜索,专注于开发,然后根据搜索状态调整种群大小,不断影响开发和探索之间的平衡。我们说明了应用VPMS方法来解决具有挑战性的关键节点问题(CNP)。我们表明,VPMS算法集成了一个可变的人口,一个有效的局部优化过程(称为多样化的后期接受搜索)和一个基于骨干的交叉算子相比,最先进的CNP算法表现非常好。该算法能够为42个流行的基准测试实例中的13个实例发现新的上界,同时匹配23个以前最知名的上界。
2019-09-12 cs.AI cs.NE
Genetic Algorithms in Time-Dependent Environments
分析了时间依赖适应度对简单遗传算法(无交叉)无穷种群动态的影响。基于一般的参数,一个示意性的相图构造,允许一个描述的渐近状态依赖于突变率和时间尺度的变化。此外,定期的变化的概念提出的人口可以收敛到一个广义的准种。在此基础上,误差阈值和最佳变异率近似计算的代遗传算法与移动针在大海捞针景观。这样得到的相图与我们的一般考虑是完全一致的。
1999-11-04 adap-org cs.NE nlin.AO