Self-Improving Language Models for Evolutionary Program Synthesis: A Case Study on ARC-AGI
本文提出SOAR方法，通过将语言模型融入自改进进化循环中，提升编程合成性能，在ARC-AGI基准上实现显著改进。
2026-03-16 cs.AI cs.LG cs.NE
Nature vs. Nurture: The Role of Environmental Resources in Evolutionary Deep Intelligence
University of Waterloo（滑铁卢大学）
进化的深度智能在连续几代中合成高效的深度神经网络架构。受先天与后天争论的启发，我们提出了一项研究，通过改变模拟环境资源的可用性来研究外部因素对网络合成过程的作用。通过无性进化合成（1-parent）和有性进化合成（2-parent，3-parent和5-parent）使用MNIST数据集的10%子集合成的网络获得了实验结果。结果表明，较低的环境因素模型会导致性能准确性的逐渐下降和存储大小的减少。这可能会大大减少存储大小，性能准确性下降最小甚至没有下降，并且使用最低的环境因素模型合成最佳网络。
2018-02-09 cs.AI cs.CV cs.NE
Genetic Algorithm for Program Synthesis
一种演绎程序合成工具将规范作为输入并导出满足该规范的程序。这种方法的缺点是，这种正确程序的搜索空间往往是巨大的，使得难以在实际超时内导出正确的程序。为了加快这样的程序推导，我们改进了搜索策略的演绎程序合成工具，SuSLik，使用演化计算。我们的交叉验证表明，改进所带来的演化计算概括到不可预见的问题。
2023-01-19 cs.AI cs.NE cs.PL
SquishedNets: Squishing SqueezeNet further for edge device scenarios via deep evolutionary synthesis
University of Waterloo（滑铁卢大学）；DarwinAI（达尔文人工智能公司）
虽然近年来深度神经网络在广泛的应用中表现优于其他机器学习方法，但使深度神经网络能够在移动和其他消费设备等边缘设备上广泛部署的最大挑战之一是高计算和内存要求。最近，人们对更适合边缘设备的小型深度神经网络架构进行了更多的探索，其中最流行的架构之一是SqueezeNet，其模型大小非常小，仅为4.8MB。进一步利用边缘设备上的许多机器学习应用程序的特点通常是目标类数量较少的概念，本研究探讨了将架构修改和进化合成策略相结合的实用性，以基于最近的SqueezeNet v1.1宏架构合成更小的深度神经架构，用于目标类较少的应用程序。特别是，首先对SqueezeNet v1.1进行架构修改，以适应10类ImageNet-10数据集，然后利用进化合成策略，基于此修改后的宏架构合成更有效的深度神经网络。生成的SquishedNet模型大小从2.4MB到0.95MB不等（比SqueezeNet v1.1小约5.17倍，比AlexNet小253倍）。此外，SquishedNets仍然能够实现81.2%至77%的精度，并且能够在Nvidia Jetson TX 1嵌入式芯片上以156张图像/秒至256张图像/秒的速度进行处理。这些初步结果表明，架构修改和进化合成策略的组合可以成为产生非常适合边缘设备场景的非常小的深度神经网络架构的有用工具。
2017-11-20 cs.AI cs.LG cs.NE
Recent Developments in Program Synthesis with Evolutionary Algorithms
计算机程序的自动生成是演化计算领域中具有实际意义的主要应用之一。利用程序合成技术，不仅可以支持软件开发人员的日常工作，而且即使没有任何编程知识的用户也可以自动执行重复的任务并实现自己的新功能。近年来，基于进化算法的程序合成方法被提出，并在常见的基准测试问题上得到了评价。因此，我们在这项工作中确定相关的进化程序合成的方法，并提供了深入的分析其性能。我们确定的最有影响力的方法是基于堆栈的，语法指导，以及线性遗传编程。此外，我们发现，如果有一个简单的映射从给定的输入到正确的输出，这些方法在基准问题上表现良好。在这种映射很复杂的问题上，例如，如果问题由几个子问题组成，或者需要迭代/递归来获得正确的解决方案，则结果往往更糟。因此，对于未来的工作，我们鼓励研究人员不仅使用程序的输出来评估解决方案的质量，而且还使用解决方案的方式（例如，正确解决子问题）。
2021-08-27 cs.NE cs.SE
StressedNets: Efficient Feature Representations via Stress-induced Evolutionary Synthesis of Deep Neural Networks
University of Waterloo（滑铁卢大学）；ADC Automotive Distance Control Systems GmbH, Continental（大陆集团ADC汽车距离控制系统有限公司）
利用深度神经网络来提取深度特征表示的计算复杂性是其广泛采用的重大障碍，特别是对于在嵌入式设备中的使用。解决复杂性问题的一个特别有前途的策略是深度神经网络的进化合成的概念，这被证明可以成功地产生高效的深度神经网络，同时保持建模性能。在这里，我们进一步扩展了进化合成策略，通过引入压力诱导的进化合成框架来实现高效的特征提取，其中在训练期间将压力信号施加到深度神经网络的突触上，以诱导压力并引导合成过程朝着在连续几代中产生更高效的深度神经网络的方向发展，并以更高的效率提高模型保真度。在各种不同的深度神经网络架构（LeNet 5，AlexNet和YOLOv2）上对不同的任务（对象分类和目标检测）进行评估，以在多代中合成高效的StressedNets。实验结果证明了所提出的框架合成StressedNets的有效性，并显著提高了网络架构效率（例如，AlexNet为40倍，YOLOv2为33倍）和速度改进（例如，在Nvidia Tegra X1移动处理器上，YOLOv2的推理速度提高了5.5倍）。
2018-01-16 cs.CV cs.LG cs.NE
Gate-level boolean evolutionary geometric attention neural networks
School of Integrated Circuits, Tsinghua University（集成电路学院，清华大学）
本文提出一种基于布尔域的门级进化几何注意力神经网络，通过布尔反应-扩散机制实现图像处理，结合自注意力与RoPE技术，具备高效率和可解释性。
2025-11-11 cs.AI cs.LG cs.NE
Optimizing quantum circuits with evolutionary algorithms for stable Boolean gates, elementary cellular automata, and highly entangled quantum states
OsloMet -- Oslo Metropolitan University（奥斯陆都会大学）；Kristiania University of Applied Sciences（克里斯蒂安应用科学大学）；Østfold University College（东福尔学院）；Simula Research Laboratory（西穆拉研究实验室）
本研究利用进化算法优化量子电路，针对元胞自动机量子实现鲁棒性测试和高纠缠态电路采样两项任务，实现5量子比特纠缠电路构建，揭示电路复杂度与性能的权衡关系。
2025-09-23 cs.NE quant-ph
EvoSyn: Generalizable Evolutionary Data Synthesis for Verifiable Learning
Fudan University（复旦大学）；Shanghai AI Laboratory（上海人工智能实验室）；Nanyang Technological University（南洋理工大学）
针对可验证合成数据跨域构建难题，本文提出任务无关的进化框架 EvoSyn，联合生成问题、解与验证产物，并在 LiveCodeBench 和 AgentBench-OS 上验证其 RLVR 与蒸馏效果。
2025-10-20 cs.AI cs.LG cs.NE
Investigating gated recurrent neural networks for speech synthesis
The Centre for Speech Technology Research, University of Edinburgh, United Kingdom（英国爱丁堡大学语音技术研究中心）
最近，循环神经网络（RNN）作为强大的序列模型已经重新出现，作为一个潜在的声学模型的统计参数语音合成（SPSS）。长短期记忆（LSTM）架构特别有吸引力，因为它解决了标准RNN中的梯度消失问题，使它们更容易训练。尽管最近的研究表明，LSTM在SPSS上的性能明显优于深度前馈神经网络，但人们对其中的原因知之甚少。在这里，我们试图回答两个问题：a）为什么LSTM作为SPSS的序列模型工作得很好; b）哪个组件（例如，输入门、输出门、遗忘门）是最重要的。我们提出了一个可视化的分析，以及一系列的实验，从而在一个简化的架构的建议。简化的架构具有比LSTM少得多的参数，因此在不降低质量的情况下大大降低了生成复杂度。
2016-01-11 cs.CL cs.NE
Exploring the Imposition of Synaptic Precision Restrictions For Evolutionary Synthesis of Deep Neural Networks
University of Waterloo（滑铁卢大学）
深度神经网络取得令人难以置信的成功的一个关键因素是大规模并行计算设备的显著增长，使研究人员能够大大增加深度神经网络的大小和深度，从而显著提高建模精度。虽然更深、更大或更复杂的深度神经网络已经显示出相当大的前景，但这种网络的计算复杂性是在资源匮乏的情况下利用的主要障碍。我们在进化的深度智能框架内探索了深度神经网络在形成有效的深度神经网络架构中的突触发生，其中引入了概率生成建模策略，以随机合成越来越高效且有效的后代深度神经网络，以概率的方式模仿遗传，随机突变和自然选择等进化过程。在这项研究中，我们主要探讨突触精度限制的施加及其对深度神经网络进化合成的影响，以合成更有效的网络架构，为资源匮乏的情况下量身定制。实验结果表明，突触效率（基于GoogLeNet的DetectNet降低了约10倍）和推理速度（基于GoogLeNet的DetectNet增加了> 5倍）得到了显着改善，同时保持了建模精度。
2017-07-01 cs.CV cs.LG cs.NE
Evolutionary design of thermodynamic logic gates and their heat emission
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
本文通过遗传算法设计热力学逻辑门，实现控制系统的热量与信息承载自由度的热排放量相匹配，提出热管理可融入程序设计的计算架构。
2026-09-03 cond-mat.stat-mech cs.NE
LLM-Guided Evolutionary Program Synthesis for Quasi-Monte Carlo Design
Amir Sadikov（阿米尔·萨迪科夫）
该研究将两个准蒙特卡洛设计问题转化为程序合成任务，通过大语言模型引导的进化循环结合迭代数值优化，在低星偏差点集构造和Sobol'参数优化上取得了优于现有基准的结果，实现了高质量QMC构造的自动化发现。
2025-10-04 cs.AI cs.CE cs.LG
Evolutionary Synthesis of Deep Neural Networks via Synaptic Cluster-driven Genetic Encoding
University of Waterloo（滑铁卢大学）
最近，人们对实现高效的深度神经网络架构产生了极大的兴趣。实现这一目标的一个有希望的范例是进化深度智能的概念，它试图模仿生物进化过程，在连续几代人中合成高效的深度神经网络。进化深度智能的一个重要方面是用于模仿遗传的遗传编码方案，这会对后代深度神经网络的质量产生重大影响。出于神经生物学现象的突触集群，我们引入了一个新的遗传编码方案，突触概率被驱动朝向形成一个高度稀疏的突触簇。图像分类任务的实验结果表明，使用这种突触簇驱动的遗传编码方案的合成后代网络可以实现最先进的性能，同时具有不仅比原始祖先网络更有效的网络架构（MNIST的突触减少了约125倍），而且还为GPU加速的机器学习应用量身定制。
2016-11-22 cs.CV cs.LG cs.NE
On the Parallels Between Evolutionary Theory and the State of AI
École Polytechnique Fédérale de Lausanne（联邦理工学院洛桑分校）
本文通过类比现代AI与20世纪进化生物学的现代综合论，提出借鉴进化发育生物学的洞见来构建AI新设计范式，以克服当前局限并实现其期望目标。
2025-05-13 cs.LG cs.NE nlin.AO
Multi-objective evolutionary GAN for tabular data synthesis
The University of Manchester（曼彻斯特大学）；Alliance Manchester Business School（曼彻斯特联盟商学院）
本文提出SMOE-CTGAN，利用条件向量和多目标进化优化平衡表格合成数据的实用性与披露风险，并在多个人口普查数据集上获得不同风险—效用权衡及早期低风险最佳点。
2024-04-15 cs.LG cs.NE
Automating the Design of Multigrid Methods with Evolutionary Program Synthesis
Lehrstuhl für Informatik 10（计算机科学10系）
本论文提出用语法引导遗传编程自动设计多重网格求解器，开发了上下文无关文法及EvoStencils框架，能发现高效且泛化的新结构多重网格方法。
2023-12-22 cs.AI cs.CE cs.FL
Deep Learning with Darwin: Evolutionary Synthesis of Deep Neural Networks
University of Waterloo（滑铁卢大学）
从生物进化中获得灵感，我们探索了“深度神经网络能否在连续几代中自然进化成高效的深度神经网络？“通过引入通过从祖先深度神经网络的进化过程在连续几代中合成新的高效但强大的深度神经网络的概念。祖先深层神经网络的结构特征是使用突触概率模型编码的，突触概率模型可以被视为这些网络的“DNA”。具有不同网络架构的新后代网络基于来自祖先网络的这些突触概率模型和计算环境因子模型以随机方式合成，以模仿遗传、自然选择和随机突变。然后，这些后代网络被训练成功能齐全的网络，就像训练新生儿一样，并且具有比其祖先网络更高效、更多样化的网络架构，同时实现强大的建模能力。视觉显着性任务的实验结果表明，与原始祖先网络相比，合成的“进化”后代网络可以实现最先进的性能，同时具有显着更有效的网络架构（到第四代，突触减少了惊人的$\sim$ 48倍）。
2017-02-06 cs.CV cs.LG cs.NE
