Optimizing Synchronization Algorithm for Auto-parallelizing Compiler
在本文中,我们专注于需要两种方法来优化生产者和消费者的自动并行化编译器同步。重点放在一个标准模型的建设,编译器减少同步操作的数量需要同步的依赖在一个循环中,并执行优化减少强制执行所有依赖的开销。根据我们的研究,我们对迭代空间图(ISD)进行了修改和消除依赖的变换,并详细讨论了非循环依赖和循环依赖问题。我们消除了部分依赖,并优化了同步指令。最后给出了一些实例来说明优化过程。
2013-03-01 cs.DC cs.PL
FamilySeer: Towards Optimized Tensor Codes by Exploiting Computation Subgraph Similarity
Beihang University(北京航空航天大学)
有效地部署各种深度学习(DL)模型促进了DL编译器的研究。生成优化张量代码的困难促使DL编译器对自动调优方法提出了更高的要求,而不断增长的需求要求提高自动调优的效率和质量。目前,DL编译器将输入DL模型划分为几个子图,并利用自动调整来找到这些子图的最佳张量代码。然而,现有的自动调整方法通常将子图视为单独的子图,忽略了它们之间的相似性,因此无法在有限的时间预算下利用更好的张量代码。我们提出了FamilySeer,这是一个用于DL编译器的自动调优框架,即使在有限的时间预算下也可以生成更好的张量代码。FamilySeer利用子图之间的相似性和差异,可以将它们组织成子图家族,其中一个子图的调整也可以改善同一家族中的其他子图。每个族的代价模型得到更纯净的训练样本,并变得更准确,从而可以通过代价模型的轻量级估计来代替真实硬件上的昂贵测量。我们的实验表明,FamilySeer可以生成具有相同代码性能的模型代码,比最先进的自动调优框架更有效。
2022-01-01 cs.DC cs.LG cs.PL
Souper: A Synthesizing Superoptimizer
如果我们可以自动地导出编译器优化,我们就可以避开创建和维护高质量编译器所涉及的一些重大工程挑战。我们开发了Souper,一个合成超优化器,看看这些想法在LLVM的上下文中可能会被推进多远。在此过程中,我们发现Souper的中间表示与Microsoft Visual C++中的中间表示非常相似,因此我们也将Souper应用于该编译器。这两个编译器的发布或即将发布的版本都包含了Souper建议的优化,但都是手工实现的。或者,当Souper用作全自动优化通道时,它编译的Clang编译器二进制文件比LLVM编译的小约3 MB(4.4%)。
2018-04-06 cs.PL
CrypTorch: PyTorch-based Auto-tuning Compiler for Machine Learning with Multi-party Computation
The Pennsylvania State University(宾夕法尼亚州立大学)
研究针对基于多方计算的机器学习框架精度和性能下降问题,提出CrypTorch编译器框架。通过模块化编译、可执行图迭代测试及自动调优选择转换,平衡性能与精度,相比CrypTen实现显著端到端加速。
2026-07-27 cs.AI cs.CR cs.PL
A Domain-Extensible Compiler with Controllable Automation of Optimisations
在图像处理、物理仿真或机器学习等高性能领域,程序性能至关重要。被称为性能工程师的程序员负责优化程序的挑战性任务。两个主要的挑战阻止了针对异构体系结构的现代编译器可靠地自动优化。首先,特定领域的编译器,如用于图像处理的Halide和用于机器学习的TVM,很难扩展新算法和硬件所需的新优化。其次,自动优化通常无法实现所需的性能,性能工程师通常会退回到艰苦的手动优化。本文展示了Shine编译器在实现领域可扩展性、可控自动化和生成高性能代码方面的潜力。域可扩展性有助于使编译器适应新的算法和硬件。可控的自动化使性能工程师能够逐步控制优化过程。第一个研究贡献是为Shine添加3个代码生成特性,即:同步屏障插入、内核执行和存储折叠。第二个研究贡献是展示如何利用可扩展性和可控性来优化标准图像处理管道的角点检测。最后的研究贡献是引入草图引导的平等饱和,一个半自动化的技术,允许性能工程师指导程序重写指定重写目标作为草图:程序模式,离开细节未指定。
2022-12-22 cs.PF cs.PL
AutoPhase: Compiler Phase-Ordering for High Level Synthesis with Deep Reinforcement Learning
编译器生成的代码的性能取决于优化过程的应用顺序。在高级综合中,生成电路的质量直接关系到前端编译器生成的代码。选择一个好的顺序--通常被称为相位排序问题--是一个NP难题。在本文中,我们评估了一种解决相位排序问题的新技术:深度强化学习。我们在LLVM编译器的上下文中实现了一个框架,以优化HLS程序的排序,并将深度强化学习的性能与解决相位排序问题的最先进算法进行比较。总的来说,我们的框架运行速度比这些算法快一到两个数量级,并实现了16%的改善电路性能的-O3编译器标志。
2019-04-04 cs.LG cs.PL
Generation of Compiler Backends from Formal Models of Hardware
本文提出从硬件形式模型自动生成编译器后端的方法,利用自动推理算法提升优化能力与正确性保证,缩短开发时间,并通过Glenside和Lakeroad两个案例验证了该方法的有效性。
2024-08-27 cs.AR cs.PL
Nautilus: An Auto-Scheduling Tensor Compiler for Efficient Tiled GPU Kernels
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
Nautilus是一种新型张量编译器,通过端到端系统联合应用高层优化、表达式重写和瓷砖优化,实现从数学描述自动发现FlashAttention-3类内核,提升GPU性能。
2026-04-16 cs.LG cs.PL
langcc: A Next-Generation Compiler Compiler
传统上,解析一直是编译器开发中一个费力且容易出错的组件,而且大多数工业程序设计语言的解析器仍然是手工编写的。作者[Zim22]表明,自动解析器生成可以是实用的,通过一些新的创新,在标准LR范式的Knuth等人。有了这种方法,我们可以自动生成有效的解析器,几乎所有的语言,直观上是“容易解析”。这包括Golang 1.17.8和Python 3.9.12,我们生成的解析器分别比标准解析器快1.2倍和4.3倍。本文档是一份附带的技术报告,描述了该工作的软件实现,可在https://github.com/jzimmerman/langcc上获得开源。
2022-09-17 cs.FL cs.PL
Compiler-Driven Approximation Tuning for Hyperdimensional Computing
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California San Diego(加州大学圣迭戈分校)
提出ApproxHDC框架,通过编译器自动识别和应用超维计算中的领域特定近似,结合高效搜索与多硬件后端支持,实现性能大幅提升且精度损失极小。
2026-06-26 cs.CL cs.PF cs.PL
Towards a Compiler for Reals
在科学计算或嵌入式系统中常见的数值软件,不可避免地使用实数算术的近似值,而大多数算法都是在实数算术中设计的。在许多领域中,舍入误差不是不准确的唯一来源,并且测量和其它输入误差进一步增加了计算结果的不确定性。需要适当的工具来帮助用户选择合适的近似值,特别是对于安全关键型应用。我们提出的源到源编译器罗莎作为输入的一个实值程序的错误规范和合成代码在一个适当的浮点或定点数据类型。这样的编译器的主要挑战是一个完全自动化的,健全的,但足够准确的数值误差估计。我们提出了一个统一的技术,浮点和定点运算的各种精度,可以处理非线性运算,确定封闭形式的符号不变量的无界循环和量化的影响,不连续性的数值误差。我们评估罗莎的一些基准从科学计算和嵌入式系统,并将其与最先进的自动误差估计,显示它提出了一个有趣的权衡精度和性能。
2016-03-11 cs.PL
A Survey on Compiler Autotuning using Machine Learning
University of Toronto(多伦多大学);Millersville University of Pennsylvania(宾夕法尼亚米勒斯维尔大学);University of Delaware(特拉华大学);Politecnico di Milano(米兰理工大学)
自20世纪90年代中期以来,研究人员一直试图使用基于机器学习的方法来解决许多不同的编译器优化问题。这些技术主要提高了所获得的结果的质量,更重要的是,使得解决两个主要的编译器优化问题变得可行:优化选择(选择应用哪些优化)和阶段排序(选择应用优化的顺序)。由于应用程序的进步、编译器优化数量的增加以及新的目标体系结构,编译器优化空间继续增长。编译器中的泛型优化传递不能完全利用新引入的优化,因此,不能跟上增加选项的步伐。本综述总结并分类了在编译器优化领域使用机器学习的最新进展,特别是在(1)选择最佳优化和(2)优化的阶段排序这两个主要问题上。该调查突出了迄今为止所采取的方法,所获得的结果,不同方法之间的细粒度分类,最后,该领域的有影响力的论文。
2018-09-03 cs.LG cs.PL
Understand Code Style: Efficient CNN-based Compiler Optimization Recognition System
漏洞优化级别识别可以应用于漏洞发现和二进制分析。由于存在许多不同的编译优化选项,二进制文件内容的差异非常复杂。编译器优化算法成千上万,处理器体系结构多种多样,人工分析二进制文件并用规则识别其编译器优化水平是非常困难的。本文首先提出了一种基于CNN的编译器优化级别识别模型:BinEye。该系统提取语义和结构差异,并自动识别编译器优化级别。该模型被设计为非常适合二进制文件处理,并且易于理解。我们构建了一个包含80,028个二进制文件的数据集,用于模型训练和测试。我们提出的模型达到了97%以上的准确率。同时,BinEye是一个完全基于CNN的系统,它具有更快的前向计算速度,至少比普通的基于RNN的模型快8倍。通过对模型输出的分析,我们成功地发现了编译器优化水平不同所导致的汇编代码的差异。这意味着我们提出的模型是可解释的。基于我们的模型,我们提出了一种分析不同编译器优化级别导致的代码差异的方法,这对分析闭源编译器和二进制安全分析具有很大的指导意义。
2023-01-18 cs.PL
Generate Compilers from Hardware Models!
主张利用程序合成技术从硬件设计语言模型自动生成编译器后端,并以自动生成FPGA技术映射器为实例验证了该方法的可行性。
2023-05-16 cs.AR cs.PL
Pearl: Automatic Code Optimization Using Deep Reinforcement Learning
提出基于深度强化学习的框架Pearl,通过新颖的动作空间表示、结果缓存与预训练,实现通用循环嵌套代码优化并泛化至未见程序,性能优于现有编译器。
2025-06-02 cs.PL
Homeostasis: Design and Implementation of a Self-Stabilizing Compiler
本文提出 Homeostasis 编译器框架,通过自动捕获程序变换并触发程序抽象稳定化,解决变换后抽象失效或不一致的问题,并在 IMOP 中验证其正确性、高效性与易用性。
2024-03-01 cs.PL
Data optimizations for constraint automata
约束自动机(CA)构成了一个基于有限自动机的无限词的协调模型。最初是为了协调器的建模而引入的,CA的一个有趣的新应用是实现协调器(即,将CA编译成可执行代码)。这种方法保证了构造的正确性,甚至可以产生比手工编写的代码性能更好的代码。这两个潜在优势的实现程度取决于CA编译器的智能性和其正确性的证据的存在。CA中的每个转换都被标记为“数据约束”,该约束将协调进程之间的原子数据流指定为一阶公式。在运行时,编译器生成的代码必须尽可能有效地处理数据约束。在本文中,我们提出,并证明了两个优化技术的正确性CA编译器相关的处理数据约束:减少,以消除冗余变量和翻译(声明性)数据约束(命令式)的数据命令表示在一个小的顺序语言。通过实验,我们表明,这些优化技术可以产生积极的影响,性能生成的可执行代码。
2016-09-21 cs.PL
Automated Code Optimization with E-Graphs
本文提出了一个先进的,通用的和高层次的代码重写和分析系统的Julia程序设计语言,提供应用的平等饱和存在的多重分派和元编程。我们展示了我们的系统如何实际解决一些具有挑战性的问题:程序员可以实现自己的高层次的编译器优化其特定领域的科学计划,而不要求他们在所有的编译器专家?这些优化器是否可以由用户在相同的语言和他们想要优化的相同程序中实现,从而解决两种语言的问题?这些编译器优化器是否可以以高级方式编写,如方程式,而无需担心重写顺序?因此,符号数学可以进行高级编译器优化,反之亦然吗?
2021-12-30 cs.PL cs.SC
AI Coding Agents Need Better Compiler Remarks
Northwestern University(西北大学)
本文研究了编译器注释对AI代理优化程序的影响,发现精确注释能显著提升性能,而模糊注释会导致语义错误,结论是未来编译器需提供结构化反馈以支持自主性能工程。
2026-04-15 cs.PL
Magellan: Autonomous Discovery of Novel Compiler Optimization Heuristics with AlphaEvolve
Google(谷歌);Google DeepMind(谷歌DeepMind);Cornell University(康奈尔大学)
Magellan通过AlphaEvolve自主发现新型编译器优化启发式方法,提升编译器优化效率与性能。
2026-01-28 cs.AI cs.LG cs.PL
Toward an Energy Efficient Language and Compiler for (Partially) Reversible Algorithms
我们介绍了一种新的程序设计语言表示可逆性,节能语言(EEL),面向算法设计和实现。Eel是第一种利用部分可逆计算模型的语言,其中程序可以由可逆和不可逆操作组成。在这个模型中,不可逆的操作会为创建或销毁的每一位信息消耗能量。为了处理不同程度的可逆性程序,Eel支持日志堆栈来自动交换空间成本的能量成本,并引入了许多强大的控制逻辑运算符,包括保护条件,一般条件,保护循环和一般循环。在本文中,我们提出的设计和编译器的三个语言水平的鳗鱼随着解释器来模拟和注释所产生的能源成本的程序。
2016-05-26 cs.PL
A Fast Compiler for NetKAT
高级程序设计语言在越来越多的网络平台中发挥着关键作用,简化了应用程序开发并实现了对网络行为的精确形式化推理。不幸的是,目前的编译器只处理“本地”程序,这些程序指定了逐跳转发行为,或者简单路径之类的适度扩展。为了编码更丰富的“全局”行为,程序员必须添加额外的状态--这是一件很难正确处理的事情,也使程序更难编写和维护。更糟糕的是,现有的编译器可能需要几十分钟才能生成网络的转发状态,即使是相对较小的输入。这迫使程序员浪费时间来解决性能问题,甚至恢复使用硬件级API。本文提出了一种新的编译器的NetKAT语言,处理丰富的功能,包括定期的路径和虚拟网络,但几个数量级的速度比以前的编译器。编译器使用符号自动机来计算实现“全局”程序所需的额外状态,并使用基于二进制决策图的中间表示来显着提高性能。我们描述了三个基本的编译器阶段的设计和实现:从虚拟程序(指定行为的虚拟拓扑结构)的全局程序(指定网络范围内的行为的物理拓扑结构),从全局程序到本地程序(指定行为的单开关行为),从本地程序到硬件级转发表。我们目前的结果,从实验中量化性能的编译时间和转发表的大小在现实世界的基准测试。
2015-06-24 cs.PL
Caviar: An E-graph Based TRS for Automatic Code Optimization
在编译器中使用术语重写系统(TRS)来简化和证明表达式。编译器中最先进的TRS使用贪心算法,该算法以预定义的顺序应用一组重写规则(其中一些规则不是公理化的)。这会导致失去简化某些表达式的能力。E-图和等式饱和度通过以紧凑的方式表示不同的等价表达式来回避这个问题,从中可以提取最佳表达式。虽然基于e图的TRS可能比使用贪心算法的TRS更强大,但它更慢,因为表达式可能具有大量或有时无限数量的等效表达式。加速e图的构造是使e图在编译器中实用化的关键。在本文中,我们提出了鱼子酱,一个基于电子图的TRS证明表达式编译器内。鱼子酱的主要优点是它的速度。它可以证明表达式比基本e图TRS快得多。它依赖于三种技术:1)一种在达到目标时停止e-graph增长的技术,称为迭代级别检查; 2)一种在相等饱和算法中平衡探索和利用的机制,称为脉冲鱼子酱; 3)一种在检测到不可证明模式时在达到饱和之前停止e-graph构建的技术,称为不可证明模式检测(NPPD)。我们评估鱼子酱的Halide,优化编译器,依赖于一个贪婪的算法为基础的TRS简化和证明其表达式。所提出的技术允许Caviar加速用于证明表达式的任务的e图扩展。它们还允许Caviar证明Halide的TRS无法证明的表达式,同时仅慢0.68倍。
2022-02-27 cs.PL
BaCO: A Fast and Portable Bayesian Compiler Optimization Framework
Lund University(隆德大学);Federal University of Minas Gerais(米纳斯吉拉斯联邦大学);University of Münster(明斯特大学);Stanford University(斯坦福大学);University of Illinois UC(伊利诺伊大学厄巴纳-香槟分校);University of Edinburgh(爱丁堡大学)
本研究提出通用自动调优框架BaCO,采用面向领域的贝叶斯优化算法处理多类型参数与约束,在CPU、GPU、FPGA三类编译器上均以极小搜索预算实现了优于现有最优自动调优器的性能与收敛速度。
2023-04-11 cs.LG cs.PF cs.PL
Skeletal Program Enumeration for Rigorous Compiler Testing
一个程序可以被看作是一个由标识符V(变量名)的集合参数化的语法结构P(语法骨架)。本文介绍了骨架程序枚举(SPE)问题:给定一个固定的语法骨架P和一组变量V,枚举一组程序P,展示P中所有可能的变量使用模式。(1)具有不同变量使用模式的程序表现出不同的控制和数据依赖信息,并有助于利用不同的编译器优化和压力测试编译器;(2)大多数真正的编译器错误都是通过小测试揭示的(即,small-sized P)-这种“小范围”的观察为实际的编译器验证打开了SPE;(3)SPE是详尽的w.r.t.一个给定的语法框架和变量集,从而可以提供一个保证的水平,是从所有现有的编译器测试技术缺席。SPE的关键挑战是如何消除w.r.t.中大量的等价程序。$α$ -转换。我们的主要技术贡献是一种新的算法计算规范(和最小)的所有非$α$等效程序。我们已经实现了我们的SPE技术,并使用来自GCC的测试套件的语法骨架进行评估。我们对GCC和Clang的测试结果非常有希望。在不到六个月的时间里,我们的方法已经导致了217个确认的错误报告,其中104个已经被修复,并且大多数都是长期潜伏的错误,尽管之前已经进行了大量的自动测试两个编译器(例如,Csmith和EMI)。结果还表明,我们的算法枚举非$α$等效程序提供了六个数量级的减少,使处理GCC测试套件在一个月内。
2017-07-11 cs.PL
LOOPer: A Learned Automatic Code Optimizer For Polyhedral Compilers
New York University Abu Dhabi(纽约大学阿布扎赫分校);Meta AI
LOOPer是首个基于深度学习的多面体自动调度器,能高效优化广泛程序并实现复杂转换序列,其在基准测试中表现优异。
2025-12-27 cs.DC cs.LG cs.PL
Meta Large Language Model Compiler: Foundation Models of Compiler Optimization
Meta AI
本文提出 Meta LLM Compiler,基于 Code Llama 在 5460 亿 token 的 LLVM-IR 与汇编代码上训练,用于代码大小优化和汇编反汇编,分别达到自动调优潜力的 77% 和 45% 往返率。
2024-06-27 cs.AI cs.PL
Schedules Are Solvable Symbols: Tuning-Free Compilation of Tile Programs on Dataflow Architectures
School of Computing, National University of Singapore(新加坡国立大学计算机学院)
本文提出Loom,一种免调优符号编译框架,通过将瓦片程序编译视为硬件显式静态优化问题,在数据流架构上联合求解调度与块大小,匹配或超越供应商优化库。
2026-09-25 cs.PL
ImageCL: An Image Processing Language for Performance Portability on Heterogeneous Systems
现代计算机系统通常将多核CPU与GPU等加速器相结合,以提高性能和能效。然而,这些系统的性能可移植性差,必须重新调整为一个设备的代码,以实现在另一个高性能。图像处理的重要性日益增加,其应用范围从地震学和医学到Photoshop。根据我们的经验与医疗图像处理,我们提出ImageCL,一个高级的特定领域的语言和源到源编译器,针对异构硬件。ImageCL类似于OpenCL,但抽象出了每个线程的优化细节,允许程序员专注于算法开发,而不是性能调优。后者留给我们的源到源编译器和自动调优器。从高级ImageCL内核,我们的源到源编译器可以生成多个OpenCL实现,并应用不同的优化。我们依赖于自动调优,而不是机器模型或前专家程序员的知识来确定应用哪些优化,使我们的调优过程高度鲁棒。此外,我们可以从单个源代码中为不同的设备生成高性能的实现,从而提高性能的可移植性。我们在三个图像处理基准上评估了我们的方法,在不同的GPU和CPU设备上,并且在几种情况下能够优于其他最先进的解决方案,实现高达4.57倍的加速比。
2016-05-20 cs.DC cs.PL
Unleashing the Hidden Power of Compiler Optimization on Binary Code Difference: An Empirical Study
由于编译器优化是导致二进制代码语法差异的最常见原因,因此测试针对由不同编译器优化设置引起的更改的弹性已成为大多数二进制差异方法的标准评估步骤。例如,过去12年中的47篇顶级论文比较了默认优化级别编译的不同程序版本(例如,- GCC和LLVM中的Ox)。尽管他们中的许多人声称他们对编译器转换免疫,但还不清楚他们对非默认优化设置的抵抗力。特别是,我们已经观察到,对手探索非默认编译器设置,以放大恶意软件的差异。本文首先系统地研究了编译器优化对二进制代码差异的有效性。我们量身定制基于搜索的迭代编译的二进制代码差异的自动调整。我们开发BinTuner来搜索接近最优的优化序列,可以最大限度地提高二进制代码差异的数量。我们使用GCC 10.2和LLVM 11.0在SPEC基准测试(CPU 2006和CPU 2017),Coreutils和OpenSSL上运行BinTuner。我们的实验表明,以279到1,881次编译迭代为代价,BinTuner可以找到比一般-Ox设置更好的自定义优化序列。BinTuner的输出严重破坏了突出的二进制差分工具的比较。此外,由BinTuner调整的物联网恶意软件变体的检测率下降了50%以上。我们的研究结果为安全分析师描绘了一个警示故事,即攻击者有一种新的方法可以经济有效地变异恶意软件代码,研究界需要退后一步重新评估优化阻力评估。
2021-03-25 cs.PL cs.SE
Memory and compiler optimizations for low-power and -energy
嵌入式系统变得越来越普遍,特别是自主系统,并且显然趋向于无处不在。在这样的系统中,低功耗和低能耗变得越来越重要。此外,这些问题在(大规模)多处理器系统中也变得至关重要,无论是在一台机器中还是在更广泛的网格中。所面临的各种问题涉及自主性、供电可能性、散热甚至纯粹的能源成本。虽然它已经在硬件中研究了很长时间,但能量优化在软件中的应用更近。因此,在本文中,我们旨在提高语言和编译社区对低功耗和低能耗问题的认识。因此,我们广泛但简要地调查技术和解决方案,这个能源问题,集中在编译器优化和存储管理的上下文中的几个具体方面。
2006-10-05 cs.PF cs.PL
A Deep Learning Based Cost Model for Automatic Code Optimization
Massachusetts Institute of Technology(麻省理工学院);New York University Abu Dhabi(纽约大学阿布扎比分校);University of Technology of Troyes(特鲁瓦技术大学)
使编译器能够自动优化代码一直是编译器社区的长期目标。有效地解决这个问题需要使用精确的成本模型。这些模型预测应用一系列代码转换是否会减少程序的执行时间。由于微体系结构的复杂性,在现代x86体系结构中很难构建分析成本模型。在本文中,我们提出了一种新的基于深度学习的自动代码优化成本模型。该模型被集成到一个搜索方法中,并在Tiramisu编译器中实现,以选择最佳的代码转换。所提出的模型的输入是一组简单的功能,代表未优化的代码和一系列的代码转换。该模型预测了应用代码转换时的预期加速。与以前的模型不同,所提出的模型适用于完整的程序,不依赖于任何繁重的功能工程。所提出的模型只有16%的平均绝对百分比误差在预测加速完整的程序。该模型使Tiramisu能够自动找到匹配或优于最先进的编译器的代码转换,而不需要这些编译器所需的相同级别的繁重功能工程。
2021-04-11 cs.DC cs.LG cs.PL
CompilerDream: Learning a Compiler World Model for General Code Optimization
School of Software, BNRist Tsinghua University Beijing China(软件学院、北师大清华大学北京中国);Tsinghua University(清华大学)
提出基于模型的强化学习方法CompilerDream,通过编译器世界模型模拟优化pass属性并训练智能体,实现跨应用场景和语言的通用代码优化,在零样本泛化上超越LLVM内置优化。
2026-05-28 cs.LG cs.PL
Decompiling Rust: An Empirical Study of Compiler Optimizations and Reverse Engineering Challenges
本文通过基准驱动评估与自动化评分框架,量化分析 Rust 核心特性及构建模式对反编译质量的影响,并结合案例揭示泛型、trait 和错误处理带来的逆向挑战。
2025-07-24 cs.PL cs.SE
Portable models as a replacement for industrial heuristics in compiler optimizations
Department of Compiler Technologies(编译器技术系);Ivannikov Institute for System Programming (ISP) of the Russian Academy of Sciences(俄罗斯科学院伊万尼科夫系统编程研究所)
研究在特定编译器场景预测函数内联决策,提出便携式内联预测框架,利用生产编译器诊断监督,提取器准备训练数据。构建数据集评估,CatBoost表现良好,特征分析揭示信号集中区域,为轻量级系统提供内联决策预测方案。
2026-07-21 cs.PL cs.SE
FEAST: An Automated Feature Selection Framework for Compilation Tasks
University of Michigan(密歇根大学);IBM T. J. Watson Research Center(IBM T. J. Watson研究中心);Adobe Systems(Adobe系统公司)
将机器学习技术应用于编译任务的成功在很大程度上归功于程序表征的最新发展和进步,程序表征是一种在数字上或结构上量化目标程序的过程。虽然已经取得了很大的成就,在确定的关键功能,以表征程序,选择一个正确的一组功能,为特定的编译器任务仍然是一个特设的过程。为了保证功能的全面覆盖,编译工程师通常需要选择过多的功能。不幸的是,这可能会导致选择多个类似的功能,这反过来又会产生一个新的偏差问题,强调程序特性的某些方面,从而降低目标编译器任务的准确性和性能。在本文中,我们提出了特征选择编译任务(FEAST),一个有效的和自动化的框架,用于确定最相关的和代表性的功能,从功能池。具体而言,FEAST利用广泛使用的统计和机器学习工具,包括LASSO,顺序向前和向后选择,用于自动特征选择,并且通常可以应用于任何数值特征集。本文进一步提出了一种自动化的方法来评估FEAST的性能编译器参数分配。密集的实验结果表明,编译器参数分配任务下,FEAST可以实现可比的结果与约18%的功能,自动选择从整个功能池。我们还检查这些选定的功能,并讨论它们在程序执行中的作用。
2016-10-29 cs.LG cs.PL cs.SE
Finding Compiler Bugs through Cross-Language Code Generator and Differential Testing
提出CrossLangFuzzer框架,利用通用IR和三种变异技术自动生成跨语言测试程序,通过差分测试发现多个JVM语言编译器缺陷,其中TypeChanger最有效,共发现24个已确认缺陷。
2025-07-09 cs.PL cs.SE
TVM: An Automated End-to-End Optimizing Compiler for Deep Learning
Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院);AWS(亚马逊云科技);Shanghai Jiao Tong University(上海交通大学);UC Davis(加州大学戴维斯分校);Cornell(康奈尔大学)
越来越需要将机器学习引入各种各样的硬件设备。目前的框架依赖于特定于供应商的运算符库,并针对范围较窄的服务器级GPU进行了优化。将工作负载部署到新平台--例如移动电话、嵌入式设备和加速器(例如,FPGA、ASIC)--需要大量的手动工作。我们提出了TVM,这是一个编译器,它公开了图形级和操作符级优化,为跨不同硬件后端的深度学习工作负载提供性能可移植性。TVM解决了特定于深度学习的优化挑战,例如高级操作符融合,映射到任意硬件原语和内存延迟隐藏。它还采用了一种新的,基于学习的成本建模方法,用于快速探索代码优化,从而自动优化低级程序的硬件特性。实验结果表明,TVM在硬件后端提供的性能与低功耗CPU,移动GPU和服务器级GPU的最先进的手工调优库竞争。我们还展示了TVM针对新加速器后端的能力,例如基于FPGA的通用深度学习加速器。该系统是开源的,并在几家大公司的生产中使用。
2018-10-05 cs.AI cs.LG cs.PL
Quantum Circuit Transformations with a Multi-Level Intermediate Representation Compiler
量子计算承诺处理信息的显着方法,但需要新的工具来将程序表示编译为量子计算机所需的物理指令。在这里,我们提出了一种新的适应的多级中间表示(MLIR)集成到一个量子编译器,可用于检查程序执行。我们首先介绍了MLIR如何使量子线路转换在量子计算设备上高效执行,然后给出了一个基于所谓的镜像电路的编译器转换的例子。我们证明,在编译过程中插入的镜像电路可以通过评估几个超导和离子阱硬件平台上的量子线路精度来测试硬件性能。我们的研究结果验证MLIR作为一种高效和有效的方法,收集硬件相关的诊断,通过自动化的量子线路的转换。
2021-12-20 cs.PL quant-ph
An Asymptotic Cost Model for Autoscheduling Sparse Tensor Programs
本文提出首个稀疏张量程序的自动渐近调度器,通过抽象成本表示和帕累托前沿缩小搜索空间,实验表明其生成内核性能优于TACO默认调度。
2021-11-29 cs.MS cs.PL
Automatic Full Compilation of Julia Programs and ML Models to Cloud TPUs
Julia Computing, Inc.(朱莉娅计算公司)
Google的Cloud TPU是机器学习工作负载的一种有前途的新硬件架构。近年来,它们为谷歌的许多里程碑式的机器学习成就提供了动力。谷歌现在已经在其云平台上提供了TPU的一般用途,并且最近已经进一步开放它们,允许非TensorFlow前端使用。我们描述了一种方法和实现,通过这个新的API和Google XLA编译器将Julia程序的适当部分卸载到TPU。我们的方法是能够完全融合的VGG19模型表示为一个朱莉娅程序到一个单一的TPU可执行文件被卸载到设备的前向传递。我们的方法与Julia代码上现有的基于编译器的自动微分技术组合良好,因此我们也能够自动获得VGG19向后传递,并类似地将其卸载到TPU。使用我们的编译器针对TPU,我们能够在0.23秒内对一批100张图像进行VGG19正向传递评估,这与CPU上原始模型所需的52.4秒相比毫不逊色。我们的实现不到1000行Julia,没有对核心Julia编译器或任何其他Julia包进行TPU特定的更改。
2018-10-23 cs.LG cs.PL stat.ML
Quanto: Optimizing Quantum Circuits with Automatic Generation of Circuit Identities
现有的量子编译器专注于将逻辑量子线路映射到量子设备及其本机量子门。在编译过程中,仅使用简单的电路恒等式来优化量子线路。这种方法忽略了更复杂的电路恒等式,这可以用于进一步优化量子线路。我们提出了Quanto,第一个自动生成电路身份的量子优化器。Quanto将门集合作为输入,并为门集合生成可证明正确的电路标识。Quanto的电路身份自动生成包括单量子位和双量子位门,这导致了一个新的电路身份数据库,其中一些是我们所知的新颖的。除了生成新的电路恒等式,Quanto的优化器还将这样的电路恒等式应用于量子线路,并找到其他量子编译器(包括IBM Qiskit和剑桥量子计算Tket)尚未发现的优化量子线路。Quanto的电路身份数据库可以用于改进现有的量子编译器,Quanto可以用于为新的门集生成身份数据库。
2021-11-22 cs.PL quant-ph
Hexcute: A Compiler Framework for Automating Layout Synthesis in GPU Programs
University of Toronto(多伦多大学);NVIDIA(英伟达);Vector Institute(向量研究所)
Hexcute是一种自动布局合成的编译器框架,通过类型推断算法实现高效GPU程序编译,显著提升性能并减少代码量。
2026-01-28 cs.AI cs.LG cs.PL
Compilable Neural Code Generation with Compiler Feedback
Wuhan University(武汉大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Huazhong University of Science and Technology(华中科技大学);Huawei Technologies Co., Ltd.(华为技术有限公司);Yunnan University(云南大学)
自动生成具有(或不具有)自然语言描述的可编译程序一直是计算语言学和自动化软件工程的试金石问题。现有的深度学习方法将代码生成建模为文本生成,或者由解码器中的语法结构约束,或者由在大规模代码语料库上预先训练的语言模型驱动(例如,CodeGPT、PLBART和CodeT5)。然而,他们中的一些帐户的编译生成的程序。为了提高生成程序的可编译性,本文提出了一种利用编译器反馈进行可编译代码生成的三级流水线COMPCODER,包括语言模型微调、可编译性增强和可编译性判别。两个代码生成任务的综合实验表明,我们提出的方法的有效性,提高编译成功率从44.18到89.18在代码完成的平均和从70.3到96.2,分别在文本到代码生成,当与最先进的CodeGPT相比。
2022-03-10 cs.AI cs.CL cs.PL
Implementing Support for Pointers to Private Data in a General-Purpose Secure Multi-Party Compiler
最近的编译器允许将处理私有数据的通用程序(以传统的程序设计语言编写)翻译成相应功能的安全分布式实现。由此产生的程序,然后保证可证明保护私人数据使用安全的多方计算技术。这种编译器的目标是通用性、可用性和效率,但是现有的编译器迄今为止还不支持现代程序设计语言的完整特征集。特别是,最近的编译器PICCO和两方ANSI C编译器努力将任何C程序翻译成其安全的多方实现,但目前缺乏对指针和动态内存分配的支持,这是许多C程序的重要组成部分。在这项工作中,我们减轻了限制,并增加了对私有数据的指针的支持,从而为PICCO编译器提供动态内存分配,使其能够处理私有数据上更多样化的程序集。因为这样做开辟了一个新的设计空间,我们调查使用指针的私有数据(与已知以及存储在他们的私人位置)在程序中,并报告我们的发现。除了动态内存分配,我们研究其他重要的主题与常见的指针使用,如指针/地址引用,铸造,并建立各种数据结构的安全多方计算的上下文中。这使得编译器能够自动将使用指向私有数据的指针的用户程序转换为其分布式实现,从而在整个计算过程中可证明地保护私有数据。我们经验评估的建设和报告的代表性方案的性能。
2017-06-30 cs.CR cs.PL
AwareCompiler: Agentic Context-Aware Compiler Optimization via a Synergistic Knowledge-Data Driven Framework
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software Chinese Academy of Sciences(中国科学院软件研究所);Hangzhou Institute for Advanced Study at UCAS(UCAS杭州高等研究 institute);Nanyang Technological University(南洋理工大学)
针对编译器优化中语义错位、交互低效和奖励稀疏问题,提出AwareCompiler智能体框架,通过知识整合、自适应pass生成和混合训练,在标准基准上显著提升性能与效率。
2025-10-13 cs.AI cs.PL
SNIP: Speculative Execution and Non-Interference Preservation for Compiler Transformations
本文提出基于新模拟关系的证明方法,在推测语义下保持编译器变换的非干扰,发现并自动修复了寄存器分配中的未知安全缺陷,并在 libsodium 上验证。
2024-11-21 cs.CR cs.PL
Deep Data Flow Analysis
Facebook AI Research(Facebook人工智能研究院);ETH Zürich(苏黎世联邦理工学院);University of Edinburgh(爱丁堡大学)
编译器架构师在为编译器优化构建算法时越来越多地关注机器学习。自动启发式设计的承诺将编译器工程师从程序、体系结构和其他优化的复杂交互中解放出来,这是诱人的。然而,大多数机器学习方法甚至不能复制对数据流分析的最简单的抽象解释,而这些解释对于做出良好的优化决策至关重要。这种情况必须改变,机器学习才能成为编译器语言学的主导技术。为此,我们提出了ProGraML -机器学习的程序图-一种独立于语言的,可移植的深度学习整体程序语义表示。为了对当前和未来的编译器分析学习技术进行基准测试,我们引入了LLVM的461 k中间表示(IR)文件的开放数据集,涵盖了五种源程序设计语言,以及15.4M相应的数据流结果。我们制定的数据流分析作为一个MPNN,并表明,使用ProGraML,标准的分析可以学习,提高下游编译器优化任务的性能。
2020-11-21 cs.LG cs.PL
ECCO: Evidence-Driven Causal Reasoning for Compiler Optimization
Institute of Software at Chinese Academy of Sciences(中国科学院软件研究所);Hangzhou Institute for Advanced Study at University of Chinese Academy of Sciences(中国科学院大学杭州高等研究 institute);University of Chinese Academy of Sciences(中国科学院大学)
ECCO通过结合可解释推理与组合搜索,提升编译器优化性能,实现24.44%的平均周期减少。
2026-01-23 cs.AI cs.LG cs.PF
Fortran performance optimisation and auto-parallelisation by leveraging MLIR-based domain specific abstractions in Flang
本研究将Flang MLIR通用编译器与Open Earth Compiler的MLIR stencil方言结合,开发Fortran模板提取转换与自动并行化方法,在Cray超算上实现2-10倍性能提升,支持多线程、分布式并行与GPU优化且无需修改串行源码。
2023-10-03 cs.DC cs.PL
Scheduling Languages: A Past, Present, and Future Taxonomy
本文梳理调度语言的起源、共性与现状,提出分类框架,并呼吁围绕统一基础设施提高抽象、实用性与可移植性。
2024-10-25 cs.DC cs.PF cs.PL
CryptOpt: Automatic Optimization of Straightline Code
本文提出CryptOpt,一个针对长段直线代码的自动优化器,在八个硬件平台上相比现成编译器实现最高2.56倍加速。
2023-05-31 cs.CR cs.NE cs.PL
LOOPerSet: A Large-Scale Dataset for Data-Driven Polyhedral Compiler Optimization
New York University Abu Dhabi(纽约大学阿布扎赫分校)
LOOPerSet是一个大规模数据集,用于数据驱动的多面体编译器优化,通过提供2800万个标记数据点,促进学习成本模型和自动调度的研究。
2025-12-27 cs.LG cs.PF cs.PL
Enabling Accuracy-Aware Quantum Compilers using Symbolic Resource Estimation
在将量子程序编译成低层门集时,必须考虑近似误差。我们提出了一种方法,自动跟踪这种错误,然后优化精度参数,以保证指定的整体精度,同时旨在最大限度地减少实施成本方面的量子门。我们的方法的核心思想是直接从量子程序的高级描述中提取指定优化问题的函数。然后,自定义编译器通过优化这些函数,将它们转换为(接近)符号表达式,用于(1)总错误和(2)实现成本(例如,总量子门计数)。量子程序的所有未指定参数都将在这些表达式中显示为变量,包括精度参数。在解决相应的优化问题之后,可以从找到的解决方案实例化电路。我们开发了两个原型实现,一个是基于Clang/LLVM的C++,另一个是使用Q#编译器基础设施。我们基准测试我们的原型典型的量子计算程序,包括量子傅里叶变换,量子相位估计,和肖尔的算法。
2021-01-05 cs.ET cs.PL quant-ph