Compilable Neural Code Generation with Compiler Feedback
Wuhan University(武汉大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Huazhong University of Science and Technology(华中科技大学);Huawei Technologies Co., Ltd.(华为技术有限公司);Yunnan University(云南大学)
自动生成具有(或不具有)自然语言描述的可编译程序一直是计算语言学和自动化软件工程的试金石问题。现有的深度学习方法将代码生成建模为文本生成,或者由解码器中的语法结构约束,或者由在大规模代码语料库上预先训练的语言模型驱动(例如,CodeGPT、PLBART和CodeT5)。然而,他们中的一些帐户的编译生成的程序。为了提高生成程序的可编译性,本文提出了一种利用编译器反馈进行可编译代码生成的三级流水线COMPCODER,包括语言模型微调、可编译性增强和可编译性判别。两个代码生成任务的综合实验表明,我们提出的方法的有效性,提高编译成功率从44.18到89.18在代码完成的平均和从70.3到96.2,分别在文本到代码生成,当与最先进的CodeGPT相比。
2022-03-10 cs.AI cs.CL cs.PL
Reinforcement Learning from Compiler and Language Server Feedback
Princeton University(普林斯顿大学)
本文提出RLCSF方法和Lanser-CLI工具,通过编译器和语言服务器的反馈信号提升编码代理的可靠性,利用确定性奖励函数和分析捆绑技术实现过程监督。
2026-05-01 cs.AI cs.CL cs.PL
Accurate Coverage Metrics for Compiler-Generated Debugging Information
针对优化程序调试信息不完整且现有覆盖率度量方法粗糙不可比的问题,提出可由工具计算的新度量标准,以激励语言实现提升调试质量。
2024-02-07 cs.PL cs.SE
Machine-Generated, Machine-Checked Proofs for a Verified Compiler (Experience Report)
National Technical University of Athens(雅典国立技术大学)
利用机器学习模型生成并验证编译器正确性证明,通过模板技术实现ANF转换的语义保持性证明,耗时96小时完成,展示了机器辅助证明的潜力与局限。
2026-02-23 cs.PL
MappedTrace: Tracing Pointer Remotely with Compiler-generated Maps
Yale University(耶鲁大学)
MappedTrace利用编译器生成的只读映射远程精确识别程序快照中的指针,降低运行时开销,并支持内存泄漏检测与无限内存抽象等新应用。
2025-01-18 cs.CL cs.PL
CoTran: An LLM-based Code Translator using Reinforcement Learning with Feedback from Compiler and Symbolic Execution
Georgia Institute of Technology(佐治亚理工学院);University of Toronto(多伦多大学);University of California San Diego(加利福尼亚大学圣迭戈分校);Columbia University(哥伦比亚大学)
针对现有LLM代码翻译方法编译可靠性与功能等价性不足的问题,本文提出CoTran工具,通过结合编译器与符号执行测试反馈的强化学习微调LLM,在超5.7万组Java-Python代码对基准上,相较现有工具显著提升了编译准确率与功能等价准确率。
2024-10-30 cs.AI cs.PL cs.SE
Generate Compilers from Hardware Models!
主张利用程序合成技术从硬件设计语言模型自动生成编译器后端,并以自动生成FPGA技术映射器为实例验证了该方法的可行性。
2023-05-16 cs.AR cs.PL
Visualizing The Intermediate Representation of Just-in-Time Compilers
即时(JIT)编译器被许多现代编程系统用来提高性能。JIT编译器中的错误提供了可利用的安全漏洞,并且由于它们庞大,复杂和动态,因此调试它们是困难的。目前的调试和可视化工具处理静态代码,并不适合在这个领域。我们描述了一种新的方法来简化大型和复杂的中间表示,生成的JIT编译器和可视化它与地铁地图的比喻,以帮助开发人员在调试。在Google的V8 JavaScript解释器和TurboFan JIT编译器上使用我们的原型实现的实验表明,它可以帮助识别和定位错误代码。
2021-06-09 cs.PL
REASONING COMPILER: LLM-Guided Optimizations for Efficient Model Serving
University of California San Diego(加州大学圣地亚哥分校)
推理编译器利用大语言模型进行编译优化,通过上下文感知决策提升样本效率,实现高效模型服务。
2026-02-04 cs.AI cs.LG cs.PL
Compiler-Guided Inference-Time Adaptation: Improving GPT-5 Programming Performance in Idris
Ming Hsieh Department of Electrical and Computer Engineering(明希斯部门电子与计算机工程系);Viterbi School of Engineering, University of Southern California(维特比工程学院,南加州大学)
本文研究GPT-5通过编译器反馈提升在低资源语言Idris中的编程性能,发现结合本地编译错误的改进策略显著提高了模型表现。
2026-02-12 cs.AI cs.PL
OMP2HMPP: Compiler Framework for Energy Performance Trade-off Analysis of Automatically Generated Codes
我们提出了OMP2HMPP,一个工具,在第一步,自动翻译成各种可能的转换HMPP的OpenMP代码。在第二步中,OMP2HMPP执行所有变体以获得每个变换的性能和功耗。由此产生的权衡可以用来选择更方便的版本。在Polybench基准测试的一组代码上运行该工具后,我们发现最好的自动转换相当于专家手动完成的转换。与运行在2个四核处理器上的原始OpenMP代码相比,我们获得了31倍的平均速度提升和5.86倍的每瓦运算系数。
2015-06-09 cs.DC cs.PF cs.PL
Agentic Auto-Scheduling: An Experimental Study of LLM-Guided Loop Optimization
New York University Abu Dhabi(纽约大学阿布扎比分校)
本文提出ComPilot框架,利用LLM与编译器闭环交互实现代码优化,实验表明其在循环优化中效果优于现有方法。
2025-12-27 cs.DC cs.LG cs.PF
Grammar-Aware Literate Generative Mathematical Programming with Compiler-in-the-Loop
Business School, University of Edinburgh(爱丁堡大学商学院);Insight Centre for Data Analytics, University College Cork(科克大学数据分析研究所)
提出 SyntAGM 系统,通过迭代生成-编译-评估-修正循环,利用编译器反馈和 LLM 对齐判断,生成可读的代数建模语言优化模型,实现成本与质量的更优权衡。
2026-05-28 cs.AI cs.PL
The Trusted Computing Base of the CompCert Verified Compiler
CompCert是第一个现实的正式验证编译器:它提供了一个机器检查的数学证明,证明它生成的代码与源代码匹配。然而,这种做法可能存在漏洞。我们全面分析了CompCert的错误可能导致生成错误代码的方面。可能的问题包括从源语言和目标语言的建模到用于从编译器内部调用外部算法的某些技术。
2022-10-10 cs.LO cs.PL
WhiteFox: White-Box Compiler Fuzzing Empowered by Large Language Models
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Huazhong University of Science and Technology(华中科技大学)
WhiteFox 是首个利用大语言模型结合编译器源代码信息的白盒模糊测试器,通过多智能体框架分析优化源码并生成针对性测试,在三大深度学习编译器中触发深层优化的能力最高超出最先进方法 8 倍,并发现 101 个缺陷。
2024-09-04 cs.LG cs.PL cs.SE
langcc: A Next-Generation Compiler Compiler
传统上,解析一直是编译器开发中一个费力且容易出错的组件,而且大多数工业程序设计语言的解析器仍然是手工编写的。作者[Zim22]表明,自动解析器生成可以是实用的,通过一些新的创新,在标准LR范式的Knuth等人。有了这种方法,我们可以自动生成有效的解析器,几乎所有的语言,直观上是“容易解析”。这包括Golang 1.17.8和Python 3.9.12,我们生成的解析器分别比标准解析器快1.2倍和4.3倍。本文档是一份附带的技术报告,描述了该工作的软件实现,可在https://github.com/jzimmerman/langcc上获得开源。
2022-09-17 cs.FL cs.PL
Testing, Credible Compilation, and Verification in the Axon Verified Compiler in Lean and Claude Code
Massachusetts Institute of Technology(麻省理工学院);National University of Singapore(新加坡国立大学)
本文探讨了Axon编译器中测试、可信编译验证、验证及审计的应用,通过Lean和Claude代码实现的全机检查证明保证生成代码的正确性,无需审计。
2026-08-03 cs.PL
The Security Risk of Lacking Compiler Protection in WebAssembly
WebAssembly越来越多地被用作跨平台应用程序的编译目标。在本文中,我们调查是否可以依靠现有的C编译器执行的安全措施时,编译C程序WebAssembly。我们将4,469个具有已知缓冲区溢出漏洞的C程序编译为x86代码和WebAssembly,并观察到1,088个程序的生成代码的执行结果不同。通过手动检查,我们发现这些问题的根本原因是生成的WebAssembly中缺乏安全措施,例如堆栈金丝雀:虽然x86代码在基于堆栈的缓冲区溢出时崩溃,但相应的WebAssembly仍在继续执行。我们的结论是,编译一个现有的C程序到WebAssembly没有额外的预防措施可能会妨碍其安全性,我们鼓励更多的研究在这个方向。
2021-11-02 cs.CR cs.PL
HTCC: Haskell to Handel-C Compiler
函数式程序设计语言(如Haskell)支持简单、简洁和按结构正确的硬件开发。HTCC将Haskell的一个子集编译为Handel-C语言,并提供硬件输出。此外,HTCC生成VHDL,Verilog,EDIF和SystemC程序。HTCC编译器的设计包括词法分析器、语法分析器和语义分析器。HTCC自动化了转换派生方法,以快速生产映射到现场可编程门阵列(FPGA)的硬件。HTCC使用ANTLR编译器-编译器工具生成,并支持有效的集成开发环境。本文介绍了HTCC的设计原理和实现方法。给出了一阶和高阶函数的几个样本生成。最后给出了XTEA密码的编译实例。调查包括彻底的评价和业绩分析。目标FPGA包括Altera和Xilinx的Cyclone II、Stratix IV和Virtex-6。
2019-07-10 cs.PL
Compiling Language Definitions: The ASF+SDF Compiler
ASF+SDF元环境是一个交互式语言开发环境,其主要应用领域是领域专用语言的定义、程序分析和转换工具的生成、软件更新工具的生成以及通用规范和原型。它使用条件重写规则来定义语言的动态语义和其他面向工具的方面,因此生成的工具的有效性严重依赖于重写规则实现的质量。ASF+SDF重写规则编译器生成C代码,从而利用C的可移植性和当前C编译器的复杂优化能力,并避免潜在的抽象机器接口瓶颈。它可以处理大型(10 000+规则)的语言定义,并使用一个有效的运行时存储方案能够处理大型(1 000 000+节点)的条款。术语存储使用最大子术语共享(hash-consing),这在ASF+SDF中比在Lisp或SML中更有效。广泛的基准测试表明,生成的代码的时间和空间性能与当前最好的重写规则和函数式语言编译器一样好,甚至更好。
2000-07-06 cs.PL cs.SE
Prioritizing Configuration Relevance via Compiler-Based Refined Feature Ranking
Università degli Studi di Milano(米兰大学)
本文提出了一种基于编译器的配置优先级方法,通过特征排名和图结构优化,生成高效且可靠的配置集,提升大规模配置空间的探索效率。
2026-01-22 cs.PL
Copy-and-Patch Compilation: A fast compilation algorithm for high-level languages and bytecode
当编译发生在运行时时,快速编译是很重要的,例如现代数据库系统中的查询编译器和现代浏览器中的WebAssembly虚拟机。我们提出了复制和补丁,一个非常快速的编译技术,也产生高质量的代码。它能够将高级语言和低级字节码程序降低到二进制代码,通过将来自二进制实现变体的大型库的代码拼接在一起。我们称这些二进制实现为stendable,因为它们有漏洞,在代码生成过程中必须插入缺失值。我们展示了如何构建一个模板库,并描述了复制和补丁算法,生成优化的二进制代码。我们演示了两个使用情况下的复制和补丁:一个编译器的高级C语言的元编程和WebAssembly的编译器。我们的高级语言编译器的编译成本可以忽略不计:它从AST生成代码所用的时间比构造AST所用的时间要少。我们已经实现了一个SQL数据库查询编译器上的元编程系统,并表明,在TPC-H数据库基准测试,复制和补丁生成的代码比LLVM -O 0快两个数量级,比更高的优化水平快三个数量级。生成的代码比解释快一个数量级,比LLVM -O 0快14%。我们的WebAssembly编译器生成代码的速度比Liftoff快4.9 - 6.5倍,Liftoff是Google Chrome中的WebAssembly基线编译器。生成的代码在Coremark和PolyBenchC WebAssembly基准测试中的性能也超过了Liftoff的39%-63%。
2021-09-15 cs.PL
depyf: Open the Opaque Box of PyTorch Compiler for Machine Learning Researchers
AIML, Apple(苹果公司AIML部门);Division of Computer Science, UC Berkeley(加州大学伯克利分校计算机科学系)
针对 PyTorch 编译器对机器学习研究人员不透明的问题,提出非侵入式工具 depyf,通过反编译字节码实现源码级调试,助力研究人员深入理解编译器底层过程。
2024-03-14 cs.AI cs.LG cs.PL
LOOPerSet: A Large-Scale Dataset for Data-Driven Polyhedral Compiler Optimization
New York University Abu Dhabi(纽约大学阿布扎赫分校)
LOOPerSet是一个大规模数据集,用于数据驱动的多面体编译器优化,通过提供2800万个标记数据点,促进学习成本模型和自动调度的研究。
2025-12-27 cs.LG cs.PF cs.PL
Formal Performance and Compile Time Guarantees for Compiler Optimization Heuristics
Cornell University(康奈尔大学)
该研究针对编译器启发式算法的性能与编译时间缺陷,提出在Rocq中验证编译器 passes 的性能与编译时间属性,通过内联展开的概念验证实现语义保留及相关界的验证,为编译器优化的形式化保证提供方案。
2026-08-21 cs.PF cs.PL
PolyBlocks: A Compiler Infrastructure for AI Chips and Programming Frameworks
Polymage Labs(Polymage实验室);Indian Institute of Science(印度科学研究院)
PolyBlocks是一种基于MLIR的编译器基础设施,通过自动代码生成和优化,实现AI编程框架到AI芯片的高效转换。
2026-03-10 cs.LG cs.PL
ASDF: A Compiler for Qwerty, a Basis-Oriented Quantum Programming Language
本文介绍ASDF,一个基于MLIR的Qwerty语言编译器,通过高级量子IR从基底转换综合电路,生成OpenQASM 3或QIR,其容错资源成本与现有电路级编译器相当。
2025-01-22 cs.PL quant-ph
EVA: An Encrypted Vector Arithmetic Language and Compiler for Efficient Homomorphic Computation
University of Texas at Austin(德克萨斯大学奥斯汀分校);EPFL(洛桑联邦理工学院);Microsoft Research(微软研究院)
全同态加密(FHE)通过实现存储和计算的安全卸载而提供强大的能力,并且方案和实现中的最新创新使其更具吸引力。与此同时,FHE是出了名的难以与非常受约束的编程模型、非常不寻常的性能配置文件和许多加密约束一起使用。现有的FHE编译器要么针对更简单但效率较低的FHE方案,要么只支持特定的域,在这些域中,它们可以依赖于专家提供的高级运行时来隐藏复杂性。本文提出了一种新的FHE语言称为加密向量算术(EVA),它包括一个优化编译器,生成正确的和安全的FHE程序,同时隐藏所有的复杂性的目标FHE计划。在我们优化编译器的支持下,程序员可以直接在EVA中开发高效的通用FHE应用程序。例如,我们已经开发了使用EVA的图像处理应用程序,只有很少的几行代码。EVA也被设计为一种中间表示,可以作为编译更高级别的领域特定语言的目标。为了证明这一点,我们重新定位CHET,现有的特定领域的编译器神经网络推理,EVA。由于EVA中的新颖优化,其程序平均比CHET生成的程序快5.3倍。我们相信EVA将使FHE更容易开发FHE应用程序和特定领域的FHE编译器,从而使FHE得到更广泛的采用。
2020-06-26 cs.CR cs.LG cs.PL
LEGO-Compiler: Enhancing Neural Compilation Through Translation Composability
SKLP, Institute of Computing Technology, CAS University of Chinese Academy of Sciences, Beijing, China(SKLP,计算技术研究所,中国科学院大学,北京,中国);University of Leeds, UK(利兹大学,英国);Zhongguancun Laboratory, Beijing, China(中关村实验室,北京,中国)
提出LEGO-Compiler神经编译系统,通过块分解、可验证工作流和反馈机制,利用LLM将高级语言翻译为汇编,在ExeBench和AnsiBench上分别达到99%和97.9%准确率,并显著提升可编译规模。
2025-05-26 cs.AI cs.PL cs.SE
Sampling Optimized Code for Type Feedback
为了有效地执行动态类型语言,许多语言实现都采用了两层体系结构。第一层的目标是低延迟启动时间,并收集动态配置文件,例如变量的动态类型。第二层使用优化编译器提供高吞吐量,该编译器将代码专门化为记录的类型信息。如果程序行为改变到在专用代码中出现以前未看到的类型,则该专用代码变为无效,它被去优化,并且控制被转移回第一层执行引擎,该第一层执行引擎将重新开始专用化。但是,如果程序行为变得更加具体,例如,如果多态变量变得单态,则不会发生任何变化。一旦程序运行优化的代码,就没有办法注意到优化的机会已经错过了。我们建议采用基于采样的分析器来监控本地代码,而无需任何插装。没有检测意味着当探查器不活动时,不会产生开销。我们提出了一个实现的上下文中的借记即时,优化编译器的R语言。基于采样的配置文件,我们能够检测出Debit生成的本机代码何时专门用于陈旧的类型反馈,并将其重新编译为更特定于类型的代码。我们表明,采样增加了不到3%的开销,在大多数情况下,在少数情况下高达9%,它可靠地检测陈旧的类型反馈在毫秒内。
2020-10-05 cs.PL
COOLIO: A Language Support Extension for the Classroom Object Oriented Language
COOL是一种面向对象的程序设计语言,用于在许多本科生和研究生课程中教授编译器设计。由于大多数学生不熟悉该语言,代码编辑器和IDE通常缺乏对COOL的支持,因此用COOL编写代码和测试程序对学生来说是一种负担,导致他们无法完全理解该语言和编译器的许多重要和高级功能。在这篇工具论文中,我们描述了COOLIO,一个在流行的VSCode IDE中支持COOL的扩展。COOLIO提供(i)通过词法分析和解析对COOL语言的语法突出显示支持,(ii)语义感知的自动完成功能,帮助学生编写更少的代码并减轻必须记住不熟悉的COOL语法和语法的负担,以及(iii)来自底层COOL解释器/编译器的相关反馈(例如,错误信息、键入信息)通过VSCode编辑器向学生提供调试帮助。我们相信,COOLIO将帮助学生享受编写COOL程序,从而学习和欣赏更先进的编译器概念。
2023-02-09 cs.PL
Agentic Code Optimization via Compiler-LLM Cooperation
AWS AI;Georgia Institute of Technology(佐治亚理工学院)
本文提出编译器-LLM协作方法,结合传统编译优化与LLM生成,提升代码性能,实验显示比现有方法快1.25倍。
2026-04-05 cs.PL
A Compiler Infrastructure for Accelerator Generators
我们提出了Calyx,一种新的中间语言(IL)编译成硬件设计的高级程序。Calyx结合了一个类似硬件的结构化语言和一个类似软件的控制流表示与循环和条件。这种分裂表示使一类新的硬件为重点的优化,需要结构和控制流的信息,这是至关重要的高层次的编程模型的硬件设计。Calyx编译器使用有限状态机降低控制流构造,并生成可合成的硬件描述。我们已经在一个优化编译器中实现了Calyx,该编译器可以将高级程序转换为硬件。我们演示了花萼使用两个DSL到RTL编译器,脉动阵列生成器和一个最近的命令式加速器语言,并将它们与使用高级合成(HLS)生成的等效设计进行比较。脉动阵列的$4.6\times$速度更快,$1.1\times$平均比HLS实现更大,并且类似于HLS的命令式语言编译器是高度优化的商业HLS工具链的几个因素之一。我们还描述了在Calyx编译器中实现的三个优化。
2021-02-19 cs.AR cs.PL
CVC Verilog Compiler -- Fast Complex Language Compilers Can be Simple
本文介绍了如何开发Verilog硬件描述语言(HDL)优化的流图编译仿真器。它声称,这里描述的方法和算法可以应用于其他复杂的计算机语言的流图编译器的开发。该方法使用冯·诺依曼计算机体系结构(MRAM模型)作为计算的最佳抽象模型,并使用备选机器码序列的比较和选择来利用现代处理器低级并行性。通过使用这里描述的反形式主义的方法,最快的可用的完整的IEEE 1364 2005 Verilog HDL标准模拟器已经开发出来。编译器只需要95,000行C代码和两个开发人员。本文解释了如何编译模拟器验证反形式主义计算机科学方法最好的彼得诺尔的datalogy表示,并提供了具体的指导方针,应用该方法。描述了从慢速解释器到基于快速流图的机器码编译模拟器的发展历史。最初的努力,试图将一个完整的1364兼容的解释器转换为解释执行可能自动生成的虚拟机的失败进行了讨论。快速Verilog仿真需要去除抽象细节的论点是不正确的。给出了GPU并行Verilog模拟失败的原因。
2018-01-12 cs.PL
Compiler-Grounded Hierarchical Diagnosis for LLM-Based Triton Kernel Optimization
Huawei Technologies Co., Ltd(华为技术有限公司)
研究针对大语言模型内核优化中编译器优化失败原因难揭示的问题,提出基于编译器的Triton内核分层优化框架,通过跨层诊断实现从模式分类到源级重写的优化,在Ascend NPU上显著加速Triton内核。
2026-07-28 cs.AI cs.PL
A Systematic Impact Study for Fuzzer-Found Compiler Bugs
尽管最近对编译器随机测试(模糊)很感兴趣,但模糊发现的编译器错误对实际应用程序的实际影响几乎没有得到评估。我们提出了第一个定量和定性的研究在一个成熟的编译器中的错误编译错误的有形影响。我们遵循一种严格的方法,根据(1)错误是否在编译过程中触发;(2)由于触发错误,生成的汇编代码在语法上发生变化的程度;以及(3)这些变化有多少会导致回归测试套件失败,并可用于在执行过程中手动触发分歧。该研究是针对309个Debian软件包中超过1000万行C/C++代码的编译进行的,使用了Clang/LLVM编译器中四个最先进的模糊器发现的12%的历史错误和现已修复的错误编译错误,以及人类用户编译真实代码或通过形式化验证发现的18个错误。结果表明,几乎一半的模糊发现的错误传播到生成的二进制文件的一些软件包,但很少影响他们的语法,并导致两个失败时,运行他们的测试套件。用户报告和形式化验证错误没有表现出更高的影响,触发错误的频率较低,只有一次测试失败。我们手动分析了一些bug,无论是模糊发现的还是没有发现的,都表明没有一个bug可以轻易地在分析中考虑的软件包上触发运行时分歧,而且一般来说,它们只影响角落情况。
2019-09-05 cs.PL cs.SE
Compilation Forking: A Fast and Flexible Way of Generating Data for Compiler-Internal Machine Learning Tasks
更复杂的优化决策通常基于围绕几个已建立的基准套件的手工制作的算法。或者,它们可以从编译期间产生的特性和性能数据中学习。然而,基于机器学习模型的数据驱动编译器优化需要大量高质量的数据集进行训练,以便匹配甚至优于现有的人工编译器。在静态编译设置中,相关的工作已经通过迭代编译解决了这个问题。然而,动态编译器可能会根据动态选择的编译策略产生不同的数据,这会简化可比数据的生成。我们提出编译分叉,一种技术,用于生成一致的功能和性能数据,从任意的,动态编译的程序。在单个程序运行中执行具有相同分析和编译历史的不同版本的程序部分,以最小化动态编译和运行时环境引起的噪声。我们的方法有利于大规模的编译器优化决策的性能评估。此外,编译分叉通过提供用于模型训练的数据来支持基于机器学习创建特定于域的编译策略。我们以一种与编程语言无关的方式在GraalVM编译器中实现了编译分叉。为了评估生成的数据的质量,我们训练了几个机器学习模型,以取代编译器的循环相关优化。当比较基准测试套件性能的几何平均值时,训练的模型与高度调优的编译器算法表现得同样好。对少数单个基准测试的较大影响范围从20%的加速到17%的减速。所提出的方法可以在任何动态编译器中实现。我们相信,它可以帮助分析编译决策,并利用机器学习的使用到动态编译。
2022-06-28 cs.PL
DISTAL: The Distributed Tensor Algebra Compiler
我们介绍DISTAL,密集张量代数的目标是现代分布式和异构系统的编译器。DISTAL允许用户通过单独的格式和调度语言独立地描述张量和计算如何映射到目标机器上。对数据和计算分布的选择的组合创建了一个大的设计空间,该设计空间包括来自过去的许多算法(例如,Cannon算法)和本发明(例如,COSMA)。DISTAL将张量代数领域特定语言编译为基于任务的分布式运行时系统,并支持具有多核CPU和多个GPU的节点。DISTAL生成的代码与Lassen超级计算机256个节点上的矩阵乘法优化代码具有竞争力,并且在高阶张量运算上优于现有系统1.8倍至3.7倍(异常值为45.7倍)。
2022-03-17 cs.DC cs.PL
Automatic Compiler-Based Data Structure Generation
优化编译器主要用于优化控制流程。数据结构的优化留给程序员,并且程序员的责任是设计数据结构以适合目标硬件。需要非常特定的数据结构来利用某些硬件功能,例如高速缓存行大小、地址对齐、向量宽度和存储层次结构细节。因为优化编译器不以数据结构为目标,所以这些特性被显式地编码在程序规范中。这会导致复杂的程序从编译器中隐藏计算的本质,从而导致编译器分析技术崩溃并阻碍编译器优化的应用。为了解决这个问题,我们建议走向规范的程序,而不明确指定的数据结构。编译器将自动生成实际的数据结构和从该规范开始的可执行代码。在本文中,我们介绍了一个基于编译器的框架,以支持这种自动生成的数据结构,使编译器超越了单独的控制流的优化,也针对数据的组织和访问的方式。作为这个框架的有效性的案例研究,我们提出了一个详细的描述和实验结果的应用所提出的技术,自动生成数据结构稀疏矩阵计算。我们表明,这种方式可以生成稀疏的数据结构,到目前为止,只有指定的手和自动实例化的例程和相应的数据结构可以发现,优于现有的三个稀疏代数库的实现。
2022-03-14 cs.DC cs.PL
A High-Performance Sparse Tensor Algebra Compiler in Multi-Level IR
张量代数被广泛用于许多应用中,例如科学计算、机器学习和数据分析。表示真实世界数据的张量通常是大而稀疏的。存在数十种为稀疏矩阵和/或张量设计的存储格式,并且稀疏张量操作的性能取决于特定架构和/或所选择的稀疏格式,这使得实现和优化每个感兴趣的张量操作以及将代码从一个架构转移到另一个架构具有挑战性。我们提出了一个张量代数领域特定语言(DSL)和编译器基础设施,自动生成混合稀疏-密集张量代数操作的内核,名为COMET。拟议的DSL提供了类似于熟悉的爱因斯坦符号表示张量代数运算的高级编程抽象。编译器执行代码优化和转换,以实现高效的代码生成,同时覆盖广泛的张量存储格式。COMET编译器还利用数据重新排序来提高空间或时间局部性,以获得更好的性能。我们的研究结果表明,自动生成的内核的性能优于最先进的稀疏张量代数编译器,与高达20.92倍,6.39倍,和13.9倍的性能提高,并行SpMV,SpMM,和TTM TACO,分别。
2021-02-09 cs.DC cs.PL
Pydrofoil: accelerating Sail-based instruction set simulators
提出多阶段编译器Pydrofoil,结合AOT编译与基于PyPy的追踪JIT及领域特定优化,从Sail规范生成指令集模拟器,比Sail生成的C模拟器提速超230倍。
2025-03-06 cs.PL
Early Experience with ASDL in lcc
抽象数据描述语言(ASDL)是一种用于指定在编译器中间表示中经常发现的树数据结构的语言。ASDL生成器读取ASDL规范并生成代码来构造、读取和写入指定树的实例。使用ASDL允许编译器被分解为通过读写树进行通信的半独立组件。每个组件都可以用不同的语言编写,因为ASDL生成器可以用多种语言生成代码,并且由ASDL生成的代码编写的文件与机器和语言无关。ASDL是国家编译器基础设施项目的一部分,该项目旨在通过使构建高质量的编译器变得更加容易来大幅减少计算机系统研究的开销。本文介绍了划分lcc,一个广泛使用的可重定向的C编译器,分为两个组件,通过ASDL中定义的树进行通信。作为第一次使用ASDL在一个“真正的”编译器,这个经验揭示了很多关于改造现有的编译器使用ASDL所需的努力,所涉及的开销,以及ASDL本身的优点和缺点,其次,lcc。
1998-10-13 cs.PL cs.SE
Bringing GNU Emacs to Native Code
Emacs Lisp(Elisp)是Emacs文本编辑器家族使用的Lisp方言。GNU Emacs目前可以执行Elisp代码,无论是解释的还是编译成字节码后的字节解释的。在这项工作中,我们将讨论一个优化的Elisp针对本机代码的编译器方法的实现。本机编译器使用字节编译器的内部表示作为输入,并利用libgccjit使用GNU编译器集合(GCC)基础设施实现代码生成。生成的可执行文件存储为二进制文件,可以动态加载和卸载。该编译器的大部分功能都是用Elisp本身编写的,包括几个优化通道,以及一个与GNU Emacs核心和libgccjit接口的C后端。虽然仍在进行中,但我们的实现能够引导功能Emacs并编译所有词法范围的Elisp文件,包括整个GNU Emacs Lisp Package Archive(ELPA)。在一组小型基准测试中,本机编译的Elisp相对于等效字节码显示出从2.3倍到42倍的性能提升。
2020-04-06 cs.PL
Fully Countering Trusting Trust through Diverse Double-Compiling
空军对Multics的评估和Ken Thompson的图灵奖演讲(“对信任的反思”)表明,编译器可以被颠覆,将恶意特洛伊木马插入关键软件,包括它们自己。如果这种“信任信任”攻击未被检测到,那么即使对系统源代码进行完整的分析,也无法找到正在运行的恶意代码。以前已知的反措施是远远不够的。如果这种攻击无法被反击,攻击者可以悄悄地破坏整个计算机系统,从而完全控制全球的金融、基础设施、军事和/或商业系统。本文的主要工作是利用“多样性双重编译”(DDC)技术来检测和有效地对抗信任攻击,具体表现为:(1)形式化证明DDC可以判断源代码和生成的可执行代码是否对应;(2)使用四个编译器演示DDC(小型C编译器、小型Lisp编译器、小型恶意损坏的Lisp编译器和大型工业强度C编译器GCC),以及(3)用于在各种真实世界场景中应用DDC的方法的描述。在DDC技术中,源代码被编译两次:使用可信编译器编译器的父源代码,然后使用第一次编译的结果编译推定编译器源代码。如果DDC结果与原始的被测编译器的可执行代码逐位相同,并且某些其他假设成立,则被测编译器的可执行代码与其假定的源代码相对应。
2010-04-30 cs.CR cs.PL
ReFuzzer: Feedback-Driven Approach to Enhance Validity of LLM-Generated Test Programs
本文提出 ReFuzzer,利用本地 LLM 反馈循环检测并修复编译与运行时违规,显著提升 LLM 生成测试程序的有效率及 LLVM/Clang 关键组件覆盖率。
2025-08-05 cs.PL cs.SE
NPUEval: Optimizing NPU Kernels with LLMs and Open Source Compilers
本文提出NPUEval基准,包含102个机器学习算子,用于评估LLM在AMD NPU上生成内核的功能正确性与向量化效率,并揭示即使前沿模型平均得分也仅约10%的挑战。
2025-07-18 cs.PL
Robustly Safe Compilation or, Efficient, Provably Secure Compilation
安全编译器生成的编译代码可以抵御许多目标级别的攻击,如控制流更改、数据泄漏或内存损坏。许多现有的安全编译器被证明是完全抽象的,这意味着它们反映并保持观察等价性。完全抽象编译是一个强大而有用的属性,在某些情况下,它的代价是在编译代码中需要昂贵的运行时构造。这些构造可能与安全性无关,但需要适应完全抽象编译必须考虑的源语言和目标语言之间的差异。作为完全抽象编译的替代方案,本文探讨了一种不同的安全编译标准,称为鲁棒安全编译或RSC。简而言之,该标准意味着编译代码针对与所述程序交互的所有对抗性上下文保留了源程序的相关安全属性。我们表明,RSC可以很容易地实现,并在代码中产生的结果是更有效的比完全抽象的编译器。我们还开发了三个说明性的鲁棒安全编译器,并通过它们,开发两种不同的证明技术,建立一个编译器达到RSC。通过这些,我们还建立了证明RSC比证明完全抽象更简单。
2020-11-27 cs.PL
Coarse-Tuning Models of Code with Reinforcement Learning Feedback
Rice University(莱斯大学);UT Austin(德克萨斯大学奥斯汀分校);University of Wisconsin(威斯康星大学)
提出RLCF,用强化学习结合编译器和LLM反馈粗调代码模型,在Java任务上提升编译与执行正确率,达到更大模型性能。
2023-12-23 cs.AI cs.LG cs.PL
Understanding Accelerator Compilers via Performance Profiling
Cornell University(康奈尔大学)
Petal通过周期级性能分析工具帮助理解ADL编译器决策对性能的影响,识别并指导加速器设计中的性能问题优化。
2025-11-24 cs.AR cs.PL cs.SE
Data optimizations for constraint automata
约束自动机(CA)构成了一个基于有限自动机的无限词的协调模型。最初是为了协调器的建模而引入的,CA的一个有趣的新应用是实现协调器(即,将CA编译成可执行代码)。这种方法保证了构造的正确性,甚至可以产生比手工编写的代码性能更好的代码。这两个潜在优势的实现程度取决于CA编译器的智能性和其正确性的证据的存在。CA中的每个转换都被标记为“数据约束”,该约束将协调进程之间的原子数据流指定为一阶公式。在运行时,编译器生成的代码必须尽可能有效地处理数据约束。在本文中,我们提出,并证明了两个优化技术的正确性CA编译器相关的处理数据约束:减少,以消除冗余变量和翻译(声明性)数据约束(命令式)的数据命令表示在一个小的顺序语言。通过实验,我们表明,这些优化技术可以产生积极的影响,性能生成的可执行代码。
2016-09-21 cs.PL
Dcc --help: Generating Context-Aware Compiler Error Explanations with Large Language Models
University of New South Wales(新南威尔士大学)
本文提出并评估了集成大语言模型到DCC编译器的dcc --help工具,利用上下文信息生成面向初学者的错误解释,在CS1/CS2课程中大规模部署,编译时和运行时概念准确率分别为90%和75%,为编程教学提供新机会。
2023-10-16 cs.LG cs.PL cs.SE
FamilySeer: Towards Optimized Tensor Codes by Exploiting Computation Subgraph Similarity
Beihang University(北京航空航天大学)
有效地部署各种深度学习(DL)模型促进了DL编译器的研究。生成优化张量代码的困难促使DL编译器对自动调优方法提出了更高的要求,而不断增长的需求要求提高自动调优的效率和质量。目前,DL编译器将输入DL模型划分为几个子图,并利用自动调整来找到这些子图的最佳张量代码。然而,现有的自动调整方法通常将子图视为单独的子图,忽略了它们之间的相似性,因此无法在有限的时间预算下利用更好的张量代码。我们提出了FamilySeer,这是一个用于DL编译器的自动调优框架,即使在有限的时间预算下也可以生成更好的张量代码。FamilySeer利用子图之间的相似性和差异,可以将它们组织成子图家族,其中一个子图的调整也可以改善同一家族中的其他子图。每个族的代价模型得到更纯净的训练样本,并变得更准确,从而可以通过代价模型的轻量级估计来代替真实硬件上的昂贵测量。我们的实验表明,FamilySeer可以生成具有相同代码性能的模型代码,比最先进的自动调优框架更有效。
2022-01-01 cs.DC cs.LG cs.PL
Format Abstraction for Sparse Tensor Algebra Compilers
本文展示了如何构建一个稀疏张量代数编译器,它对张量格式(数据布局)是不可知的。我们开发了一个接口来描述格式的功能和属性,并展示了如何构建一个模块化的代码生成器,其中新的格式可以作为插件添加。然后,我们描述了六个接口的实现,组成形成密集,CSR/CSF,COO,DIA,ELL和HASH张量格式及其无数的变体。有了这些实现,我们的代码生成器可以生成代码来计算上述格式的任何组合上的任何张量代数表达式。为了演示我们的技术,我们在taco张量代数编译器中实现了它。我们的模块化代码生成器设计使得添加对新张量格式的支持变得简单,并且生成的代码的性能与手动优化的实现相比具有竞争力。此外,通过扩展taco来支持更广泛的格式,这些格式专门用于不同的应用程序和数据特征,我们可以提高最终用户应用程序的性能。例如,如果输入数据以COO格式提供,则我们的技术允许直接用COO格式的数据计算单个矩阵-向量乘法,这比首先将数据转换为CSR快达3.6 $\times$。
2018-11-12 cs.MS cs.PL
Liveness-Driven Random Program Generation
随机生成的程序在测试编译器和程序分析工具中很受欢迎,通过随机测试发现了真实C编译器中的数百个错误。然而,现有的随机程序生成器可能会生成大量的死代码(其结果永远不会被使用的计算)。这使得相对较少的代码可以执行目标编译器的更复杂的优化。为了解决这个缺点,我们引入了活性驱动的随机程序生成。在这种方法中,随机程序是自底向上构造的,由同步结构数据流分析指导,以确保生成器永远不会生成死代码。该算法被实现为一个插件的框架框架。我们评估它相比,Csmith,标准的随机C程序生成器。我们的工具生成的程序可以编译成具有更复杂指令组合的更多机器码。
2017-09-13 cs.PL