Technical Report about Tiramisu: a Three-Layered Abstraction for Hiding Hardware Complexity from DSL Compilers
高性能DSL开发人员努力利用现代硬件。DSL编译器必须构建自己的复杂中间端,然后才能针对诸如LLVM之类的公共后端,LLVM仅处理具有SIMD指令的单个指令流。我们介绍Tiramisu,这是一个常见的中端,可以为现代处理器和加速器(如多核,GPU,FPGA和分布式集群)生成高效的代码。Tiramisu引入了一种新颖的三级IR,它将算法、算法的执行方式以及中间数据的存储位置分开。这种分离简化了优化,并使从同一算法中定位多个硬件架构变得更容易。因此,DSL编译器可以在不损失性能的情况下大大降低复杂性,同时立即针对多个硬件或硬件组合,例如具有CPU和GPU的分布式节点。我们通过为Halide和Julia编译器创建一个新的中间端来评估Tiramisu。我们表明,Tiramisu扩展了Halide和Julia的许多新功能,包括表达新算法(如递归滤波器和非矩形迭代空间),执行新的复杂循环嵌套变换(如波前并行化,循环移位和循环融合),并为更多架构(如分布式集群,多核,GPU和FPGA的组合)生成有效的代码。最后,我们展示了Tiramisu可以生成与高度优化的英特尔MKL gemm(广义矩阵乘法)实现相匹配的非常高效的代码,我们还展示了由于Tiramisu实现的优化,Halide中的加速倍数达到4倍,Julia中的加速倍数达到16倍。
2018-05-28 cs.PF cs.PL
Fortran performance optimisation and auto-parallelisation by leveraging MLIR-based domain specific abstractions in Flang
本研究将Flang MLIR通用编译器与Open Earth Compiler的MLIR stencil方言结合,开发Fortran模板提取转换与自动并行化方法,在Cray超算上实现2-10倍性能提升,支持多线程、分布式并行与GPU优化且无需修改串行源码。
2023-10-03 cs.DC cs.PL
Abstraction for Crash-Resilient Objects (Extended Version)
我们研究抽象的崩溃弹性并发对象使用非易失性存储器(NVM)。我们开发了一个库的正确性标准,这是健全的,以确保在这种设置的上下文细化,从而允许客户端的原因库的行为方面,他们的抽象规范,和库开发人员验证他们的实现对规范抽象远离特定的客户端程序。作为语义基础,我们采用了最近的NVM模型,称为持久顺序一致性,并扩展其语言和操作语义有用的规范结构。所提出的正确性标准考虑了客户端和库代码之间由于显式持久化指令而导致的与NVM相关的交互,以及库强制执行的调用策略。我们说明了我们的方法上的两个实现和规范的简单持久对象不同的原型持久性保证。我们的研究结果提供了第一种方法,在NVM下的正式组成推理。
2022-01-28 cs.PL
Repr Types: One Abstraction to Rule Them All
针对主流编译器无法高层优化抽象类型表示、现有方案可扩展性受限的问题,提出基于内置$\texttt{repr}$类型和带成本标注函数重载的方法,实现无限制的表示灵活数据类型,经集合与图库验证可显著提升程序性能。
2024-09-12 cs.PF cs.PL
CVC Verilog Compiler -- Fast Complex Language Compilers Can be Simple
本文介绍了如何开发Verilog硬件描述语言(HDL)优化的流图编译仿真器。它声称,这里描述的方法和算法可以应用于其他复杂的计算机语言的流图编译器的开发。该方法使用冯·诺依曼计算机体系结构(MRAM模型)作为计算的最佳抽象模型,并使用备选机器码序列的比较和选择来利用现代处理器低级并行性。通过使用这里描述的反形式主义的方法,最快的可用的完整的IEEE 1364 2005 Verilog HDL标准模拟器已经开发出来。编译器只需要95,000行C代码和两个开发人员。本文解释了如何编译模拟器验证反形式主义计算机科学方法最好的彼得诺尔的datalogy表示,并提供了具体的指导方针,应用该方法。描述了从慢速解释器到基于快速流图的机器码编译模拟器的发展历史。最初的努力,试图将一个完整的1364兼容的解释器转换为解释执行可能自动生成的虚拟机的失败进行了讨论。快速Verilog仿真需要去除抽象细节的论点是不正确的。给出了GPU并行Verilog模拟失败的原因。
2018-01-12 cs.PL
HPVM: A Portable Virtual Instruction Set for Heterogeneous Parallel Systems
我们描述了一个编程抽象的异构并行硬件,旨在捕捉广泛的流行的并行硬件,包括GPU,向量指令集和多核CPU。我们的抽象,我们称之为HPVM,是一个分层的共享内存和向量指令的图。我们使用HPVM来定义虚拟指令集(ISA)和编译器中间表示(IR)。虚拟ISA旨在实现跨异构系统的功能可移植性和性能可移植性,而编译器IR旨在为此类系统启用有效的代码生成和优化。HPVM有效地支持用于实现计算加速的所有形式的并行(与并发相对),包括任务并行、粗粒度数据并行、细粒度数据并行和流水线并行。HPVM还实现了灵活的调度和平铺:可以将图中的不同节点灵活地映射到计算单元的不同组合,并且图层次结构表示内存平铺,这对于实现GPU和CPU目标的高性能至关重要。
2016-11-03 cs.PL
Persistent Iterators with Value Semantics
National University of Singapore(新加坡国立大学)
本文提出持久迭代器,结合了命令式语言的迭代风格与持久数据结构的语义,通过快照容器版本确保安全,实现真正的值语义,提升表达力并消除迭代器失效问题。
2026-04-15 cs.PL
Implementing a Language for Distributed Systems: Choices and Experiences with Type Level and Macro Programming in Scala
多层程序设计语言通过在单个一致的代码库中开发分布式系统来降低开发分布式系统的复杂性。编译器或运行时将分布式系统的组件的代码分离,从而能够对诸如数据表示、串行化和网络协议之类的低级实现细节进行抽象。我们的ScalaLoci语言允许开发人员在类型级别声明不同的组件及其架构关系,允许关于分布和远程通信的静态推理,并保证跨组件的静态类型安全。编译器将多层程序分割成特定于组件的代码,并自动生成通信样板。组件之间的通信可以通过使用反应式编程声明性地指定组件之间的数据流来建模。在本文中,我们报告了我们的设计和我们的经验,我们的语言功能嵌入到Scala作为主机语言的实现。我们展示了如何结合Scala的高级类型级编程和它的宏系统来丰富语言的新抽象。我们评论的挑战,我们遇到的,我们为我们目前的实施和大纲的建议,一个改进的宏系统,以支持嵌入特定领域的抽象的用例开发的解决方案。
2020-02-14 cs.PL
Eliminating Network Protocol Vulnerabilities Through Abstraction and Systems Language Design
网络协议消息规范的不正确实现会影响网络系统开发的稳定性、安全性和成本。大多数实现缺陷都属于三类定义良好的消息约束之一。然而,构造网络协议栈和系统的一般过程并不捕获这些分类约束。我们引入了一个系统程序设计语言与新的抽象,捕捉这些约束。我们的编译器综合了标准消息处理操作的安全和有效的实现,并使用全程序分析来确保约束永远不会被违反。我们目前的语言使用OpenFlow协议的例子。
2013-11-13 cs.NI cs.PL
MLIR: A Compiler Infrastructure for the End of Moore's Law
Google(谷歌)
这项工作提出了MLIR,一种新的方法来构建可重用和可扩展的编译器基础设施。MLIR旨在解决软件碎片问题,改进异构硬件的编译,显著降低构建特定领域编译器的成本,并帮助将现有编译器连接在一起。MLIR促进了不同抽象级别的代码生成器、翻译器和优化器的设计和实现,并且还跨应用领域、硬件目标和执行环境。这项工作的贡献包括:(1)讨论MLIR作为一个研究工件,为扩展和进化而构建,并确定这个新的设计点在设计,语义,优化规范,系统和工程方面所带来的挑战和机遇。(2)MLIR作为一个通用的基础设施,降低编译器的建设成本的评估-描述不同的用例,以显示未来的程序设计语言,编译器,执行环境和计算机体系结构的研究和教育机会。本文还介绍了MLIR的基本原理,它的原始设计原则,结构和语义。
2020-03-01 cs.LG cs.PL
Reducing Commutativity Verification to Reachability with Differencing Abstractions
数据结构方法的可交换性一直受到关注,其根源在于数据库社区。近年来,交换性已被证明是在诸如并行编译器、事务内存、推测执行以及更广泛的软件可扩展性等环境中实现多核并发的关键因素。尽管这种兴趣,它仍然是一个悬而未决的问题,如何数据结构的交换性规范可以自动验证其实现。在本文中,我们描述的技术,自动证明的正确性的方法交换性条件的数据结构实现。我们引入了一种新的抽象,其特征在于两种方法的效果取决于方法应用的顺序而不同的方式,并且抽象出无论顺序如何都相同的方法的效果。然后,我们描述了一种新的算法,减少了问题的可达性,使现成的程序分析工具可以执行必要的推理证明交换性。最后,我们描述了一个概念验证的实现和实验结果,表明我们的工具可以验证数据结构,如存储单元,计数器,双位集,基于数组的堆栈,队列和基本的哈希表的交换性。最后,我们讨论了是什么使得数据结构的可交换性可以用今天的工具证明,以及需要做些什么来证明更多的未来。
2020-04-17 cs.PL
Array operators using multiple dispatch: a design methodology for array implementations in dynamic languages
数组是如此丰富和基本的数据类型,以至于它们往往被内置到语言中,无论是在编译器中还是在大型低级库中。相反,在用户级别定义此功能可以为语言设计者没有预见到的应用程序域提供更大的灵活性。只有少数语言,如C++和Haskell,提供了定义$n$维数组的必要能力,但这些系统依赖于编译时抽象,牺牲了一些灵活性。相比之下,动态语言使用户可以直接定义他们可能想要的任何行为,但可能会牺牲性能。作为Julia语言项目的一部分,我们开发了一种方法,在灵活性和编译时分析之间产生一种新的权衡。我们使用的核心抽象是多重分派。我们已经开始相信,虽然多重分派在大多数编程中并不特别流行,但技术计算是它的杀手级应用。通过使用多方法签名来表达关键函数(如数组索引),可以获得令人惊讶的行为范围,其方式既相对容易编写,又适合编译器分析。这些方法提供的关注点的紧凑分解使得用户定义类型更容易与标准库中的类型保持一致。
2014-07-14 cs.PL
MPK: A Compiler and Runtime for Mega-Kernelizing Tensor Programs
Carnegie Mellon University(卡内基梅隆大学);Tsinghua University(清华大学);NVIDIA;University of Michigan(密歇根大学);Independent Researcher(独立研究者);Peking University(北京大学)
提出MPK,首个自动将多GPU模型推理转化为单个高性能巨型内核的编译器和运行时系统,通过SM级图表示实现跨算子软件流水线和细粒度计算通信重叠,显著降低推理延迟。
2026-06-11 cs.DC cs.LG cs.PL
Unitary Expressions: A Necessary Abstraction for Extensible Quantum Programming Languages and Systems
针对量子计算软件生态中基于名称识别量子门易出错、难维护等问题,研究提出用函数式酉表达式表示法替代,推出含QGL语言、可微分即时编译器和QVM的OpenQudit系统,梯度计算速度领先,可提升量子编程系统的扩展性与易用性。
2025-01-16 cs.PL quant-ph
PassNet: Scaling Large Language Models for Graph Compiler Pass Generation
Baidu, Inc.(百度公司)
针对编译器默认优化在长尾子图上性能不佳的问题,提出PassNet生态系统,包含大规模数据集和基准测试,通过微调小模型在少量轨迹上即可接近前沿模型性能。
2026-05-28 cs.AI cs.LG cs.PL
Towards a high-performance AI compiler with upstream MLIR
Intel Corporation(英特尔公司)
提出基于开源 MLIR 的编译流程,通过缓存级优化与微内核降低技术,使线性代数抽象达到 ninja 级性能的 90% 以上。
2024-04-15 cs.AI cs.AR cs.DC
Nova: An End-to-End MLIR Compiler for Deep Learning
Blubridge AI(布鲁布里奇人工智能公司)
Nova是一款端到端MLIR编译器,通过整图优化等技术提升深度学习模型性能,在RTX 3060上的TF32矩阵乘法、模型吞吐量和内存占用等指标上优于PyTorch和XLA,可训练更大规模模型且避免OOM故障。
2026-09-03 cs.AI cs.AR cs.LG
The Collection Virtual Machine: An Abstraction for Multi-Frontend Multi-Backend Data Analysis
从数量不断增加的硬件平台中获得最佳性能一直是数据处理系统面临的一个反复出现的挑战。近年来,数据科学的出现及其越来越多和复杂的分析类型使这一挑战变得更加困难。在实践中,系统设计人员被组合的数量所淹没,通常只实现一个分析/平台组合,导致重复的实现工作-以及为数据科学家提供过多的半兼容工具。在本文中,我们提出了“集合虚拟机”(或CVM)-一个可扩展的编译器框架,旨在保持数据分析系统的专业化过程易于处理。它可以同时捕获大跨度的底层、特定于硬件的实现技术的本质,以及不同类型分析的高级操作。其核心是一种用于定义嵌套的、面向集合的中间表示(IR)的语言。前端以该语言定义的IR风格生成程序,通过一系列重写(可能多次更改IR风格)进行优化,直到程序最终以特定于平台的操作符的IR表示。在减少总体实施工作量的同时,这也提高了分析和硬件平台的互操作性。我们已经成功地使用CVM为多核CPU、RDMA集群和云中的无服务器计算基础设施等各种平台构建了专门的后端,并预计在不久的将来,更多的前端和硬件平台也会获得类似的结果。
2020-04-08 cs.DB cs.DC cs.PL