Mainlining Databases: Supporting Fast Transactional Workloads on Universal Columnar Data File Formats
现代数据处理工具的激增产生了开放源列式数据格式。这些格式的优点是,它们可以帮助组织避免重复地将数据转换为每个应用程序的新格式。但是,这些格式是只读的,组织必须使用一个重量级的转换过程来从联机事务处理(OLTP)系统加载数据。我们的目标是减少甚至消除这个过程,通过开发一个存储架构的内存数据库管理系统(DBMS),是知道其数据的最终用途,并发出列存储块在一个通用的开源格式。我们对常见的分析数据格式引入了松弛,以有效地更新记录,并依靠轻量级的转换过程将块转换为冷时的读取优化布局。我们还描述了如何以最小的序列化开销从第三方分析工具访问数据。为了评估我们的工作,我们实现了基于Apache Arrow格式的存储引擎,并将其集成到DB-X DBMS中。我们的实验表明,我们的方法实现了与专用OLTP DBMS相当的性能,同时使数据导出到外部数据科学和机器学习工具的速度比现有方法快几个数量级。
2020-04-29 cs.DB
Exploiting Locality in Lease-Based Replicated Transactional Memory via Task Migration
我们提出了Lilac-TM,第一个本地感知的分布式软件传输内存(DSTM)的实现。Lilac-TM是一个完全分散的基于租赁的复制DSTM。它采用了一种新颖的自优化租赁循环方案,该方案基于动态确定是否将事务迁移到拥有其验证所需的租赁的节点,或者要求发起事务的节点获取这些租赁的思想。我们的实验评估表明,Lilac-TM为分布式工作负载提供了显着的性能增益,表现出数据本地性,而通常不会产生非数据本地工作负载的开销。
2013-08-09 cs.DB cs.DC
GTX: A Write-Optimized Latch-free Graph Data System with Transactional Support -- Extended Version
针对现有图系统因顶点级锁竞争导致写操作性能下降的问题,提出基于无闩锁存储与自适应增量链锁协议的GTX系统,在不损失读性能的前提下大幅提升写密集型事务吞吐量。
2025-02-24 cs.DB
Improving High Contention OLTP Performance via Transaction Scheduling
事务处理的研究在提高多核内存事务系统的性能方面取得了重大进展。然而,重点主要集中在低争用工作负载上。现代事务系统在工作负载上的性能很差,事务访问一些高度竞争的数据项。我们观察到,大多数事务性工作负载,包括那些具有高竞争性的工作负载,可以被划分为无数据冲突事务的集群和一小部分残差。在本文中,我们介绍了一个新的并发控制协议称为冲突,利用上述观察。Strife以批处理的方式执行事务,其中每个批处理被划分为无冲突事务的集群和一小组剩余事务。在没有任何并发控制的情况下并行地执行无冲突集群,随后串行地或在具有并发控制的情况下执行剩余集群。我们提出了一个低开销的算法,一批事务划分成簇,没有跨簇冲突和一个小的残留集群。我们评估冲突对乐观的并发控制协议和两阶段锁定的几个变种,后者是已知的高竞争下比其他并发协议执行得更好,并表明冲突可以提高事务吞吐量高达2倍。我们还进行了深入的微观基准分析,以经验为特征的性能和质量,我们的聚类算法
2018-10-03 cs.DB
The AHA-Tree: An Adaptive Index for HTAP Workloads
针对 HTAP 中事务写入与分析读取需求切换的问题,本文提出 AHA-Tree 自适应索引,可在 LSM-tree 与缓冲 B-tree 间无停机动态转换,并通过动态工作负载基准验证其并发演进能力。
2024-06-13 cs.DB
An Adaptive Hotspot-Aware Index for Oscillating Write-Heavy and Read-Heavy Workloads
针对 HTAP 中读写负载振荡导致单一索引性能不稳的问题,提出双向自适应的 AHA-tree,聚焦热点区域优化,使写性能接近 LSM-tree、读性能可匹配 B+-tree。
2024-12-02 cs.DB
Weaver: A High-Performance, Transactional Graph Database Based on Refinable Timestamps
图形数据库已成为越来越常见的基础设施组件。然而,现有的系统要么在离线快照上操作,提供弱的一致性保证,要么使用限制性能的昂贵的并发控制技术。在本文中,我们介绍了一个新的分布式图形数据库,称为韦弗,它使高效的,事务性的图形分析,以及严格可串行化的ACID事务的动态图。Weaver将严格的可串行性与水平可伸缩性和高性能结合起来的关键是一种称为可细化时间戳的新型请求排序机制。该技术将粗粒度的向量时间戳与细粒度的时间轴预言耦合,以仅在需要时支付强一致性的开销。实验表明,Weaver实现的比特币区块链浏览器比Blockchain.info快8倍,在社交网络工作负载上的吞吐量比Titan图数据库高12倍,在离线图遍历工作负载上的延迟比GraphLab低4倍。
2016-06-20 cs.DB cs.DC
The Graph Database Interface: Scaling Online Transactional and Analytical Graph Workloads to Hundreds of Thousands of Cores
本文提出图数据库接口(GDI),抽象性能关键组件以提供可移植API,并基于分布式内存RDMA架构设计图数据库,利用单边RDMA通信实现超十万核心的极致扩展,在OLTP和OLAP工作负载上性能提升数个数量级。
2023-11-20 cs.DB cs.DC
GrASP: A Generalizable Address-based Semantic Prefetcher for Scalable Transactional and Analytical Workloads
University of Melbourne(墨尔本大学)
提出基于学习的预取器GrASP,通过逻辑块地址增量建模和LSTM多标签分类,泛化到比训练集大250倍的数据集,平均达91.4%命中率并显著降低I/O与执行延迟。
2025-10-13 cs.DB cs.LG
Griffin: Fast Transactional Database Index with Hash and B+-Tree
Griffin提出哈希表与B+-树结合的混合索引架构,通过O(1)点操作访问和无需额外遍历的精确锁定幻象避免方法,在点操作和范围操作主导负载下分别实现最高3.1倍和5.4倍的吞吐量提升。
2024-07-18 cs.DB
Lauca: Generating Application-Oriented Synthetic Workloads
综合负载是数据库系统性能评估的基础和关键。在对特定应用的数据库性能进行评估时,综合负载与实际应用负载的相似性决定了评估结果的可信度。但目前用于性能评估的工作负载很难与目标应用具有相同的工作负载特征,导致评估结果不准确。为了解决这个问题,我们提出了一个工作负载复制器(Lauca),可以生成具有高度相似的性能指标的特定应用程序的合成工作负载。据我们所知,Lauca是第一个面向应用程序的事务性工作负载生成器。通过对面向应用的合成负载生成问题的深入研究,提出了在线事务处理(OLTP)应用的关键负载特征(事务逻辑和数据访问分布),并提出了新的负载特征描述和生成算法,保证了合成负载的高保真度.我们在MySQL和PostgreSQL数据库上使用TPC-C,SmallBank和微基准测试的工作负载进行了广泛的实验,实验结果表明Lauca始终生成高质量的合成工作负载。
2019-12-16 cs.DB
Design Principles for Scaling Multi-core OLTP Under High Contention
虽然最近在提高高吞吐量事务数据库系统的多核可伸缩性方面取得了重大进展,但现代系统仍然无法为涉及频繁访问高度竞争数据的工作负载实现可伸缩的吞吐量。大多数无法实现高吞吐量的原因是保证ACID所涉及的基本约束-增加核心导致更多的并发事务访问相同的竞争数据,这些数据的访问必须被序列化以保证隔离。因此,竞争工作负载的线性可伸缩性是不可能的。然而,在许多现代体系结构中存在缺陷,这些缺陷加剧了它们的可伸缩性差,并导致吞吐量比工作负载基本要求的要差得多。在本文中,我们确定了两个普遍的设计原则,限制了多核可扩展性的许多(但不是所有)事务数据库系统的竞争工作负载:在这些系统中的执行线程的多用途的性质,以及缺乏先进的规划数据访问。我们证明了这些设计原则的有害结果,通过实现一个原型系统,ORTHRUS,这是出于数据库组件功能和先进的交易规划的原则分离。我们发现,这两个原则单独导致显着提高可扩展性的高竞争的工作负载,和一个数量级的增加,这些竞争的工作负载的一个非平凡的子集的吞吐量。
2016-01-05 cs.DB cs.DC
Enabling High-Performance and Energy-Efficient Hybrid Transactional/Analytical Databases with Hardware/Software Cooperation
数据量的增长,加上对实时分析(使用最新数据)的需求不断增加,导致了同时支持事务和数据分析的数据库系统的出现。这些混合事务和分析处理(HTAP)数据库系统可以支持实时数据分析,而无需在单独的单一用途数据库之间进行同步的高成本。不幸的是,对于执行高速率数据更新的许多应用,最先进的HTAP系统在事务处理中招致显著的损失。(高达74.6%)和/或分析(高达49.8%)的吞吐量相比,仅执行事务或仅分析查询隔离,由于(1)数据移动之间的CPU和内存,(2)从事务性工作负载到分析性工作负载的数据更新传播,以及(3)在整个系统中维护一致的数据视图的成本。我们提出波利尼西亚,一个硬件-软件协同设计的系统,在内存中的HTAP数据库,避免了传统的HTAP系统的大吞吐量损失。波利尼西亚(1)将HTAP系统划分为事务处理岛和分析处理岛,(2)实现新的定制硬件,解锁软件优化,以降低更新传播和一致性的成本,(3)利用分析岛的内存处理来减轻数据移动开销。我们的评估表明,波利尼西亚优于三个最先进的HTAP系统,平均交易/分析吞吐量提高了1.7倍/3.7倍,并比之前的最低能耗HTAP系统降低了48%的能耗。
2022-04-24 cs.AR cs.DB
L-Store: A Real-time OLTP and OLAP System
可以说,数据是企业世界中新的自然资源,其扩散程度前所未有。但是,为了从数据中获得实时的【形】可操作的见解,重要的是要弥合管理高速更新的数据(即,OLTP)和分析大量数据(即,OLAP)。但是,存在一个划分,即通常部署专门的解决方案来支持OLTP或OLAP工作负载,而不是同时支持两者;因此,将分析限制在陈旧和可能不相关的数据上。在本文中,我们提出了基于血统的数据存储(L-Store),结合了实时的【形】处理事务和分析工作负载在一个单一的统一引擎,通过引入一个新的基于血统的存储架构。通过利用血统,我们开发了一个无争用和懒惰的分期列数据从写优化的形式(适用于OLTP)到读优化的形式(适用于OLAP)在事务一致的方法,也支持查询和保留当前和历史数据。我们的工作原型的L-商店展示了其优越性相比,国家的最先进的方法下,全面的实验评估。
2017-02-26 cs.DB
Online Schema Evolution is (Almost) Free for Snapshot Databases
现代数据库应用程序经常更改其模式以跟上不断变化的需求。然而,在现有的数据库系统中,对在线和事务模式演化的支持仍然具有挑战性。具体来说,以前的工作往往采取特设的方法模式演变与“补丁”应用到现有的系统,导致许多角落的情况下,往往不完整的功能。因此,应用程序经常不得不仔细地为模式更改安排停机时间,从而牺牲了可用性。本文介绍了Tesseract,一种新的方法,在线和事务模式的演变没有上述缺点。我们基于一个关键的观察来设计Tesseract:在广泛使用的多版本数据库系统中,模式演化可以建模为改变整个表的数据修改操作,即,数据定义即修改(DDaM)。这允许我们通过利用并发控制协议来几乎“免费”地支持模式。通过对现有快照隔离协议的简单调整,在40核服务器上,我们表明,在各种工作负载下,Tesseract能够在没有服务停机的情况下提供在线事务模式演化,并在模式演化过程中保持高应用程序性能。
2022-10-08 cs.DB
CUBIT: Concurrent Updatable Bitmap Indexing (Extended Version)
本文提出并发可更新位图索引 CUBIT,通过水平按位表示、轻量级快照和无闩锁更新合并实现高效实时更新,在 OLAP 和 HTAP 场景下显著超越现有方案。
2024-10-23 cs.DB
Apiary: A DBMS-Integrated Transactional Function-as-a-Service Framework
本文提出集成 DBMS 的 FaaS 框架 Apiary,通过统一运行时实现函数执行与数据管理的物理同置与逻辑集成,提供容错事务保证,并在微服务负载上比现有平台快 2 至 68 倍。
2023-06-30 cs.DB cs.DC
Modeling Concurrency Control as a Learnable Function
National University of Singapore(新加坡国立大学);Deakin University(迪肯大学);Renmin University of China 2(中国人民大学);Singapore University of Technology and Design(新加坡科技设计大学);Zhejiang University(浙江大学)
NeurCC是一种基于学习的并发控制算法,通过高效查找表实现高吞吐量,优于现有算法。
2026-03-10 cs.DB
Fast Verification of Strong Database Isolation (Extended Version)
针对强数据库隔离验证的挑战,本文提出VeriStrong快速验证器,基于超多边形图形式化方法捕捉事务确定与不确定依赖,定制SMT求解,显著优于现有工具且可扩展至大型工作负载,保持高检测精度。
2025-11-18 cs.DB
Adaptive HTAP through Elastic Resource Scheduling
现代混合事务处理/分析处理(HTAP)系统使用集成的数据处理引擎,该数据处理引擎对从事务引擎摄取的新鲜数据执行分析。HTAP系统通常在设计时考虑数据新鲜度,并针对固定范围的新鲜度要求进行优化,以OLTP或OLAP的性能为代价。然而,两个引擎的数据新鲜度和性能要求可能随工作负载而变化。我们接近HTAP作为一个调度问题,在运行时通过弹性资源管理解决。我们将HTAP系统建模为一组三个独立的引擎:OLTP,OLAP和资源和数据交换(RDE)引擎。我们设计了一个调度算法,通过弹性资源管理,遍历HTAP设计频谱,以满足数据的新鲜度要求的工作负载。我们提出了一个内存系统的设计,这是非侵入性的当前最先进的OLTP和OLAP引擎,我们用它来评估我们的方法的性能。我们的评估表明,我们的OLAP查询系统的性能优势随着时间的推移而增加,达到50%相比,静态时间表为100个查询序列,同时保持一个小的,可控的,在OLTP吞吐量下降。
2020-04-14 cs.DB cs.SY eess.SY
Architectural Evolution and Selection Framework for Database Systems in AI-Ready Data Platforms
提出一个统一的多范式评估与选择框架,基于九个架构维度,通过工作负载特征化、约束过滤和兼容性评分,系统比较十三种数据库范式,揭示存储计算分离、工作负载驱动专业化、向AI就绪平台收敛三大演化模式,并通过金融欺诈检测案例验证。
2026-06-06 cs.DB
No DBA? No regret! Multi-armed bandits for index tuning of analytical and HTAP workloads with provable guarantees
University of Melbourne(墨尔本大学)
自动化物理数据库设计一直是数据库研究中的一个长期兴趣,因为优化的结构提供了大量的性能增益。尽管取得了重大进展,但当今的大多数商业解决方案都是高度手动的,需要数据库管理员(DBA)进行离线调用,他们需要识别和提供代表性的培训工作负载。即使是最新的改进,如查询存储,也只提供了对动态环境的有限支持。这种现状是站不住脚的:标识代表性静态工作负载不再现实;并且物理设计工具仍然容易受到查询优化器的成本错误估计的影响。此外,现代应用环境,如混合事务和分析处理(HTAP)系统,使分析建模几乎不可能。我们提出了一种自驱动的在线索引选择方法,避开了DBA和查询优化器,而是通过战略探索和直接的性能观察来学习可行结构的好处。我们认为这个问题是一个不确定性下的顺序决策,特别是在强盗学习设置。多武装强盗平衡探索和利用,以可证明地保证平均性能,收敛到具有完美后见之明的最佳策略。我们针对最先进的商业调优工具进行的全面实证评估表明,在分析处理环境中,移动和临时工作负载的速度提高了75%,静态工作负载的速度提高了28%。在HTAP环境中,我们的解决方案在转移工作负载时可提供高达59%的加速,在静态工作负载时可提供高达51%的加速。此外,我们的bandit框架在收敛速度和性能波动方面优于深度强化学习(RL)(提供高达58%的加速)。
2021-08-23 cs.DB cs.LG
Accelerating Analytical Processing in MVCC using Fine-Granular High-Frequency Virtual Snapshotting
有效的事务管理是一项微妙的任务。由于系统面临着本质上不同类型的事务,从点更新到长时间运行的分析计算,很难用单个处理组件来满足它们的个性化需求。不幸的是,现在大多数系统都依赖于这样一个单一的组件,该组件使用多版本并发控制(MVCC)来实现其并行性。虽然MVCC可以很好地并行化短时间运行的OLTP事务,但它在包含长时间运行的以扫描为中心的OLAP查询的混合工作负载的情况下会遇到困难,因为扫描必须通过大量的版本化数据来工作。为了克服这个问题,我们提出了一个系统,它重新引入了异构事务处理的概念:OLAP事务外包运行在单独的(虚拟)快照,而OLTP事务运行在最近的数据库表示。在这两个组件中,MVCC确保了高度的并发性。这种异构方法的最大挑战是以高频率生成快照。以前的方法深受快照创建的巨大成本的影响。在我们的系统中,我们通过引入定制的系统调用vm_snapshot克服了操作系统的限制,该调用是根据我们的精确需求手工定制的:它允许以非常高的频率创建细粒度快照,使快照创建阶段的数量级比最先进的方法快。基于TPC-H事务和手工OLTP事务的异构工作负载的实验评估表明,我们的系统在混合工作负载上的分析事务吞吐量比同构方法高得多。从这个意义上说,我们引入了一个通过引入自定义内核功能来加速分析处理的系统:AnKerDB。
2017-09-13 cs.DB
FITing-Tree: A Data-aware Index Structure
索引结构是DBA用来提高分析和事务工作负载性能的最重要工具之一。然而,在大型数据集上构建多个索引通常会变得令人望而却步,并消耗宝贵的系统资源。事实上,最近的一项研究表明,作为TPC-C基准测试的一部分创建的索引可以占现代DBMS中可用总内存的55%。这种开销会消耗宝贵而昂贵的主内存,并限制了存储新数据或处理现有数据的可用空间量。在本文中,我们提出了FITing-Tree,一种新形式的学习索引,它使用分段线性函数,在构造时指定有界误差。这个错误旋钮提供了一个可调参数,允许DBA通过平衡查找性能和空间消耗来将索引匹配到数据集和工作负载。为了导航这种权衡,我们提供了一个成本模型,该模型有助于确定适当的误差参数,给定(1)查找延迟要求(例如,500 ns)或(2)存储预算(例如,100MB)。使用各种现实世界的数据集,我们表明,我们的索引是能够提供的性能,是完整的索引结构,同时减少存储空间的数量级。
2020-03-25 cs.DB
HTAP Databases: A Survey
本文全面综述了HTAP数据库,按四种存储架构对最先进的系统进行分类,回顾了混合工作负载处理等关键技术,并探讨了现有基准测试及未来的研究挑战与机遇。
2024-04-24 cs.DB
Highly Available Queue-oriented Speculative Transaction Processing
近年来,确定性数据库系统越来越受到数据库研究界的关注。尽管它们当前的局限性,但是分布式确定性事务处理系统的最近提议展示了相对于使用传统事务处理技术的系统的显著改进(例如,两阶段锁定或具有两阶段提交的乐观并发控制)。但是,在确定性分布式事务处理系统中保证高可用性的问题受到研究界的关注较少,这方面也没有得到很好的分析和评价。本文提出了一个通用的框架来模拟确定性事务处理系统中的复制过程,并用它来研究三种情况。我们设计并实现了QR-Store,一个面向服务器的复制事务处理系统,并在YCSB的事务版本的基础上对它进行了广泛的评估。我们的原型实现QR-Store可以在200毫秒内实现每秒190万个复制事务的吞吐量,与非复制配置相比,复制开销为8%-25%。
2021-07-23 cs.DB
The LDBC Social Network Benchmark
本文介绍 LDBC SNB 基准,通过社交网络图数据场景定义 Interactive 与 Business Intelligence 两类工作负载,并提供数据、查询及运行规范。
2024-09-07 cs.DB cs.PF cs.SI
Boosting End-to-End Database Isolation Checking via Mini-Transactions (Extended Version)
本文提出 Mini-Transactions (MTs) 设计,通过紧凑短小的事务降低历史生成开销,并开发高效算法以线性或二次时间验证强隔离级别,在 MTC 工具中实现并验证了其在黑盒数据库隔离检查中的高效性与有效性。
2025-04-03 cs.DB cs.SE
Extending Polaris to Support Transactions
本文扩展云原生分布式框架 Polaris,在只读分析处理基础上利用不可变数据文件和 SQL Server 事务机制,为 Microsoft Fabric 的 T-SQL 提供快照隔离下的通用事务支持。
2024-01-20 cs.DB
JetStream: Generating Verified Query Accelerators for Existing Database Systems
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
JetStream是一种为现有DBMS生成查询特定加速器的方法,可在TPC-H测试中实现对DuckDB的315倍几何平均读取加速,经验证的加速器达93倍,更新流下仍保持120倍加速。
2026-11-05 cs.DB
S-Store: Streaming Meets Transaction Processing
流处理解决了实时应用的需求。事务处理解决短原子计算的协调和安全问题。因此,这两种运作模式存在于单独的、烟囱式的系统中。在这项工作中,我们试图融合两个计算范式在一个单一的系统称为S-商店。通过这种方式,S-Store可以同时适应OLTP和流应用程序。我们提出了一个简单的事务模型的流,无缝集成与传统的OLTP系统。我们选择构建S-Store作为H-Store的扩展,H-Store是一个开源的、内存中的分布式OLTP数据库系统。通过以这种方式实现S-Store,我们可以利用H-Store已经支持的事务处理功能,并且我们可以专注于支持流所需的其他实现特性。类似的实现可以使用其他主存OLTP平台来完成。我们表明,我们实际上可以实现更高的吞吐量流工作负载在S-Store比同等的部署在H-Store单独。我们还展示了如何在H-Store中添加适量的新功能来实现这一目标。此外,我们将S-Store与两个最先进的流媒体系统Spark Streaming和Storm进行了比较,并展示了S-Store如何匹配,有时甚至超过它们的性能,同时提供更强的事务保证。
2015-03-10 cs.DB
An Evaluation of Intra-Transaction Parallelism in Actor-Relational Database Systems
在过去的十年中,我们见证了服务器硬件的主存容量和多核并行性的巨大发展。为了利用这种硬件潜力,多核内存OLTP数据库系统已经被广泛地重新设计。这种重新设计的核心目标是扩大OLTP事务的顺序执行,其中已经探索了替代数据库架构,以消除系统瓶颈和阻碍事务间并行性充分体现的开销。然而,事务内并行性在很大程度上被忽略了这以前的工作。我们推测这种情况已经发展,因为OLTP工作负载有时被认为具有太少的事务内并行性,即使这种并行性是可用的,程序分析,以识别它在任意存储过程被认为太脆弱,不能作为一个通用的工具。然而,最近,一个新的概念的演员-关系数据库系统已被提出,提高了希望,应用程序开发人员可以指定事务内的并行性建模数据库应用程序作为通信演员。在这种情况下,一个自然的问题是,具有异步编程模型的参与者-关系数据库系统是否可以充分地将应用逻辑中可用的事务内并行性暴露给现代多核硬件。为了实现这一目标,我们在本文中进行的实验评估的因素,影响在原型演员-关系数据库系统REACTDB的事务内并行性,与OLTP应用程序设计的任务级并行考虑,并与系统运行在多核机器上。
2022-04-22 cs.DB
Towards Concurrent Stateful Stream Processing on Multicore Processors (Technical Report)
针对现有流处理系统并发状态访问锁开销高、多核利用率低的问题,提出采用事务语义、结合双模式调度与动态重构执行的TStream系统,在相近延迟下吞吐量最高达现有最优方案的4.8倍,且对多种工作负载耐受性强。
2020-01-16 cs.DB
One-Hop Sub-Query Result Caches for Graph Database Systems
本文面向图数据库读取事务提出一跳子查询结果缓存,通过键值缓存、异步事务填充及读写事务失效更新减少存储访问,并在生产电商负载中显著降低尾延迟。
2024-12-06 cs.DB cs.PF
Heterogeneous Data-Centric Architectures for Modern Data-Intensive Applications: Case Studies in Machine Learning and Databases
ETH Zürich(苏黎世联邦理工学院);Google(谷歌);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
当今的计算系统需要在计算资源之间来回移动数据(例如,CPU、GPU、加速器)和片外主存储器,以便可以对数据进行计算。不幸的是,这种数据移动是系统性能和能耗的主要瓶颈。在现代和新兴的应用程序中,一个有前途的执行范例是内存中处理(PIM),其中通过将计算能力放置在内存附近来降低数据移动到主内存/从主内存移动的成本。简单地采用PIM来加速数据密集型工作负载可能会导致次优性能,因为PIM基板施加了许多设计约束。因此,许多最近的作品共同设计专门的PIM加速器和算法,以提高性能并降低(i)来自各种应用领域的应用程序的能耗;以及(ii)各种计算环境,包括云系统,移动系统和边缘设备。我们展示了共同设计算法和硬件的好处,这种方式有效地利用了PIM范式用于两个现代数据密集型应用:(1)边缘设备的机器学习推理模型和(2)云系统的混合事务/分析处理数据库。我们在系统设计中遵循两步走的方法。在第一步中,我们广泛分析每个应用程序的计算和内存访问模式,以深入了解其硬件/软件要求以及以处理器为中心的系统中的性能和能源瓶颈的主要来源。在第二步中,我们利用第一步的见解来共同设计算法和硬件加速器,为每个应用程序实现高性能和高能效的以数据为中心的架构。
2022-05-29 cs.AI cs.AR cs.DB