Topology-Aware Virtualization over Inter-Core Connected Neural Processing Units
针对核间互联NPU资源利用率低的问题,提出首个整合路由虚拟化、内存虚拟化与尽力而为拓扑映射的vNPU方案,实现最高2倍性能提升且硬件成本仅2%。
2025-06-13 cs.AR cs.DC
CVA6 RISC-V Virtualization: Architecture, Microarchitecture, and Design Space Exploration
本文为RISC-V CVA6核心设计了GTLB和L2 TLB等微架构增强以支持硬件虚拟化,并通过设计空间探索选定最优配置,在极小的面积和功耗开销下实现了平均12.5%的性能提升。
2023-08-04 cs.AR
Virtualization of Tiny Embedded Systems with a robust real-time capable and extensible Stack Virtual Machine REXAVM supporting Material-integrated Intelligent Systems and Tiny Machine Learning
University of Bremen(不来梅大学);University of Siegen(锡根大学);Institute for Microsensors, -actuators and -systems(微传感器、微执行器与微系统研究所)
在过去的几十年中,传感器密度和传感器部署显著增加,这是由显著的小型化和尺寸减小到芯片级驱动的,解决了无处不在的计算,边缘计算以及分布式传感器网络。材料集成和智能系统(MIIS)提供了下一个集成和应用级别,但它们带来了新的挑战并引入了硬约束(资源,能源供应,通信,弹性和安全)。通常,低资源系统是具有专用软件或专用硬件(FPGA)的静态编程处理器。这项工作表明,需要和解决方案,虚拟化在这种低资源和约束系统的弹性分布式传感器和网络物理网络使用一个统一的低资源,可定制的,和实时的【形】能力嵌入式和可扩展堆栈虚拟机(REXAVM),可以实现和合作的软件和硬件。在整体架构方法中,VM专门针对数字信号处理和微型机器学习。通过在编译时使用VM程序代码生成器和在运行时间使用增量代码处理,REXAVM是高度可定制的。虚拟机使用集成的、高效的实时编译器从文本代码创建字节码。本文显示和评估的适用性,建议的VM架构操作等效的软件和硬件(FPGA)实现。讨论了支持微型ML和使用定点运算的DSP的特定组件的效率和精度。扩展的用例部分演示了所引入的VM体系结构在广泛应用程序中的可用性。
2023-02-17 cs.AR cs.LG cs.OS
Rule-based High-level Hardware-RTL Synthesis of Algorithms, Virtualizing Machines, and Communication Protocols with FPGAs based on Concurrent Communicating Sequential Processes and the ConPro Synthesis Framework
虚拟化是对细节的抽象。算法和程序设计语言也提供了抽象。硬件和嵌入式系统的虚拟化在异构环境和网络中变得越来越重要,例如,分布式和材料集成传感器网络。通过引入直接在片上硬件中实现的虚拟化层,可以统一和唯一地访问各种硬件和低级协议的通信和数据处理。今天的硬件设计仍然是组件驱动的(如电路板),而不是将算法作为抽象层直接转换为硬件设计。程序和协议是算法,因此不要像传统的高级综合设计流程那样将它们作为设备处理!具有主导和复杂控制路径的复杂反应系统在SoC设计中发挥着越来越重要的作用。对并发性的主要贡献出现在控制路径级别。本文深入介绍了SoC设计方法,使用最高级别的综合ConPro编译器框架和面向过程的程序设计语言,提供了一个编程模型的基础上并发执行和通信的顺序进程(CCSP)与广泛的一组进程间通信原语。电路是在算法层面上建模和编程的,比组件驱动的设计更方便和自然。扩展的案例研究的智能通信协议路由器和先进的基于堆栈的处理器提供了一个可编程的虚拟化层显示和评估。两者一起用作部署在高密度传感器-致动器-网络中的智能节点架构,例如,用于材料集成智能系统。
2023-02-06 cs.AR cs.DC cs.PL
NeuroVM: Dynamic Neuromorphic Hardware Virtualization
本文提出NeuroVM动态神经形态硬件虚拟化架构,将异构节点统一为大规模并行系统,实现资源动态分配与重配置,并通过实验验证其吞吐量可扩展性和能耗近线性增长特性。
2024-10-01 cs.AR
Enabling Efficient and Flexible FPGA Virtualization for Deep Learning in the Cloud
Tsinghua University(清华大学)
FPGA在为深度神经网络(DNN)推理应用提供低延迟和高能效解决方案方面显示出巨大的潜力。目前,大多数基于FPGA的DNN加速器在云中以时分复用的方式运行,用于多个用户共享单个FPGA,并且需要重新编译$\sim$ 100 s开销。这种设计导致多用户隔离性差,性能损失严重,无法为公有云和私有云场景提供高效灵活的FPGA虚拟化。为了解决这些问题,我们介绍了一种新的虚拟化框架的指令架构集(ISA)的基础上DNN加速器共享一个FPGA。我们通过引入两级指令调度模块和基于多核的硬件资源池来实现隔离。这样的设计提供了隔离的和运行时可编程的硬件资源,进一步导致多个用户的性能隔离。另一方面,为了克服重编译的开销,我们提出了一种基于分片的指令框架包设计和两阶段的静态-动态编译。仅对轻量级的运行时信息进行重新编译,开销为$\sim$ 1 ms,保证了私有云的性能。我们广泛的实验结果表明,所提出的虚拟化设计实现了1.07- 1.69倍和1.88- 3.12倍的吞吐量提高比以前的静态设计使用单核和多核架构,分别。
2020-03-26 cs.AR cs.DC cs.LG
Experimental Assessment of Containers Running on Top of Virtual Machines
本文在真实测试平台上实验比较了容器运行于虚拟机之上与独立虚拟机、独立容器在不同硬件资源下的性能,涵盖多种虚拟化方式和容器平台。
2024-01-15 cs.AR cs.DC cs.PF
Virtual-Threading: Advanced General Purpose Processors Architecture
本文描述了新的计算机体系结构,其主要特征已在俄罗斯联邦专利2312388和美国专利申请11/991331中要求保护。该体系结构旨在有效支持通用并行计算(GPPC),其本质是非常频繁的线程之间的活动状态和状态之间的切换,在本文中的算法延迟。为了强调体系结构延迟和算法延迟对GPPC的相同影响,引入了广义延迟的概念,并定义了广义延迟容限(GLT)作为广义延迟容限的定量度量。它表明,一个很好的适合GPPC的实现架构应该有高水平的GLT,并描述了这样的架构,这是所谓的虚拟线程机。该架构在活动虚拟化的方向上发起处理器虚拟化,其与众所周知的存储器虚拟化的方向正交。该体系结构的关键元素是1)体系结构寄存器文件的分布式细粒度表示,这些元素是通过微体系结构存储器的级别进行硬件交换的,2)优先化细粒度直接硬件多道程序设计,3)访问控制虚拟寻址和4)硬件驱动信号量。这些功能的组成可以引入新风格的操作系统(OS)编程,这是免费的中断,并与一个非常罕见的使用OS服务的应用程序编程。
2009-10-21 cs.AR cs.OS
The Necessity for Hardware QoS Support for Server Consolidation and Cloud Computing
片上多处理器(CMP)在当今的大多数计算领域中是无处不在的。虽然它们在性能、成本和功率效率方面提供了显著的优势,但它们也引入了一些新问题。在本文中,我们分析了如何在其他核心上运行的虚拟专用服务器的干扰是一个重要组成部分的性能不可预测性,并可能威胁到云计算的实现。即使使用虚拟化,不同内核共享存储层次结构的片上部分也会使性能隔离强烈依赖于系统中其他地方运行的内容。我们将在基于Sun UltraSparc T1、Sun UltraSparc T2和Intel Xeon处理器的三个实际计算系统中展示,最先进的虚拟化技术如何无法在SPECweb2005等代表性工作负载中保证性能隔离。在一个特别设想的接近最坏情况的场景中,在Sun Fire T1000和Sun Enterprise T5120中,Solaris Zones整合服务器针对这套基准测试所实现的性能可能会降低80%。在HP Proliant DL160 G5中运行的Xen整合服务器所观察到的性能下降几乎为45%。对于所研究的所有系统,片外带宽被证明是最关键的资源。
2012-06-27 cs.AR cs.OS
Advancing AI-assisted Hardware Design with Hierarchical Decentralized Training and Personalized Inference-Time Optimization
Imperial College London(伦敦帝国学院);University of Cambridge(剑桥大学)
本文提出一个两阶段AI辅助硬件设计框架,通过分层去中心化训练解决数据限制与质量问题,并利用个性化推理时优化提升效率,实现最高50%准确率提升与2.3倍加速。
2025-04-21 cs.AI cs.AR cs.DC
MG-Verilog: Multi-grained Dataset Towards Enhanced LLM-assisted Verilog Generation
Georgia Institute of Technology(佐治亚理工学院)
本文针对现有硬件数据集规模与细节不足的问题,提出多粒度Verilog数据集MG-Verilog及均衡微调方案,并通过开源基础设施和实验验证其能持续提升LLM辅助硬件设计性能。
2024-07-03 cs.AI cs.AR cs.LG
Accelerating Path Planning for Autonomous Driving with Hardware-Assisted Memoization
Cornell University(康奈尔大学)
具有动态障碍物的自动驾驶路径规划是一个挑战,因为它需要执行更高维的搜索(具有时间维度),同时仍然满足实时约束。提出了一种算法-硬件协同优化的方法来加速高维搜索空间的路径规划。首先,我们通过将节点和障碍物映射到低维空间并记住最近的搜索结果来减少最近邻居搜索和碰撞检测的时间。然后,我们提出了一个有效的memoization的硬件扩展。在现代处理器和周期级仿真器上的实验结果表明,硬件辅助记忆显著减少了路径规划的执行时间。
2022-05-27 cs.AR cs.RO
LLM-Assisted Detection and Repair of Hardware Security Vulnerabilities in Verilog Designs
Iowa State University(爱荷华州立大学);University of Iowa(爱荷华大学)
本文提出利用LLM从Verilog硬件设计中识别潜在CWE漏洞的方法,经单模块Verilog数据集迭代评估,证实LLM可增强硬件安全分析,为设计阶段漏洞识别提供自动化可扩展辅助。
2026-08-06 cs.AR cs.CR
EStream: Fast and Memory-Efficient MoE Prefill through Expert Virtualization on Mobile NPUs
Shanghai Jiao Tong University(上海交通大学);Cloud Computing Research Institute, China Telecom(中国电信云计算研究院);Temple University(天普大学)
EStream通过专家虚拟化和硬件感知配置,在移动NPU上实现MoE预填充的快速与内存高效,相比基线显著加速并降低内存。
2026-09-09 cs.AR cs.DC cs.LG
HyperDbg: Reinventing Hardware-Assisted Debugging (Extended Version)
软件分析、调试和逆向工程在当今的软件行业中有着至关重要的影响。高效和隐蔽的调试器对于恶意软件分析尤其重要。然而,现有的调试平台无法解决一个透明的,有效的,高性能的低级别调试器,由于其可检测的指纹,复杂性和实现的限制。在本文中,我们提出了HyperDbg,一个新的管理程序辅助调试器的高性能和隐形调试的用户和内核应用程序。为了实现这一点,HyperDbg依赖于当今CPU中最先进的硬件功能,例如VT-x和扩展页表。与其他广泛使用的现有调试器相比,我们使用自定义hypervisor设计HyperDbg,使其独立于操作系统功能或API。我们提出了基于硬件的防御级仿真和操作系统级的API挂钩通过扩展页表,以增加隐形。我们对10,853个恶意软件样本的动态分析结果显示,HyperDbg的隐蔽性允许调试的样本平均分别比WinDbg和x64 dbg多22%和26%。此外,与现有的调试器相比,HyperDbg不会被13个测试的打包器和保护器中的任何一个检测到。我们通过部署与VMX兼容的脚本引擎,消除了不必要的上下文切换,从而提高了其他调试器的性能。我们对三个具体调试场景的实验表明,与WinDbg作为唯一的内核调试器相比,HyperDbg执行步进,条件中断和系统调用记录,分别快2.98倍,1319倍和2018倍。最后,我们展示了真实世界的应用程序,如0天分析,结构重建的逆向工程,软件性能分析和代码覆盖率…
2022-09-02 cs.AR cs.CR cs.OS
Optimizing Graph Processing and Preprocessing with Hardware Assisted Propagation Blocking
广泛的先前研究集中在减轻图分析工作负载的特征性不良缓存局部性。然而,图形预处理任务仍然相对未被探索。在许多重要的场景中,图预处理任务可能与下游图分析内核一样昂贵。我们观察到,传播阻塞(PB),一种为SpMV内核设计的软件优化,推广到许多图形分析内核以及常见的预处理任务。在这项工作中,我们确定了挥之不去的效率低下的PB执行传统的多核,并提出架构支持,以消除PB的瓶颈,进一步提高性能收益PB。我们提出的架构- COBRA -优化了图形处理和预处理的PB执行,以提供高达4.6倍(平均3.5倍)的端到端加速。
2020-11-17 cs.AR cs.DC cs.PF
Comparative Analysis and Enhancement of CFG-based Hardware-Assisted CFI Schemes
颠覆指令流(例如,通过使用代码重用攻击)仍然对当今系统的安全性构成严重威胁。各种控制流完整性(CFI)计划已被提出作为一个强大的技术来检测和减轻这种攻击。近年来,学术界提出了许多基于控制流图(CFG)的CFI实施的硬件辅助实现。这种方法通过限制有效目标地址来检查控制流传输是否遵循预期的CFG。然而,这些论文都针对不同的平台,并使用不同的基准应用程序进行评估,这使得定量比较几乎不可能。在本文中,我们已经实现了多个有前途的基于CFG的CFI方案在一个共同的平台上,包括一个RISC-V SoC内的FPGA。通过将近40个基准测试应用程序移植到该系统,我们可以在运行时性能、硬件利用率和二进制大小方面对各种技术进行有意义的比较。此外,我们提出了一个增强的CFI方法,我们认为最好的概念和想法,以前提出的机制的启发。我们通过解决以前基本上被忽视的一些问题,使这种方法更加实用和功能完整。我们表明,这个细粒度的计划,CFI可以实现更少的开销比以前证明。
2021-03-07 cs.AR cs.CR
ADVERSARIAL: And-Inverter Graph-Assisted Hardware Trojan Detection At Scale
Synopsys, Inc.(新思科技公司)
针对现代大规模SoC中硬件木马检测难题,提出基于与非门图的符号化学习方法,通过知识图谱嵌入框架表示连接,解决可扩展性瓶颈,能区分正常与潜在木马连接,实验验证了该方法在大规模SoC基准测试中的有效性和可扩展性。
2026-07-28 cs.AR cs.CR cs.LG
Towards Fast, Adaptive, and Hardware-Assisted User-Space Scheduling
针对数据中心微秒级工作负载的高尾部延迟问题,提出基于UINTR硬件的可抢占用户级线程库LibPreemptible,通过多项优化实现显著优于Shinjuku的延迟与吞吐量,且无需修改内核。
2023-11-11 cs.AR cs.DC cs.NI
FOX: Hardware-Assisted File Auditing for Direct Access NVM-Hosted Filesystems
随着新兴的非易失性存储器进入主流市场,一些操作系统开始纳入新的变化和优化。一个主要的操作系统支持是文件的直接访问,这使得能够有效地访问托管在字节可寻址NVM系统中的文件。使用启用DAX的文件系统,可以直接访问文件,类似于使用典型的加载/存储操作访问内存。尽管直接存取的效率很高,但频繁使用的系统调用给系统审计带来了麻烦。文件系统审计是强制性的,并且被广泛使用,因为审计日志可以帮助检测异常、可疑的文件访问,或者在数字取证中用作证据。然而,直接存取调用的频繁和长时间使用使得操作系统或文件系统在初始页面错误之后无法跟踪对共享文件的进程操作。这可能会导致不精确的伤亡分析,并导致错误的结论,攻击检测。为了弥补启用细粒度文件系统审计和利用NVM托管的文件系统的性能之间的紧张关系,我们提出了一种新的硬件辅助审计方案FOX。FOX通过轻量级的硬件-软件更改实现了文件系统审计,可以监控NVM上映射文件的每个读或写事件。此外,我们提出了优化的方案,使审计的灵活性为选定的文件/内存范围。通过在完整的系统模拟器Gem5上对FOX进行原型设计,我们观察到与我们的基线相比,吞吐量降低相对较小,并且额外写入可以接受。与其他基于仪器的软件方案相比,我们的方案是低开销和安全的。
2021-04-21 cs.AR
HCIC: Hardware-assisted Control-flow Integrity Checking
近年来,代码重用攻击(CRA),如面向返回编程(ROP)和面向跳转编程(JOP),已成为一类新的巧妙的安全威胁。攻击者可以利用CRA劫持程序的控制流来执行恶意操作,而无需注入任何代码。已经提出了许多防御方法,分为基于软件的和基于硬件的。然而,基于软件的方法很难部署在实际系统中,由于高性能开销。基于硬件的方法可以降低性能开销,但可能需要扩展指令集架构(ISA)和修改编译器或遭受密钥泄漏的脆弱性。针对这些问题,提出了一种新的基于硬件的控制流检测方法,在不扩展ISA、不修改编译器、不泄露加解密密钥的情况下,以可忽略的性能开销抵抗CRA。关键技术涉及两种控制流检查机制。第一个是物理不可克隆函数(PUF)响应和返回地址之间的加密汉明距离(EHD)匹配,只要PUF响应是秘密的,就可以防止攻击者在小工具之间返回,从而抵抗ROP攻击。第二种方法是在PUF响应与call和jmp指令的目标地址处的指令之间进行线性加/解密操作(XOR),以抵抗JOP攻击。使用动态密钥更新方法可以防止高级的基于返回的全功能重用攻击。基准测试的实验结果表明,所提出的方法引入了可以忽略不计的0.95%的运行时开销和0.78%的二进制大小的开销平均。
2018-09-19 cs.AR cs.CR
PAGE404: Breaking GPU Isolation Through Hardware-assisted Page Migration
University of California, Riverside(加州大学河滨分校);George Mason University(乔治梅森大学)
本文针对NVIDIA GH200超级芯片的硬件辅助页迁移机制,发现MIG分区间存在可被利用的边信道与隐蔽信道,突破了GPU隔离保障,暴露了异构内存系统的安全缺口。
2026-10-23 cs.AR cs.CR
Zorua: Enhancing Programming Ease, Portability, and Performance in GPUs by Decoupling Programming Models from Resource Management
应用程序资源规范--线程数量和每个线程块的暂存器内存使用率等几个参数的静态规范--形成了现有GPU编程模型的关键组成部分。此规范决定了应用程序在执行期间的性能,因为相应的片上硬件资源完全基于此规范进行分配和管理。软件提供的资源规范和硬件资源管理之间的这种紧密耦合导致编程的易用性,可移植性和性能的重大挑战,因为我们在这项工作中证明。我们在这项工作中的目标是减少软件提供的资源规范的性能的依赖,同时减轻上述挑战。为此,我们介绍了Zorua,一个新的资源虚拟化框架,它将程序员指定的GPU应用程序的资源使用从片上硬件资源的实际分配中分离出来。Zorua通过对程序员透明地虚拟化每个资源来实现这种解耦。我们证明,通过提供更多的资源比物理可用的错觉,Zorua提供了几个重要的好处:(一)编程容易:Zorua减轻了程序员的负担,提供的代码是调整,以有效地利用物理可用的片上资源。(ii)可移植性:Zorua强调了在跨GPU代移植应用程序时重新调整应用程序资源使用的必要性。(iii)性能表现:通过动态分配资源并在必要时仔细超额订阅,Zorua提高或保持了已经高度调整以最佳利用资源的应用程序的性能。Zorua提供的整体虚拟化还有许多其他潜在用途,我们将在本文中介绍。
2018-02-07 cs.AR cs.DC
A 5T-2MTJ STT-assisted Spin Orbit Torque based Ternary Content Addressable Memory for Hardware Accelerators
提出一种5T-2MTJ的STT辅助SOT TCAM设计,通过微磁与SPICE仿真评估器件至应用级性能,实现3.9x10^-11搜索错误率并在推荐系统中验证优势。
2024-09-26 cs.AR cs.ET
From Prompts to Silicon: Scaling LLM-Assisted Chip Design with the AI Hardware Design League
School of Electrical, Computing, and Software Engineering, University of Arizona(亚利桑那大学电气、计算机与软件工程学院);College of Information Sciences, University of Arizona(亚利桑那大学信息科学学院)
该研究提出AI硬件设计联盟(AI-HDL)竞赛,让无VLSI经验的学生用LLM辅助芯片设计,68.7%参与者无Verilog经验,2队完成Sky130工艺物理签核,验证了该工作流程的可扩展性。
2026-10-09 cs.AR
EHAP-ORAM: Efficient Hardware-Assisted Persistent ORAM System for Non-volatile Memory
不经意RAM(ORAM)是一种可证明安全的原语,用于防止存储器总线上的访问模式泄漏。它作为可信片上组件和不可信外部存储器系统之间的中间层,将原始存储器访问模式调制成不可区分的存储器序列。通过随机重新映射数据块和访问冗余块,ORAM通过混淆防止访问模式泄漏。虽然有许多先前的工作集中在提高传统的基于DRAM的存储器系统上的ORAM的性能,但当存储器技术转向使用非易失性存储器(NVM)时,关于如何有效地支持ORAM的崩溃一致性的新挑战出现。在这项工作中,我们提出了EHAP-ORAM,研究如何持久化ORAM建设与基于NVM的内存系统。我们首先分析了持久化ORAM系统的设计需求,并讨论了为数据和ORAM元数据保持崩溃一致性和原子性的必要性。接下来,我们将讨论持久ORAM系统设计中的一些挑战,并针对这些挑战提出一些解决方案。然后,我们提出了改进的片上ORAM控制器架构。在改进片上ORAM控制器硬件架构的基础上,提出了不同的持久化协议,以保证ORAM系统的崩溃一致性,并满足PosMap元数据在可信/不可信片外NVM中持久化时的安全性。所提出的架构和持久化协议的步骤,最大限度地减少了开销和泄漏过程中的写回。最后,我们比较了我们的持久ORAM与系统没有崩溃一致性支持,表明在非递归和递归的情况下,EHAP-ORAM只会带来3.36%和3.65%的性能开销。结果表明,EHAP-ORAM可以支持有效的崩溃…
2022-12-31 cs.AR