VR-Pipe: Streamlining Hardware Graphics Pipeline for Volume Rendering
Seoul National University(首尔国立大学)
本研究提出VR-Pipe,通过硬件原生支持提前终止和多粒度瓦片分箱与四边形合并,精简图形管线以加速基于3D高斯泼溅的体渲染,实现高达2.78倍性能提升。
2025-02-24 cs.AR cs.CV cs.GR
Hardware-Software Co-Design for Float16 On-Device Training on RISC-V Single-Core
CEA-Leti, Mines Saint-Etienne, Equipe Commune SAS(CEA-莱蒂、圣艾蒂安 Mines、共同团队 SAS);Univ. Grenoble Alpes, CEA-Leti(格勒诺布尔阿尔卑斯大学、CEA-莱蒂);Mines Saint-Etienne, CEA-Leti, Centre CMP, Equipe commune SAS(圣艾蒂安 Mines、CEA-莱蒂、CMP 中心、共同团队 SAS)
研究在RISC-V单核上进行Float16设备端训练,利用Zfh和Zvfh扩展提出开源框架,能减内存占用、促迁移学习,基于AIfES构建,强调Zfh低开销并讨论Zvfh架构。
2026-07-24 cs.AI cs.AR
Adaptive Block Floating-Point for Analog Deep Learning Hardware
Lightmatter, Inc.(Lightmatter公司)
模拟混合信号(AMS)设备承诺比数字设备更快、更节能的深度神经网络(DNN)推理。然而,最近的研究表明,AMS设备上具有定点数的DNN可能会因为精度损失而导致精度损失。为了减轻这种惩罚,我们提出了一种新的AMS兼容的自适应块浮点(ABFP)数表示。我们还介绍了放大(或增益)作为一种方法,用于提高数字表示的准确性,而不增加输出的位精度。我们在MLPerf数据中心推理基准测试中评估了ABFP在DNN上的有效性-与FLOAT 32相比,实现了低于$1\%$的准确性损失。我们还提出了一种新的AMS设备微调方法,差分噪声微调(DNF),与传统的量化感知训练相比,该方法对设备噪声进行采样以加快微调。
2022-05-12 cs.AR cs.LG
A floating point division unit based on Taylor-Series expansion algorithm and Iterative Logarithmic Multiplier
浮点除法虽然在传统意义上是一种不常见的操作,但在一系列非传统应用中是不可或缺的,例如K均值聚类和QR分解。在这样的应用中,对浮点除法的硬件支持将提高整个系统的性能。在本文中,我们提出了一种新的架构的浮点除法单元的泰勒级数展开算法的基础上。我们表明,迭代对数乘法器是非常适合被用来作为这个架构的一部分。我们提出了一种实现的电源单元,可以计算一个奇数的权力和一个偶数的权力,同时具有很少的硬件开销相比,迭代对数乘法器。
2017-04-29 cs.AR
FLInt: Exploiting Floating Point Enabled Integer Arithmetic for Efficient Random Forest Inference
TU Dortmund University(多特蒙德工业大学);University of Twente(特温特大学)
在许多机器学习应用中,例如,基于树的集合、浮点数由于它们的表达性而被广泛使用。如今,在嵌入式设备上从动态数据量执行数据分析变得可用,但是这样的系统通常缺乏处理浮点数的硬件能力,从而为它们的处理引入了大量开销。即使这样的硬件存在于一般的计算系统中,使用整数运算而不是浮点运算也有望减少运算开销并提高性能。在本文中,我们提供了\mdname,一个全精度浮点比较的随机森林,仅使用整数和逻辑运算。为了确保相同的功能保留,我们正式证明了这种比较的正确性。由于随机森林在推理过程中只需要比较浮点数,因此我们在低级实现中实现了\mdname ~,从而通过保持模型精度不变,完全消除了对浮点硬件的需求。\mdname ~的用法基本上归结为一个接一个的条件替换:例如,C中的比较语句:if(pX[3]<=(float)10.074347)变成了if((*((int*)(pX))+3))<=((int)(0x 41213087)。在X86和ARMv 8桌面和服务器类系统上的实验结果表明,该方法可以将执行时间减少到$\approx 30\%$.
2022-09-09 cs.AR cs.LG
Reduced-Precision Floating-Point Arithmetic in Systolic Arrays with Skewed Pipelines
本文针对脉动阵列中低精度浮点链式乘加运算,提出一种倾斜流水线设计,通过为指数逻辑启用新前推路径实现相邻处理单元流水线阶段的并行执行,在极小硬件开销下显著降低矩阵乘法延迟,并在最先进CNN上实现8%至11%的能耗降低。
2023-09-08 cs.AR
Generalized Methodology for Determining Numerical Features of Hardware Floating-Point Matrix Multipliers: Part I
School of Computer Science, University of Leeds(利兹大学计算机学院)
本文提出一种架构无关的测试方案,用于确定消费级NVIDIA GPU矩阵乘法器的数值特征,并发现RTX-3060与A100特征一致,且该方法可扩展至未来GPU及新格式。
2025-09-03 cs.AR cs.MS
Design and Implementation of a Takum Arithmetic Hardware Codec
University of Cologne(科隆大学)
本文提出了一种基于塔库姆数格式的硬件编码器,通过改进的指数编码方案实现了更高的精度和动态范围,实验显示其在FPGA上的性能优于现有正数编码器。
2025-11-25 cs.AR
Implementation of Goldschmidt's Algorithm with hardware reduction
已经开发了除法算法来减少延迟并提高处理器的效率。浮点除法被认为是高延迟操作。本文探讨了一个这样的划分算法,检查硬件框图,并提出了一种替代路径,可能是成本效益。
2019-09-23 cs.AR
Floating Point HUB Adder for RISC-V Sargantana Processor
针对就近舍入带来的硬件与时序需求,本文设计并在 Sargantana RISC-V 处理器中实现了一种定制化浮点 HUB 加法器。
2024-01-08 cs.AR
Run-Time-Reconfigurable Multi-Precision Floating-Point Matrix Multiplier Intellectual Property Core on FPGA
在当今世界,高功率计算应用,如图像处理,数字信号处理,图形和机器人需要巨大的计算能力。这些应用程序使用矩阵运算,特别是矩阵乘法。乘法运算需要大量的计算时间,并且在设计上也很复杂。我们可以使用现场可编程门阵列作为低成本的硬件加速器,以及低成本的通用处理器,而不是高成本的专用处理器。在这项工作中,我们采用了一个高效的Strassens算法矩阵乘法和一个高效的运行时间可重构的浮点乘法器矩阵元素乘法。该运行时间可重构浮点乘法器是用自定义浮点格式实现的,适用于变精度应用。一个非常有效的组合Karatsuba算法和Urdhva Tiryagbhyam算法被用来实现二进制乘法器。该设计通过在运行时间内对自身进行重新配置,可以根据不同的精度要求有效地调整功耗和时延要求。
2019-10-26 cs.AR
BEANNA: A Binary-Enabled Architecture for Neural Network Acceleration
University of California, Los Angeles(加州大学洛杉矶分校)
现代硬件设计趋势已经转向专门的硬件加速,用于机器学习和计算机视觉等计算密集型任务。虽然这些复杂的工作负载可以通过商用GPU来加速,但在需要满足移动和嵌入式设备严格的内存、吞吐量和功耗限制时,特定于领域的硬件要理想得多。本文提出并评估了二进制使能架构的神经网络加速(BEANNA),一个神经网络硬件加速器能够处理浮点和二进制网络层。通过使用一种新型的16 × 16脉动阵列矩阵乘法器,其处理元件可以计算浮点和二进制乘加,BEANNA可以在高精度浮点和二进制神经网络层之间无缝切换。BEANNA以100 MHz的时钟速度运行,在高精度模式下工作时,峰值吞吐量为52.8 GigaOps/秒,在二进制模式下工作时,峰值吞吐量为820 GigaOps/秒。BEANNA的评估是通过比较一个混合网络与浮点外层和二进制隐藏层的网络,只有浮点层。使用BEANNA加速的混合网络实现了194%的吞吐量增加,68%的内存使用量减少,每个推理的能耗减少66%,所有这些都是以MNIST数据集上仅0.23%的分类准确性降低为代价的。
2021-08-04 cs.AI cs.AR cs.LG
ReFloat: Low-Cost Floating-Point Processing in ReRAM for Accelerating Iterative Linear Solvers
ReFloat提出一种数据格式与加速器架构,在ReRAM中实现低成本浮点处理,加速迭代线性求解器,相比现有方案提速5.02至84.28倍。
2023-10-10 cs.AR cs.DC
Design and implementation of an out-of-order execution engine of floating-point arithmetic operations
在这篇论文中,我们的工作是针对Lagarto II核设计一个浮点算术运算的乱序执行引擎,并在FPGA中实现。第一个建议涵盖了一个低功耗的问题队列的设计乱序处理器,寄存器组,旁路网络,和功能单元的加/减,乘法,除法/倒数,并与IEEE-754标准确认的融合乘法累加(FMAC)。该设计支持双精度格式和非规范化数字;第二种方案是基于一对FMAC作为功能单元,可以执行几乎所有的浮点运算,这种设计在面积,性能和能源效率方面都比第一个版本更有利。
2021-10-29 cs.AR
AdaptivFloat: A Floating-point based Data Type for Resilient Deep Learning Inference
Harvard University(哈佛大学);Cornell Tech(康奈尔理工学院)
传统的硬件友好的量化方法,如定点或整数,往往在非常低的字长表现不佳,因为它们缩小的动态范围不能充分捕获序列转导模型中常见的宽数据分布。我们提出了AdaptivFloat,这是一种用于深度学习的浮点启发数字表示格式,可以在层粒度上动态地最大化和最佳地裁剪其可用动态范围,以便创建神经网络参数的忠实编码。与块浮点、均匀、类似IEEE的浮点或浮点编码相比,AdaptivFloat在各种最先进的神经网络拓扑结构中以极低的精度($\leq$ 8位)始终产生更高的推理精度。值得注意的是,在$\leq$ 8位的权重位宽下,AdaptivFloat的BLEU得分高达+0.3,字出错率为-0.75,超过了基准FP 32性能。在深度神经网络(DNN)硬件加速器上的实验结果,在其计算数据路径中利用AdaptivFloat逻辑,证明了每操作能量和面积分别为0.9 $\times$和1.14 $\times$,即基于等效位宽整数的加速器变体的能量和面积。
2020-02-11 cs.AR cs.LG stat.ML
Efficient Floating-Point Givens Rotation Unit
高吞吐量QR分解是许多高级信号处理和通信应用中的关键操作。对于其中的一些应用程序,使用浮点计算几乎是强制性的。然而,在嵌入式系统中的浮点QR分解的硬件实现的工作很少。在本文中,我们提出了一个非常有效的高吞吐量浮点Givens旋转单元的QR分解。此外,最初提出的设计,传统的数字格式是通过使用新的半单位偏置格式增强。所提供的误差分析表明,我们的建议和权衡不同的实施参数的有效性。FPGA实现的结果也提出了这两种方法之间的彻底比较。这些实施结果也揭示了突出的改进相比,其他以前的类似设计在面积,延迟和吞吐量方面。
2020-10-23 cs.AR
PERCIVAL: Open-Source Posit RISC-V Core with Quire Capability
实数的浮点数表示是普遍存在的IEEE 754浮点数标准的替代方案。在这项工作中,我们提出了PERCIVAL,一个基于CVA6的应用级可编程RISC-V核心,可以执行所有可编程指令,包括quire融合操作。这解决了以前的作品所遇到的障碍,这些作品只包括部分可扩展性支持或必须在软件中模拟假设,从而限制了其应用程序的范围或可扩展性。此外,Xcovery,一个RISC-V的扩展,用于LLVM指令被合并到LLVM中。因此,PERCIVAL是第一个在硬件中集成完整的FPGA指令集的工作。这些元素允许本机执行浮点指令以及标准浮点指令,进一步允许比较这些表示。FPGA和ASIC综合显示了实现32位置位的硬件成本,并强调了包括一个quire累加器的显著开销。然而,结果比较posits和IEEE浮点数表明,quire能够更准确地执行点积。在一般的矩阵乘法中,与单精度浮点数相比,精度误差减少了4个数量级。此外,性能比较表明,这些精度的提高并不妨碍它们的执行,因为假设运行速度与单精度浮点数一样快,并且比双精度浮点数表现出更好的时序,因此可能提供一种替代表示。
2022-07-07 cs.AR
Non-Parametric Dual-Manifold Mapping via 8-Bit Bounded Transformation Matrices: Challenging FP-centric Hardware Paradigms in Low-Energy AI
提出一种非参数、免训练的8位整数计算框架,通过位运算和累加逻辑实现双流形映射,消除浮点乘法,在90%截断稀疏性和20%随机节点破坏下保持近完美重构,挑战传统浮点硬件范式。
2026-06-12 cs.AR
Peregrino: A Full-Hardware Accelerator for the Complete Falcon Post-Quantum Digital Signature Scheme on Resource-Constrained Edge Devices
Universidad Politécnica de Madrid(马德里理工大学)
针对Falcon后量子签名在硬件实现的难题,提出Peregrino加速器,用HDL从零设计完整方案,以模拟浮点适配无FPU边缘设备,资源占用大幅低于HLS方案,性能提升显著。
2026-09-28 cs.AR cs.CR
Rethinking Floating Point Overheads for Mixed Precision DNN Accelerators
Samsung Semiconductor, Inc.(三星半导体公司)
在本文中,我们提出了一种混合精度卷积单元架构,支持不同的整数和浮点(FP)精度。该结构基于低比特内积单元,并通过时间分解实现了更高的精度。我们说明了如何整合FP计算整数为基础的架构和评估FP算法支持所产生的开销。我们认为,FP内积的对齐和加法开销可能很大,因为最大指数差可能高达58位,这会导致大型对齐逻辑。为了解决这个问题,我们说明经验,不超过26位的产品位是必需的,最多8位的对齐是足够的,在大多数推理情况下。我们提出了新的优化基于上述意见,以减少FP算法的硬件开销。我们的实证结果,基于仿真和硬件实现,FP 16开销显着减少。在典型的混合精度实现中,所提出的架构实现了高达25%的面积改善在TFLOPS/mm 2和高达46%的TOPS/mm 2与功率效率的提高高达40%在TFLOPS/W和高达63%在TOPS/W。
2021-01-27 cs.AR cs.LG
Run-time reconfigurable multi-precision floating point multiplier design for high speed, low-power applications
浮点乘法运算在图像处理、信号处理等许多应用领域都是一种重要的运算,但不同的应用对浮点乘法运算有不同的要求。有些要求高精度,有些要求低功耗,低延迟等,但IEEE-754格式是不是真正灵活的这些规格,而且设计是复杂的。最佳的运行时间可重配置硬件实现可能需要使用自定义浮点格式,这些格式不一定遵循IEEE指定的大小。本文提出了一种基于FPGA实现的运行时间可重构浮点乘法器,它具有自定义浮点格式,可满足不同的应用需求。根据精度或应用要求,该浮点乘法器可以有6种操作模式。通过使用具有自定义IP(知识产权)的优化设计,通过在乘法之前截断输入来完成更好的实现。并结合Karatsuba算法和Urdhva-Tiryagbhyam算法(吠陀数学)实现了无符号二进制乘法器。这进一步提高了乘法器的效率。
2020-12-06 cs.AR eess.SP
Monotonicity of Multi-Term Floating-Point Adders
本文揭示了多项浮点加法器在不对中间量规格化时可能出现非单调性,并通过形式化证明和MATLAB仿真验证了该现象及其硬件设计成因。
2023-12-04 cs.AR cs.MS cs.NA
On Approximate 8-bit Floating-Point Operations Using Integer Operations
本文研究了使用简单整数操作执行近似8位浮点运算,通过添加条件进位等机制实现忠实舍入和正确舍入,并在FPGA上取得显著资源节省。
2024-06-26 cs.AR
Precision-Aware Variable Bit Processing Elements for Hardware-Efficient Systolic Array Designs
IIIT-Bangalore(印度信息技术学院班加罗尔分校)
本研究针对权重静止型脉动阵列的浮点数乘法器,采用NSGA-II算法优化设计,通过部分积矩阵截断与压缩器融合,实现了脉动阵列硬件效率提升且保持相当的CNN准确率。
2026-08-25 cs.AR cs.ET cs.LG
Hardware Acceleration of Neural Graphics
UIUC(伊利诺伊大学厄巴纳-香槟分校);Intel Corporation(英特尔公司)
本文针对神经图形在现有 GPU 上性能不足的问题,提出专用硬件架构 NGPC 加速输入编码与 MLP 内核,并结合 Vulkan 内核融合,实现最高 58 倍端到端性能提升,支持高分辨率实时神经渲染。
2023-04-12 cs.AR cs.GR cs.LG
FAST: DNN Training Under Variable Precision Block Floating Point with Stochastic Rounding
Harvard University(哈佛大学);Franklin and Marshall College(富兰克林与马歇尔学院)
块浮点(BFP)可以通过经由跨一组值的共享指数提供宽动态范围来有效地支持深度神经网络(DNN)训练的量化。在本文中,我们提出了一种用于DNN的快速第一,准确第二训练(FAST)系统,其中权重,激活和梯度以BFP表示。FAST支持使用可变精度BFP输入操作数的矩阵乘法,从而在整个训练过程中实现DNN精度的增量增加。通过提高训练迭代和DNN层的BFP精度,FAST可以大大缩短训练时间,同时减少整体硬件资源使用。我们的FAST乘法器-累加器(fMAC)支持多个BFP精度下的点积计算。我们在具有不同数据集的多个DNN上验证了我们的FAST系统,在基于\textbf{mixed-precision or block}浮点数系统的先前工作中,在单芯片平台上的训练中展示了2-6个$\times$加速,同时在验证准确性方面实现了类似的性能。
2021-10-28 cs.AR cs.LG
Interval Semantics for Standard Floating-Point Arithmetic
North Carolina State University(北卡罗来纳州立大学);University of Victoria(维多利亚大学)
本文通过区间语义解释标准浮点运算中的舍入效果,定义了带符号零和无穷大的区间解释,使得未定义操作(0*inf、inf-inf、inf/inf、0/0)变得有定义,从而为数值算法的验证提供基础。
2008-10-23 cs.AR cs.NA math.NA
Inexactness and Correction of Floating-Point Reciprocal, Division and Square Root
本文提出了一族可校正倒数、除法和平方根近似值并实现IEEE-754正确舍入的硬件算法,同时证明就近舍入到偶数模式下无需相等性测试。
2024-03-30 cs.AR cs.MS
Converting Binary Floating-Point Numbers to Shortest Decimal Strings: An Experimental Review
Université du Québec (TELUQ)(魁北克大学(特卢夸))
本文通过实证研究比较了多种二进制浮点数到十进制字符串转换算法的性能,发现前沿技术在速度上显著优于传统方法,但标准库实现仍有优化空间。
2026-01-15 cs.AR
The AetherFloat Family: Block-Scale-Free Quad-Radix Floating-Point Architectures for AI Accelerators
Keita Morisaki(独立研究者)
AetherFloat家族是一种面向AI加速器的无块缩放四进制浮点架构,通过显式尾数和四进制缩放实现更高的动态范围和更低的功耗,同时支持量化感知训练。
2026-02-26 cs.AR cs.LG
Fast Generation of Custom Floating-Point Spatial Filters on FPGAs
本文提出线性与非线性空间滤波器的新型FPGA实现,采用自定义浮点算术权衡精度与硬件紧凑性,并借助领域特定语言实现快速原型开发,可在低成本FPGA上实时处理1080p/60fps视频。
2024-09-09 cs.AR
Mixed precision in Graphics Processing Unit
现代图形计算单元(GPU)被设计和优化为执行高度并行的数值计算。这种并行性在能量性能和计算方面都具有显著的优势。在本文中,我们将盘点混合精度的不同应用。我们回顾了目前在绝大多数系统中使用的数值计算标准。我们表明,混合精度,降低精度在输入的操作并不一定会降低其输出的精度。我们表明,这一原则允许其转换到最需要计算能力的分支之一:机器学习。利用不动点数和半精度是提高复杂神经网络学习能力的两种非常有效的方法。混合精度仍然需要使用合适的硬件,否则计算时间反而会延长。在Tesla V100系列中发现的NVIDIA Tensor Core是在硬件级别实现混合精度的一个例子。另一方面,通过放弃传统的冯·诺依曼模型,混合精度也可以转换到较低的抽象层次,使用相变存储器。
2021-10-25 cs.AR
DGEMM without FP64 Arithmetic - Using FP64 Emulation and FP8 Tensor Cores with Ozaki Scheme
Information Technology Center, Nagoya University(名古屋大学信息技术中心)
本研究针对AI硬件趋势转向FP8低精度浮点运算的现状,重新审视Ozaki方案,探索使用FP8张量核心及整数算术模拟FP64,并引入内积维度分块加速FP16实现,在NVIDIA RTX Blackwell GPU上验证了有效性。
2025-09-25 cs.AR cs.MS cs.PF
A Mixed Precision, Multi-GPU Design for Large-scale Top-K Sparse Eigenproblems
基于谱方法的图分析技术处理具有数百万甚至数十亿个非零值的极大稀疏矩阵。在这些算法的背后是Top-K稀疏特征问题,即最大特征值及其相关特征向量的计算。在这项工作中,我们利用GPU将Top-K稀疏特征问题扩展到比以前更大的矩阵,同时还提供了最先进的执行时间。我们可以在多个GPU上透明地划分计算,处理核外矩阵,并使用混合精度浮点运算来调整精度和执行时间。总的来说,我们比在104线程CPU上运行的高度优化的ARPACK库快67倍,比最近的FPGA硬件设计快1.9倍。我们还确定了混合精度浮点运算如何将执行时间比双精度浮点运算缩短50%,并且比单精度浮点运算精确12倍。
2022-01-19 cs.AR
A Stochastic Rounding-Enabled Low-Precision Floating-Point MAC for DNN Training
本文提出了一种支持随机舍入的FP8乘法器和FP12累加的MAC单元,通过优化SR实现和移除次正规值支持来减少面积和功耗,在保持模型精度的同时显著降低延迟和能耗。
2024-09-26 cs.AR
Efficient Precision-Scalable Hardware for Microscaling (MX) Processing in Robotics Learning
KU Leuven, Belgium(卢森堡大学);Nanjing University, China(南京大学)
本文提出了一种高效精度可扩展硬件,支持微缩处理,通过子字并行和统一整数浮点处理,提升机器人边缘持续学习的能效和吞吐量。
2025-07-23 cs.AR cs.RO
Efficient and Mathematically Robust Operations for Certified Neural Networks Inference
Airbus Central R&T(空中客车中央研究与技术部)
本文针对认证神经网络推理的硬件挑战,通过评估求和与点积算法并采用定点运算替代IEEE 754浮点运算,以经验方法确定最佳位宽,在保证可接受精度的同时实现显著硬件效率。
2024-01-16 cs.AR cs.LG
DHFP-PE: Dual-Precision Hybrid Floating Point Processing Element for AI Acceleration
Institute of Engineering and Technology, Devi Ahilya University, Indore, India(印度印多尔德维·阿希利亚大学工程技术学院);NSDCS Research Group, Indian Institute of Technology Indore, India(印度理工学院印多尔分校NSDCS研究组)
本文提出一种支持FP8和FP4格式的双精度混合浮点MAC处理元件,通过创新的位分割技术实现高能效和高吞吐量的AI计算,相比现有设计在面积和功耗上分别节省60.4%和86.6%。
2026-04-08 cs.AR cs.RO eess.AS