MPCFormer: fast, performant and private Transformer inference with MPC
Carnegie Mellon University(卡内基梅隆大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Petuum Inc.(Petuum公司);University of California, Berkeley(加州大学伯克利分校)
启用私有推理对于许多基于Transformer模型的云推理服务至关重要。然而,现有的私有推理解决方案可能会将推理延迟增加60倍以上,或者严重损害推理质量。在本文中,我们设计的框架MPCFORMER作为一个实用的解决方案,使用安全多方计算(MPC)和知识蒸馏(KD)。通过广泛的评估,我们表明,MPCFORMER显着加快了Transformer在MPC设置中的推理,同时实现了与输入模型相似的ML性能。在IMDb数据集上,它实现了与BERTBASE相似的性能,但速度要快5.3倍。在GLUE基准测试中,它的性能达到了BERTBASE的97%,加速比为2.2倍。MPCFORMER对不同的训练过的Transformer权重(如ROBERTABASE)和更大的模型(包括BERTLarge)仍然有效。代码可在https://github.com/MccRee177/MPCFormer上获得。
2023-03-16 cs.CR cs.LG
MIME: Adapting a Single Neural Network for Multi-task Inference with Memory-efficient Dynamic Pruning
Yale University(耶鲁大学)
近年来,人们已经看到了向多任务学习的范式转变。这就需要在多任务场景中进行推理的内存和节能解决方案。我们提出了一种算法硬件协同设计的方法,称为MIME。MIME重用已训练父任务的权重参数,并学习特定于任务的阈值参数,以推断多个子任务。我们发现,MIME的结果在高内存效率的DRAM存储的神经网络参数的多个任务相比,传统的多任务推理。此外,MIME导致依赖于输入的动态神经元修剪,从而在收缩阵列硬件上实现具有更高吞吐量的节能推理。我们对基准数据集(子任务)-CIFAR 10,CIFAR 100和Fashion-MNIST的实验表明,与流水线任务模式下的传统多任务推理相比,MIME实现了约3.48倍的内存效率和约2.4- 3.1倍的节能。
2022-04-11 cs.CV cs.LG
Enabling Realtime Reinforcement Learning at Scale with Staggered Asynchronous Inference
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);IBM Research(IBM研究院)
针对大模型推理延迟阻碍实时强化学习的问题,提出交错异步推理算法,证明其能以线性扩展的进程数突破动作频率限制,在Game Boy游戏实时模拟中支持比现有方法大数个数量级的模型。
2024-12-18 cs.AI cs.LG
Enabling Embedded Inference Engine with ARM Compute Library: A Case Study
当您需要在低成本嵌入式SoC上启用深度学习时,是移植现有的深度学习框架更好,还是应该从头开始构建一个?在本文中,我们分享了我们的实际经验,建立一个嵌入式推理机使用ARM计算库(ACL)。结果表明,与传统的智慧,简单的模型,它需要更少的开发时间从头开始构建一个推理引擎相比,移植现有的框架。此外,通过利用ACL,我们成功构建了一个推理引擎,其性能比TensorFlow高出25%。我们的结论是,在嵌入式设备上,我们很可能会使用非常简单的深度学习模型进行推理,并且使用开发良好的构建块(如ACL),从头开始构建引擎可能在性能和开发时间方面都更好。
2017-04-14 cs.LG
Quant.npu: Enabling Efficient Mobile NPU Inference for on-device LLMs via Fully Static Quantization
Qualcomm(高通)
本文提出Quant.npu框架,通过完全静态量化方法实现高效的移动NPU推理,解决了传统后训练量化方法在NPU硬件约束下的兼容性问题,并在实际移动NPU上实现了较高的准确性和较低的推理延迟。
2026-05-19 cs.AI cs.LG
Towards Enabling Dynamic Convolution Neural Network Inference for Edge Intelligence
Tennessee Technological University(田纳西理工大学)
深度学习应用在众多现实世界的应用中取得了巨大的成功。深度学习模型,特别是卷积神经网络(CNN)通常使用FPGA进行原型设计,因为它具有高能效和可重构性。CNN在FPGA上的部署遵循一个设计周期,需要在高级综合(HLS)期间将模型参数保存在片上存储器中。边缘智能的最新进展需要边缘网络上的CNN推理来提高吞吐量并减少延迟。为了提供灵活性,需要对不同移动设备进行动态参数分配,以实现预定义或定义的运行中(on-the-fly)CNN架构。在这项研究中,我们提出了一种新的方法,用于在运行时动态流式传输模型参数,以实现传统的CNN架构。我们进一步提出了一种基于库的方法来设计可扩展的和动态的分布式CNN推理的飞行利用部分重新配置技术,这是特别适合于资源受限的边缘设备。所提出的技术在Xilinx PYNQ-Z2板上实现,以利用LeNet-5 CNN模型来证明该概念。实验结果表明,本文提出的方法是有效的,分类准确率分别为92%、86%和94
2022-02-18 cs.AI cs.LG
Enabling Calibration In The Zero-Shot Inference of Large Vision-Language Models
Scale AI(Scale AI公司)
针对 CLIP 等视觉-语言模型零样本推理中的误校准问题,论文系统测量提示、数据集和架构的影响,并提出适配零样本场景的改进温度缩放方法,证明单一学习温度可跨数据集与提示泛化。
2023-04-18 cs.CV cs.LG
Enabling Performant and Flexible Model-Internal Observability for LLM Inference
Department of Computer Science(计算机科学系)
本文提出DMI-Lib,通过异步可观察性子系统实现模型内部状态的高效观测,减少推理延迟并优化资源使用。
2026-05-11 cs.AI cs.LG cs.PF
FBGEMM: Enabling High-Performance Low-Precision Deep Learning Inference
Facebook, Inc.(脸书公司)
深度学习模型通常使用单精度(FP 32)浮点数据类型来表示激活和权重,但最近的一系列研究工作表明,使用降低精度的数据类型(FP 16,16位整数,8位整数甚至4位或2位整数)进行计算足以达到与FP 32相同的精度,并且效率更高。因此,我们设计了fbgemm,一个高性能的内核库,从头开始在当前一代CPU上执行高性能的量化推理。FBGEMM通过将公共量化操作与高性能GEMM实现融合以及通过在运行时的形状和大小特定的内核代码生成来实现效率。该库已在Facebook部署,相对于我们当前的生产基线,它提供了超过2倍的性能增益。
2021-01-13 cs.LG cs.PF
Enabling Efficient Serverless Inference Serving for LLM (Large Language Model) in the Cloud
Technische Universität München(慕尼黑工业大学)
本文综述了Serverless LLM推理的冷启动问题,重点介绍ServerlessLLM通过多层检查点加载、实时迁移和启动优化调度将启动时间缩短6到8倍,并回顾了Rainbowcake等其他方法及FaaS冷启动应对策略。
2024-11-23 cs.DC cs.LG
Dual Dynamic Inference: Enabling More Efficient, Adaptive and Controllable Deep Inference
Rice University(莱斯大学);Texas A&M University(得克萨斯农工大学)
针对卷积神经网络推理能耗高难以部署于资源受限物联网的问题,提出整合输入与资源依赖机制、支持多粒度跳过的双动态推理框架,可适配多种骨干网络与资源目标,实现更优且可控的精度-资源权衡。
2020-01-03 cs.LG
Enabling Homomorphically Encrypted Inference for Large DNN Models
Barcelona Supercomputing Center (BSC)(巴塞罗那超级计算中心);Intel Corporation(英特尔公司)
过去几年中,机器学习服务的激增引发了人们对数据隐私的担忧。同态加密(HE)支持使用加密数据进行推理,但它会导致100倍至10,000倍的内存和运行时开销。使用HE的安全深度神经网络(DNN)推理目前受到计算和存储器资源的限制,框架需要数百GB的DRAM来评估小模型。为了克服这些限制,在本文中,我们探讨了利用混合存储器系统的DRAM和持久性存储器组成的可行性。特别是,我们探索了最近发布的英特尔Optane PMem技术和英特尔HE-Transformer nGraph,以运行大型神经网络,如MobileNetV 2(最大的变体)和ResNet-50,这在文献中尚属首次。我们提出了一个深入的分析与不同的硬件和软件配置的执行效率。我们的研究结果得出结论,DNN推理使用HE招致友好的访问模式,这种内存配置,产生有效的执行。
2021-04-29 cs.CR cs.LG cs.PF
CryptGNN: Enabling Secure Inference for Graph Neural Networks
New Jersey Institute of Technology(新泽西理工学院);Rensselaer Polytechnic Institute(伦塞拉尔理工学院)
CryptGNN利用分布式安全多方计算技术,为云中的第三方图神经网络模型提供安全推理,保护客户端数据、图结构和模型参数,支持任意参与方且无需可信服务器。
2025-09-11 cs.CR cs.LG
Memory-Driven Mixed Low Precision Quantization For Enabling Deep Network Inference On Microcontrollers
Universita’ di Bologna(博洛尼亚大学);ETH Zurich(苏黎世联邦理工学院)
本文提出了一种新的端到端方法,用于在微控制器上部署低错误深度网络。为了适应资源受限的边缘设备的内存和计算限制,我们利用混合低位宽压缩,具有8,4或2位均匀量化,我们建模的推理图与整数运算。我们的方法的目的是确定每个激活和权重张量给定的设备的内存约束的最小位精度。这是通过基于规则的迭代过程来实现的,该过程削减了最需要内存的层的位数,旨在满足内存约束。在量化感知的再训练步骤之后,通过插入嵌入式归一化(ICN)层,将伪量化图转换为仅推理整数模型,这引入了可忽略的损失,如INT4 MobilenetV1模型所示。我们报告了在STM32H7微控制器上对混合精度MobilenetV1系列网络进行的延迟精度评估。我们的实验结果表明,端到端部署的一个只有整数的Mobilenet网络的Top1的准确性为68%的设备上只有2 MB的闪存和512 KB的RAM,提高了8%的Top1的准确性相对于以前公布的8位实现微控制器。
2019-05-30 cs.LG stat.ML
Kunlun Anomaly Troubleshooter: Enabling Kernel-Level Anomaly Detection and Causal Reasoning for Large Model Distributed Inference
Alibaba Group(阿里巴巴集团)
本文提出首个面向大模型分布式推理的异常排查框架KAT,利用GPU函数跟踪数据实现纳秒级核级异常检测,并结合领域适配LLM进行因果推理,在生产环境中取得高精确率与召回率,显著提升排查效率。
2025-11-08 cs.AI cs.DC cs.LG
Enabling Inference Privacy with Adaptive Noise Injection
Georgia Institute of Technology(佐治亚理工学院);Facebook(脸书)
面向用户的软件服务越来越依赖于远程服务器来托管深度神经网络(DNN)模型,该模型为客户端执行推理任务。此类服务要求客户端将输入数据发送给服务提供商,服务提供商使用DNN处理数据并将输出预测返回给客户端。由于诸如图像和语音之类的输入的丰富性质,输入通常包含比执行主要推理任务所需的信息更多的信息。因此,除了主要的推断任务之外,恶意服务提供者还可以从输入推断次要(敏感)属性,从而损害客户端的隐私。我们工作的目标是通过向输入中注入噪声来隐藏不利于主要分类任务的不相关特征,从而提高推理隐私。为此,我们提出了自适应噪声注入(ANI),它在客户端使用轻量级DNN向每个输入注入噪声,然后将其传输给服务提供商以执行推理。我们的关键见解是,通过为每个输入定制噪声,我们可以在实用性和隐私性之间实现最先进的权衡(敏感任务准确度下降高达48.5%,主要准确度下降<1%),显着优于现有的噪声注入方案。我们的方法不需要先验知识的敏感属性,并招致最小的计算开销。
2021-04-06 cs.CR cs.LG stat.ML
Federated Learning of Binary Neural Networks: Enabling Low-Cost Inference
Department of Electrical Engineering, Indian Institute of Technology Madras(印度理工学院马德拉斯分校电子工程系);Department of Computer Science and Engineering, Jadavpur University(贾达布尔大学计算机科学与工程系)
本文提出FedBNN框架,通过在本地训练中直接学习二进制表示,优化边缘设备的内存和计算效率,减少资源消耗同时保持与传统联邦方法相当的性能。
2026-11-11 cs.CV cs.LG
Deltoris: Enabling Real-time VLA Inference in Embodied AI via Bit-level Sparsity and Speculative Inference
Shanghai Jiao Tong University(上海交通大学);Shanghai Qi Zhi Institute(上海期智研究院);ICT, Chinese Academy of Sciences(中国科学院计算技术研究所)
Deltoris作为算法-硬件协同设计框架,通过时间感知比特级稀疏性、推测性推理及定制加速器,实现具身AI中实时VLA推理,加速比显著且精度相当。
2026-08-06 cs.AR cs.LG
A data free neural operator enabling fast inference of 2D and 3D Navier Stokes equations
提出一种用于Navier Stokes方程的无数据算子网络,结合物理架构与机器学习,在2D和3D流中实现高精度、高效率的实时集合预测。
2025-10-31 cs.LG physics.flu-dyn
LLM-42: Enabling Determinism in LLM Inference with Verified Speculation
Microsoft Research(微软研究院);University of Washington(华盛顿大学)
LLM-42通过验证推测方法,在LLM推理中实现确定性,利用形状一致的减少和轻量级验证-回滚循环,减少确定性需求的开销。
2026-01-30 cs.AI cs.DC cs.LG
Parallel Track Transformers: Enabling Fast GPU Inference with Reduced Synchronization
Apple(苹果公司)
并行轨道变换器通过减少同步操作提升GPU推理效率,适用于大规模LLM服务。
2026-02-07 cs.DC cs.LG
Enabling AI Quality Control via Feature Hierarchical Edge Inference
Yonsei University(延世大学);Inha University(仁荷大学)
随着边缘计算的兴起,通过基于在网络边缘操作的深度神经网络(DNN)的推理(称为边缘推理(EI)),预计各种AI服务将在移动端可用。另一方面,由此产生的AI质量(例如,客观检测的平均精度)被视为一个既定因素,尽管人工智能质量控制在满足不同用户的不同需求方面非常重要,但仍有待探索。这项工作的目的是解决这个问题,提出了一个功能层次EI(FHEI),包括功能网络和推理网络部署在边缘服务器和相应的移动,分别。具体而言,特征网络的设计基于特征层次,一个单向的特征依赖与不同的规模。更高规模的功能需要更多的计算和通信负载,同时提供更好的AI质量。这种折衷使FHEI能够逐步控制AI质量。通信和计算负载,导致导出接近最优的解决方案,以在上行链路\下行链路传输以及边缘服务器和移动计算能力的约束下最大化多用户AI质量。通过大量的仿真验证,所提出的联合通信和计算控制FHEI架构总是优于几个基准区分每个用户的AI质量取决于通信和计算条件。
2022-11-15 cs.LG cs.SY eess.SY
Enabling Federated Inference via Unsupervised Consensus Embedding
School of Engineering, Institute of Science Tokyo(东京科学研究院工程学院);Research & Development Group, Hitachi Ltd.(日立株式会社研发部)
本文提出CE-FI框架,通过共识嵌入层和协作输出层实现无需共享模型参数或原始输入的联邦推断,实验表明其在图像分类任务中优于单独推断并在非IID条件下表现优异。
2026-05-07 cs.LG
Lynx: Enabling Efficient MoE Inference through Dynamic Batch-Aware Expert Selection
Georgia Institute of Technology(佐治亚理工学院)
本文提出Lynx系统,通过利用MoE训练中的负载平衡损失特性,减少专家调用总数,从而在不依赖工作负载的情况下实现高效的MoE推理,提升了吞吐量并保持了低的精度损失。
2026-05-18 cs.DC cs.LG
Triple Wins: Boosting Accuracy, Robustness and Efficiency Together by Enabling Input-Adaptive Inference
Texas A&M University(得克萨斯农工大学)
最近有人建议深度网络要面对准确性(在干净的自然图像上)和鲁棒性(在受到不利干扰的图像上)之间的差异(Tsipras等人,2019年)。这种困境被证明是植根于固有的较高的样本复杂性(Schmidt等人,2018)和/或模型容量(Nakkiran,2019),用于学习高精度和鲁棒的分类器。有鉴于此,给定一个分类任务,增加模型容量似乎有助于在准确性和鲁棒性之间取得双赢,但以牺牲模型大小和延迟为代价,因此对资源受限的应用程序提出了挑战。是否有可能共同设计模型的准确性,鲁棒性和效率,以实现三赢?本文研究了与输入自适应有效推理相关的多出口网络,显示了它们在协同优化模型准确性、鲁棒性和效率方面实现“甜蜜点”的强大前景。我们提出的解决方案被称为鲁棒动态推理网络(RDI-Nets),允许每个输入(无论是干净的还是对抗的)自适应地选择多个输出层(早期分支或最终分支)中的一个来输出其预测。这种多损失适应性为对抗攻击和防御增加了新的变化和灵活性,对此我们进行了系统的研究。我们的实验表明,通过为现有的骨干配备这种强大的自适应推理,所得到的RDI网络可以实现更好的准确性和鲁棒性,但与防御的原始模型相比,节省了30%以上的计算。
2020-02-25 cs.CV cs.LG
Biased Mixtures Of Experts: Enabling Computer Vision Inference Under Data Transfer Limitations
University College London(伦敦大学学院)
我们提出了一种新的混合专家类,以优化计算机视觉模型在测试时的数据传输限制。我们的方法假设,允许高精度结果的最小可接受的数据量可能会因不同的输入空间分区而异。因此,我们考虑专家需要不同数据量的混合物,并训练稀疏门控函数来划分每个专家的输入空间。通过适当的超参数选择,我们的方法是能够偏向于选择特定的专家比其他的专家的混合物。通过这种方式,我们证明了视觉传感和处理之间的数据传输优化可以作为凸优化问题来解决。为了证明数据可用性和性能之间的关系,我们评估了一系列主流计算机视觉问题上的有偏混合,即:(i)Single Shot检测,(ii)图像超分辨率,和(iii)实时视频动作分类。对于所有情况下,当专家构成修改后的基线,以满足不同的限制,允许的数据效用,有偏见的混合物显着优于以前的工作优化,以满足相同的限制,现有的数据。
2020-08-21 cs.LG eess.IV
LayerSkip: Enabling Early Exit Inference and Self-Speculative Decoding
FAIR at Meta(Meta FAIR研究院);GenAI at Meta(Meta GenAI部门);Reality Labs at Meta(Meta Reality Labs);University of Toronto(多伦多大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Dana-Farber Cancer Institute(丹娜法伯癌症研究院);Carnegie Mellon University(卡内基梅隆大学)
LayerSkip 通过训练时层级丢弃与提前退出损失,结合自推测解码,在不增加辅助模块的情况下实现大语言模型推理加速,并在多个任务上取得最高 2.16 倍加速。
2024-10-18 cs.AI cs.CL cs.LG
Enabling Disaggregated Multi-Stage MLLM Inference via GPU-Internal Scheduling and Resource Sharing
Wuhan University(武汉大学)
通过GPU内部调度和资源共享实现解耦的多阶段MLLM推理,提升吞吐量和延迟性能
2025-12-19 cs.DC cs.LG
EDEN: Enabling Energy-Efficient, High-Performance Deep Neural Network Inference Using Approximate DRAM
ETH Zürich(苏黎世联邦理工学院)
深度神经网络(DNN)在视觉、语音和语言处理中的有效性促使人们对节能的高性能DNN推理系统产生了巨大的需求。由于大多数DNN工作负载的内存密度不断增加,主内存可以主导系统的能耗和停滞时间。降低DNN推理系统的能耗并提高其性能的一种有效方法是使用近似存储器,该近似存储器以降低的电源电压和降低的访问延迟参数进行操作,这些参数违反了标准规范。使用近似存储器降低了可靠性,导致更高的位出错率。幸运的是,神经网络有一个内在的能力,容忍增加的比特错误。这可以使得能够使用近似DRAM设备进行能量高效和高性能的神经网络推断。基于这一观察结果,我们提出了EDEN,这是一个通用框架,通过使用近似的DRAM设备来降低DNN能耗和DNN评估延迟,同时严格满足用户指定的目标DNN精度。EDEN依赖于两个关键思想:1)针对目标近似DRAM设备重新训练DNN以增加DNN的容错性,以及2)以满足用户指定的DNN精度要求的方式将每个单独DNN数据类型的容错性有效映射到对应的近似DRAM分区。我们评估EDEN的多核CPU,GPU和DNN加速器的错误模型从真正的近似DRAM设备。对于在原始DNN的1%内的目标精度,我们的结果显示EDEN实现了1)在CPU、GPU和两个DNN加速器架构中分别平均DRAM能量减少21%、37%、31%和32%,以及2)平均(最大)加速8%(17%)和2.7%。(5.5%)在CPU和GPU架构…
2019-10-12 cs.DC cs.LG
Enabling Deep Learning on Edge Devices
ETH Zurich(苏黎世联邦理工学院);TU Munich(慕尼黑工业大学)
深度神经网络(DNN)已成功完成许多不同的感知任务,例如,计算机视觉、自然语言处理、强化学习等。高性能DNN严重依赖于密集的资源消耗。例如,训练DNN需要高动态内存、大规模数据集和大量计算(长训练时间);即使使用DNN进行推理也需要大量静态存储、计算(长推理时间)和能量。因此,最先进的DNN通常部署在具有大量超级计算机、高带宽通信总线、共享存储基础设施和高功率补充的云服务器上。最近,一些新兴的智能应用,例如,AR/VR、移动助手、物联网要求我们在资源受限的边缘设备上部署DNN。与云服务器相比,边缘设备通常拥有相当少的资源。为了在边缘设备上部署DNN,我们需要减小DNN的大小,即,我们的目标是在资源消耗和模型准确性之间更好地权衡。在本论文中,我们研究了四个边缘智能场景,即,边缘设备上的推理、边缘设备上的适配、边缘设备上的学习和边缘服务器系统,并开发了不同的方法来在每个场景中实现深度学习。由于当前的DNN通常被过度参数化,我们的目标是找到并减少每个场景中DNN的冗余。
2022-10-06 cs.AI cs.CV cs.LG
Enabling Near-realtime Remote Sensing via Satellite-Ground Collaboration of Large Vision-Language Models
Fudan University(复旦大学)
针对低轨卫星部署大视觉语言模型的算力与通信限制,提出星地协作系统Grace,通过异步RAG知识同步与置信度任务调度,在保证精度的同时大幅降低遥感任务推理延迟。
2025-10-28 cs.AI cs.LG cs.NI
Mokey: Enabling Narrow Fixed-Point Inference for Out-of-the-Box Floating-Point Transformer Models
University of Toronto(多伦多大学);Vector Institute(向量研究所)
越来越大和更好的Transformer模型不断提高自然语言处理应用程序的最新精度和功能。这些模型需要更多的计算能力、存储和能源。Mokey通过将所有值量化为4位索引并放入代表性16位定点质心的字典中,减少了最先进的32位或16位浮点Transformer模型的占用空间。Mokey不需要微调,这是一个基本功能,因为许多人通常无法获得训练资源或数据集。利用Transformer模型中自然出现的值范围,Mokey选择质心值来拟合指数曲线。这一独特的功能使Mokey能够用窄3b定点加法取代大量原始乘法-累加运算,从而实现面积和能效的硬件加速器设计。在一组最先进的Transformer模型上,Mokey加速器的能效比基于Tensor Core的加速器提高了一个数量级,同时根据模型和片上缓冲容量,将性能提高了至少$4\times$和$15\times$。可选地,Mokey可以用作任何其他加速器的内存压缩辅助,透明地将宽浮点或定点激活或权重存储到窄的4位索引中。Mokey证明优于现有技术的Transformers的量化方法。
2022-03-23 cs.AR cs.LG
RMP-SNN: Residual Membrane Potential Neuron for Enabling Deeper High-Accuracy and Low-Latency Spiking Neural Network
Purdue University(普渡大学)
脉冲神经网络(SNN)作为第三代人工神经网络,能够实现低功耗的事件驱动数据分析,近年来引起了广泛的研究兴趣。图像识别任务的最佳性能SNN是通过将训练的模拟神经网络(ANN)(由整流线性单元(ReLU)组成)转换为由具有“适当”激发阈值的积分和激发神经元组成的SNN来获得的。与原始ANN提供的准确度相比,转换后的SNN通常会导致准确度损失,并且需要相当数量的推理时间步长来实现最佳准确度。我们发现,转换后的SNN的性能下降源于使用“硬复位”尖峰神经元,被驱动到固定的复位电位,一旦其膜电位超过点火阈值,导致信息丢失在SNN推理。我们提出了ANN-SNN转换使用“软复位”尖峰神经元模型,称为残余膜电位(RMP)尖峰神经元,它保留了“残余”膜电位高于阈值在点火时刻。我们使用RMP神经元在具有挑战性的数据集上证明了VGG-16,ResNet-20和ResNet-34 SNN的近无损ANN-SNN转换,包括CIFAR-10(93.63% top-1),CIFAR-100(70.93% top-1)和ImageNet(73.09% top-1准确度)。我们的研究结果还表明,RMP-SNN超越了转换后的SNN提供的最佳推理准确性,其中“硬复位”尖峰神经元在网络架构和数据集上使用的推理时间步长减少了2-8倍。
2020-04-01 cs.CV cs.LG cs.NE
Enabling Autoregressive Models to Fill In Masked Tokens
University of California Los Angeles(加州大学洛杉矶分校)
针对AR模型无法掩码填充、MLM模型计算低效的问题,提出MARIA架构,结合预训练MLM与AR模型的拼接隐藏状态训练线性解码器,使AR模型保留KV缓存推理优势的同时实现掩码填充,性能显著优于离散扩散模型。
2025-02-09 cs.AI cs.CL cs.LG
MobiZO: Enabling Efficient LLM Fine-Tuning at the Edge via Inference Engines
University of Southern California(南加州大学)
MobiZO提出一种面向边缘设备的资源高效大语言模型微调框架,通过并行化零阶梯度估计、多重扰动LoRA模块以及与ExecuTorch推理引擎的无缝集成,在提升微调精度的同时实现显著加速和内存节省。
2025-09-20 cs.DC cs.LG
ENEC: A Lossless AI Model Compression Method Enabling Fast Inference on Ascend NPUs
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
本文提出ENEC,一种专为AI模型权重优化的无损压缩方法,通过块级固定长度编码和NPU特定优化,提升Ascend NPUs的压缩比和吞吐量,实现比现有GPU压缩器更高的性能。
2026-04-07 cs.AR cs.DC cs.LG
Integrating Unstructured Text into Causal Inference: Empirical Evidence from Real Data
Amazon(亚马逊公司);Stanford University(斯坦福大学)
本文提出利用变压器语言模型从非结构化文本中进行因果推理,通过实证研究验证了非结构化文本在因果推断中的有效性,拓展了因果推理在数据稀缺场景下的应用。
2026-02-15 cs.AI cs.LG
SpenseGPT: Practical One-shot Pruning Enabling Sparse and Dense GEMMs for LLM Inference
Snowflake AI Research(Snowflake AI研究);Seoul National University(首尔大学)
提出Spense混合稀疏-稠密格式,将权重矩阵分为2:4稀疏和稠密区域,结合一次性剪枝方法SpenseGPT,在B200 GPU上实现高达1.2倍端到端解码加速,同时保持模型精度。
2026-06-09 cs.CL cs.LG
Enabling Early Audio Event Detection with Neural Networks
University of Lübeck(吕贝克大学)
本文提出了一种从音频流中早期检测音频事件的方法。早期检测是在初始阶段推断正在进行的事件的能力。该系统由一个新的推理步骤加上双并行的定制损失深度神经网络(DNN)。DNN共享类似的架构,除了它们的损失函数,即加权损失和多任务损失,其被设计为有效地应对音频事件检测常见的问题。推理步骤是新引入的,利用网络输出识别正在进行的事件。检测函数的单调性是可靠的早期检测所必需的,并且也将被证明。在ITC-Irst数据库上的实验表明,该系统具有较好的检测性能。此外,即使是部分事件也足以实现与观察整个事件时所获得的性能类似的良好性能,从而实现早期事件检测。
2019-04-06 cs.LG cs.SD eess.AS
Enabling Counterfactual Survival Analysis with Balanced Representations
Duke University(杜克大学)
平衡表征学习方法已经成功地应用于从观测数据中进行反事实推理。然而,解释生存结局的方法相对有限。在各种医疗应用中经常遇到生存数据,即,药物开发、风险分析和临床试验,并且这些数据也与制造等领域相关(例如,设备监控)。当关注的结局是至事件发生时间时,需要采取处理删失事件的特殊预防措施,因为忽略删失结局可能导致偏倚估计。我们提出了一个理论上接地适用于生存结果的反事实推理的统一框架。此外,我们制定了一个非参数风险比指标,用于评估平均和个性化的处理效应。在真实世界和半合成数据集上的实验结果表明,所提出的方法在生存结局预测和治疗效果估计方面都显着优于竞争对手。
2021-03-03 cs.LG stat.ML
EnforceSNN: Enabling Resilient and Energy-Efficient Spiking Neural Network Inference considering Approximate DRAMs for Embedded Systems
New York University Abu Dhabi (NYUAD)(纽约大学阿布扎比分校)
针对SNN片外DRAM访问能耗高的问题,提出EnforceSNN框架,通过量化权重、优化映射策略和故障感知训练,在降压近似DRAM下实现高容错与高能效推理,最高节能84.9%并加速4.1倍。
2023-04-08 cs.AI cs.AR cs.LG
lpSpikeCon: Enabling Low-Precision Spiking Neural Network Processing for Efficient Unsupervised Continual Learning on Autonomous Agents
Technische Universität Wien (TU Wien)(维也纳工业大学);New York University Abu Dhabi (NYUAD)(纽约大学阿布扎比分校)
最近的进展表明,基于SNN的系统可以有效地执行无监督的持续学习,这是由于它们的生物合理的学习规则,例如,尖峰时间依赖可塑性(STDP)。这样的学习能力对于像自主智能体(例如,机器人和无人机),需要不断适应动态变化的场景/环境,其中直接从环境中收集的新数据可能具有应在线学习的新颖特征。当前的现有技术工作采用高精度权重(即,32位),这造成了高存储器和能量成本,从而阻碍了电池驱动的移动自主系统的这种系统的有效嵌入式实现。另一方面,由于信息丢失,精度降低可能危及无监督持续学习的质量。为此,我们提出了lpSpikeCon,一种新的方法,使低精度SNN处理资源受限的自主智能体/系统的有效的无监督持续学习。我们的lpSpikeCon方法采用以下关键步骤:(1)分析在无监督持续学习设置下训练SNN模型对推理准确性的影响,其中权重精度降低;(2)利用这项研究来识别对推理准确性有显著影响的SNN参数;以及(3)开发用于搜索各个SNN参数值的算法,该算法提高无监督持续学习的质量。实验结果表明,我们的lpSpikeCon可以将SNN模型的权重记忆减少8倍(即,通过明智地采用4位权重)来执行具有无监督持续学习的在线训练,并且与在不同网络大小上具有32位权重的基线模型相比,在推理阶段中没有实现准确性损失。
2022-05-24 cs.AI cs.AR cs.LG
Enabling Incremental Training with Forward Pass for Edge Devices
Santa Clara University(圣克拉拉大学);Palo Alto Networks(帕洛阿尔托网络公司)
深度神经网络(DNN)通常部署在存在于不断变化的环境中的终端设备上。为了使系统保持其准确性,关键是它能够通过重新训练网络的部分来适应变化和恢复。然而,终端设备具有有限的资源,使得在同一设备上进行训练具有挑战性。此外,由于反向传播算法,训练深度神经网络是存储器和计算密集型的。在本文中,我们介绍了一种方法,使用进化策略(ES),可以部分重新训练网络,使其能够适应变化和恢复后,发生错误。这种技术可以在仅推理的硬件上进行训练,而无需使用反向传播,并且资源开销最小。我们证明了我们的技术的能力,重新训练量化MNIST神经网络后,注入噪声的输入。此外,我们提出了所需的微体系结构,使HLS4ML(推理硬件架构)的培训,并在Verilog中实现它。我们综合我们的实现Xilinx Kintex超规模现场可编程门阵列(FPGA),导致不到1%的资源利用率所需的实施增量培训。
2021-03-25 cs.AR cs.LG
Revolutionizing Mobile Interaction: Enabling a 3 Billion Parameter GPT LLM on Mobile
IPLeiria(莱里亚理工学院)
针对云端大语言模型的延迟与隐私问题,提出创新推理方法,通过原生代码与模型量化,让30亿参数微调GPT大语言模型可在4GB内存移动设备端侧运行,兼具通用助手与文本转动作功能,为隐私友好的移动AI应用开辟可能。
2023-09-29 cs.AI cs.CL cs.LG
Enabling Robots to Communicate their Objectives
University of California, Berkeley(加州大学伯克利分校);OpenAI(开放人工智能研究中心)
这项工作的首要目标是有效地使最终用户能够正确地预测机器人在新情况下的行为。由于机器人的行为通常是其底层目标函数的直接结果,因此我们的见解是,最终用户需要对该目标函数有一个准确的心理模型,以便理解和预测机器人将做什么。虽然随着时间的推移,人们通过观察机器人的行为自然地形成了这样的心理模型,但这个熟悉过程可能很漫长。我们的方法通过让机器人模型人们如何从观察到的行为中推断目标来减少这个时间,然后它选择那些信息量最大的行为。从观察到的行为中计算目标的后验问题被称为逆强化学习(IRL),并已被应用于机器人学习人类目标。我们考虑的问题中的角色的人和机器人交换。我们的主要贡献是认识到,与机器人不同,人类在IRL推理中不会精确。因此,我们引入了两个因素来定义候选近似推理模型,用于在这种情况下进行人类学习,并在自动驾驶领域的用户研究中对其进行分析。我们表明,某些近似推理模型导致机器人生成的示例行为,更好地使用户能够预测它会在新的情况下做什么。然而,我们的研究结果也表明,需要进行更多的研究来模拟人类如何从机器人行为的例子中推断。
2018-10-18 cs.LG cs.RO
EMMI: Edge Multi-Modal Intelligence for Communication-Efficient MLLM Inference via Fused Representation Compression
Texas A&M University(德克萨斯A&M大学)
EMMI通过边缘端模态编码、融合与压缩,传输紧凑表示而非原始数据,实现通信高效的MLLM推理,减少32倍通信量并降低3.4倍延迟。
2026-09-11 cs.DC cs.LG
MotionStream: Real-Time Video Generation with Interactive Motion Controls
Seoul National University(首尔国立大学);Adobe Research(Adobe研究);Carnegie Mellon University(卡内基梅隆大学);Morpheus AI
MotionStream通过交互式运动控制实现实时视频生成,利用因果注意力机制和蒸馏技术,实现亚秒延迟和高效率的无限长视频流式生成。
2026-03-05 cs.CV cs.LG
The Neural Moving Average Model for Scalable Variational Inference of State Space Models
Newcastle University(纽卡斯尔大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
变分推断通过利用小批量训练,在将近似贝叶斯推断扩展到大数据方面取得了巨大成功。然而,到目前为止,这种策略最适用于独立数据的模型。我们提出了一个扩展的状态空间模型的时间序列数据的基础上一种新的生成模型的潜在的时间状态:神经移动平均模型。这允许在不从整个分布中提取的情况下对子序列进行采样,使得训练迭代能够以低计算成本使用小批量的时间序列。我们举例说明我们的方法在自回归,Lotka-Volterra,FitzHugh-Nagumo和随机波动率模型,实现准确的参数估计在很短的时间。
2021-05-18 cs.LG stat.ML
MHA2MLA-VLM: Enabling DeepSeek's Economical Multi-Head Latent Attention across Vision-Language Models
DeepSeek
MHA2MLA-VLM通过参数高效的方法将现有视觉-语言模型转换为多头潜在注意力架构,减少缓存足迹并提升推理效率。
2026-01-16 cs.AI cs.CL cs.CV
Diagnosing client faults using SVM-based intelligent inference from TCP packet traces
Monash University(莫纳什大学)
我们提出了智能自动客户端诊断(IACD)系统,它只依赖于推理传输控制协议(TCP)的数据包跟踪客户端设备的问题,导致网络性能问题的快速诊断。使用软余量支持向量机(SVM)分类器,系统(i)区分链路问题与客户端问题,以及(ii)识别客户端故障特有的特征以报告客户端设备问题的根本原因。实验评估表明,IACD系统的能力,以区分故障和健康的链接,并诊断客户端故障与98%的准确率在健康的链接。该系统可以独立于客户端的特定TCP实现来执行故障诊断,从而在各种客户端计算机上实现诊断能力。
2012-07-16 cs.AI cs.LG cs.NI
Edge AI: On-Demand Accelerating Deep Neural Network Inference via Edge Computing
Sun Yat-sen University(中山大学)
深度神经网络(DNN)作为5G时代人工智能(AI)应用的关键技术,迅速引起了广泛关注。然而,由于有限的计算资源,在移动设备上运行计算密集型的基于DNN的任务具有挑战性。更糟糕的是,传统的云辅助DNN推理受到显著的广域网延迟的严重阻碍,导致实时性能差以及用户体验质量低。为了应对这些挑战,在本文中,我们提出了Edgent,这是一个通过设备边缘协同作用利用边缘计算进行DNN协作推理的框架。Edgent利用了两个设计旋钮:(1)DNN分区,自适应地在设备和边缘之间划分计算,以协调强大的云资源和近端边缘资源进行实时DNN推理;(2)DNN合理调整,通过在适当的中间DNN层进行早期退出推理,进一步减少计算延迟。此外,考虑到实际部署中潜在的网络波动,Edgentis适当地设计以专门用于静态和动态网络环境。具体而言,在带宽变化缓慢的静态环境中,Edgent借助基于回归的预测模型得出最佳配置,而在带宽变化剧烈的动态环境中,Edgent通过在线变化点检测算法将当前带宽状态映射到最佳配置,从而生成最佳执行计划。我们基于Raspberry Pi和桌面PC实现了Edgent原型,广泛的实验评估证明了Edgent在实现按需低延迟边缘智能方面的有效性。
2019-10-04 cs.CV cs.DC cs.LG
RIBBON: Cost-Effective and QoS-Aware Deep Learning Model Inference using a Diverse Pool of Cloud Computing Instances
Northeastern University(东北大学);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
深度学习模型推理是许多业务和科学发现流程中的关键服务。本文介绍了RIBBON,一种新型的深度学习推理服务系统,它满足两个相互竞争的目标:服务质量(QoS)目标和成本效益。RIBBON背后的关键思想是智能地使用一组不同的云计算实例(异构实例)来满足QoS目标并最大限度地节省成本。RIBBON设计了一种贝叶斯优化驱动的策略,帮助用户在云计算平台上为其模型推理服务需求构建最佳的异构实例集-并且,RIBBON证明了其优于使用同构实例池的推理服务系统的现有方法。RIBBON为不同的学习模型节省了高达16%的推理服务成本,包括新兴的深度学习推荐系统模型和药物发现使能模型。
2022-07-28 cs.DC cs.LG
Scalable and Cost-Efficient ML Inference: Parallel Batch Processing with Serverless Functions
Oakland University(奥克兰大学)
针对有限资源环境下批处理的可扩展性与资源管理挑战,本文提出将单体流程分解为并行无服务器函数的方法,经DistilBERT模型与IMDb数据集的情感分析案例验证,该方法可在成本不变的情况下将执行时间减少95%以上,提升大规模机器学习推理的效率与经济性。
2025-01-30 cs.DC cs.LG
BRNES: Enabling Security and Privacy-aware Experience Sharing in Multiagent Robotic and Autonomous Systems
University of Nevada, Reno(内华达大学雷诺分校);Bosch Engineering, North America(博世工程北美分公司);U.S. Army Corps(美国陆军工程兵部队)
提出BRNES多智能体强化学习框架,通过动态邻居选择、加权经验聚合和本地差分隐私噪声,抵御拜占庭攻击与推断攻击,实现安全且隐私感知的经验共享,性能显著优于现有方法。
2023-08-02 cs.AI cs.CR cs.LG