LiteVLM: A Low-Latency Vision-Language Model Inference Pipeline for Resource-Constrained Environments
NVIDIA(英伟达)
本文提出LiteVLM,一种面向嵌入式设备的低延迟VLM推理流水线,通过结合patch选择、token选择和投机解码,在NVIDIA DRIVE Thor平台上实现最高3.2倍延迟降低且不损失精度。
2025-10-31 cs.AI cs.LG
IPA: Inference Pipeline Adaptation to Achieve High Accuracy and Cost-Efficiency
University of South Carolina(南卡罗来纳大学);Queen Mary University of London(伦敦玛丽女王大学);Technical University of Darmstadt(达姆施塔特工业大学);Technical University of Ilmenau(伊尔梅瑙工业大学);Roblox(罗布乐思(Roblox));Paderborn University(帕德博恩大学)
提出IPA在线推理流水线自适应系统,通过整数规划动态配置批大小、复制和模型变体,在满足延迟SLA下优化精度与成本,实验显示端到端精度提升21%。
2024-05-26 cs.DC cs.LG cs.PF
ezDPS: An Efficient and Zero-Knowledge Machine Learning Inference Pipeline
Beijing Normal University(北京师范大学);Virginia Tech(弗吉尼亚理工大学)
机器学习即服务(MLaaS)允许资源有限的客户端无处不在地访问强大的数据分析服务。尽管有其优点,但MLaaS对委托计算的完整性和服务器模型参数的隐私性提出了重大关注。为了解决这个问题,Zhang等人(CCS'20)发起了零知识机器学习(zkML)的研究。之后很少有人提出zkML方案;然而,它们专注于单一的ML分类算法,这些算法可能无法提供令人满意的准确性或需要大规模训练数据和模型参数,这对于某些应用来说可能是不可取的。我们提出了ezDPS,一个新的高效和零知识ML推理方案。与以前的作品不同,ezDPS是一个zkML管道,其中数据在多个阶段进行处理,以获得高精度。ezDPS的每个阶段都利用了一个已建立的ML算法,该算法在各种应用中都是有效的,包括离散小波变换,主成分分析和支持向量机。我们设计新的小工具来有效地证明ML操作。我们完全实现了ezDPS,并在真实数据集上评估了其性能。实验结果表明,ezDPS在所有指标上比基于通用电路的方法效率高一到三个数量级,同时保持比单一ML分类方法更理想的准确性。
2023-02-01 cs.CR cs.LG
PDEFlow: Autonomous Agentic PDE Pipelines for Neural Operator Learning and Solver-Free Inference
Tata Research Development and Design Center(塔塔研究发展与设计中心)
提出PDEFlow自主智能体框架,将用户ODE/PDE描述转化为神经算子流水线,实现多轮自然语言输入处理、自动数据生成、算子训练与无求解器推理,大幅降低相关科学工程任务的手动干预成本。
2026-07-07 cs.AI cs.LG
Biathlon: Harnessing Model Resilience for Accelerating ML Inference Pipelines
The Chinese University of Hong Kong(香港中文大学)
本文提出 ML 服务系统 Biathlon,利用模型对输入变化的韧性为各聚合特征选择最优近似程度,在保证准确率损失上界的同时实现 5.3–16.6 倍推理加速。
2024-05-18 cs.DB cs.LG
MPC-Pipe: an Efficient Pipeline Scheme for Secure Multi-party Machine Learning Inference
University of Southern California(南加利福尼亚大学)
本文提出MPC-Pipe,一种用于安全多方机器学习训练和推理的高效系统,通过流水线化在线阶段的计算与通信以实现重叠,有效提升了ML工作负载的吞吐量与延迟性能。
2024-08-27 cs.CR cs.LG
Hermes: Memory-Efficient Pipeline Inference for Large Models on Edge Devices
ParisTech Elite Institute of Technology, Shanghai Jiao Tong University(上海交通大学巴黎卓越工程师学院);School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University(上海交通大学电子信息与电气工程学院);UM-SJTU Joint Institute, Shanghai Jiao Tong University(上海交通大学密西根学院);Shanghai Aerospace System Engineering Institute(上海航天系统工程研究所);The University of Melbourne(墨尔本大学)
针对边缘部署大模型时的内存与延迟问题,提出基于 PIPELOAD 的 Hermes 框架,通过动态内存管理和并行模型加载显著提升推理速度并降低内存占用。
2024-09-09 cs.AI cs.DC cs.LG
The Impact of Hyperparameters on Large Language Model Inference Performance: An Evaluation of vLLM and HuggingFace Pipelines
Universitat Politècnica de Catalunya (UPC) - BarcelonaTech(加泰罗尼亚理工大学(UPC)- 巴塞罗那科技大学)
本文评估 vLLM 与 HuggingFace pipelines 在 20 个 LLM 上的推理吞吐量,揭示超参数对性能影响显著且呈不规则峰值,GPU 升降级时优化超参数可分别平均提升 9.16% 和 13.7%。
2024-08-02 cs.CL cs.LG cs.SE
Pipeline Parallelism for Inference on Heterogeneous Edge Computing
University of Southern California(南加州大学);Google(谷歌)
具有大模型大小的深度神经网络在计算机视觉(CV)和自然语言处理(NLP)任务中实现了最先进的结果。然而,这些大规模模型对于资源受限的边缘设备来说过于计算或内存密集型。以前关于并行和分布式执行的工作主要集中在数据中心使用同构加速器的训练-而不是推理。我们提出了EdgePipe,这是一种用于边缘系统的分布式框架,它使用流水线并行来加快推理速度,并支持运行更大(更准确)的模型,否则无法在单个边缘设备上运行。EdgePipe通过使用考虑计算、内存和网络带宽异构性的最佳分区策略来实现这些结果。我们的实证评估表明,EdgePipe实现了$10.59\times$和$11.88\times$加速使用16个边缘设备的ViT-Large和ViT-Huge模型,分别没有准确性损失。类似地,EdgePipe在使用16个边缘设备的4节点基线上通过$3.93\times$提高了ViT-Huge吞吐量,这些边缘设备无法独立地将模型放入内存中。最后,我们显示了$4.16\times$吞吐量的改善,在国家的最先进的PipeDream时,使用一组异构设备。
2021-10-28 cs.DC cs.LG
Optimizing video analytics inference pipelines: a case study
Queen's University Belfast(女王大学贝尔法斯特)
本文通过优化视频分析管道,提升 poultry 禽类福利监测系统的效率,实现2倍速度提升,降低基础设施需求。
2025-12-07 cs.AI cs.DC cs.LG
Klotski: Efficient Mixture-of-Expert Inference via Expert-Aware Multi-Batch Pipeline
Sun Yat-sen University(中山大学);Hong Kong University of Science and Technology(香港科技大学);Huawei Technologies Co. Ltd(华为技术有限公司);Peng Cheng Laboratory(鹏城实验室)
针对MoE推理中因专家计算量小于I/O量导致的流水线气泡问题,提出Klotski推理引擎,通过专家感知多批次流水线范式平衡计算与I/O时间,设计约束敏感规划器和相关性感知预取器,实现吞吐量提升高达85.12倍。
2025-02-09 cs.AI cs.LG
From "Who Is This User?" to "What Does This Purchase Mean?": A Deployed Pipeline for Semantic User Profiling at Bank Scale
CyberAgent
该研究提出一种按交易模式而非用户进行LLM推理的语义用户画像流水线,显著降低推理成本,并在银行规模部署中实现近三个数量级的效率提升。
2026-09-18 cs.AI cs.LG
Practical Performance Guarantees for Pipelined DNN Inference
Google(谷歌公司);MIT(麻省理工学院)
本文通过设计混合整数规划松弛来计算下界,解决了流水线 DNN 推理中模型图划分的 NP 难优化问题,并显著缩小了解的最优性差距。
2024-06-04 cs.DC cs.LG
Turbocharge Speech Understanding with Pilot Inference
University of Virginia(弗吉尼亚大学)
本文提出PASU原型,通过延迟上下文化、pilot inference和自回归出口等技术,加速资源受限边缘设备上的语音理解,在保持SOTA精度的同时将端到端延迟和卸载需求各降低2倍。
2024-10-10 cs.CL cs.LG eess.AS
Pipelined Training with Stale Weights of Deep Convolutional Neural Networks
University of Toronto(多伦多大学)
随着卷积神经网络(CNN)复杂性的增长,人们越来越关注在训练过程中将网络划分为多个加速器,并在加速器上流水线化反向传播计算。现有的方法通过诸如微缓存或权重存储的技术来避免或限制陈旧权重的使用。这些技术要么未充分利用加速器,要么增加内存占用。我们探索了过时权重对流水线反向传播方案中统计效率和性能的影响,该方案可最大化加速器利用率并保持适度的内存开销。我们使用4个CNN(LeNet-5,AlexNet,VGG和ResNet),并表明当流水线仅限于网络中的早期层时,使用陈旧权重的训练会收敛,并导致模型的推理精度与MNIST和CIFAR-10数据集上的非流水线训练结果相当; 4个网络的精度分别下降了0.4%,4%,0.83%和1.45%。然而,当流水线在网络中更深时,推理精度会显着下降。我们建议结合流水线和非流水线训练的混合方案,以解决这个下降。我们使用ResNet在2个GPU上演示了PyTorch中的流水线反向传播的实现和性能,在1个GPU的基线上实现了高达1.8倍的加速,推理精度略有下降。
2019-12-29 cs.DC cs.LG
FlashMLA-ETAP: Efficient Transpose Attention Pipeline for Accelerating MLA Inference on NVIDIA H20 GPUs
Tencent(腾讯);College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机科学与软件工程学院);College of Artificial Intelligence, Shenzhen Polytechnic University(深圳职业技术学院人工智能学院)
针对单多GPU服务器部署DeepSeek-R1 671B模型时多头潜在注意力(MLA)推理效率低的问题,提出FlashMLA-ETAP框架,通过高效转置注意力流水线(ETAP)重配置注意力计算,在NVIDIA H20 GPU上实现2.78倍加速,并保持数值稳定性。
2026-06-02 cs.AI cs.DC cs.LG
SoK: Colluding Adversaries in Machine Learning Pipelines
University of Waterloo(滑铁卢大学);KTH Royal Institute of Technology(皇家理工学院)
本文提出一个系统框架,研究机器学习流水线中训练阶段与推理阶段攻击者之间的合谋行为,通过五个实证案例验证了合谋的潜在风险,并讨论了攻击者特征对合谋可能性的影响。
2026-06-08 cs.CR cs.LG
Equivariant amortized inference of poses for cryo-EM
University of Amsterdam(阿姆斯特丹大学);Qualcomm AI Research(高通人工智能研究);Qualcomm Technologies, Inc.(高通技术公司)
针对冷冻电镜重建中的收敛难题,本研究在cryoAI流水线基础上引入等变摊还推断,发现等变编码器能显著提升位姿估计精度与重建分辨率,使对称损失冗余并优化整体效率。
2024-06-01 cs.LG q-bio.QM
IntAttention: A Fully Integer Attention Pipeline for Efficient Edge Inference
Anonymous Institution, Anonymous City, Anonymous Region, Anonymous Country(匿名机构,匿名城市,匿名地区,匿名国家)
针对Transformer在边缘设备上部署时softmax路径导致的数据类型转换瓶颈,提出IntAttention全整数注意力流水线,通过IndexSoftmax算子、稀疏感知裁剪、32项查找表近似和直接整数归一化,消除数据类型转换开销,在Armv8 CPU上实现高达3.7倍加速和61%能耗降低。
2026-05-29 cs.LG
Characterizing Parallelism Strategies in LLM Inference: Fundamental Compute-Communication Trade-offs
Dell Technologies Inc.(戴尔科技公司)
本文提出统一解析框架,建模TP、PP和HB下分布式LLM推理的延迟分解,揭示计算-通信权衡,指导并行策略选择。
2026-10-06 cs.AI cs.DC cs.LG
A Full-Pipeline Framework for Evaluating Membership Inference Attacks in Machine Learning
City University of Hong Kong(香港城市大学);Shanghai Jiao Tong University(上海交通大学)
提出一个涵盖数据、架构、算法和后训练模块的全流程评估框架,系统分析不同上下文对成员推断攻击效果的影响,并通过标准化威胁模型和互补指标提供实用指南。
2026-05-28 cs.LG
Tiny-HR: Towards an interpretable machine learning pipeline for heart rate estimation on edge devices
University of Alberta(阿尔伯塔大学);IIT Kharagpur(印度理工学院卡拉格普尔分校)
本文的重点是概念验证,即机器学习(ML)管道,该管道从低功耗边缘设备上获取的压力传感器数据中提取心率。ML流水线由上采样器神经网络、信号质量分类器和1D-卷积神经网络组成,该网络针对高效准确的心率估计进行了优化。这些模型的设计使管道小于40 kB。此外,开发了由上采样器和分类器组成的混合流水线,随后是峰值检测算法。这些管道部署在ESP 32边缘设备上,并针对信号处理进行基准测试,以确定能量使用和推理时间。结果表明,与传统算法相比,所提出的ML和混合流水线减少了82%的能量和时间。ML流水线的主要折衷是准确性,平均绝对误差(MAE)为3.28,而混合和信号处理流水线为2.39和1.17。因此,ML模型显示出在能源和计算受限设备中部署的前景。此外,ML流水线的较低采样率和计算要求可以使定制硬件解决方案能够降低可穿戴设备的成本和能源需求。
2022-08-16 cs.HC cs.LG eess.SP
Synthetic Image Learning: Preserving Performance and Preventing Membership Inference Attacks
Politecnico di Milano(米兰理工大学)
本文提出Knowledge Recycling(KR)流水线及Generative Knowledge Distillation(GKD)技术,通过合成数据集再生与软标签机制优化合成数据训练,不仅缩小了与真实数据的性能差距,还使模型对成员推理攻击具备几乎完全的免疫力。
2024-07-30 cs.AI cs.CR cs.CV
Synthesis Without Training: An Inference-Only Pipeline for Tabular, Temporal, and Relational Synthetic Data
Betterdata AI;National University of Singapore(新加坡国立大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);KAJIMA Technical Research Institute Singapore(鹿岛技术研究所新加坡分所)
提出GENSCRIPT纯推理流水线,通过统计画像和语言模型推断约束,无需训练即可生成表格、时序和关系型合成数据,兼顾效率与保真度。
2026-10-01 cs.LG
Towards Training and Inference of Graph Neural Networks in Graph Databases
Lund University, Faculty of Engineering(隆德大学工程学院);Neo4j
本文研究图数据库在GNN训练与推理中的适用性,提出用Cypher实现实时采样与检索并优化训练速度约2.5倍,实现数据库内推理速度提升10倍以上且无额外内存开销,为相关应用奠定基础。
2026-10-13 cs.DB cs.LG
Escaping the Cognitive Well: Efficient Competition Math with Off-the-Shelf Models
Princeton University(普林斯顿大学);Princeton Language and Intelligence(普林斯顿语言与智能)
提出一种推理流水线,利用现成模型以极低成本在IMO风格数学问题上达到最佳性能,通过猜想提取和上下文分离解决求解器-评分器流水线中的认知陷阱问题。
2026-06-16 cs.LG
AESOP: Adversarial Execution-path Selection to Overload Deep Learning Pipelines
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Tianjin University(天津大学)
本文提出AESOP框架,通过对抗性路径选择技术,在动态推理流水线中显著提升计算量和延迟,同时揭示系统防御下的攻击重定向效应。
2026-05-09 cs.AI cs.CR cs.LG
Pipeline-Native Transformers: Co-Designing Model Architecture and CPU Inference for Bandwidth-Efficient Autoregressive Decode
该研究协同设计流水线原生Transformer架构与CPU推理引擎cflow,在TinyStories训练任务上实现了更低的权重带宽、更少的缓存缺失,且解码速度优于同类模型的CPU后端。
2026-08-26 cs.AR cs.LG cs.PF
ManyTypes4Py: A Benchmark Python Dataset for Machine Learning-based Type Inference
Delft University of Technology(代尔夫特理工大学)
在本文中,我们介绍了ManyTypes4Py,这是一个用于基于机器学习(ML)的类型推断的大型Python数据集。该数据集总共包含5,382个Python项目,其类型注释超过869K。删除了重复的源代码文件,以消除重复偏差的负面影响。为了方便ML模型的训练和评估,数据集通过文件分为训练集、验证集和测试集。为了从抽象语法树(AST)中提取类型信息,开发了一个轻量级的静态分析器管道,并与数据集一起使用。使用此管道,分析收集的Python项目,并将AST分析的结果存储在JSON格式的文件中。ManyTypes4Py数据集在zenodo上共享,其工具在GitHub上公开提供。
2021-04-10 cs.LG cs.PL cs.SE
5 Parallel Prism: A topology for pipelined implementations of convolutional neural networks using computational memory
IBM Research – Zurich(IBM研究院(苏黎世));ETH Zurich(苏黎世联邦理工学院)
存内计算是一种新兴的计算范式,它可以以显著更高的能量效率和更低的延迟实现深度学习推理。基本思想是将对应于每层的突触权重映射到一个或多个计算存储器(CM)核。在推断期间,这些核以O(1)时间复杂度就地执行相关联的矩阵-向量乘法运算,从而避免了将突触权重移动到附加处理单元的需要。此外,这种架构可以使这些网络的执行在一个高度流水线的方式。然而,一个关键的挑战是设计一个有效的通信结构的CM核心。在这里,我们提出了一个这样的通信结构的基础上的图形拓扑结构,非常适合于广泛成功的卷积神经网络(CNN)。我们表明,这种通信结构有利于所有国家的最先进的CNN的流水线执行证明这些网络的一个图形表示和建议的图形拓扑之间的同态的存在。然后,我们提出了一个定量的比较与已建立的通信拓扑结构,并表明我们提出的拓扑结构实现了最低的带宽要求,每个通信信道。最后,我们给出了一个将ResNet-32映射到CM核心阵列上的具体示例。
2019-06-08 cs.LG
A Model of Selective Advantage for the Efficient Inference of Cancer Clonal Evolution
University of Milano Bicocca(米兰比可卡大学)
最近,人们对从基因组数据推断癌症进展的严格算法重新产生了兴趣。动机是多方面的:(i)来自癌症患者的NGS和单细胞数据不断增长,(ii)需要新的数据科学和机器学习算法来推断癌症进展的模型,以及(iii)希望了解肿瘤的时间和异质结构,以通过有效的治疗干预来驯服其进展。这篇论文提出了一个多学科的努力来模拟肿瘤的进展,涉及遗传改变的连续积累,每个产生的人口表现出自己的癌症表型。在这项工作中提出的框架以及从它衍生的算法,代表了一种新的方法来推断癌症的进展,其准确性和收敛速度超过现有的技术。这种方法的力量来自几个领域,包括机器学习算法、因果关系理论和癌症生物学。此外,提出了一种从测序的癌症基因组中提取整体水平进展模型的模块化管道。该管道结合了最先进的技术,用于样本分层,驱动程序选择,识别健身等效的独家变更和进展模型推理。此外,结果通过具有现实生成模型的合成数据进行验证,并在真实癌症数据集的背景下进行经验解释;在后一种情况下,还突出显示了具有生物学意义的结论。具体来说,它证明了管道再现大部分结直肠癌知识的能力,以及提出新假设的能力。最后,它也证明了所提出的框架可以应用于重建单个患者的癌症克隆的进化历史,如透明细胞肾癌的例子所示。
2016-02-15 cs.LG
Wearable Respiration Monitoring: Interpretable Inference with Context and Sensor Biomarkers
University of North Carolina(北卡罗来纳大学);George Washington University(乔治·华盛顿大学)
呼吸率(BR)、每分钟通气量(VE)和其他呼吸参数对于许多急性健康状况(如哮喘)中的实时患者监测至关重要。测量呼吸的临床标准,即肺活量测定法,几乎不适合连续使用。可穿戴设备可以跟踪许多生理信号,如ECG和运动,但不能跟踪呼吸。从其他模态中推导出呼吸已经成为一个活跃的研究领域。在这项工作中,我们推断呼吸参数可穿戴心电图和手腕运动信号。我们提出了一个模块化和可推广的分类回归管道,利用可用的上下文信息,如身体活动,在学习上下文条件推理模型。形态学和功率域的新功能,从可穿戴心电图提取使用这些模型。探索性特征选择方法被纳入该管道中,以发现应用特定的可解释的生物标志物。使用来自15个主题的数据,我们评估了两个实现的建议管道:推断BR和VE。每个实现比较广义线性模型,随机森林,支持向量机,高斯过程回归和邻域成分分析作为上下文回归模型。使用排列、正则化和相关性确定方法对ECG特征进行排序,以识别跨模型和活动的稳健ECG生物标志物。这项工作证明了可穿戴传感器不仅在连续监测方面的潜力,而且在设计生物标记驱动的预防措施方面的潜力。
2020-07-02 cs.AI cs.CY cs.HC
TADIL: Task-Agnostic Domain-Incremental Learning through Task-ID Inference using Transformer Nearest-Centroid Embeddings
Barcelona Supercomputing Center(巴塞罗那超级计算中心);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Lenovo Infrastructure Solutions Group(联想基础设施方案集团)
本文提出TADIL,一种通过Transformer最近质心嵌入推断任务ID的无监督域增量学习流程,在SODA10M数据集上达到与真实标签方法相当的性能。
2023-06-21 cs.CV cs.LG
Boosting Embodied AI Agents through Perception-Generation Disaggregation and Asynchronous Pipeline Execution
Shanghai Jiao Tong University(上海交通大学)
针对具身AI智能体推理频率受限的问题,提出算法-系统协同设计的Auras框架,通过感知-生成分离与异步流水线并行,实现2.54倍吞吐量提升并保持准确率。
2025-09-11 cs.AI cs.LG
Field-Programmable Deep Neural Network (DNN) Learning and Inference accelerator: a concept
Western Digital(西部数据)
加速器是一种专门的集成电路,旨在执行特定的计算速度比CPU或GPU更快。提出了一种采用混合脉动和非脉动技术、分布式信息控制和深度流水线结构的现场可编程DNN学习和推理加速器(FProg-DNN),并给出了其微结构和操作。可重配置性涉及不同的DNN设计,并允许将不同数量的工作者分配给不同的层,作为层之间计算负载的相对差异的函数。沿着流水线加速器结构,每层的计算延迟大致相同。VGG-16和最近提出的Inception模块用于显示FProg-DNN可重构性的灵活性。还添加了特殊的结构,用于卷积层,映射重合和反馈的组合,用于最先进的学习,具有少量示例,这是作者的配套论文的重点(Franca-Neto,2018)。所描述的加速器能够从(1)在次优性能的一个极端中将所有DNN计算分配给单个工作器重新配置为(2)根据要实现的每个DNN层中的计算负载来最优地分配每层工作器。由于采用了流水线架构,相对于GPU或TPU,实现了超过50倍的加速。这种加速是将DNN中从一层到下一层传输激活输出的延迟隐藏在接收层中的计算之后的结果。这个FProg-DNN概念已经在行为功能层面进行了模拟和验证。
2018-03-22 cs.LG cs.NE
Towards Machine Learning and Inference for Resource-constrained MCUs
Imperial College London(帝国理工学院)
本文提出面向MCU的无电池ML推理与模型个性化流水线,通过海洋鱼类图像识别验证,在保持97.78%准确率的同时大幅降低存储、运行时间、功耗和能耗,证明资源受限环境下无电池ML推理的可行性。
2023-05-30 cs.AI cs.CV cs.LG
EnergonAI: An Inference System for 10-100 Billion Parameter Transformer Models
HPC-AI Technology Inc.(HPC-AI科技公司);Sun Yat-sen University(中山大学);National University of Singapore(新加坡国立大学)
大型Transformer模型在广泛的自然语言处理(NLP)任务上显示出良好的性能。尽管AI社区已经将模型规模扩展到万亿参数级别,但由于延迟,吞吐量和内存限制,100 - 1000亿参数模型的实际部署仍然不确定。在本文中,我们提出了EnergonAI,以解决在单GPU或多GPU系统上高效部署100 - 1000亿参数Transformer模型的挑战。EnergonAI采用分层控制器系统架构来协调多个设备,并有效支持不同的并行模式。它以单控制器的方式将子模型的执行委托给多个工作者,并以多控制器的方式在工作者之间应用张量并行和流水线并行。在此基础上,提出了三种新的技术,即非阻塞流水线并行、分布式冗余计算消除和对等内存池。EnergonAI使用户能够像编写串行代码一样编写复杂的并行代码。与FasterTransformer相比,我们已经证明EnergonAI在延迟和吞吐量方面具有卓越的性能。在我们的实验中,EnergonAI可以在张量并行中实现37%的延迟减少,在流水线并行中实现10%的可扩展性改进,并且通过使用更大的异构内存空间来提高在单个GPU上推断的模型规模,但性能降低有限。
2022-09-06 cs.DC cs.LG
Transforming LLMs into Efficient Cross-Encoders via Knowledge Distillation for RAG Reranking
研究针对交叉编码器推理成本高的问题,通过两阶段管道微调LLaMA 3为RAG重排器,先监督微调后4位量化,在特定领域问答基准上评估,相比交叉编码器基线有多项性能提升且降低推理开销。
2026-07-15 cs.CL cs.IR cs.LG
Sampling Bias Correction for Supervised Machine Learning: A Bayesian Inference Approach with Practical Applications
Local Maximum Labs(Local Maximum实验室)
给定一个有监督的机器学习问题,其中训练集受到已知的采样偏差的影响,如何训练模型来拟合原始数据集?我们通过贝叶斯推断框架,通过改变后验分布来解释抽样函数。然后,我们将此解决方案应用于二进制逻辑斯谛回归,并讨论了数据集可能会受到故意的样本偏差,如标签不平衡的情况。这种技术广泛适用于大数据的统计推断,从医学科学到图像识别再到营销。熟悉它将为从业者提供工具,以改进从数据收集到模型选择的推理管道。
2022-03-15 cs.LG stat.ML
LtU-ILI: An All-in-One Framework for Implicit Inference in Astrophysics and Cosmology
CNRS(法国国家科学研究中心);Sorbonne Université(索邦大学);Center for the Gravitational-Wave Universe(引力波宇宙中心);Seoul National University(首尔大学);Center for Astrophysics — Harvard & Smithsonian(哈佛-史密森天体物理中心);Massachusetts Institute of Technology(麻省理工学院);Université de Montréal(蒙特利尔大学);Mila - Quebec Artificial Intelligence Institute(米拉-魁北克人工智能研究所);Ciela - Montreal Institute for Astrophysical Data Analysis and Machine Learning(CIELA-蒙特利尔天体物理数据分析与机器学习研究所);Center for Computational Astrophysics, Flatiron Institute(弗拉蒂伦研究所计算天体物理中心);Institute of Cosmology and Gravitation, University of Portsmouth(朴茨茅斯大学宇宙学与引力研究所)
本文提出LtU-ILI一体化机器学习隐式推断框架,集成多种神经架构、训练方案和验证指标,并在星系团质量、宇宙学、引力波等多个天体物理任务中验证其有效性。
2024-07-02 astro-ph.CO astro-ph.GA astro-ph.IM
Embedded Machine Learning for Microcontroller-Class Edge Devices: Data, Feature, Evaluation, and Deployment Pipelines
IEEE
本文系统介绍面向微控制器平台的嵌入式机器学习工作流,重点涵盖采样缓冲、特征提取、不平衡验证、模型/运行时协同设计及流式部署等工程决策,并以惯性运动识别和关键词检测为例给出实用设计规则。
2026-06-17 cs.AI cs.AR cs.LG
Recovery-Directed Symbolic Distillation of Neural Likelihoods
本文提出一种面向恢复的符号蒸馏流程,将神经似然转化为显式表达式,在保持参数恢复精度的同时实现超100倍加速,并适用于多种基于模拟的推断场景。
2026-09-29 cs.LG q-bio.NC stat.CO