Tensor Program Optimization with Probabilistic Programs
OctoML;Shanghai Jiao Tong University(上海交通大学);Carnegie Mellon University(卡内基梅隆大学);Amazon Web Services(亚马逊云科技)
随着我们在各种环境中部署深度学习,张量程序的自动优化变得越来越重要,而高效的优化依赖于丰富的搜索空间和有效的搜索。大多数现有的努力采用搜索空间,其缺乏有效地使领域专家能够增长搜索空间的能力。本文介绍了MetaSchedule,一个特定领域的概率程序设计语言的抽象,以构建一个丰富的张量程序的搜索空间。我们的抽象允许领域专家分析程序,并很容易地提出随机选择,在一个模块化的方式来组成相应的程序转换。我们还建立了一个端到端的学习驱动的框架,找到一个优化的程序,为给定的搜索空间。实验结果表明,MetaSchedule可以以模块化的方式覆盖最先进的张量程序优化框架中使用的搜索空间。此外,它使领域专家能够方便地扩展搜索空间并模块化地增强系统,从而使端到端深度学习工作负载加速48%。
2022-10-09 cs.LG
Tensor Programs IVb: Adaptive Optimization in the Infinite-Width Limit
xAI;Apple(苹果公司)
本文提出张量程序语言 NEXORT 和 bra-ket 记号,将无限宽度极限下的特征学习与核行为二分法推广到 Adam 等自适应优化器,并推导出任意架构的神经切线和最大更新极限。
2023-08-07 cond-mat.dis-nn cs.LG cs.NE
TFCheck : A TensorFlow Library for Detecting Training Issues in Neural Network Programs
Polytechnique Montréal(蒙特利尔高等理工学院)
越来越多的机器学习(ML)模型被纳入自动驾驶汽车等安全关键系统中,导致了基于多模型的ML测试技术的发展。这些测试技术的一个共同点是他们假设培训计划是足够的,没有错误。这些技术仅关注于使用手动标记的数据或自动生成的数据来评估构建的模型的性能。然而,他们对培训计划的假设并不总是正确的,因为培训计划可能包含不一致和错误。在本文中,我们研究了ML程序中的训练问题,并提出了一个可用于自动检测识别问题的验证例程目录。我们在一个名为TFCheck的基于Tensorflow的库中实现了例程。使用TFCheck,从业者可以自动检测上述问题。为了评估TFCheck的有效性,我们对真实世界、突变体和合成训练程序进行了案例研究。结果表明,TFCheck可以成功地检测ML代码实现中的训练问题。
2019-09-05 cs.CV cs.LG cs.NE
TensorIR: An Abstraction for Automatic Tensorized Program Optimization
Shanghai Jiao Tong University(上海交通大学);Carnegie Mellon University(卡内基梅隆大学);OctoML(OctoML公司);University of Washington(华盛顿大学);UC Berkeley(加州大学伯克利分校);Amazon Web Services(亚马逊云科技)
在各种设备上部署深度学习模型已经成为一个重要的课题。硬件专业化的浪潮为多维张量计算带来了各种各样的加速原语。这些新的加速原语,以及新兴的机器学习模型,带来了巨大的工程挑战。在本文中,我们提出了TensorIR,一个编译器抽象优化程序与这些张量计算原语。TensorIR概括了现有机器学习编译器中使用的循环嵌套表示,将张量计算作为一等公民。最后,我们在我们的抽象之上构建了一个端到端框架,以自动优化给定张量计算原语的深度学习模型。实验结果表明,TensorIR编译自动使用给定硬件后端的张量计算原语,并提供与跨平台的最先进手动优化系统竞争的性能。
2022-10-27 cs.AI cs.LG cs.PL
Ansor: Generating High-Performance Tensor Programs for Deep Learning
UC Berkeley(加州大学伯克利分校);Alibaba Group(阿里巴巴集团);Amazon Web Services(亚马逊云科技);Duke University(杜克大学)
Ansor通过分层搜索空间采样、进化搜索与学习成本模型,生成高性能张量程序,在Intel CPU、ARM CPU和NVIDIA GPU上分别提升性能高达3.8倍、2.6倍和1.7倍。
2023-10-15 cs.LG cs.NE cs.PF
Transfer Learning Across Heterogeneous Features For Efficient Tensor Program Generation
Stony Brook University(石溪大学);Argonne National Laboratory(阿贡国家实验室);Brookhaven National Laboratory(布鲁克海文国家实验室)
针对异构硬件下张量程序自动调优搜索空间大、变换组合爆炸的问题,提出学习联合神经网络与硬件特征并迁移至新目标,结合注意力机制精简数据集,在保持成对比较准确率的同时大幅降低调优时间。
2023-12-26 cs.LG cs.PL
Differentiable Programming of Isometric Tensor Networks
The University of Tokyo(东京大学);University of California San Diego(加利福尼亚大学圣地亚哥分校);Stanford University(斯坦福大学)
微分规划是一种新的编程范式,它通过自动计算梯度(也称为自动微分)来实现大规模优化。这个概念来自深度学习,也被推广到张量网络优化。在这里,我们将可微规划扩展到具有等距约束的张量网络,并将其应用于多尺度纠缠重正化(MERA)和张量网络重正化(TNR)。介绍了几种基于梯度的等距张量网络优化方法,并与Evenbly-Vidal方法进行了比较,结果表明,自微分方法在稳定性和精度方面都有较好的性能。在一维临界量子Ising自旋链和二维经典伊辛模型上对我们的方法进行了数值验证。我们计算了一维量子模型的基态能量和经典模型的内能,以及标度算符的标度维数,发现它们都与理论符合得很好。
2021-11-01 cond-mat.str-el cs.LG quant-ph
OLLIE: Derivation-based Tensor Program Optimizer
Tsinghua University(清华大学);Carnegie Mellon University(卡内基梅隆大学)
提高深度神经网络(DNN)的运行时性能至关重要,因为它们在现实世界的任务中被广泛采用。优化DNN的张量代数表达式的现有方法仅考虑可由一组固定的预定义运算符表示的表达式,从而错过了一般表达式之间可能的优化机会。我们提出OLLIE,一阶导数为基础的张量程序优化器。OLLIE通过利用一般张量代数表达式之间的转换来优化张量程序,从而实现显着更大的表达式搜索空间,其中包括作为特殊情况的先前工作所支持的表达式。OLLIE使用了一个基于派生的混合优化器,它有效地结合了探索性和指导性派生,以快速发现高度优化的表达式。对七个DNN的评估表明,OLLIE在A100 GPU上的性能最高可达2.73 $\times$(平均1.46 $\times$),在V100 GPU上的性能最高可达2.68 $\times$(1.51 $\times$)。
2022-08-02 cs.LG cs.PF
Tensors Fitting Perfectly
Google Research(谷歌研究院)
多维数组(NDArrays)是现代科学计算环境中的核心抽象。不幸的是,它们可能会使程序的推理变得更加困难,因为在程序执行中使用的不同数组形状的数量通常非常大,并且它们很少显式地出现在程序文本中。更糟糕的是,许多运算符对输入的形状做了隐含的假设:数组加法通常使用广播语义来丰富,而矩阵乘法假设收缩维度的长度相等。由于精确推理形状对于使用NDArrays编写正确的程序至关重要,而且由于形状通常很难通过快速浏览程序来推断,因此我们开发了Tensors Fitting Perfectly,这是一种静态分析工具,通过从程序的抽象解释中合成一组形状约束,在Swift for TensorFlow程序中推理NDArrays形状。它可以(1)检查可能的不一致性,(2)提供有关程序中出现的中间值的形状的直接见解,包括通过称为形状孔的机制。静态分析与可选的运行时断言协同工作,以提高程序作者的生产力。
2021-02-26 cs.LG cs.PL
Infinite-Width Limit of a Single Attention Layer: Analysis via Tensor Programs
The University of Tokyo(东京大学);National Institute of Advanced Industrial Science and Technology(国家工业科学与技术研究院);RIKEN Center for Advanced Intelligence Project(理化学研究所先进人工智能项目中心)
本文通过张量程序框架,推导了单个注意力层在无限宽度下的极限分布,证明其非高斯性,并验证了理论在有限宽度下的有效性。
2026-01-02 cs.LG stat.ML
Hidet: Task-Mapping Programming Paradigm for Deep Learning Tensor Programs
University of Toronto(多伦多大学);Amazon Web Services(亚马逊云科技);Vector Institute(向量研究所)
随着深度学习模型如今被云服务和边缘设备广泛采用,减少深度学习模型推理的延迟对于提供高效的模型服务变得至关重要。然而,由于现代加速器的高度复杂性和运算符数量的快速增长,为深度学习运算符开发高效的张量程序具有挑战性。深度学习编译器,如Apache TVM,采用声明式调度原语来降低开发张量程序的标准。然而,我们表明,这种方法是不够的,以涵盖国家的最先进的张量程序优化。在本文中,我们建议将调度过程嵌入到张量程序中,并使用专用映射(称为任务映射)来定义计算分配和排序。这种新方法通过允许开发人员以更细的粒度操纵张量程序,极大地丰富了可表达的优化。我们称之为任务映射编程范式所提出的方法。此外,我们提出了一种新的调度后融合优化,允许开发人员专注于调度每个操作员,并在调度后自动进行融合。它大大减少了工程工作的运营商融合。我们提出的范例还构建了一个高效的硬件为中心的调度空间,这是不可知的程序输入大小,大大减少了调整时间。利用所提出的范例,我们实现了一个深度学习编译器Hidet。在现代卷积和Transformer模型上进行的大量实验表明,Hidet的性能比最先进的DNN推理框架、ONNX编译器和编译器、配备调度程序AutoTVM和Ansor的TVM高出1.48倍(平均1.22倍)。与AutoTVM和Ansor相比,它还将调优时间分别缩短了20倍和11倍。我们在https://www.github.com…
2023-02-15 cs.AI cs.LG cs.PL
TLP: A Deep Learning-based Cost Model for Tensor Program Tuning
University of Science and Technology of China(中国科学技术大学)
张量规划调整是一个非凸目标优化问题,基于搜索的方法已被证明是有效的。基于搜索的方法的核心在于成本模型的设计。尽管基于深度学习的成本模型的性能明显优于其他方法,但它们仍然存在不足,并存在以下问题。首先,它们的特征提取严重依赖于硬件架构中的专家级领域知识。即便如此,提取的特征往往不能令人满意,需要分别考虑CPU和GPU。其次,在一个硬件平台上训练的成本模型通常在另一个硬件平台上表现不佳,我们称之为跨硬件不可用性问题。为了解决这些问题,我们提出了TLP和MTLTLP。TLP是一种基于深度学习的成本模型,有助于张量程序调优。TLP不是从张量程序本身提取特征,而是从调度原语中提取特征。我们将调度原语视为张量语言。因此,TLP是一个张量语言处理任务。通过这种方式,通过成本模型预测张量程序延迟的任务被转换为自然语言处理(NLP)回归任务。MTL-TLP结合了多任务学习和TLP来解决跨硬件不可用问题。我们将这些技术纳入到Ansor框架,并进行详细的实验。结果表明,与最先进的实现相比,TLP可以在CPU和GPU工作负载上分别将平均搜索时间加快9.1倍和3.0倍。MTL-TLP可以在CPU和GPU工作负载上分别实现4.7倍和2.9倍的速度提升,仅使用7%的目标硬件数据。
2022-11-22 cs.LG cs.PF
CDMPP: A Device-Model Agnostic Framework for Latency Prediction of Tensor Programs
University of Hong Kong(香港大学);ByteDance Inc.(字节跳动公司)
CDMPP提出了一种设备-模型无关的张量程序延迟预测框架,利用紧凑AST表示和领域自适应方法,在跨模型和跨设备预测中分别达到14.03%和10.85%的误差,显著优于现有基线。
2023-11-17 cs.LG cs.PF
Streaming Tensor Programs: A Streaming Abstraction for Dynamic Parallelism
Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学)
STeP通过引入流式抽象和动态优化技术,提升了SDA在动态张量工作负载中的效率和性能。
2026-01-28 cs.AR cs.LG cs.PL
Tensor Programs II: Neural Tangent Kernel for Any Architecture
Microsoft Research AI(微软研究院AI)
我们证明了一个随机初始化的神经网络的 * 任何架构 * 有它的切线核(NTK)收敛到一个确定性的限制,网络宽度趋于无穷大。我们演示如何计算这个极限。在以前的文献中,对神经网络梯度的启发式研究通常假设前向传播中使用的每个权重矩阵与反向传播中使用的转置无关(Schoenholz et al. 2017)。这就是所谓的梯度独立假设(GIA)。我们确定了一个普遍满足的条件,我们称之为 * 简单GIA检查 *,这样基于GIA的NTK限值计算是正确的。相反,当简单GIA检查失败时,我们表明GIA可能会导致错误的答案。我们这里的材料以友好的方式呈现了Yang(2019 a)的NTK结果,并展示了用于理解广泛神经网络的 * 张量程序 * 技术。我们在https://github.com/thegregyang/NTK4A上提供了递归神经网络、Transformer和批量归一化的无限宽NTK的参考实现。
2020-11-30 cond-mat.dis-nn cs.LG cs.NE
QiMeng-Xpiler: Transcompiling Tensor Programs for Deep Learning Systems with a Neural-Symbolic Approach
University of Science and Technology of China(科学技术大学);Cambricon Technologies(Cambricon科技);SKL of Processors, Institute of Computing Technology, Chinese Academy of Sciences(处理器实验室,计算技术研究所,中国科学院);Institute of Software, Chinese Academy of Sciences(软件研究所,中国科学院)
QiMeng-Xpiler 结合大语言模型与符号程序合成实现跨深度学习平台张量程序自动转译,以 95% 平均准确率和最高 2.0 倍性能提升显著提高编程生产力。
2025-05-04 cs.CL cs.LG cs.PL
Transfer-Tuning: Reusing Auto-Schedules for Efficient Tensor Program Code Generation
University of Glasgow(格拉斯哥大学)
张量程序的自动调度是一个搜索算法自动探索目标硬件平台上给定程序的候选调度(程序转换)以提高其性能的过程。然而,这可能是一个非常耗时的过程,这取决于张量程序的复杂性和目标设备的容量,通常需要探索数千个程序变体。为了解决这个问题,在本文中,我们介绍了转移调整的想法,一种新的方法来识别和重用张量程序之间的自动调度。我们使用深度神经网络(DNN)来证明这一概念,从预先调整的DNN中获取自动调度集,并使用它们来减少新DNN的推理时间。我们将传输调优与最先进的Ansor自动调度器进行比较,将给定DNN模型的最大可能加速定义为Ansor使用其推荐的完整调优时间实现的加速。在服务器级CPU和11个广泛使用的DNN模型上,我们观察到传输调优达到了$88.41\%$(平均$49.13\%$),而Ansor平均需要$6.5\times$更多的搜索时间来匹配它。我们还评估了受限边缘CPU上的传输调整,并观察到搜索时间的差异加剧,Ansor平均需要$10.8\times$更多的时间来匹配transfer-tuning的加速,这进一步证明了它的价值。我们的代码可在www.example.com上获得
2022-09-07 cs.LG cs.NE cs.PF
Prism: Symbolic Superoptimization of Tensor Programs
Carnegie Mellon University(卡内基梅隆大学);Tsinghua University(清华大学);Weizmann Institute of Science(魏茨曼科学研究院)
Prism通过符号化层级表示实现张量程序的符号超优化,结合符号推理与自动调优,提升效率并减少优化时间。
2026-04-16 cs.AI cs.LG cs.PL
The Output-Space Hypothesis: Enumerative Equivalence Checking for Tensor Programs
University of Pennsylvania(宾夕法尼亚大学)
提出输出空间假设,通过翻转量词检查单个输出位置对所有输入的等价性,实现张量程序更一致的错误发现,在6988个AI编写的CUDA内核中找出600个隐藏错误。
2026-09-18 cs.LG cs.PL cs.SE
CTSketch: Compositional Tensor Sketching for Scalable Neurosymbolic Learning
University of Pennsylvania(宾夕法尼亚大学)
CTSketch通过分解符号程序并用张量素描近似输出分布,实现了可扩展的神经符号学习,在千输入任务上取得高准确率。
2025-10-23 cs.LG
Step-TP: A Grounded, Step-Level Dataset with Chain-of-Thought Reasoning for LLM-Guided Tensor Program Optimization
The University of Hong Kong(香港大学);University of Science and Technology of China(中国科学技术大学)
为解决 LLM 在张量程序优化中缺乏可验证步骤级监督的问题,提出 Step-TP 数据集,通过结构化思维链推理和原子步骤监督实现可靠的多步优化。
2026-05-25 cs.AI cs.LG
Moses: Efficient Exploitation of Cross-device Transferable Features for Tensor Program Optimization
The Chinese University of Hong Kong(香港中文大学);City University of Hong Kong(香港城市大学)
实现机器学习模型的高效执行最近引起了极大的关注。为了有效地生成张量程序,DNN编译器的一个关键组件是成本模型,它可以预测特定设备上每个配置的性能。然而,由于硬件平台的快速出现,为每个新平台训练特定于领域的预测器越来越劳动密集。此外,目前的设计成本模型不能提供不同的硬件加速器之间的可转移的功能,有效地和有效地。在本文中,我们提出摩西,一个简单而有效的设计彩票假设的基础上,充分利用的功能,通过领域自适应转移到目标设备。与最先进的方法相比,Moses在搜索阶段实现了高达1.53倍的效率提升,在具有挑战性的DNN基准测试中实现了1.41倍的推理加速。
2022-01-15 cs.LG cs.PL
Optimal Kernel Orchestration for Tensor Programs with Korch
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Advanced Micro Devices(超威半导体公司);Carnegie Mellon University(卡内基梅隆大学);Sambanova Systems(Sambanova系统公司);Tsinghua University(清华大学)
本文提出张量程序优化器 Korch,通过算子分裂、原语级约束建模和二元线性规划求解最优 GPU kernel 编排,在 V100/A100 上最高提升 1.7/1.6 倍。
2024-06-13 cs.DS cs.LG
ExAIS: Executable AI Semantics
Singapore Management University(新加坡管理大学)
神经网络可以被认为是一种新的编程范例,即,复杂的“人工智能”系统不是通过程序员头脑中的(通常是非正式的)逻辑推理来构建越来越复杂的程序,而是通过用大数据优化通用神经网络模型来构建的。在这种新的范式中,TensorFlow和PyTorch等AI框架发挥了关键作用,这与传统程序的编译器一样重要。众所周知,缺乏用于程序设计语言(例如C)的适当语义,即,编译器的正确性规范导致了许多有问题的程序行为和安全问题。由于程序设计语言的高度复杂性及其快速发展,通常很难为编译器提供正确的规范,但我们有一个独特的机会,这次可以为神经网络(功能有限,其中大多数具有稳定的语义)做正确的规范。在这项工作中,我们报告了我们为TensorFlow等神经网络框架提供正确性规范的努力。我们在逻辑程序设计语言Prolog中指定了几乎所有TensorFlow层的语义。我们证明了有用的语义通过两个应用程序。一个是TensorFlow的模糊引擎,它具有强大的预言和生成有效神经网络的系统方法。另一种是模型验证方法,可以为TensorFlow模型提供一致的错误报告。
2022-02-20 cs.AI cs.LG
FTuner: A Fast Dynamic Shape Tensors Program Auto-Tuner for Deep Learning Compilers
School of Computer Science and Engineering(计算机科学与工程学院);Beihang University(北京航空航天大学)
FTuner通过uKernel抽象计算单元拼接小张量以匹配动态输入形状,结合解析硬件信息模型,在保持与厂商库相当性能的同时将调优时间降低两个数量级。
2024-07-31 cs.DC cs.LG
Mirage: A Multi-Level Superoptimizer for Tensor Programs
Carnegie Mellon University(卡内基梅隆大学);Peking University(北京大学);Pennsylvania State University(宾夕法尼亚州立大学);Purdue University(Purdue 大学);Weizmann Institute of Science(魏茨曼科学研究院)
本文提出张量程序多级超级优化器 Mirage,利用跨 GPU 三层级的 μGraphs 统一表示、抽象剪枝和概率等价验证,自动联合搜索代数、调度与自定义 kernel 优化,最高较现有方法提速 3.3 倍。
2025-06-06 cs.AI cs.LG cs.PL
Quantitative Verification of Omega-regular Properties in Probabilistic Programming
East China Normal University, China(华东师范大学);Nanyang Technological University, Singapore(南洋理工大学)
本文提出时间后验推断框架,用于在概率编程中定量验证omega-正则性质,通过分解Rabin条件并构建随机屏障证书,实现对概率行为的高效推断。
2025-12-25 cs.FL cs.LG cs.LO
A Typed Tensor Language for Shared-State Federated Computation
Athena Research Center(阿提卡研究中心);National and Kapodistrian University of Athens(雅典国家与卡波迪斯蒂亚诺大学);National Technical University of Athens(雅典技术大学)
本文提出了一种类型化的张量语言,用于形式化联邦学习中的结构,通过共享状态因子分解理论和可微片段,实现了联邦学习计算的正式描述。
2026-10-02 cs.LG
Tensor-Aware Energy Accounting
SUNY Binghamton(纽约州立大学宾汉姆顿分校)
本文提出Smaragdine,一种针对基于张量的深度学习程序的新型白盒能耗核算系统,通过感知程序内部结构实现能耗的层级化分解,并应用于BERT模型识别高能耗组件及支持下游工具链构建。
2023-11-19 cs.LG cs.SE
COGNATE: Acceleration of Sparse Tensor Programs on Emerging Hardware using Transfer Learning
University of Illinois Urbana-Champaign, USA(伊利诺伊大学厄巴纳-香槟分校)
针对早期稀疏张量加速器成本模型训练数据稀缺、优化难度大的问题,提出COGNATE框架,通过迁移通用硬件数据并少样本微调,仅用5%数据即可实现优于现有方法的加速效果。
2025-06-15 cs.AI cs.AR cs.ET
Toward Compiler World Models: Learning Latent Dynamics for Efficient Tensor Program Search
Hangzhou Institute for Advanced Study, University of Chinese Academy of Sciences(中国科学院大学杭州高等研究院);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学)
提出一种受世界模型启发的评估器,通过轻量级过渡模型在连续潜在空间中展开调度动作,避免昂贵AST变异和重复编码,在TVM AutoScheduler中实现比Ansor更优的延迟和测量效率。
2026-06-08 cs.LG cs.PL
A Learned Performance Model for Tensor Processing Units
Google(谷歌);Paul G. Allen School of Computer Science & Engineering, University of Washington(华盛顿大学保罗·G·艾伦计算机科学与工程学院)
准确的硬件性能模型对于高效的代码生成至关重要。它们可以被编译器用来做启发式决策,被超级优化器用来作为最小化目标,或者被自动调优器用来为特定程序找到最优配置。然而,它们很难开发,因为当代处理器很复杂,最近深度学习加速器的激增增加了开发负担。我们展示了一种从张量处理单元(TPU)实例的张量计算图程序语料库中学习性能模型的方法。我们表明,我们的学习模型在两个任务上的性能优于经过高度优化的分析性能模型-瓷砖大小选择和运营商融合-并且它可以帮助自动调谐器在TPU访问受限或昂贵的设置中发现更快的程序。
2021-03-18 cs.LG cs.PF
Learning from distinctive candidates to optimize reduced-precision convolution program on tensor cores
NOTA;Hanyang University(汉阳大学)
卷积是深度神经网络的基本运算之一,需要进行矩阵计算。在图形处理单元(GPU)中,张量核心是一种专用的矩阵处理硬件,配备了降低精度的矩阵乘累加(MMA)指令,以提高吞吐量。然而,实现最佳性能是具有挑战性的,因为MMA指令的最佳调度针对不同的卷积大小而变化。特别是,降低精度的MMA需要许多元素分组为矩阵操作数,严重限制了数据的重用和强加包装和布局开销的时间表。本文提出了一种卷积运算的降精度MMA自动调度方法。在这种方法中,我们设计了一个搜索空间,探索线程瓦片和经线大小,以增加数据重用,尽管降低精度MMA的大矩阵操作数。搜索空间还包括寄存器级打包和布局优化选项,以减少处理精度降低的数据的开销。最后,我们提出了一个搜索算法,通过学习不同的候选人找到最佳的时间表。这种降低精度的MMA优化方法在流行的神经网络的卷积运算上进行评估,以证明与具有缩短搜索时间的最新技术相比,在张量核心上的大幅加速。
2022-02-24 cs.AI cs.LG
TCL: Enabling Fast and Efficient Cross-Hardware Tensor Program Optimization via Continual Learning
Southeast University Nanjing Jiangsu China;University of Amsterdam Amsterdam Netherlands;Southeast University \& Shandong Yunhai Guochuang Innovative Technology Co., Ltd. Nanjing, Jinan Jiangsu, Shandong China;Southeast University;University of Amsterdam;Southeast University \& Shandong Yunhai Guochuang Innovative Technology Co., Ltd.
本文提出TCL框架,通过RDU采样器、Mamba成本模型和持续知识蒸馏,解决传统方法在数据收集成本高和跨平台迁移性差的问题,实验显示其在CPU和GPU平台上的调优速度提升16.8倍和12.48倍,推理延迟降低1.20倍和1.13倍。
2026-04-14 cs.AR cs.LG