Tile-Level Activation Overlap for Efficient LLM Inference
Microsoft Research（微软研究院）
研究针对现代大语言模型中SwiGLU中间张量物化成本高的问题，提出基于CUTLASS的SM90内核，通过瓦片级融合SwiGLU与GeMM，提升推理速度，验证手工设计的必要性且数值表现优。
2026-07-07 cs.DC cs.LG cs.PL
Truth as a Trajectory: What Internal Representations Reveal About Large Language Model Reasoning
Australian Institute for Machine Learning, Adelaide University（澳大利亚机器学习研究所，阿德莱德大学）；Monash University（莫纳什大学）；Concordia University（康科迪亚大学）
TaT通过分析大语言模型推理过程中的层间几何位移，揭示有效推理与虚假行为的区别，提升模型可解释性。
2026-03-01 cs.CL cs.LG
Training Deep Fourier Neural Networks To Fit Time-Series Data
University of Arkansas（阿肯色大学）
我们提出了一种训练包含正弦激活函数的深度神经网络以拟合时间序列数据的方法。使用快速傅立叶变换初始化权重，然后使用正则化进行训练以提高泛化能力。采用一种简单的动态参数调整方法来调整学习率和正则化项，从而实现稳定性和有效的训练。我们展示了如何使用更稀疏的正弦单位集来利用更深层来对观察到的序列进行建模，以及非均匀正则化如何通过促进权重向更简单的单位转移来提高泛化能力。该方法与时间序列问题表明，它导致有效的外推的非线性趋势。
2014-05-09 cs.LG cs.NE
Expert Upcycling: Shifting the Compute-Efficient Frontier of Mixture-of-Experts
Amazon Stores Foundation AI（亚马逊商店基金会人工智能）；Carnegie Mellon University（卡内基梅隆大学）；Anthropic
本文提出专家再利用方法，通过持续预训练逐步扩展MoE模型容量，降低训练成本，实验显示在7B-13B参数规模下，模型验证损失与基线相当，节省32%的GPU小时。
2026-05-10 cs.AI cs.LG
Neural Collapse Dynamics: Depth, Activation, Regularisation, and Feature Norm Threshold
Department of Electrical Engineering and Computer Science（电气工程与计算机科学系）
本文研究了神经坍缩现象的动力学，发现特征范数达到特定临界值时会发生神经坍缩，并探讨了深度、激活函数、正则化和网络宽度对这一过程的影响。
2026-07-14 cs.LG
The Sparsity Whisperer
本文针对大语言模型剪枝忽略输出差异的问题，提出Wisp、Wisp+、Whisper等差异感知剪枝方法，在Llama系列模型上提升了剪枝效果，可与其他技术结合优化性能。
2026-11-09 cs.LG
Deep Neural Networks via Complex Network Theory: a Perspective
University of Oxford（牛津大学）；King’s College London（伦敦国王学院）；University of Catania（卡塔尼亚大学）；Queen Mary University of London（伦敦玛丽女王大学）
本研究扩展复杂网络理论度量，引入基于训练分布的采样，以区分不同架构、层数和激活函数的深度神经网络，提供物理视角的可解释性分析。
2024-04-18 cs.AI cs.LG
FreSh: Frequency Shifting for Accelerated Neural Representation Learning
Jagiellonian University（雅盖隆大学）；ETH Zurich（苏黎世联邦理工学院）；Balgrist University Hospital（巴尔格里斯大学医院）；IDEAS NCBR
针对隐式神经表征中MLP低频偏置及现有嵌入/激活超参数需昂贵网格搜索的问题，提出FreSh频率偏移方法，通过对齐初始输出与目标信号频谱选超参数，以极低开销实现媲美大规模搜索的性能提升。
2024-10-08 cs.AI cs.LG stat.ML
Exploring Gradient Flow Based Saliency for DNN Model Compression
City University of Hong Kong（香港城市大学）；Baidu USA LLC（百度美国有限责任公司）
模型修剪旨在减少深度神经网络（DNN）模型大小或计算开销。传统的模型修剪方法，例如评估DNN的通道重要性的l-1修剪，过于关注每个通道的局部分析，并利用整个特征的幅度，而忽略了其与每个卷积操作后的批量归一化（BN）和ReLU层的相关性。为了克服这些问题，本文从梯度流的角度提出了一种新的模型剪枝方法。具体来说，我们首先基于泰勒展开，通过整合BN层和ReLU激活函数的影响，从理论上分析了沟道的影响。然后，建议在BN层中合并缩放参数和移位参数的一阶Talyor多项式，以有效地指示DNN中的通道的重要性。在图像分类和图像去噪两个任务上的综合实验证明了所提出的新理论和方案的优越性。代码可在https://github.com/CityU-AIM-Group/GFBS上获得。
2021-10-24 cs.CV cs.LG
No More DeLuLu: Physics-Inspired Kernel Networks for Geometrically-Grounded Neural Computation
Taha Bouhsine（塔哈·布希内）
本文提出 yat-product 核操作，结合二次对齐与反平方接近性，通过几何化操作简化神经网络架构，实现统一的核学习、梯度稳定性和信息几何，展示了 NMN 在图像和语言任务中的有效性。
2026-02-22 cs.LG
Exploring Magnitude Preservation and Rotation Modulation in Diffusion Transformers
ETH Zürich（苏黎世联邦理工学院）
本研究探索幅度保持与旋转调制在扩散Transformer中的应用，提出无需归一化层的稳定训练设计，显著降低FID分数约12.8%，并实现与AdaLN竞争的性能且参数减少5.4%。
2025-05-25 cs.CV cs.LG
Differentiable, Bit-shifting, and Scalable Quantization without training neural network from scratch
本文提出了一种可微、位移和可扩展的量化方法，无需从头开始训练神经网络，实现了高精度的量化效果并提高了效率。
2025-12-03 cs.CV cs.LG stat.ML
Low-complexity Approximate Convolutional Neural Networks
Universidade Federal de Pernambuco（伯南布哥联邦大学）；Université de Lyon（里昂大学）
在本文中，我们提出了一种方法，用于最小化训练的卷积神经网络（ConvNet）的计算复杂性。其思想是近似给定ConvNet的所有元素，并使用能够极大降低计算复杂性的有效近似来替换原始卷积滤波器和参数（池化和偏置系数;以及激活函数）。低复杂度的卷积滤波器是通过一个二进制（0 - 1）线性规划计划的基础上Frobenius范数集的二进有理数。所得到的矩阵允许无乘法计算，只需要加法和移位运算。这种低复杂度的结构为低功耗、高效的硬件设计铺平了道路。我们将我们的方法应用于三个不同复杂度的用例：（i）用于人脸检测的“轻型”但高效的ConvNet（约有1000个参数）;（ii）另一个用于手写数字分类的ConvNet（超过180000个参数）;以及（iii）更大的ConvNet：AlexNet，具有$\approx$ 120万个矩阵。我们评估了不同近似水平下各自任务的整体表现。在所有考虑的应用程序中，非常低的复杂性近似已被导出保持几乎相等的分类性能。
2022-07-29 cs.CC cs.CV cs.LG
Dataflow-based Joint Quantization of Weights and Activations for Deep Neural Networks
A ⋆ STAR（新加坡科技研究局）；MILA（米拉魁北克人工智能研究院）；IVADO（魁北克数据 valorization 研究所）；IME A ⋆ STAR（新加坡科技研究局材料研究与工程研究所）；School of CSE NTU（南洋理工大学计算机科学与工程学院）
本文解决了一个具有挑战性的问题-如何在推理阶段部署深度神经网络（DNN）时降低能耗而不会导致性能下降。为了减轻计算和存储负担，我们提出了一种新的基于卷积的联合量化方法，假设较少的量化操作将导致较少的信息丢失，从而提高最终的性能。它首先介绍了一种有效的比特移位和舍入操作的量化方案，以表示网络参数和激活在低精度。然后对网络结构进行重构，形成统一的模块，在量化模型上进行优化。在ImageNet和KITTI上进行的大量实验验证了我们模型的有效性，证明了这种量化模型可以实现各种任务的最先进结果。此外，我们设计并综合了一个RTL模型来衡量各种量化方法的硬件成本。对于每个量化操作，与强基线相比，它将面积成本降低约15倍，能耗降低约9倍。
2019-01-04 cs.LG stat.ML
DQA: An Efficient Method for Deep Quantization of Deep Neural Network Activations
School of Computing Science, University of Glasgow（格拉斯哥大学计算科学学院）
针对现有深度神经网络激活量化方法开销高、少有关注6位以下深度量化的问题，提出基于移位运算与Huffman编码的DQA方法，在多任务多数据集上精度显著优于现有方法。
2024-12-12 cs.CV cs.LG stat.ML
From Arithmetic to Logic: The Resilience of Logic and Lookup-Based Neural Networks Under Parameter Bit-Flips
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Federal University of Rio de Janeiro（里约热内卢联邦大学）；Instituto de Telecomunicações, Porto, Portugal（葡萄牙波尔图电信研究所）；Google LLC（谷歌公司）
研究探讨了神经网络在硬件位翻转误差下的韧性，发现低精度、高稀疏性、受限激活和浅层深度等特性在理论模型下更优，逻辑和查找型网络实现了这些设计趋势的联合极限，实验验证了其在故障容忍中的稳定性。
2026-07-07 cs.AI cs.LG
Post-Hoc Uncertainty Quantification in Pre-Trained Neural Networks via Activation-Level Gaussian Processes
Siemens AG（西门子股份公司）
本文提出GAPA方法，通过激活层面高斯过程在预训练神经网络中进行事后不确定性量化，提升模型的鲁棒性和泛化能力。
2025-02-28 cs.LG math.ST stat.ML
KASPER: Kolmogorov Arnold Networks for Stock Prediction and Explainable Regimes
Vishwakarma Government Engineering College（维斯瓦卡罗马工程学院）；QuantumAI Lab, Fractal Analytics（量子AI实验室，Fractal Analytics）；eBRAIN Lab, Division of Engineering, New York University Abu Dhabi (NYUAD)（eBRAIN实验室，工程系，纽约大学阿布扎比分校（NYUAD））；Center for Quantum and Topological Systems (CQTS), NYUAD Research Institute（量子与拓扑系统中心（CQTS），NYUAD研究机构）
KASPER 结合了市场状态检测、稀疏样条函数建模和符号规则提取，通过 Gumbel-Softmax 机制识别隐藏市场条件，实现可解释的股票预测，实测结果显示其在 R²、夏普比率和均方误差上均优于现有方法。
2025-07-25 cs.LG
Cyclic Data Parallelism for Efficient Parallelism of Deep Neural Networks
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；Flatiron Institute（弗拉蒂伦研究所）
针对现有数据并行方法中内存峰值和梯度通信瓶颈，提出循环数据并行范式，通过顺序执行微批次并统一延迟，实现恒定内存和平衡通信，减少GPU需求，并在CIFAR-10和ImageNet上验证了有效性。
2024-03-13 cs.AI cs.DC cs.LG
Normalization Propagation: A Parametric Technique for Removing Internal Covariate Shift in Deep Networks
SUNY Buffalo（纽约州立大学布法罗分校）
虽然批量归一化（BN）的作者确定并解决了训练深度网络中涉及的一个重要问题-内部协变量偏移-但当前的解决方案存在一定的缺陷。具体而言，BN依赖于训练期间逐层输入归一化的批量统计，这使得对隐藏层的输入（分布）的平均值和标准差的估计由于偏移参数值（特别是在初始训练时期期间）而对于验证不准确。此外，BN不能在训练期间与批量1一起使用。我们通过提出一种非自适应的归一化技术来消除内部协变量的偏移，我们称之为归一化传播来解决这些缺点。我们的方法不依赖于批量统计，而是在每一层中使用与数据无关的平均值和标准差的参数估计，因此与BN相比计算速度更快。我们利用了这样的观察结果，即在深度网络中，校正线性单元之前的预激活遵循高斯分布，并且一旦任何给定数据集的第一和第二顺序统计量被归一化，我们就可以向前传播这种归一化，而无需重新计算隐藏层的近似统计量。
2016-07-12 cs.LG stat.ML
Fighting Quantization Bias With Bias
Hailo Technologies（海洛科技）
深度神经网络（DNN）的低精度表示对于在嵌入式平台上高效部署深度学习应用至关重要，然而，将网络转换为低精度会降低其性能。至关重要的是，为嵌入式应用设计的网络通常会遭受更大的退化，因为它们具有更少的冗余。这对于无处不在的MobileNet架构最为明显，该架构需要昂贵的量化感知训练周期，以便在量化为8位时实现可接受的性能。在本文中，我们跟踪MobileNet中的退化的来源，平均激活值的变化。这种偏移是由量化过程中的固有偏差引起的，该偏差在各层之间建立，使所有网络统计数据远离学习的分布。我们发现，这种现象也发生在其他建筑。我们提出了一个简单的补救措施-通过增加一个常数，每个通道的附加偏置项的量化引起的移位补偿。我们开发了两种简单的方法来估计校正常数-一种是使用量化网络的迭代评估，另一种是使用短训练阶段设置常数。这两种方法都很快速，只需要少量的未标记数据，这使得它们对神经网络的快速部署很有吸引力。使用上述方法，我们能够以一小部分成本匹配MobileNets的基于训练的量化的性能。
2019-06-07 cs.LG stat.ML
Why Regularized Auto-Encoders learn Sparse Representation?
SUNY Buffalo（纽约州立大学布法罗分校）
虽然Batch Normalization（BN）的作者确定并解决了训练深度网络所涉及的一个重要问题-- \textit{Internal Covariate Shift} --但目前的解决方案存在某些缺陷。例如，BN依赖于训练期间逐层输入归一化的批量统计，这使得对隐藏层的输入（分布）的平均值和标准差的估计由于偏移参数值而不准确（特别是在初始训练时期期间）。BN的另一个基本问题是它不能在训练期间与批量大小的$ 1 $一起使用。我们提出了一个非自适应的归一化技术，我们称之为\textit{Normalization Propagation}，以消除协变量移位BN的这些缺点。我们的方法不依赖于批量统计，而是在每一层中使用与数据无关的平均值和标准差的参数估计，因此与BN相比计算速度更快。我们利用了这样的观察结果，即在深度网络中，校正线性单元之前的预激活遵循高斯分布，并且一旦任何给定数据集的第一和第二顺序统计量被归一化，我们就可以向前传播这种归一化，而无需重新计算隐藏层的近似统计量。
2016-06-17 cs.CV cs.LG stat.ML
