xDeepInt: a hybrid architecture for modeling the vector-wise and bit-wise feature interactions
Credit Karma（Credit Karma公司）
学习特征交互是大规模CTR预测和推荐成功的关键。在实践中，手工特征工程通常需要穷举搜索。为了降低人工在特征工程中的高成本，研究人员提出了几种基于深度神经网络（DNN）的方法来以端到端的方式学习特征交互。然而，现有的方法要么没有同时学习矢量交互和位交互，要么未能以可控的方式将它们组合起来。在本文中，我们提出了一种新的模型xDeepInt，它基于一种称为多项式交互网络（PIN）的新型网络架构，该网络架构可以递归地学习高阶向量交互。通过集成子空间交叉机制，我们使xDeepInt能够以有界顺序平衡矢量和位特征交互的混合。基于网络结构，我们定制了一个组合优化策略进行特征选择和交互选择。我们实现了所提出的模型，并在三个真实世界的数据集上评估了模型的性能。我们的实验结果证明了xDeepInt在最先进的模型上的有效性。我们开源了xDeepInt的TensorFlow实现：https://github.com/yanyachen/xDeepInt。
2023-01-03 cs.AI cs.IR cs.LG
AP-BMM: Approximating Capability-Cost Pareto Sets of LLMs via Asynchronous Prior-Guided Bayesian Model Merging
Guangdong Provincial Key Laboratory of Novel Security Intelligence Technologies（广东新型安全智能技术重点实验室）；Institute of Cyberspace Security（网络空间安全研究院）；School of Computer Science and Technology（计算机科学与技术学院）
本文提出AP-BMM方法，通过异步贝叶斯优化和层间合并策略，提升LLM在准确性和成本之间的帕累托集质量与覆盖范围。
2026-07-03 cs.CL cs.LG cs.NE
Trajectory-wise Control Variates for Variance Reduction in Policy Gradient Methods
Georgia Tech（佐治亚理工学院）
策略梯度方法在具有高维连续状态和动作空间的强化学习任务中已经证明是成功的。然而，策略梯度方法也是出了名的样本效率低下。这可以归因于，至少部分地，在估计的梯度的任务目标与蒙特卡罗方法的高方差。以前的研究已经endeavenly抗衡这个问题，通过研究控制变量（CV），可以减少估计的方差，而不引入偏见，包括早期使用的基线，状态依赖CV，和最近的状态动作依赖CV。在这项工作中，我们分析了以前的CV技术的属性和缺点，令人惊讶的是，我们发现，这些作品忽略了一个重要的事实，即蒙特卡罗梯度估计产生的轨迹的状态和行动。我们发现，忽略轨迹之间的相关性可能会导致次优的方差减少，我们提出了一个简单的解决方案：一类“随机”CV，可以进一步降低方差。我们表明，构建智能CV可以递归完成，只需要学习状态动作价值函数，如以前的CV的策略梯度。我们进一步证明了在合理的假设下，所提出的随机CV是最佳的方差减少。
2019-08-08 cs.LG stat.ML
Online Decision Making with History-Average Dependent Costs (Extended)
University of Illinois at Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对成本依赖历史决策时间平均的在线决策问题，提出FTARL算法，通过自适应正则化满足阶段式约束并证明紧致遗憾界，同时分析历史跨度影响及全跨度不可能性。
2023-12-11 cs.LG cs.SY eess.SY
Image Hashing by Minimizing Discrete Component-wise Wasserstein Distance
Virginia Tech（弗吉尼亚理工大学）；University of Minnesota（明尼苏达大学）；Purdue University（普渡大学）
图像散列是一个基本问题，需要高效和有效的解决方案，为各种实际情况。对抗性自动编码器能够隐式地学习一个鲁棒的、保持局部性的哈希函数，该函数可以生成平衡的、高质量的哈希码。然而，现有的对抗性哈希方法对于大规模图像检索应用是低效的。具体地，它们需要指数数量的样本以能够生成最佳散列码，并且需要显著高的计算成本来进行训练。在本文中，我们表明，高样本复杂度的要求往往会导致次优检索性能的对抗哈希方法。为了解决这一挑战，我们提出了一种新的adversarial-autoencoder哈希方法，该方法具有更低的样本要求和计算成本。具体而言，通过利用低维离散空间中散列函数的所需属性，我们的方法通过平均一组易于计算的一维Wasserstein距离来有效地估计Wasserstein距离的更好变体。与其他对抗性哈希方法相比，所得到的哈希方法具有数量级更好的样本复杂度，因此具有更好的泛化性能。此外，计算成本显着降低使用我们的方法。我们在几个真实世界的数据集上进行了实验，结果表明，该方法优于竞争散列方法，比当前最先进的图像散列方法提高了10%。本文附带的代码可以在Github上找到（https：//github.com/khoadoan/adversarial-hashing）。
2020-05-26 cs.CV cs.IR cs.LG
Activation Compression of Graph Neural Networks using Block-wise Quantization with Improved Variance Minimization
University of Copenhagen（哥本哈根大学）
本文提出基于分块量化的改进EXACT策略，通过修正激活分布假设和优化方差估计，在保持性能的同时进一步降低GNN内存消耗并提升训练速度。
2024-01-16 cs.LG stat.ML
Structured Knowledge Accumulation: An Autonomous Framework for Layer-Wise Entropy Reduction in Neural Learning
Université Joseph Fourier（约瑟夫·傅里叶大学）
本文提出SKA框架，以知识向量和决策概率定义逐层熵，使各层无需反向传播即可独立对齐并实现分层熵减，为梯度学习提供可扩展、具生物合理性的替代方案。
2025-03-18 cs.LG cs.NE
Parameter-wise co-clustering for high-dimensional data
McMaster University（麦克马斯特大学）；University Lille 1（里尔第一大学）
近年来，数据维数越来越受到关注，导致许多参数和降维技术被提出在文献中。针对连续随机变量建模的数据，提出了一种基于参数的协同聚类模型。建议的模型，虽然允许更大的灵活性，仍然保持了非常高的程度的简约实现传统的共同聚类。随机期望最大化（SEM）算法以及吉布斯采样器用于参数估计和集成的完整的对数似然准则用于模型选择。模拟和真实的数据集用于说明和比较与传统的联合聚类。
2020-09-30 cs.LG stat.ML
STAR: Stage-Wise Attention-Guided Token Reduction for Efficient Large Vision-Language Models Inference
De Artificial Intelligence Lab（人工智能实验室）
针对大视觉语言模型视觉token推理计算开销大、现有单阶段免训练剪枝高剪枝率下性能下降明显的问题，提出分两阶段注意力引导的即插即用免训练token缩减框架STAR，实现加速同时保持甚至提升性能。
2025-05-18 cs.CV cs.LG
Layer-wise Adaptive Model Aggregation for Scalable Federated Learning
Viterbi School of Engineering（维特比工程学院）；University of Southern California（南加州大学）
在联邦学习中，跨客户端聚合本地模型的常用方法是定期对完整模型参数进行平均。然而，已知神经网络的不同层可以具有跨客户端的不同程度的模型差异。传统的全聚合方案没有考虑这种差异，而是一次性地对整个模型参数进行调整，导致网络带宽消耗效率低下。聚集在客户端之间相似的参数不会取得有意义的训练进展，同时会增加通信成本。我们提出了FedLAMA，一个分层的模型聚合方案，可扩展的联邦学习。FedLAMA自适应地调整聚合间隔在一个逐层的方式，联合考虑模型的差异和通信成本。分层聚合方法能够精细地控制聚合间隔，以放松聚合频率，而不会对模型精度产生显著影响。我们的实证研究表明，FedLAMA降低了高达60%的IID数据和70%的非IID数据的通信成本，同时实现了可比的准确性FedAvg。
2022-01-03 cs.LG
Layer-wise Update Aggregation with Recycling for Communication-Efficient Federated Learning
Inha University（延世大学）；University of Southern California（南加州大学）
FedLUAR通过分层更新聚合与回收技术，在保持模型准确性的同时显著降低联邦学习的通信成本。
2026-02-10 cs.LG
Bridging the Dimensional Chasm: Uncover Layer-wise Dimensional Reduction in Transformers through Token Correlation
School of Physics, Peking University（北京大学物理学院）；Institute of Theoretical Physics, Chinese Academy of Sciences（中国科学院理论物理研究所）；Center for High Energy Physics, Peking University（北京大学高能物理研究中心）；Beijing Computational Science Research Center（北京计算科学研究中心）
本研究通过几何框架分析Transformer各层令牌内在维度，揭示扩张-收缩模式，发现有效模型将令牌压缩至约10维子流形，与人类语义空间相似，为LLM可解释性和模型诊断提供新视角。
2025-03-28 cs.CL cs.LG
MONGOOSE: Path-wise Smooth Bayesian Optimisation via Meta-learning
University of Bristol（布里斯托尔大学）；University of Cambridge（剑桥大学）
MONGOOSE 针对评估点间移动成本较大的贝叶斯优化问题，利用元学习参数化策略生成平滑优化轨迹，以克服标准短视方法的跳跃路径缺陷并提升性能。
2024-07-03 cs.LG
An Efficient Training Algorithm for Models with Block-wise Sparsity
The Ohio State University（俄亥俄州立大学）
针对块稀疏模型训练效率低的问题，提出一种高效训练算法，降低计算与内存成本，并能在训练中确定最佳块大小，性能不降。
2025-03-27 cs.AI cs.LG
L$^2$-GCN: Layer-Wise and Learned Efficient Training of Graph Convolutional Networks
Texas A&M University（德克萨斯A&M大学）
图卷积网络（GCN）在许多应用中越来越受欢迎，但仍然难以在大型图数据集上进行训练。它们需要从它们的邻居递归地计算节点表示。当前的GCN训练算法要么受到随着层数呈指数增长的高计算成本的影响，要么受到用于加载整个图和节点嵌入的高内存使用的影响。在本文中，我们提出了一种新的高效的分层训练框架GCN（L-GCN），在训练过程中解开特征聚合和特征转换，从而大大降低了时间和内存的复杂性。我们目前的理论分析下的图同构框架，L-GCN导致强大的GCN更昂贵的传统训练算法，在温和的条件下。我们进一步提出了L $^2$ -GCN，它为每一层学习一个控制器，可以自动调整L-GCN中每一层的训练历元。实验表明，L-GCN比最先进的方法快至少一个数量级，内存使用一致，不依赖于数据集大小，同时保持相当的预测性能。通过学习控制器，L $^2$ -GCN可以将训练时间进一步缩短一半。我们的代码可在https://github.com/Shen-Lab/L2-GCN上获得。
2020-08-06 cs.LG stat.ML
Block-Wise Dynamic-Precision Neural Network Training Acceleration via Online Quantization Sensitivity Analytics
Tsinghua University（清华大学）
数据量化是加速神经网络训练和降低功耗的有效方法。然而，它是具有挑战性的执行低比特量化训练：传统的等精度量化将导致高精度损失或有限的位宽减少，而现有的混合精度方法提供了高压缩潜力，但无法执行准确和有效的位宽分配。在这项工作中，我们提出了DYNASTY，逐块动态精度神经网络训练框架。DYNASTY通过快速在线分析提供准确的数据敏感度信息，并通过自适应位宽映射生成器保持稳定的训练收敛。在CIFAR-100和ImageNet数据集上进行了网络训练实验，与8位量化基线相比，DYNASTY在不降低精度和硬件开销的情况下，提高了$5.1\times$的速度，降低了$4.7\times$的能耗。
2022-10-31 cs.AI cs.LG eess.IV
Adaptive Layer Selection for Layer-Wise Token Pruning in LLM Inference
NEC Corporation（日本电报电话株式会社）；Osaka University（大阪大学）；Nagoya University（名古屋大学）
本文提出ASL方法，通过自适应选择KV缓存中的层，平衡不同任务性能并满足KV预算要求，优于现有分层令牌剪枝方法。
2026-04-16 cs.AI cs.CL cs.LG
Edge-aware baselines for ogbn-proteins in PyTorch Geometric: species-wise normalization, post-hoc calibration, and cost-accuracy trade-offs
Faculty of Technical Sciences, University of Novi Sad（技术科学学院，诺维萨德大学）
本文针对ogbn-proteins数据集在PyG中构建可复现的边感知基线，探究边聚合、归一化方式等选择，结合校准策略平衡成本与精度，并开源全部实验代码与产物。
2025-11-17 cs.LG
Instance-wise Supervision-level Optimization in Active Learning
Kyushu University（九州大学）；CyberAgent, Inc.（CyberAgent公司）
本文提出实例级监督级别优化（ISO）框架，在固定标注预算内同时选择实例并确定其最优标注级别，利用价值成本比和多样性准则，以更低成本实现更高分类准确率。
2025-03-09 cs.CV cs.LG
Icebreaker: Element-wise Active Information Acquisition with Bayesian Deep Latent Gaussian Model
University of Cambridge（剑桥大学）；Microsoft Research（微软研究院）
在本文中，我们介绍了冰启动问题，即，当最初只有很少或没有训练数据可用时部署机器学习模型的挑战，以及获取数据的每个特征元素与成本相关联。此设置代表真实世界的机器学习应用程序。例如，在医疗保健领域，当训练人工智能系统从实验室测试中预测患者指标时，获得每一个测量值都需要很高的成本。只有标签与成本相关联的主动学习不适用于这种问题，因为执行所有可能的实验室测试以获取新的训练数据将是昂贵的，并且由于冗余而不必要。我们提出了破冰者，一个原则性的框架来处理冰启动问题。Icebreaker使用了一个完整的贝叶斯深层潜在高斯模型（BELGAM）和一种新的推理方法。我们提出的方法结合了摊销推理和随机梯度MCMC的最新进展，使快速和准确的后验推理。通过利用BELGAM的能力，充分量化模型的不确定性，我们还提出了两个信息采集功能的插补和主动预测问题。我们证明，BELGAM表现明显优于以前的VAE（变分自编码器）为基础的模型，当数据集的大小是小的，使用机器学习基准和现实世界的推荐系统和医疗保健应用程序。此外，基于BELGAM，Icebreaker进一步提高了性能，并展示了使用最小量的训练数据来获得最高测试时间性能的能力。
2019-08-14 cs.AI cs.LG stat.ML
Sufficient dimension reduction for feature matrices
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们解决的问题，充分降维的特征矩阵，这经常出现在传感器网络定位，脑神经成像，脑电图分析。通常，特征矩阵具有行和列两种解释，并且包含可能在朴素向量化方法中丢失的结构信息。为了解决这个问题，我们提出了一种方法称为主支持矩阵机（PSMM）的矩阵充分降维。PSMM通过将响应变量划分为切片，将充分降降维问题转化为一系列分类问题。它有效地利用了矩阵结构，通过寻找超平面与秩-1正常矩阵，最佳地分离切片响应。此外，我们将我们的方法扩展到高阶张量的情况下。我们的数值分析表明，PSMM优于现有的方法，并在实际数据应用中具有很强的可解释性。
2023-03-07 cs.LG stat.ME stat.ML
On the accuracy and efficiency of group-wise clipping in differentially private optimization
AWS AI（亚马逊云科技人工智能实验室）；Emory University（埃默里大学）；UC Santa Barbara（加州大学圣塔芭芭拉分校）
本文系统研究了差分隐私优化中逐样本梯度裁剪方式，证明分组裁剪与全层裁剪具有相同时间复杂度，并通过收敛理论和复杂度分析揭示其准确性-内存权衡，表明分组裁剪在大模型上能以更低峰值内存实现接近全层裁剪的高准确性。
2023-10-30 cs.CC cs.CR cs.LG
Can Entry-Wise Clipping Give Spectral Control of Stochastic Gradients?
Department of Computer Science, Purdue University, West Lafayette, IN, USA（计算机科学系，普渡大学，西拉法塞特，印第安纳州，美国）；School of Industrial Engineering, Purdue University, West Lafayette, IN, USA（工业工程学院，普渡大学，西拉法塞特，印第安纳州，美国）
本文提出一种逐元素裁剪方法，通过分析梯度噪声的局部化特性，在保持矩阵结构的同时实现谱控制，并在Cauchy污染噪声下给出收敛保证，实验表明该方法可节省训练令牌。
2026-10-23 cs.LG
Layer-Wise Partitioning and Merging for Efficient and Scalable Deep Learning
Manchester Metropolitan University（曼彻斯特城市大学）；University of Sheffield（谢菲尔德大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
深度神经网络（DNN）模型通常从一层到另一层顺序训练，这会导致前向、后向和更新锁定的问题，导致训练时间方面的性能较差。现有的并行策略，以减轻这些问题提供次优的运行时性能。在这项工作中，我们提出了一种新的逐层划分和合并，向前和向后传递并行框架，以提供更好的训练性能。所提出的工作的新颖性包括：1）分层分区和合并模型，可以最大限度地减少设备之间的通信开销，而无需在训练过程中使用现有策略的内存成本; 2）前向传递和后向传递并行化和优化，以解决更新锁定问题并最大限度地减少总训练成本。对真实用例的实验评估表明，该方法在训练速度方面优于最先进的方法;并且在不影响非并行方法的准确性性能的情况下，实现了几乎线性的加速比。
2022-07-22 cs.DC cs.LG
ELSA: Exploiting Layer-wise N:M Sparsity for Vision Transformer Acceleration
National Yang Ming Chiao Tung University（国立阳明交通大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对视觉Transformer逐层定制N:M稀疏配置方法匮乏的问题，提出ELSA方法，兼顾加速器支持的稀疏等级与吞吐量，以极小精度损失实现ViT的内存与推理效率提升，在ImageNet上使Swin-B、DeiT-B的FLOPs降低2.9倍。
2024-09-15 cs.CV cs.LG
Layer-wise LoRA fine-tuning: a similarity metric approach
本文提出逐层LoRA微调方法，通过选择性微调部分层以减少可训练参数并保持预测性能，适用于不同架构和任务。
2026-07-27 cs.LG
Diet Your LLM: Dimension-wise Global Pruning of LLMs via Merging Task-specific Importance Score
Yonsei University（延世大学）
提出一种无需训练的维度级结构化剪枝方法DIET，通过跨任务激活幅度多数投票构建全局掩码，在保持任务感知能力的同时避免高昂训练成本，在Gemma-2模型上显著提升剪枝后准确率。
2026-10-20 cs.LG
Faster learning of deep stacked autoencoders on multi-core systems using synchronized layer-wise pre-training
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
深度神经网络能够通过分层捕获数据的不同抽象级别来对高度非线性函数进行建模。在训练深度网络时，首先通过贪婪的逐层无监督预训练将系统初始化到一个良好的最佳值附近。然而，随着数据的迅速增长和体系结构维度的增加，这种方法的时间复杂度变得非常巨大。此外，层的贪婪预训练通常会变得有害，因为过度训练一层会导致它与网络的其余部分失去和谐。本文提出了一种在多核机器上预训练深度网络的同步并行算法。不同的层由运行在不同内核上的并行线程进行训练，并定期同步。因此，预训练过程变得更快，并且减少了过度训练的机会。这是实验验证使用堆叠自动编码器的维数减少MNIST手写数字数据库。该算法实现了26%的速度相比，贪婪的逐层预训练，实现相同的重建精度，证实其作为一种替代的潜力。
2016-03-09 cs.LG
A Layer-wise Adversarial-aware Quantization Optimization for Improving Robustness
Duke University（杜克大学）；Monta Vista High School（蒙塔维斯塔高中）
神经网络正以更高的能量和计算成本获得更好的精度。量化后，可以大大节省成本，量化后的模型更硬件友好，精度损失可以接受。另一方面，最近的研究发现神经网络容易受到对抗攻击，只有通过对抗训练等防御方法才能提高神经网络模型的鲁棒性。在这项工作中，我们发现，对抗训练的神经网络比普通模型更容易受到量化损失。为了同时最小化对抗和量化损失并使量化模型鲁棒，我们提出了一种逐层对抗感知量化方法，使用Lipschitz常数为神经网络选择最佳量化参数设置。我们从理论上推导出的损失，并证明我们的度量选择的一致性。实验结果表明，该方法可以有效地提高量化对抗训练神经网络的鲁棒性。
2021-10-23 cs.AI cs.CV cs.LG
ROSA: Robust and Energy-Efficient Microring-Based Optical Neural Networks via Optical Shift-and-Add and Layer-Wise Hybrid Mapping
ShanghaiTech University（上海科技大学）
ROSA通过光学移位-加法模块和层间混合映射策略提升光学神经网络的鲁棒性和能效，优化微环阵列尺寸和数据流，减少64%和26%的综合能量-延迟积，同时提升CIFAR-10准确率8.3%。
2026-04-24 cs.AR cs.LG
Cost-informed dimensionality reduction for structural digital twin technologies
University of Sheffield（谢菲尔德大学）；The Alan Turing Institute（图灵研究所）
针对结构数字孪生分类模型的维度灾难问题，提出一种决策论降维方法，以误分类成本最小化为目标构建特征值问题，通过合成案例验证了有效性。
2024-09-17 cs.LG
C2S2: Cost-aware Channel Sparse Selection for Progressive Network Pruning
本文描述了一种简化深度神经网络的通道选择方法。具体来说，我们提出了一种新型的通用网络层，称为修剪层，以无缝地增强给定的预训练模型进行压缩。包括$1 \times 1$深度方向内核的每个修剪层用双重格式表示：一个是实值，另一个是二进制。前者使网络修剪的两阶段优化过程能够与端到端可微分网络一起操作，而后者产生用于信道选择的掩码信息。我们的方法逐步执行修剪任务逐层，并根据稀疏性标准实现通道选择，以利于修剪更多的通道。我们还开发了一个成本感知机制，以防止压缩牺牲预期的网络性能。我们在图像分类和语义分割上压缩几个基准深度网络的结果与最先进的结果相当。
2019-04-06 cs.CV cs.LG
FiLM-Ensemble: Probabilistic Deep Learning via Feature-wise Linear Modulation
ETH Zurich（苏黎世联邦理工学院）；LMU Munich（慕尼黑大学）；University of Zurich（苏黎世大学）
在现实世界中部署机器学习时，估计认知不确定性的能力通常至关重要，但现代方法通常会产生过度自信，未经校准的不确定性预测。量化认知不确定性的一种常见方法是训练模型集成，这种方法可用于广泛的预测模型。在简单的实现中，集成方法具有高计算成本和高存储器需求。这特别挑战了现代深度学习，其中即使是单个深度网络在计算和存储器方面也已经要求很高，并且已经引起了在实际上不实例化单独的集合成员的情况下仿真模型集合的多次尝试。我们介绍了FiLM-Ensemble，一种基于逐行线性调制（FiLM）概念的深层隐式集成方法。这项技术最初是为多任务学习开发的，目的是解耦不同的任务。我们表明，这个想法可以扩展到不确定性量化：通过用Film调制单个深度网络的网络激活，可以获得具有高度多样性的模型集合，从而获得对认知不确定性的良好校准估计，相比之下，计算开销较低。从经验上讲，FiLM-Ensemble优于其他隐式集成方法，并且它非常接近显式网络集成的上界（有时甚至超过它），而内存成本只有一小部分。
2022-12-19 cs.LG
A User-Tunable Machine Learning Framework for Step-Wise Synthesis Planning
MHNpath是一种可调机器学习框架，用于分步合成规划，通过优化反应路径优先级，提高合成预测的准确性和环保性。
2025-12-17 cs.CE cs.LG
CPWC: Contextual Point Wise Convolution for Object Recognition
IIT Kanpur（印度理工学院坎普尔分校）
卷积层是深度学习成功背后的主要驱动力。逐点卷积（PWC）是一种1x1卷积滤波器，主要用于参数减少。然而，PWC忽略了它正在处理的点周围的空间信息。该设计是选择性的，以便减少总体参数和计算。然而，我们假设PWC的这个缺点对网络性能有重大影响。我们提出了一种逐点卷积的替代设计，它有效地利用了输入的空间信息。我们的设计显着提高了网络的性能，而不会大幅增加参数和计算的数量。我们的实验表明，我们的设计结果在分类以及检测网络的性能显着改善。
2020-02-06 cs.CV cs.LG eess.IV
Resource-efficient Layer-wise Federated Self-supervised Learning
Department of Computer Science and Engineering, Kyung Hee University（韩国庆熙大学计算机科学与工程系）；Vietnam - Korea University of Information and Communication Technology（越南-韩国信息与通信技术大学）
本文提出LW-FedSSL和Prog-FedSSL，通过分层训练和渐进策略降低联邦学习的计算和通信成本，同时保持性能。
2025-12-01 cs.AI cs.LG
Layerwise Geo-Distributed Computing between Cloud and IoT
Chinese Academy of Sciences（中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）；Osaka University（大阪大学）；Tokyo Institute of Technology（东京工业大学）
在本文中，我们提出了一种新的深度学习系统架构，称为k度分层网络，以实现云和物联网（IoT）之间的高效地理分布式计算。地理分布式计算将云扩展到物联网邻居网络的地理边缘。该方案的基本思想包括k度约束和分层约束。定义了k度约束，使得第h层上每个顶点的度正好是k（h），以扩展现有的深度信念网络并控制通信成本。分层约束被定义为使得分层度在正方向上单调递减以逐渐降低数据的维数。我们证明了k度分层网络是稀疏的，而典型的深度神经网络是密集的。在M-分布式MNIST数据库的评估，该建议是优于一个国家的最先进的模型，在通信成本和学习时间的可扩展性。
2022-01-14 cs.AI cs.DC cs.LG
Distributed Submodular Minimization via Block-Wise Updates and Communications
Alma Mater Studiorum Università di Bologna（博洛尼亚大学）
在本文中，我们处理网络的计算代理与本地处理和相邻的通信能力，旨在解决（没有任何中央单元）的子模块最优化问题。费用函数是许多局部次模函数的和，并且网络中的每个代理仅可以访问和中的一个函数。在这种\emph{distributed}设置中，为了保护自己的隐私，代理与邻居通信，但不共享其本地费用函数。我们提出了一种分布式算法，在该算法中，代理诉诸Lovàsz扩展其本地次模函数和执行本地更新和通信的整个优化变量的单块。通过贪婪算法执行更新，该算法仅运行到计算出所选块为止，从而导致计算负担减少。所提出的算法收敛于期望值的最优成本的问题，和一个近似解的子模块化问题的阈值操作检索。作为一个应用程序，我们考虑分布式图像分割问题，其中每个代理只能访问整个图像的一部分。虽然代理不能分割整个图像本身，他们正确地完成任务，通过合作，通过提出的分布式算法。
2020-05-25 cs.LG math.CO math.OC
Lightweight Diffusion Models with Distillation-Based Block Neural Architecture Search
Tsinghua University（清华大学）
针对扩散模型计算成本高的问题，提出基于蒸馏的块级神经架构搜索（DiffNAS），通过逐块搜索和动态联合损失重训练，在潜在扩散模型上实现约50%的MACs和参数减少。
2023-11-15 cs.CV cs.LG
Two-Stage Grid Optimization for Group-wise Quantization of LLMs
本文提出分两阶段的网格优化方法，通过显式最小化层间重建损失来提升大语言模型组级量化的准确性，同时减少计算开销。
2026-02-02 cs.AI cs.LG
Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis
National Technical University of Athens（雅典国立技术大学）；Athena Research Center（雅典娜研究中心）
多模态学习管道受益于预训练语言模型的成功。然而，这是以增加模型参数为代价的。在这项工作中，我们提出了适应多模态BERT（AMB），BERT为基础的架构，多模态任务，使用适配器模块和中间融合层的组合。适配器为手头的任务调整预训练的语言模型，而融合层执行特定于任务的视听信息与文本BERT表示的逐层融合。在自适应过程期间，预训练的语言模型参数保持冻结，从而允许快速、参数高效的训练。在我们的消融中，我们看到这种方法导致了高效的模型，可以优于其微调的同行，并对输入噪声具有鲁棒性。我们的情感分析与CMU-MOSEI的实验表明，AMB优于目前最先进的跨指标，与3.4%的相对减少所产生的错误和2.1%的相对提高7类分类精度。
2022-12-01 cs.CL cs.CV cs.LG
Healthcare cost prediction for heterogeneous patient profiles using deep learning models with administrative claims data
Santa Clara University（圣克拉拉大学）；Arizona State University（亚利桑那州立大学）
针对行政理赔数据异质性及高需求患者预测公平性问题，提出按代码与成本分通道的深度学习框架，并用多通道熵评估异质性，显著降低误差、超额支付与支付不足。
2025-02-17 cs.CY cs.LG
Data-Free Group-Wise Fully Quantized Winograd Convolution via Learnable Scales
Arm Inc.（安谋科技公司）
提出无数据微调Winograd变换矩阵缩放参数的分组全量化方法，解决扩散模型全量化Winograd卷积质量损失问题，实现近无损8位量化并提升图像分类精度。
2025-04-01 cs.AI cs.CV cs.LG
KSM: Fast Multiple Task Adaption via Kernel-wise Soft Mask Learning
School of Electrical, Computer and Energy Engineering, Arizona State University（亚利桑那州立大学电气、计算机与能源工程学院）
深度神经网络（DNN）在学习新任务时可能会忘记先前任务的知识，这被称为\textit{catastrophic forgetting}。虽然最近的持续学习方法能够缓解玩具大小的数据集上的灾难性问题，但在将其应用于现实世界的问题时，仍有一些问题有待解决。最近，提出了基于掩码的快速学习方法（例如，piggyback \cite{mallya2018piggyback}），以通过以快速方式仅学习二进制元素掩码来解决这些问题，同时保持骨干模型固定。然而，二进制掩码对于新任务具有有限的建模能力。最近的工作\cite{hung2019compacting}提出了一种基于压缩-增长的方法（CPG），通过部分训练骨干模型来实现新任务的更好准确性，但具有更高的训练成本，这使得它不可能部署到流行的最先进的边缘/移动学习中。本研究的主要目标是在持续学习环境下同时实现快速、高精度的多任务适应。因此，出于动机，我们提出了一种新的训练方法称为\textit{kernel-wise Soft Mask}（KSM），它学习一个内核明智的混合二进制和实值软掩模为每个任务，同时使用相同的骨干模型。这种软掩码可以被视为二进制掩码和适当缩放的实值张量的叠加，其提供了更丰富的表示能力，而无需低级内核支持以满足低硬件开销的目标。我们在多个基准数据集上验证了KSM与最近最先进的方法（例如Piggyback，Packnet，CP…
2020-09-11 cs.AI cs.CV cs.LG
Towards Federated Learning Under Resource Constraints via Layer-wise Training and Depth Dropout
Johns Hopkins University（约翰斯·霍普金斯大学）；Google Research（谷歌研究院）
针对资源受限下联邦学习难以扩展大模型的问题，提出联邦逐层学习与联邦深度 Dropout 两种技术，显著降低客户端内存、计算和通信成本，在边缘设备上有效训练更大模型且性能损失极小。
2023-09-11 cs.AI cs.DC cs.LG
One Size Does Not Fit All: Token-Wise Adaptive Compression for KV Cache
LUMIA Lab（LUMIA实验室）；School of Artificial Intelligence（人工智能学院）；Shanghai Jiao Tong University（上海交通大学）；Shanghai Innovation Institute（上海创新研究院）；John Class Zhiyuan College（约翰·类智院）；School of Computer Science（计算机科学学院）；School of Mathematical Sciences（数学科学学院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
DynaKV 是一种基于令牌级自适应压缩的KV缓存压缩方法，通过动态分配压缩率提升压缩比下的保真度，实现内存减少与生成质量的平衡。
2026-02-03 cs.AI cs.CL cs.LG
ECoFLaP: Efficient Coarse-to-Fine Layer-Wise Pruning for Vision-Language Models
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
针对大型视觉-语言模型全局剪枝成本高、逐层剪枝缺全局视角的问题，提出两阶段从粗到细的ECoFLaP剪枝法，先靠零阶近似算全局重要性定层稀疏率再逐层剪枝，高稀疏度下性能优于主流方法。
2024-01-26 cs.AI cs.CL cs.CV
Compression-aware Projection with Greedy Dimension Reduction for Convolutional Neural Network Activations
National Taiwan University（国立台湾大学）
卷积神经网络（CNN）在广泛的领域中取得了卓越的性能。然而，激活的密集存储器访问引入了相当大的能量消耗，阻碍了CNN在资源受限的边缘设备上的部署。激活压缩中的现有工作提出变换特征图以获得更高的可压缩性，从而实现降维。然而，在激进的降维的情况下，这些方法导致严重的精度下降。为了提高分类精度和压缩比之间的权衡，我们提出了一个压缩感知投影系统，它采用了可学习的投影来补偿重建损失。此外，贪婪的选择度量被引入到优化逐层压缩比分配，同时考虑精度和#比特减少。测试结果表明，在MobileNetV 2/ResNet 18/VGG 16上，本文提出的方法有效地减少了2.91倍~ 5.97倍的内存访问，而精度下降可以忽略不计。
2021-10-17 cs.CV cs.LG eess.SP
