Layer-Parallel Training of Residual Networks with Auxiliary-Variable Networks
Beijing International Center for Mathematical Research, Peking University（北京大学北京国际数学研究中心）；School of Mathematical Sciences, Tongji University（同济大学数学科学学院）；Center for Data Science, Peking University（北京大学数据科学中心）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
用于残差网络（ResNets）的分布式训练的基于递归的方法通常需要输入数据的前向传递，然后反向传播误差梯度以更新模型参数，随着网络的深入，这变得耗时。为了打破算法锁定并在前向和后向模式下利用同步模块并行性，最近，变量方法引起了人们的极大兴趣，但存在显著的通信开销和缺乏数据增强的问题。在这项工作中，通过权衡外部辅助变量的存储和重新计算，建立了一种新的联合学习框架，用于在多个计算设备上训练逼真的ResNet。更具体地说，每个独立处理器的输入数据都是从其低容量辅助网络（AuxNet）生成的，允许使用数据增强并实现前向解锁。然后并行执行向后传递，每个传递具有源自惩罚或增广拉格朗日（AL）方法的局部损失函数。最后，建议的神经网络是用来重现更新的辅助变量，通过一个端到端的训练过程。我们在CIFAR-10、CIFAR-100和ImageNet数据集上展示了我们的方法在ResNets和WideResNets上的有效性，在保持相当的测试准确性的同时，实现了比传统层序列训练方法更快的速度。
2021-12-10 cs.AI cs.LG math.DS
Layer-Parallel Training of Deep Residual Neural Networks
TU Kaiserslautern（凯泽斯劳滕工业大学）；Emory University（埃默里大学）；University of New Mexico（新墨西哥大学）；Sandia National Laboratories（桑迪亚国家实验室）
残差神经网络（ResNets）是一类很有前途的深度神经网络，它们在许多学习任务中表现出出色的性能，例如，图像分类和识别。在数学上，ResNet架构可以被解释为非线性初值问题的前向欧拉离散化，其时间相关的控制变量表示神经网络的权重。因此，训练ResNet可以被视为相关动力系统的最优控制问题。对于工程应用中出现的类似的时间相关的最优控制问题，时间并行方法在可扩展性方面显示出显著的改进。本文演示了如何使用这些技术来高效地训练ResNets。该算法取代了经典的（顺序）通过网络层的前向和后向传播的并行非线性多重网格迭代应用到层域。这增加了跨层并行的新维度，这在训练非常深的网络时很有吸引力。从这个基本思想，我们得到多层并行方法。最有效的版本采用同步优化方法，其中网络参数的更新基于不精确的梯度信息，以加快训练过程。使用监督分类的数值例子，我们证明了新方法实现了与传统方法相似的训练性能，但实现了层并行性，从而通过更大的并发性提供了比层串行方法更快的速度。
2019-07-25 cs.LG math.OC
Deep Residual Learning for Accelerated MRI using Magnitude and Phase Networks
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Korea Basic Science Institute（韩国基础科学研究所）
利用压缩感知（CS）和并行成像加速磁共振（MR）扫描采集是减少MR成像扫描时间的一种强大方法。然而，许多重建算法具有高计算成本。为了解决这个问题，我们研究了深度残差学习网络，以从伪影损坏的图像中去除混叠伪影。提出的深度残差学习网络由单独训练的幅度和相位网络组成。如果相位和幅度信息都是可用的，所提出的算法可以作为一个迭代的k空间插值算法，使用小框架表示。当只有幅度数据是可用的，所提出的方法作为一个图像域后处理算法。即使具有强相干混叠伪影，所提出的网络也成功地学习并去除了混叠伪影，而当前的并行和CS重建方法无法去除这些伪影。使用单线圈和多线圈的比较表明，所提出的残差网络提供了良好的重建结果与数量级更快的计算时间比现有的压缩传感方法。所提出的深度学习框架可以通过立即生成准确的结果而具有加速MR重建的巨大潜力。
2018-04-02 cs.AI cs.CV cs.LG
Toward Practical Equilibrium Propagation: Brain-inspired Recurrent Neural Network with Feedback Regulation and Residual Connections
School of Microelectronics University of Science and Technology of China（微电子学院 中国科学技术大学）
本文提出一种受大脑启发的反馈调节残差循环神经网络（FRE-RNN），通过减少谱半径加速收敛，显著降低计算成本，性能与反向传播相当，同时缓解深度RNN中梯度消失问题。
2026-05-07 cs.AI cs.LG cs.NE
Parallel Manifold Steering: Efficient Adaptation of Large Associative Memories via Residual Energy Shaping
Independent Researcher（独立研究员）
提出H-Res机制，通过残差能量塑形在不改变全局平衡或扩展序列长度的情况下调节Transformer的能量景观，实现高效任务适应，在联想检索任务上比全局权重修改提升26%并消除提示方法的计算开销。
2026-06-24 cs.LG
Pushing the boundaries of parallel Deep Learning -- A practical approach
University of Torino（都灵大学）；Noesis Solutions NV（Noesis Solutions NV公司）；Pacific Northwest National Lab.（太平洋西北国家实验室）
这项工作旨在评估数据并行深度神经网络训练的最新技术水平，试图确定潜在的研究轨道，以提高性能。此外，它提出了一个实用的C++库的设计，致力于实现和统一当前最先进的并行训练方法，在一个性能意识的框架，允许用户探索新的策略，而不会显着偏离其通常的工作流程。
2018-06-25 cs.DC cs.LG
Convolutional and Residual Networks Provably Contain Lottery Tickets
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
彩票假说继续对小规模深度神经网络的探索产生深远的实际影响，这些网络可以以具有竞争力的性能解决现代深度学习任务。这些彩票是通过修剪大型随机初始化的神经网络来识别的，这些神经网络的架构与其应用一样多样化。然而，证明它们存在的理论见解主要集中在具有ReLU激活函数的深度全连接前馈网络上。我们证明，也可以配备几乎任意的激活函数的卷积和残留层组成的现代架构可以包含彩票具有很高的概率。
2022-05-04 cs.AI cs.LG
Accelerated Training through Iterative Gradient Propagation Along the Residual Path
Université Paris Dauphine-PSL（巴黎多芬大学-PSL大学）；Foxstream（福克斯流公司）；ESPCI PSL（巴黎高等物理与化学工业学校-PSL大学）
本文提出Highway反向传播算法，通过沿残差路径迭代累积梯度并并行传播，加速深度模型训练，在多种架构上实现显著提速且性能损失极小。
2025-03-29 cs.LG
PURe: A Plug-and-Play Product-Unit Residual Module for Vision Networks
Department of Mathematics, Informatics and Technology, University of Applied Sciences Koblenz（科隆应用科学大学数学、信息学与技术系）；Technical University of Munich（慕尼黑技术大学）
提出PURe模块，通过二维乘积单元的对数域公式实现稳定的局部乘法交互，可替代残差网络中的标准单元，在图像分类和CT分割任务中提升精度-参数权衡。
2026-08-10 cs.AI cs.CV cs.LG
SNLP: Layer-Parallel Inference via Structured Newton Corrections
Core AI, IBM（IBM核心AI）
提出结构化牛顿层并行（SNLP）框架，通过将Transformer层间依赖视为非线性残差方程并用结构化牛顿校正并行求解，实现推理加速，在0.5B模型上获得高达2.58倍加速。
2026-07-09 cs.LG
Feed-Forward Steering in Transformer Residual Dynamics
University of Luxembourg（卢森堡大学）；London Institute of Mathematical Sciences（伦敦数学科学研究所）
该研究扩展Transformer残差动力学理论，引入FFN作为转向场，经多模型实验验证其提升角预测性能，且切向分量对模型质量与输出多样性至关重要，还可指导块级干预的并行化应用。
2026-08-04 cs.LG math.DS
A Double Residual Compression Algorithm for Efficient Distributed Learning
Michigan State University（密歇根州立大学）
大规模机器学习模型通常由并行随机梯度下降算法训练。然而，梯度聚合和模型同步之间的主和工人节点的通信成本成为有效的学习的主要障碍，随着工人的数量和模型的维数增加。在本文中，我们提出DORE，一个双重剩余压缩随机梯度下降算法，以减少超过$95\%$的整体通信，这样的障碍可以大大减轻。我们的理论分析表明，所提出的策略具有优越的收敛性能的强凸和非凸目标函数。实验结果验证了DORE实现了最佳的通信效率，同时保持类似的模型精度和收敛速度相比，开始的最先进的基线。
2019-10-16 cs.DC cs.LG stat.ML
Efficiera Residual Networks: Hardware-Friendly Fully Binary Weight with 2-bit Activation Model Achieves Practical ImageNet Accuracy
LeapMind Inc.（LeapMind公司）；M3, Inc.（M3公司）
提出Efficiera Residual Networks（ERNs），通过全二进制权重和2-bit激活实现全超低位量化，引入共享常数缩放因子技术支持整数残差计算，在边缘设备上以极小模型尺寸实现高ImageNet准确率与快速推理。
2024-10-15 cs.CV cs.LG
Theoretically-Efficient and Practical Parallel DBSCAN
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；UC Riverside（加州大学河滨分校）
空间聚类的DBSCAN方法由于其在各种数据分析任务中的适用性而受到极大的关注。在欧几里得空间中，有快速的DBSCAN顺序算法，对于二维采用$O(n\log n)$工作，对于三维或更多维采用次二次工作，并且可以近似地在线性工作中计算任何常数数量的维度。然而，现有的并行DBSCAN算法在最坏的情况下需要二次工作，使得它们对于大型数据集效率低下。本文提出了新的并行算法，欧几里德精确DBSCAN和近似DBSCAN相匹配的顺序对应的工作范围，并高度并行（polylogarithmic深度）的并行DBSCAN的理论和实践之间的差距桥梁。我们提出了我们的算法的实现以及优化，提高其实际性能。我们在各种数据集和参数设置上对我们的算法进行了全面的实验评估。我们的36核机器上的超线程的实验表明，我们优于现有的并行DBSCAN实现高达几个数量级，并实现最高33倍的最佳顺序算法的加速比。
2021-01-27 cs.DB cs.DC cs.DS
Why ResNet Works? Residuals Generalize
University of Sydney（悉尼大学）
剩余连接显著提高了深度神经网络的性能。然而，很少有理论结果解决残差对深度神经网络的假设复杂性和泛化能力的影响。本文从假设空间的覆盖数角度研究了剩余连接对神经网络假设复杂度的影响。证明了当权矩阵和非线性项的总数固定时，覆盖数的上界与链式神经网络相同，无论它们是否在残差中.这一结果表明，与链状网络相比，剩余连接可能不会增加神经网络的假设复杂性。基于覆盖数的上界，我们然后获得ResNet的基于$\mathcal O(1 / \sqrt{N})$边缘的多类泛化界，作为具有剩余连接的任何深度神经网络的示例情况。对于类似的最先进的神经网络架构（如DenseNet和ResNeXt）的泛化保证是直接的。从我们的泛化界中总结出一种实际的实现方法：为了获得良好的泛化能力，我们需要使用正则化项来控制权矩阵的范数的大小不增加太多，这证明了标准的权衰减技术是正确的。
2019-04-02 cs.LG stat.ML
When narrower is better: the narrow width limit of Bayesian parallel branching neural networks
Harvard University（哈佛大学）；Center for Brain Science, Harvard University（哈佛大学脑科学中心）；Kempner Institute（坎普纳研究所）；Edmond and Lily Safra Center for Brain Sciences, Hebrew University of Jerusalem（耶路撒冷希伯来大学埃德蒙和莉莉·萨夫拉脑科学中心）
本文研究贝叶斯并行分支神经网络在窄宽度极限下的行为，发现当宽度远小于训练样本数时，分支因核重整化中的对称性破缺而学习更鲁棒，性能在偏置受限场景下优于或可比于宽宽度极限，并将该现象推广到分支图神经网络和残差MLP等架构。
2025-03-10 cs.AI cs.LG
Linear and Parallel Learning of Markov Random Fields
University of British Columbia（不列颠哥伦比亚大学）；University of Oxford（牛津大学）
本文提出了一种新的不带参数的马尔可夫随机场的并行参数学习算法，该算法对大类实际模型都是有效的。我们的算法并行自然集团和有界度的图形，其复杂性是线性的集团的数量。与其竞争对手不同，我们的算法是完全并行的，对于对数线性模型，它也是数据有效的，只需要数据的局部充分统计量来估计参数。
2014-02-05 cs.LG stat.ML
Latent Domain Learning with Dynamic Residual Adapters
School of Informatics（信息学院）；University of Edinburgh（爱丁堡大学）
深度神经网络的一个实际缺点是它们专用于单个任务和域。虽然领域自适应和多领域学习中的最新技术能够学习更多领域不可知的特征，但它们的成功依赖于领域标签的存在，通常需要手动注释和仔细管理数据集。在这里，我们关注一个探索较少但更现实的案例：从多个领域的数据中学习，而无需访问领域注释。在这种情况下，标准模型训练会导致大型域的过拟合，而忽略较小的域。我们通过动态残余适配器，一个自适应门控机制，有助于考虑潜在的域，再加上最近的风格转移技术的启发增强策略来解决这个限制。我们所提出的方法是检查包含多个潜在域的图像分类任务，我们展示了它的能力，在这些获得强大的性能。动态剩余适配器的性能明显优于具有更大容量的现成网络，并且可以以端到端的方式与现有架构无缝集成。
2020-06-01 cs.LG stat.ML
ParallelKittens: Systematic and Practical Simplification of Multi-GPU AI Kernels
针对模型规模扩大导致GPU间通信成为AI工作负载瓶颈、现有系统无法跨异构工作负载和新加速器达到理论峰值性能的问题，提出极简CUDA框架ParallelKittens，通过少量可复用原则简化重叠多GPU内核开发，在多种并行工作负载上实现显著加速。
2025-11-17 cs.DC cs.LG
CNNLab: a Novel Parallel Framework for Neural Networks using GPU and FPGA-a Practical Study with Trade-off Analysis
UCSB（加州大学圣巴巴拉分校）；USTC（中国科学技术大学）
设计和实现高效的、可证明正确的并行神经网络处理是具有挑战性的。现有的高级并行抽象（如MapReduce）表现力不足，而MPI和Pthreads等低级工具则让ML专家反复解决相同的设计挑战。然而，多样性和大规模的数据量对构建灵活和高性能的深度学习神经网络实现提出了重大挑战。为了提高性能并保持可扩展性，我们提出了CNNLab，一种使用基于GPU和FPGA的加速器的新型深度学习框架。CNNLab为用户提供了一个统一的编程模型，使得硬件实现和调度对程序员是不可见的。在运行时，CNNLab在将任务卸载到加速器之前，利用GPU和FPGA之间的权衡。在最先进的Nvidia K40 GPU和Altera DE 5 FPGA板上的实验结果表明，CNNLab可以提供一个通用的框架，有效地支持不同的应用程序，而不会增加程序员的负担。此外，我们分析了详细的定量性能，吞吐量，功率，能量和性能密度的两种方法。实验结果利用GPU和FPGA之间的权衡，并为深度学习研究社区提供了有用的实践经验。
2016-06-20 cs.DC cs.LG
Residual Belief Propagation for Topic Modeling
Soochow University（苏州大学）；City University of Hong Kong（香港城市大学）
快速的收敛速度是训练潜在狄利克雷分配（LDA）的一个重要特性，特别是在大规模数据集的在线和并行主题建模中。本文提出了一种新的残差置信传播（RBP）算法，以加快训练LDA的收敛速度。所提出的RBP使用一种通知调度方案来进行异步消息传递，该方案以更高的优先级传递快速收敛的消息，以在每次学习迭代中影响那些缓慢收敛的消息。广泛的实证研究证实，RBP显着减少了训练时间，直到收敛，同时实现了比其他国家的最先进的LDA训练算法，包括变分贝叶斯（VB），折叠吉布斯采样（GS），循环信念传播（BP），和残留VB（RVB）低得多的预测困惑。
2012-04-30 cs.IR cs.LG
Axial Residual Networks for CycleGAN-based Voice Conversion
MoneyBrain Inc.（MoneyBrain公司）
我们提出了一种新的架构和改进的非并行语音转换的训练目标。我们提出的基于CycleGAN的模型直接对高频率分辨率幅度谱图进行形状保持变换，转换其风格（即说话人身份），同时保留语音内容。在整个转换过程中，该模型不采用任何类型的压缩中间表示（例如，梅尔频谱图，低分辨率频谱图，分解的网络特征）。我们提出了一个有效的轴向残差块架构来支持这个昂贵的过程和对CycleGAN损失的各种修改，以稳定训练过程。我们通过实验证明，即使没有采用神经声码器，我们提出的模型的性能也优于Scyclone，并且表现出与CycleGAN-VC 2相当或更好的性能。
2021-08-24 cs.LG cs.SD eess.AS
Block-wise Training of Residual Networks via the Minimizing Movement Scheme
LIP6（利皮6实验室）；Criteo AI Lab（Criteo人工智能实验室）；Criteo（Criteo公司）；Theresis lab（泰雷兹研究实验室）；Thales（泰雷兹公司）
针对端到端反向传播的内存与锁定问题，论文提出受最小化运动方案启发的 ResNets 分块训练方法，通过块级动能正则化缓解停滞并提升顺序或并行训练的测试准确率。
2023-06-06 cs.LG
Residual connections provably mitigate oversmoothing in graph neural networks
Massachusetts Institute of Technology（麻省理工学院）
本文基于乘性遍历定理推导归一化顶点相似性度量的收敛速率，证明残差连接能在多类参数分布下缓解或防止深层 GNN 的过平滑，并经数值实验验证。
2025-01-04 cs.LG math.DS math.PR
Convergence and Implicit Regularization Properties of Gradient Descent for Deep Residual Networks
University of Oxford（牛津大学）；Instadeep Ltd（Instadeep有限公司）；University of Southern California（南加州大学）
我们证明了梯度下降的线性收敛到一个全局最优的深度残差网络的训练与恒定的层宽度和光滑的激活函数。我们表明，如果训练的权重，作为一个函数的层索引，承认一个缩放限制的深度增加，那么限制有有限的$p-$变化与$p=2$。证明是基于非渐近估计的损失函数和范数的网络权重沿梯度下降path.We说明了我们的理论结果的相关性，实际设置使用详细的数值实验监督学习问题。
2023-01-25 cs.LG math.OC
Sparse residual tree and forest
Princeton University（普林斯顿大学）
稀疏残差树（SRT）是一种自适应的多元散乱数据逼近方法。它导致稀疏和稳定的近似数据是足够的或冗余的地区，并指出可能的局部区域，需要数据细化。稀疏剩余森林（SRF）是SRT预测器的组合，根据SRT的误差特性进一步提高逼近精度和稳定性。分层并行SRT算法是基于树分解和自适应径向基函数（RBF）的探索，从而为每个孩子的稀疏和适当的RBF细化添加到近似通过最小化从其父继承的残差的范数。收敛结果建立SRT和SRF。SRT的最坏情况时间复杂度为初始工作的$\mathcal{O}(N\log_2N)$和每次预测的$\mathcal{O}(\log_2N)$，同时，最坏情况存储要求为$\mathcal{O}(N\log_2N)$，其中$N$数据点可以是任意分布的。数值实验进行了几个说明性的例子。
2019-02-18 cs.LG cs.NA math.NA
AdaPaD: Adaptive Parallel Deflation for PEFT with Self-Correcting Rank Discovery
Department of Computer Science（计算机科学系）；Rice University（里士满大学）
AdaPaD通过自校正机制实现并行消去，使秩分布成为输出而非输入，证明误差指数衰减并提供泛化界限，实验证明其在参数预算下与自适应秩LoRA基线和固定秩LoRA竞争。
2026-05-11 cs.LG
Cerebellar-Inspired Residual Control for Fault Recovery: From Inference-Time Adaptation to Structural Consolidation
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Northwestern University（西北大学）
该研究提出了一种小脑启发的残差控制框架，通过在线纠正动作实现故障恢复，提升机器人在训练后扰动下的鲁棒性和性能。
2026-02-06 cs.LG cs.RO
A Tensor Residual Circuit Neural Network Factorized with Matrix Product Operation
针对降低神经网络复杂度同时保持泛化与鲁棒性的挑战，本文提出张量电路神经网络TCNN，结合张量与残差电路特性，通过复数域激活、并行性及信息融合层提升性能，实验显示其准确率超对比模型2%-3%，抗噪声能力强且参数与速度相当。
2025-11-12 cs.LG
EventGraD: Event-Triggered Communication in Parallel Machine Learning
University of Notre Dame（圣母大学）
并行系统中的通信会带来很大的开销，这往往会成为并行机器学习的瓶颈。为了减轻一些这种开销，在本文中，我们提出了EventGraD -一个算法与事件触发的通信随机梯度下降并行机器学习。该算法的主要思想是将并行机器学习中的随机梯度下降的标准实现中的每次迭代时的通信要求修改为仅在某些迭代中必要时进行通信。我们提供了我们所提出的算法的收敛性的理论分析。我们还实现了所提出的算法，用于训练CIFAR-10数据集的流行残差神经网络的数据并行训练，并表明EventGraD可以减少高达60%的通信负载，同时保持相同的准确度。此外，EventGraD可以与其他方法（如Top-K稀疏化）结合使用，以在保持准确性的同时进一步减少通信。
2021-12-08 cs.DC cs.LG cs.SY
ResPerfNet: Deep Residual Learning for Regressional Performance Modeling of Deep Neural Networks
ADLINK New Taipei AI Lab（凌华科技新北人工智能实验室）；National Taiwan University（台湾大学）；National Cheng Kung University（国立成功大学）
计算技术的快速发展促进了各种深度学习应用的开发。不幸的是，并行计算基础设施的效率随着神经网络模型而变化很大，这阻碍了对设计空间的探索，以针对给定应用在特定计算平台上找到高性能神经网络架构。为了解决这样的挑战，我们提出了一种基于深度学习的方法ResPerfNet，该方法使用在目标平台上获得的代表性数据集训练残余神经网络，以预测深度神经网络的性能。我们的实验结果表明，ResPerfNet可以准确地预测各个神经网络层和各种平台上的完整网络模型的执行时间。特别是，ResPerfNet在NVIDIA GTX 1080 Ti上实现了LeNet，AlexNet和VGG 16的平均绝对百分比误差为8.4%，这大大低于之前发布的作品。
2020-12-03 cs.LG cs.PF
FDGATII : Fast Dynamic Graph Attention with Initial Residual and Identity Mapping
University of Queensland（昆士兰大学）
虽然图神经网络已经在多个领域得到普及，但由于（a）过度平滑，（b）噪声邻居（异质性）和（c）假死问题，图结构输入仍然是一个主要挑战。为了同时解决所有这些问题，我们提出了一种新的图神经网络FDGATII，注意力机制的能力，专注于选择性的信息补充两个特征保留机制的启发。FDGATII结合了初始电阻率和身份映射与更具表现力的动态自我注意力，以处理异嗜性数据集中邻近区域普遍存在的噪声。通过使用稀疏动态注意力，FDGATII在设计上具有内在的并行性，同时在操作上是高效的;因此理论上能够轻松扩展到任意图形。我们的方法已经在7个数据集上进行了广泛的评估。我们证明了FDGATII在完全监督任务的准确性和性能方面优于基于GAT和GCN的基准测试，在Chameleon和Cornell数据集上获得了最先进的结果，并且没有特定于域的图形预处理，并证明了其通用性和公平性。
2021-10-25 cs.LG
pISTA-SENSE-ResNet for Parallel MRI Reconstruction
Second Affiliated Hospital of Xiamen Medical College（厦门医学院附属第二医院）；Neusoft Medical System（东软医疗系统）
磁共振成像在临床诊断中得到了广泛的应用，但其数据采集时间长的缺点限制了其应用。虽然可以通过稀疏采样和并行成像来加速成像，但是以快速重建速度实现有希望的重建图像仍然是一个挑战。最近，深度学习方法因其令人鼓舞的重建结果而引起了广泛的关注，但缺乏适当的可解释性。本文从稀疏迭代重建的角度设计了并行磁共振成像的网络结构，并利用残差结构对其进行增强，以实现并行磁共振成像的高质量图像重建。公共膝关节数据集的实验结果表明，与基于优化的方法和最新的深度学习并行成像方法相比，所提出的网络具有更小的重建误差，并且在不同加速因子下更稳定。
2019-09-24 cs.CV cs.LG eess.IV
Practical Parallel Algorithms for Non-Monotone Submodular Maximization
School of Computer Science and Technology（计算机科学与技术学院）；Soochow University（苏州大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；Alibaba Group（阿里巴巴集团）；Qingdao University of Science and Technology（青岛科技大学）
针对背包与 k-系统约束下的非单调子模最大化，论文提出低自适应复杂度的并行组合算法，给出可证明近似保证并经实验验证有效。
2024-12-03 cs.DS cs.LG
Practical and Parallelizable Algorithms for Non-Monotone Submodular Maximization with Size Constraint
Texas A&M University（德克萨斯农工大学）
本文针对带大小约束的非单调次模最大化问题，提出修正的ThreshSeq子程序及两个近似算法，在保持低自适应轮数和查询复杂度的同时将近似比提升至0.193-ε，并通过实验验证其高效性。
2024-02-19 cs.DS cs.LG
PHN: Parallel heterogeneous network with soft gating for CTR prediction
Central South University（中南大学）
点击率预测任务是推荐系统中的一项基本任务。以往的CTR模型研究大多是基于Wide \Deep结构建立的，并逐渐演变为不同模块的并行结构。然而，并行结构的简单积累会导致更高的结构复杂度和更长的训练时间。基于输出层Sigmoid激活函数，并行结构在训练过程中线性相加激活值容易使样本落入弱梯度区间，产生弱梯度现象，降低训练的有效性。为此，本文提出了并行异构网络模型（PHN），该模型通过三种不同的交互分析方法构建具有并行结构的网络，并采用软选择门（SSG）来表征不同结构的异构数据。最后，在网络中使用带有可训练参数的剩余连接来减轻弱梯度现象的影响。此外，我们在大量的对比实验中证明了PHN的有效性，并可视化了模型在训练过程和结构上的性能。
2022-06-18 cs.IR cs.LG cs.NI
