Fisher Width: A Geometric Measure of Complexity on Statistical Manifolds
Department of Mathematics, FPT University（FPT大学数学系）
提出Fisher宽度作为统计流形上高斯宽度的类比，利用Fisher信息度量局部几何，并证明其保持高斯宽度的关键性质，应用于Fisher-Lipschitz假设类的泛化界。
2026-06-18 cs.LG stat.ML
Width Provably Matters in Optimization for Deep Linear Neural Networks
Carnegie Mellon University（卡内基梅隆大学）；Princeton University（普林斯顿大学）
证明了对于一个$L$层全连接线性神经网络，如果每个隐层的宽度都是$\tildeΩ(L \cdot r \cdot d_{\mathrm{out}} \cdot κ^3 )$，其中$r$和$κ$是输入数据的秩和条件数，$d_{\mathrm{out}}$是输出维数，则高斯随机初始化的梯度下降法以线性速度收敛到全局最小值.找到$ε$次优解的迭代次数为$O(κ\log(\frac{1}ε))$。我们对宽深度线性网络的总运行时间的多项式上限和窄深度线性神经网络的$\exp\left(Ω\left(L\right)\right)$下限[Shamir，2018]一起证明了宽层对于优化深度模型是必要的。
2019-05-27 cs.LG stat.ML
Differentiable Convex Optimization Layers
Stanford University（斯坦福大学）；Facebook AI（Facebook人工智能）；Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）
最近的工作已经展示了如何在深度学习架构中嵌入可微优化问题（即，其解决方案可以反向传播的问题）作为层。这种方法为某些问题提供了有用的归纳偏差，但现有的可微优化层软件是刚性的，难以应用于新的设置。在本文中，我们提出了一种方法来区分通过纪律凸规划，凸优化问题的一个子类使用特定领域的语言（DSL）的凸优化。我们介绍纪律参数化编程，纪律凸规划的一个子集，我们表明，每个纪律参数化程序可以表示为一个仿射映射的组成从参数到问题数据，求解器，和仿射映射从求解器的解决方案的原始问题的解决方案（一种新的形式，我们称为仿射求解仿射形式）。然后，我们演示了如何有效地区分这些组件中的每一个，允许端到端的分析微分通过整个凸计划。我们在CVXPY的1.1版本中实现了我们的方法，CVXPY是一种流行的Python嵌入式DSL，用于凸优化，并且还在PyTorch和TensorFlow 2.0中为纪律性凸程序实现了可微层。我们的实现显着降低了障碍，使用凸优化问题的可微程序。我们目前的线性机器学习模型和随机控制中的应用，我们表明，我们的层是有竞争力的（在执行时间）相比，从过去的工作专门微分求解器。
2019-10-28 cs.LG math.OC stat.ML
Practical Convex Formulation of Robust One-hidden-layer Neural Network Training
University of California, Berkeley（加州大学伯克利分校）
最近的工作表明，一个隐藏层、标量输出的全连接ReLU神经网络的训练可以重新表述为有限维凸规划。不幸的是，这种凸规划的规模在数据大小上呈指数级增长。在这项工作中，我们证明了具有线性复杂性的随机过程很好地逼近精确的配方。此外，我们推导出一种凸优化方法来有效地解决“对抗性训练”问题，该问题训练对对抗性输入扰动具有鲁棒性的神经网络。我们的方法可以应用于二进制分类和回归，并提供了一种替代目前的对抗训练方法，如快速梯度符号法（FGSM）和投影梯度下降（PGD）。我们在实验中证明，该方法实现了显着更好的对抗性的鲁棒性和性能比现有的方法。
2021-05-25 cs.CC cs.LG stat.ML
Effects of Depth, Width, and Initialization: A Convergence Analysis of Layer-wise Training for Deep Linear Neural Networks
Brown University（布朗大学）
深度神经网络已被用于各种机器学习应用中，并取得了巨大的经验成功。然而，训练深度神经网络是一项具有挑战性的任务。已经提出了许多替代方案来代替端到端反向传播。分层训练就是其中之一，它一次训练一个层，而不是同时训练整个层。在本文中，我们研究了使用块坐标梯度下降（BCGD）对深度线性网络进行分层训练。我们建立了一个一般的收敛性分析BCGD，并找到了最佳的学习率，这导致在最快的损失减少。更重要的是，最优学习率可以直接应用于实践，因为它不需要任何先验知识。因此，根本不需要调整学习率。此外，我们还确定了训练过程中深度，宽度和初始化的影响。我们表明，当采用正交初始化时，中间层的宽度在基于梯度的训练中不起作用，只要宽度大于或等于输入和输出维度。我们证明了在一定条件下，网络越深，收敛速度越快。这意味着在极端情况下，在仅更新每个权重矩阵一次之后实现全局最优。此外，我们发现，与深度1网络相比，使用深度网络可以大大加快收敛速度，即使考虑到计算成本。数值例子证明了我们的理论研究结果，并证明了性能的逐层训练BCGD。
2020-09-07 cs.LG cs.NA math.NA
Effects of width-dependent model hyperparameters and $\ell_2$-regularization on the loss landscape of two-layer ReLU networks
Okinawa Institute of Science and Technology（冲绳科学技术研究院）
研究两层ReLU网络中宽度依赖模型超参数和$\ell_2$正则化对损失景观的影响，推导超参数条件及解析解，通过实验发现AdamW可防参数坍缩，揭示了相关因素对损失景观几何结构的影响。
2026-07-21 cs.LG
Training Single-Layer Morphological Perceptron Using Convex-Concave Programming
Federal University of Technology – Paraná（巴拉那联邦理工大学）；Universidade Estadual de Campinas (Unicamp)（坎皮纳斯州立大学）
本文提出一种名为 K-DDCCP 的训练算法，结合 SLMP 模型与 WDCCP 算法，利用规范化凸-凹规划解决非凸优化问题，有效提升了单层形态学感知机在二分类任务上的能力。
2024-01-04 cs.LG
Global Optimality Beyond Two Layers: Training Deep ReLU Networks via Convex Programs
Stanford University（斯坦福大学）
理解深度神经网络成功背后的基本机制是现代机器学习文献中的关键挑战之一。尽管进行了多次尝试，但尚未开发出可靠的理论分析。在本文中，我们开发了一个新的统一框架，通过凸优化的镜头揭示隐藏的正则化机制。我们首先证明了使用权重衰减正则化的多个三层ReLU子网络的训练可以等效地转换为高维空间中的凸优化问题，其中稀疏性通过组$\ell_1$ -范数正则化来实现。因此，ReLU网络可以被解释为高维特征选择方法。更重要的是，我们证明了等价的凸问题可以全局优化的标准凸优化求解器的多项式时间复杂度的样本数和数据维数时，网络的宽度是固定的。最后，我们通过涉及合成和真实数据集的实验，数值验证了我们的理论结果。
2022-01-13 cs.AI cs.CC cs.LG
Convex Optimization with an Interpolation-based Projection and its Application to Deep Learning
TU Darmstadt（达姆施塔特工业大学）；Télécom Paris（巴黎高等电信学院）
凸优化器作为深度神经架构中的可微层有许多应用。这些凸层的一个应用是将点投影到凸集中。然而，这些凸层的前向和后向传递的计算都比典型的神经网络的计算要昂贵得多。在本文中，我们调查是否一个不准确的，但更便宜的投影，可以驱动下降算法的最佳。具体来说，我们提出了一个插值为基础的投影，计算成本低，易于计算给定的凸，域定义，功能。然后，我们提出了一个优化算法，遵循梯度的组成的目标和投影，并证明其收敛性的线性目标和任意凸和Lipschitz域定义的不等式约束。除了理论上的贡献，我们证明经验的插值投影的实际利益时，结合神经网络在强化学习和监督学习设置。
2020-11-13 cs.LG math.OC stat.ML
Fast Convex Optimization for Two-Layer ReLU Networks: Equivalent Model Classes and Cone Decompositions
Stanford University（斯坦福大学）
本文提出将两层ReLU网络训练重构为带锥约束的凸优化问题，并开发加速近端梯度与增广拉格朗日求解器，在MNIST和CIFAR-10上实现比SGD及内点法更快的凸训练。
2025-04-08 cs.LG
Adversarial Training of Two-Layer Polynomial and ReLU Activation Networks via Convex Optimization
Stanford University（斯坦福大学）；Google（谷歌）
本文提出一种用于两层多项式激活网络对抗训练的凸半定规划方法，并实现兼容GPU的可扩展训练方案，在CIFAR-10上重训练ResNet-18最后两层，显著提升了对抗鲁棒性。
2024-10-16 cs.LG math.OC
Precise gradient descent training dynamics for finite-width multi-layer neural networks
Department of Statistics, Rutgers University, Piscataway, NJ 08854, USA.（统计学系，罗格斯大学）；Graduate School of Arts and Sciences, The University of Tokyo, Meguro, Tokyo 153-8902, Japan. RIKEN Center for Advanced Intelligence Project, Chuo, Tokyo 103-0027, Japan.（艺术与科学研究生院，东京大学）
本文在有限宽度比例机制下建立了通用多层神经网络梯度下降的精确非渐近状态演化理论，刻画训练与泛化误差，并给出泛化误差一致估计及单指标结构保持的理论推论。
2025-05-08 cs.AI cs.LG math.OC
Infinite-Width Limit of a Single Attention Layer: Analysis via Tensor Programs
The University of Tokyo（东京大学）；National Institute of Advanced Industrial Science and Technology（国家工业科学与技术研究院）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进人工智能项目中心）
本文通过张量程序框架，推导了单个注意力层在无限宽度下的极限分布，证明其非高斯性，并验证了理论在有限宽度下的有效性。
2026-01-02 cs.LG stat.ML
Convex Geometry and Duality of Over-parameterized Neural Networks
Stanford University（斯坦福大学）
我们开发了一种凸分析方法来分析有限宽度的双层ReLU网络。我们首先证明了正则化训练问题的最优解可以表征为凸集的极值点，其中通过其凸几何性质鼓励简单的解决方案。然后，我们利用这种特性表明，一组最佳的参数产生线性样条插值的回归问题，涉及一维或秩一数据。我们还描述了分类决策区域的核矩阵和最小$\ell_1$范数的解决方案。这与神经切线核相反，后者无法解释有限宽度网络的预测。我们的凸几何特征也提供了直观的解释隐藏的神经元作为自动编码器。在更高的维度，我们表明，培训问题可以作为一个有限维的凸问题，无限多的约束。然后，我们应用一定的凸松弛，并引入一个切割平面算法来全局优化网络。我们进一步分析了松弛的精确性，为收敛到全局最优值提供了条件。我们的分析还表明，最佳网络参数也可以被描述为可解释的封闭形式的公式，在一些实际相关的特殊情况下。
2021-08-31 cs.LG stat.ML
Phase diagram for two-layer ReLU neural networks at infinite-width limit
Shanghai Jiao Tong University（上海交通大学）
神经网络在不同超参数选择下的训练行为是神经网络研究中的一个重要问题。在这项工作中，受统计力学中的相图的启发，我们在无限宽度限制下绘制了双层ReLU神经网络的相图，以完整表征其动力学机制及其对与初始化相关的超参数的依赖性。通过实验和理论方法，我们确定了相图中的三个区域，即，线性区、临界区和凝聚区，根据输入权值随宽度的变化分别趋向于$0$、$O(1)$和$+\infty$。在线性状态下，NN训练动态近似线性，类似于具有指数损失衰减的随机特征模型。在凝聚制度，我们通过实验证明，活跃的神经元凝聚在几个离散的方向。临界区是两个区之间的边界，表现出中间非线性行为，平均场模型是一个典型的例子。总的来说，我们的双层ReLU NN的相图可以作为未来研究的地图，并且是对不同结构的NN的训练行为和隐式正则化进行更系统研究的第一步。
2020-10-13 cs.LG stat.ML
Universal Function Approximation by Deep Neural Nets with Bounded Width and ReLU Activations
Department of Mathematics, Texas A\&M, College Station, United States
本文关注的是具有ReLU激活和有界宽度的神经网络中深度的表达能力。我们对以下问题特别感兴趣：最小宽度$w_{\text{min}}(d)$是多少，以便宽度为$w_{\text{min}}(d)$（和任意深度）的ReLU网可以任意地逼近单位立方体$[0,1]^d$上的任何连续函数？对于接近这个最小宽度的ReLU网，我们可以说近似给定函数所需的深度是多少？我们对本文的方法是基于这样的观察，即由于ReLU激活的凸性，ReLU网特别适合表示凸函数。特别地，我们证明了具有宽度$d+1$的ReLU网可以任意地逼近$d$变量的任何连续凸函数。然后，这些结果给出了宽度为$d+3.$的ReLU网对$d$维立方体$[0,1]^d$上任何连续标量函数的逼近速率的定量深度估计
2017-12-20 cs.CG cs.LG math.FA
A result relating convex n-widths to covering numbers with some applications to neural networks
Department of Systems Engineering（系统工程系）；Australian National University（澳大利亚国立大学）
本文研究了高维函数类的近似问题，通过凸核覆盖数与神经网络结构的关系，推导了神经网络类的近似率上界。
2025-12-04 cs.LG
Revealing the Structure of Deep Neural Networks via Convex Duality
Stanford University（斯坦福大学）
我们研究了正则化深度神经网络（DNN），并引入了一个凸分析框架来表征隐藏层的结构。我们表明，一组最佳的隐藏层权重的范数正则化DNN训练问题，可以明确地找到一个凸集的极值点。对于深度线性网络的特殊情况，我们证明了每个最优权重矩阵通过对偶与前一层对齐。更重要的是，我们将相同的特征应用于具有白化数据的深度ReLU网络，并证明了相同的权重对齐。作为推论，我们还证明了范数正则化的深度ReLU网络可以为一维数据集生成样条插值，这在以前只适用于双层网络。此外，我们提供了封闭形式的解决方案时，数据是排名一或白化的最佳层的权重。同样的分析也适用于使用批量归一化的架构，即使是针对任意数据。因此，我们得到了一个完整的解释最近的经验观察称为神经崩溃类手段崩溃的顶点的一个单一的等角紧框架。
2021-06-11 cs.LG stat.ML
Multilayer Spectral Graph Clustering via Convex Layer Aggregation
University of Michigan（密歇根大学）
多层图通常用于表示实体之间的不同关系并处理异构数据处理任务。新的挑战出现在多层图聚类分配集群到一个共同的多层节点集，并结合来自每一层的信息。提出了一种基于凸层聚合的多层谱图聚类算法。根据一种新的多层信号加噪声模型，我们提供了一个相变分析，建立了一个临界值的存在，允许可靠的集群分离的噪声水平。该分析还指定临界值的分析上限和下限，其中当聚类具有相同的大小时，界限变得精确。在合成多层图上进行了数值实验，验证了相变分析，并研究了层权值和噪声水平对聚类可靠性的影响。
2016-09-23 cs.LG cs.SI stat.ML
Adversarial Examples in Multi-Layer Random ReLU Networks
UC Berkeley（加州大学伯克利分校）；Microsoft Research Redmond（微软研究院雷德蒙德分院）
我们考虑了具有独立高斯参数的ReLU网络中的对抗性示例现象。对于深度恒定且宽度范围很大的网络（例如，如果每层的宽度是任何其他层宽度的多项式就足够了），输入向量的小扰动会导致输出的大变化。这推广了Daniely和Schacham（2020）对宽度迅速减小的网络以及Bubeck等人（2021）对双层网络的结果。证明表明，这些网络中出现了对抗性的例子，因为它们计算的函数非常接近线性。网络中的瓶颈层起着关键作用：网络中某个点的最小宽度决定了到该点为止计算的映射的尺度和灵敏度。主要结果是针对具有恒定深度的网络，但我们也表明，对于这种结果，对深度的一些约束是必要的，因为存在适当深度的网络，以恒定的概率计算接近常数的函数。
2021-06-23 cs.AI cs.LG stat.ML
Convex Dual Theory Analysis of Two-Layer Convolutional Neural Networks with Soft-Thresholding
Xiamen University（厦门大学）；University of Technology（理工学院）
针对带软阈值的两层卷积神经网络因非凸性难以获得全局最优解的问题，本文设计凸对偶网络，从理论和数值上验证强对偶性成立，并在拟合与去噪实验中证实其有效性，为网络凸化提供新思路。
2023-04-14 cs.LG
Kolmogorov Width Decay and Poor Approximators in Machine Learning: Shallow Neural Networks, Random Feature Models and Neural Tangent Kernels
Princeton University（普林斯顿大学）
在线性映射序列在某个子空间上收敛快得多的条件下，建立了一个给定巴拿赫空间的子空间之间的Kolmogorov宽度型尺度分离.一般的技术，然后施加到再生核希尔伯特空间是穷人的$L^2$ -逼近类的两层神经网络在高维，和多层网络与小的路径范数是穷人的逼近某些Lipschitz功能，也在$L^2$ -拓扑结构。
2020-10-02 cs.LG math.FA stat.ML
Activation-Adjacent Layer Normalization: Effects on Approximation Power
Beihang University（北京航空航天大学）；Hangzhou International Innovation Institute, Beihang University（北京航空航天大学杭州国际创新研究院）
本研究探讨激活相邻的LN、RMSNorm等归一化对浅层AN、PN网络近似能力的影响，推导了不同归一化下的近似宽度边界，通过实验验证了预测的近似率。
2026-10-16 cs.LG
Exploiting Layerwise Convexity of Rectifier Networks with Sign Constrained Weights
The University of Western Australia（西澳大学）；Murdoch University（默多克大学）
通过对权值引入符号约束，提出了符号约束整流器网络（SCRN），其训练可以通过著名的优化最小化（MM）算法有效地解决。我们证明了建议的两个隐藏层SCRN，其中表现出负的权重在第二隐藏层和负的权重在输出层，能够分离任何两个（或更多）不相交的模式集。此外，建议的两个隐藏层SCRN可以分解成几个集群的每一类的模式，使每个集群是凸可分离的所有模式从其他类。这提供了一种学习模式结构和分析不同类型模式之间的判别因素的方法。
2017-11-14 cs.AI cs.LG
Empirical Phase Diagram for Three-layer Neural Networks with Infinite Width
Shanghai Jiao Tong University（上海交通大学）；CMA-Shanghai（上海数学中心）；Shanghai Center for Brain Science and Brain-Inspired Technology（上海脑科学与类脑研究中心）
大量研究表明，神经网络的动态特性与其参数的初始化密切相关。受具有无限宽度的双层ReLU NN的相图的启发（Luo等人，2021），我们朝着绘制具有无限宽度的三层ReLU NN的相图迈出了一步。首先，我们推导出三层ReLU NN的归一化梯度流，并获得两个关键的独立量来区分常见初始化方法的不同动力学状态。通过精心设计的实验和大量的计算成本，对于合成数据集和真实数据集，我们发现每一层的动力学也可以分为线性区域和凝聚区域，由临界区域分开。该准则是输入权重（隐神经元的输入权重包括从其输入层到隐神经元的权重和其偏置项）在训练期间随着宽度接近无穷大的相对变化，其分别趋向于$0$、$+\infty$和$O(1)$。此外，我们还证明了在深度NN的训练过程中，不同的层可以处于不同的动态状态。在凝聚的政权，我们也观察到凝聚的重量在孤立的方向与低复杂性。通过在三层条件下的实验，我们的相图提出了一个复杂的动力学制度，包括三种可能的制度，以及它们的混合物，深NN，并提供了一个指导研究在不同的初始化制度，这揭示了完全不同的动力学出现在一个深NN的不同层的可能性。
2022-10-19 cs.AI cs.LG
Convex Formulations for Training Two-Layer ReLU Neural Networks
Umeå University（于默奥大学）；Imperial College London（帝国理工学院）
本文将无限宽两层ReLU网络训练重构为凸完全正规划，并提出可多项式时间求解的半定松弛，实验表明其在多类分类任务上具有竞争力。
2025-03-17 cs.LG math.OC
Some Theoretical Results on Layerwise Effective Dimension Oscillations in Finite Width ReLU Networks
该研究分析有限宽度全连接ReLU网络的逐层有效维度振荡现象，推导期望秩闭式表达式，证明次高斯集中界，揭示秩振荡的有限宽度特性，完善了深度网络表达能力的相关理论。
2025-07-31 cs.LG
Geometry-Guided Layerwise FFN Width Allocation in Transformers
University of Luxembourg（卢森堡大学）；London Institute of Mathematical Sciences（伦敦数学科学研究所）
该研究针对Transformer中FFN宽度恒定的问题，提出基于几何特征的分层宽度分配方法，在多个预训练语言模型实验中，其可降低验证损失且效果优于均匀宽度和余弦衰减方案。
2026-08-04 cs.AI cs.CL cs.LG
Convex Geometry of ReLU-layers, Injectivity on the Ball and Local Reconstruction
Acoustics Research Institute（声学研究所）；University of Vienna（维也纳大学）
本文基于框架理论研究ReLU层在闭球上的单射性，结合凸几何视角提出一种在偏置向量上界限制下验证单射性的可行方法，并给出显式重构公式与具体重构算法。
2023-07-18 cs.LG math.OC
Morphological Perceptron with Competitive Layer: Training Using Convex-Concave Procedure
Universidade Tecnológica Federal do Paraná (UTFPR)（联邦技术大学帕拉纳斯（UTFPR））；Universidade Estadual de Campinas (UNICAMP)（坎皮纳斯州立大学（UNICAMP））
本文提出用凸凹过程训练具有竞争层的形态学感知器，将训练问题转化为凸函数之差并迭代求解线性规划子问题，实验验证了其有效性。
2025-09-06 cs.LG math.OC
Homotopy Relaxation Training Algorithms for Infinite-Width Two-Layer ReLU Neural Networks
The Pennsylvania State University（宾夕法尼亚州立大学）；Amazon Prime Video（亚马逊Prime视频）
针对传统神经网络训练速度慢的问题，提出结合同伦激活函数与参数松弛的HRTA算法，经NTK分析与实验验证可显著提升收敛速度，具备拓展应用潜力。
2024-10-06 cs.LG math.OC
Convex Approximation of Two-Layer ReLU Networks for Hidden State Differential Privacy
University of Amsterdam（阿姆斯特丹大学）；Nokia Bell Labs（诺基亚贝尔实验室）
提出通过ReLU最小化问题的对偶形式的随机近似，将两层ReLU网络转化为强凸问题，从而应用隐藏状态差分隐私分析，实现与DP-SGD相当的隐私-效用权衡。
2026-06-16 cs.CR cs.LG
Scaling Laws and Pathologies of Single-Layer PINNs: Network Width and PDE Nonlinearity
Department of Computer Science（计算机科学系）
研究单层PINN在非线性PDE中的缩放规律与病态，发现网络宽度与非线性性对解精度的影响，提出通过实验测量复杂缩放效应的方法。
2026-03-13 cs.LG cs.NA math.NA
Approximating Continuous Functions by ReLU Nets of Minimal Width
Department of Mathematics, Texas A&M（德克萨斯农工大学数学系）；Trinity College, Cambridge（剑桥大学三一学院）
这篇文章关注的是带有ReLU激活的深度前馈神经网络的深度表达能力。具体来说，我们回答了以下问题：对于一个固定的$d_{in}\geq 1,$，最小宽度$w$是多少，以便具有ReLU激活、输入维度$d_{in}$、最大$w,$的隐藏层宽度和任意深度的神经网络可以任意地逼近$d_{in}$变量的任何连续实值函数？事实证明，这个最小宽度正好等于$d_{in}+1.$也就是说，如果所有的隐藏层宽度都以$d_{in}$为界，那么即使在无限深度限制下，ReLU网也只能表达非常有限的一类函数，另一方面，在$d_{in}$上的任何连续函数-维单位立方体可以通过ReLU网近似到任意精度，其中所有隐藏层的宽度都正好是$d_{in}+1.$我们的构造实际上表明，任何连续函数$f:[0,1]^{d_{in}}\to\mathbb R^{d_{out}}$可以近似为宽度为$d_{in}+d_{out}$的网。我们得到定量的深度估计这样一个近似的$f$的连续模。
2018-03-10 cs.CC cs.LG math.CO
Adaptive Width Neural Networks
NEC Laboratories Europe（NEC欧洲实验室）；University of Stuttgart（斯图加特大学）
本文提出了一种在训练过程中自适应调整神经网络层宽度的方法，通过反向传播联合优化宽度和参数，实现性能与计算资源的平衡，并能有效压缩网络以降低计算成本。
2026-02-16 cs.AI cs.LG
Bit-Mixer: Mixed-precision networks with runtime bit-width selection
Samsung AI Cambridge（三星AI剑桥）；Queen Mary University of London（伦敦玛丽女王大学）
混合精度网络允许对网络中的每一层进行可变位宽量化。现有工作的一个主要限制是每个层的位宽必须在训练时间内预定义。如果在其上部署网络的设备的特性在运行时期间改变，则这几乎不允许灵活性。在这项工作中，我们提出了比特混合器，第一个方法来训练一个元量化的网络，在测试期间，任何层都可以改变其投标宽度，而不会影响整个网络的能力，高度准确的推理。为此，我们做出了两个关键贡献：（a）过渡批规范，以及（b）一个3阶段优化过程，该过程被证明能够训练这样的网络。我们表明，我们的方法可以产生混合精度网络，表现出理想的灵活性，在设备上部署，而不影响准确性。代码将提供。
2021-03-31 cs.AI cs.CV cs.LG
Layer Separation: Adjustable Joint Space Width Images Synthesis in Conventional Radiography
Graduate School of Health Sciences, Hokkaido University（北海道大学保健科学研究院）；Institute of Integrated Research, Institute of Science Tokyo（东京科学大学综合研究院）；RIKEN Center for Computational Science（理化学研究所计算科学中心）；Research Center For Integrated Quantum Electronics, Hokkaido University（北海道大学综合量子电子研究中心）；Faculty of Health Sciences, Hokkaido University（北海道大学保健科学部）
本文提出层分离网络（LSN）分离手指关节X光片中的软组织层和上下骨层，以合成可调节关节间隙宽度图像，从而缓解类风湿关节炎JSW分析中的数据不平衡、多样性有限和标注困难问题，并显著提升下游任务性能。
2025-02-04 cs.AI cs.CV cs.LG
Increasing Width Allows Greedy Layer-wise Training to Rival End-to-End Backpropagation in Self-Supervised Learning
Jules Stein Eye Institute（朱尔斯·斯坦眼科研究所）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本研究探讨自监督学习中网络宽度与深度对贪心逐层训练和端到端反向传播的影响，发现宽网络中贪心训练性能可媲美甚至超越端到端训练，并揭示表征几何差异为潜在机制。
2026-10-02 cs.AI cs.CV cs.LG
