Global Convergence of Over-parameterized Deep Equilibrium Models
Peking University（北京大学）；Huazhong University of Science and Technology（华中科技大学）；Peng Cheng Laboratory（鹏城实验室）
深度均衡模型（DEQ）是通过一个无限深度的权重绑定模型的平衡点与输入注入隐式定义的。代替无限的计算，它直接用求根法求解平衡点，用隐式微分法计算梯度。在这项研究中，过参数DEQ的训练动力学进行了研究。通过对初始平衡点设定一个条件，证明了在训练过程中平衡点总是存在唯一的，并证明了对于二次损失函数，梯度下降以线性收敛速度收敛到全局最优解.为了表明所需的初始条件是满足通过温和的过参数化，我们进行了细粒度的分析随机DEQ。我们提出了一个新的概率框架，以克服技术上的困难，在无限深度的权重绑定模型的非渐近分析。
2023-03-29 cs.LG stat.ML
Consistency Deep Equilibrium Models
School of Electronic Information and Communications, Huazhong University of Science and Technology（华中科技大学电子信息学院）；School of Electronic Information（电子信息学院）；Communications, Huazhong University of Science（华中科技大学通信学院）；School of Science, Wuhan University of Technology（武汉理工大学理学院）
提出一致性深度均衡模型（C-DEQ），通过一致性蒸馏将DEQ迭代推理过程视为沿ODE轨迹演化，训练模型将中间状态直接映射到不动点，实现少步推理并保持性能，同时支持多步评估以灵活权衡计算与性能，实验表明在相同少步推理预算下精度提升2-20倍。
2026-05-31 cs.AI cs.LG
Improving Adversarial Robustness of DEQs with Explicit Regulations Along the Neural Dynamics
Tsinghua University（清华大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Sea AI Lab（Sea人工智能实验室）
针对 DEQ 在对抗训练中中间状态正则化不足且预测熵偏高的问题，本文沿神经动力学逐步更新输入并利用随机中间状态计算损失，从而显著提升 DEQ 的对抗鲁棒性。
2023-06-02 cs.LG stat.ML
Two Sides of The Same Coin: Bridging Deep Equilibrium Models and Neural ODEs via Homotopy Continuation
ShanghaiTech University（上海科技大学）
本文通过同伦延拓建立DEQs与Neural ODEs的联系，提出新隐式模型HomoODE，兼具高精度与稳定性，并在图像分类任务中超越现有隐式模型。
2023-12-21 cs.LG stat.ML
Q-DEQ: Discrete Solving and Quantization for Deep Equilibrium Models in Time Series Forecasting under Edge Deployment Coding Constraints
提出Q-DEQ，将深度平衡模型前向求解中的局部更新转化为QUBO离散优化，结合W8A8量化，在时间序列预测中实现参数和存储大幅压缩，且精度接近显式基线。
2026-09-22 cs.LG
Wide Neural Networks as Gaussian Processes: Lessons from Deep Equilibrium Models
Iowa State University（爱荷华州立大学）
本文证明深度平衡模型（DEQ）在宽度趋于无穷时收敛为高斯过程，且深度与宽度极限可交换，并保证核矩阵非退化，为DEQ训练与泛化研究奠定基础。
2023-10-16 cs.LG stat.ML
Gradient descent dynamics for deep equilibrium models
Carnegie Mellon University, Department of Statistics（卡内基梅隆大学统计系）；Carnegie Mellon University, Department of Statistics and Machine Learning（卡内基梅隆大学统计与机器学习系）
本文研究了深度均衡单索引模型的梯度下降动态，证明了线性收敛性和守恒定律，通过实验验证了理论结果。
2026-10-06 cs.LG math.ST stat.ML
Deep Equilibrium Models are Almost Equivalent to Not-so-deep Explicit Models for High-dimensional Gaussian Mixtures
School of Electronic Information and Communications, Huazhong University of Science and Technology（华中科技大学电子信息与通信学院）；Ezhou Industrial Technology Research Institute, Huazhong University of Science and Technology（华中科技大学鄂州工业技术研究院）；Department of CSE, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）；China-Austria Belt and Road Joint Laboratory on AI and AM, Hangzhou Dianzi University（杭州电子科技大学中奥人工智能与增材制造一带一路联合实验室）；Center for Applied Statistics and School of Statistics, Renmin University of China（中国人民大学应用统计中心与统计学院）
该研究借助随机矩阵理论分析高维高斯混合输入下隐式深度平衡模型（DEQ）的共轭核与神经切线核谱特性，证明其仅由含四个非线性方程的系统决定，且可通过精心设计的浅层显式网络实现等价核，该结论经实证也适用于真实数据集。
2024-05-19 cs.LG stat.ML
Global Convergence Rate of Deep Equilibrium Models with General Activations
University of Essex（埃塞克斯大学）
本文针对过参数化深度平衡模型（DEQ），将Ling等人关于ReLU激活的线性收敛结论扩展到任意具有有界一二阶导数的通用激活函数，通过构建新颖总体Gram矩阵和带埃尔米特多项式展开的对偶激活解决了非齐次激活下的特征值界定难题。
2025-02-13 cs.LG stat.ML
Equivariant Deep Equilibrium Models for Imaging Inverse Problems
本文提出等变深度均衡模型用于解决成像反问题，通过模块化回传播简化训练，并展示其在信号重建中的优越性能。
2025-11-24 cs.LG eess.IV eess.SP
Understanding Representation of Deep Equilibrium Models from Neural Collapse Perspective
ShanghaiTech University（上海科技大学）
本文以神经坍缩为分析工具，证明DEQ在均衡条件下存在NC，并揭示其在非均衡数据下仍具有ETF收敛与自对偶优势。
2024-12-03 cs.AI cs.LG
Deep equilibrium models as estimators for continuous latent variables
Data61, CSIRO（联邦科学与工业研究组织数据61研究所）；Australian National University（澳大利亚国立大学）
主成分分析（PCA）及其指数族扩展有三个组成部分：观测值，潜在值和线性变换的参数。我们考虑一个广义的设置，其中的典型参数的指数家庭是一个非线性变换的潜伏期。我们显示特定的神经网络架构和相应的统计模型之间的显式关系。我们发现，深层平衡模型-最近推出的一类隐式神经网络-解决最大后验概率（MAP）估计的潜在的和参数的转换。我们的分析提供了一个系统的方法来关联激活函数，辍学，和层结构，统计假设的意见，从而提供了无监督DEQ的基本原则。对于分层潜伏期，单个神经元可以被解释为深度图形模型中的节点。我们的DEQ特征图是端到端可区分的，可以为下游任务进行微调。
2022-11-11 cs.LG stat.ML
Certified Robustness for Deep Equilibrium Models via Serialized Random Smoothing
North Carolina State University（北卡罗来纳州立大学）；The University of Arizona（亚利桑那大学）
本文提出序列化随机平滑（SRS）方法，首次为深度平衡模型（DEQs）提供随机平滑认证防御，利用历史信息加速认证最高达7倍，同时保持认证精度。
2024-11-01 cs.AI cs.LG
Positive concave deep equilibrium models
Wrocław University of Science and Technology（弗罗茨瓦夫理工大学）；Nicolaus Copernicus University（尼古拉·哥白尼大学）；Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）
针对现有深度平衡模型不动点存在唯一性及收敛性缺乏理论保证、实际应用不稳定的问题，提出基于非线性Perron-Frobenius理论的正凹深度平衡模型，在简化训练的同时实现了与其他隐式模型相当的性能。
2024-06-24 cs.LG
DEQuify your force field: More efficient simulations using deep equilibrium models
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Acceleration Consortium（加速联盟）；NVIDIA（英伟达）
本文提出将等变力场模型重构为深度平衡模型，利用模拟连续性回收中间特征，在多个数据集上提升精度与速度10%-20%，并降低训练内存需求。
2025-09-10 cs.AI cs.LG
Deep equilibrium networks are sensitive to initialization statistics
Google Research（谷歌研究院）
深度平衡网络（DEQ）是一种很有前途的构建模型的方法，它可以在内存和计算之间进行权衡。然而，与传统网络相比，对这些模型的理论理解仍然缺乏，部分原因是重复应用了一组权重。我们发现，DEQs是敏感的矩阵家庭，他们被初始化的高阶统计。特别地，使用正交或对称矩阵初始化允许训练中的更大稳定性。这为我们提供了一个实用的初始化处方，允许使用更广泛的初始权重范围进行训练。
2022-07-19 cs.LG
Online Deep Equilibrium Learning for Regularization by Denoising
Washington University in St. Louis（圣路易斯华盛顿大学）
即插即用先验（Plug-and-Play Priors，PPENS）和去噪正则化（Regularization by Denoising，RED）是通过计算结合物理测量模型和学习的图像先验的算子的不动点来解决成像逆问题的广泛使用的框架。虽然传统的PnP/RED公式集中在使用图像降噪器指定的先验知识上，但人们对学习端到端最佳PnP/RED先验知识的兴趣越来越大。最近的深度均衡模型（DEQ）框架通过隐式差分定点方程，实现了PPENDIX/RED先验的存储高效的端到端学习，而无需存储中间激活值。然而，依赖的计算/存储器的复杂性的测量模型在PPENS/RED的测量总数离开DEQ不切实际的许多成像应用。我们提出ODER作为一种新的策略，通过随机近似的测量模型，提高效率的DEQ。我们从理论上分析了ODER，深入了解其收敛性和逼近传统DEQ方法的能力。我们的数值结果表明，由于ODER在三个不同的成像应用中的训练/测试复杂性的潜在改进。
2022-05-25 cs.CV cs.LG eess.IV
Lipschitz Multiscale Deep Equilibrium Models: A Theoretically Guaranteed and Accelerated Approach
Meiji University（东邦大学）
本研究提出一种理论保证且加速的Lipschitz多尺度深度均衡模型，通过重构架构实现固定点收敛，提升训练和推理效率。
2026-02-03 cs.LG
Lyapunov-Stable Deep Equilibrium Models
Beijing Jiaotong University（北京交通大学）；Osaka University（大阪大学）；Northwestern Polytechnical University（西北工业大学）
针对深度均衡模型不动点稳定性不足的问题，提出基于Lyapunov理论的LyaDEQ模型，通过确保不动点的Lyapunov稳定性抵抗初始扰动，并结合层正交化分离不动点，显著提升了对抗鲁棒性。
2024-01-10 cs.CR cs.CV cs.LG
Deep Echo State Q-Network (DEQN) and Its Application in Dynamic Spectrum Sharing for 5G and Beyond
Virginia Tech（弗吉尼亚理工学院）
深度强化学习（DRL）已被证明在许多应用领域是成功的。结合递归神经网络（RNN）和DRL，通过捕获时间信息，进一步使DRL能够适用于非马尔可夫环境。然而，已知DRL和RNN的训练都具有挑战性，需要大量训练数据来实现收敛。在许多目标应用中，诸如在第五代（5G）蜂窝通信中使用的那些应用，环境是高度动态的，而可用的训练数据非常有限。因此，开发能够捕获动态环境的时间相关性的DRL策略是非常重要的，这需要有限的训练开销。在本文中，我们介绍了深度回声状态Q网络（DEQN），可以适应在短期内的高度动态的环境，有限的训练数据。我们评估了在动态频谱共享（DSS）场景下引入的DEQN方法的性能，这是5G和未来6G网络中提高频谱利用率的一种有前途的技术。与传统的频谱管理策略相比，DSS允许次系统与主系统共享频谱，该频谱管理策略将固定的频谱带授予单个系统以供独占接入。我们的工作揭示了一个有效的DRL框架在高度动态的环境中的应用有限的训练数据。
2020-10-12 cs.LG
Efficient Training of Deep Equilibrium Models
Sony Europe B.V.（索尼欧洲公司）
针对 DEQ 反向传播需昂贵求解 Jacobian 方程的问题，本文复用前向传播中 Broyden 方法的 Jacobian 近似计算梯度，在不损失性能的前提下显著提升训练速度。
2023-04-23 cs.AI cs.LG
Joint inference and input optimization in equilibrium networks
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）
深度学习中的许多任务都涉及优化\emph{inputs}到网络，以最小化或最大化某些目标;示例包括优化生成模型中的潜在空间以匹配目标图像，或反向扰动输入以降低分类器性能。然而，执行这样的优化传统上是相当昂贵的，因为它涉及针对每个梯度步长通过网络的完整的前向和后向传递。在一个单独的工作领域，最近的一个研究线程开发了深度平衡（DEQ）模型，这是一类放弃传统网络深度的模型，而是通过寻找单个非线性层的不动点来计算网络的输出。在本文中，我们表明，这两个设置之间有一个自然的协同作用。虽然单纯地使用DEQ来解决这些优化问题是昂贵的（由于为每个梯度步长计算固定点所需的时间），但我们可以利用基于梯度的优化可以将\emph{itself}转换为固定点迭代的事实来大幅提高整体速度。也就是说，我们\emph{simultaneously}都解决了DEQ固定点\emph{and}优化网络输入，所有在一个单一的“增强”DEQ模型，共同编码的原始网络和优化过程。事实上，该过程是足够快的，它允许我们有效地\emph{train} DEQ模型的任务，传统上依赖于一个“内部”的优化循环。我们在各种任务上展示了这种策略，例如在优化潜在代码的同时训练生成模型，训练去噪和修复等逆问题的模型，对抗训练和基于梯度的元学习。
2021-11-25 cs.CV cs.LG
Deep Equilibrium Models Meet Federated Learning
University of Patras（帕特雷大学）；Ionian University（爱奥尼亚大学）
本文首次将深度均衡模型引入联邦学习，以降低通信开销并支持异构边缘设备，同时提出加权平均融合规则，初步实验验证了其有效性。
2023-05-29 cs.DC cs.LG
Deep Equilibrium Optical Flow Estimation
Carnegie Mellon University（卡内基梅隆大学）；Peking University（北京大学）；Bosch Center for AI（博世人工智能中心）
许多最新的国家的最先进的（SOTA）光流模型使用有限步的经常性更新操作，以模拟传统的算法，通过鼓励迭代细化到一个稳定的流量估计。然而，这些RNN施加了大量的计算和内存开销，并且没有直接训练来对这种稳定的估计进行建模。它们可能收敛得很差，从而导致性能下降。为了克服这些缺点，我们提出了深度平衡（DEQ）流估计，一种直接解决流作为隐式层的无限级固定点（使用任何黑盒求解器）的方法，并通过该固定点进行分析（因此需要$O(1)$训练内存）。这种隐式深度方法不基于任何特定模型，因此可以应用于广泛的SOTA流量估计模型设计。这些DEQ流量估计器的使用允许我们更快地计算流量，例如，固定点重用和不精确的梯度，消耗比循环对应物少$4\sim6\times$倍的训练存储器，并且在相同的计算预算下实现更好的结果。此外，我们提出了一种新型的稀疏定点校正方案来稳定我们的DEQ流量估计器，这解决了DEQ模型长期面临的挑战。我们在各种现实环境中测试我们的方法，并表明它改善了Sintel和KITTI数据集上的SOTA方法，具有更好的计算和内存效率。
2022-04-18 cs.AI cs.CV cs.LG
On the Neural Tangent Kernel of Equilibrium Models
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）
本研究探讨了深度平衡模型的神经正切核，发现在温和条件下，即使宽度和深度同时趋于无穷大，其NTK依然具有确定性，且可通过寻根法高效求解。
2023-10-21 cs.AI cs.LG
Stable Invariant Models via Koopman Spectra
Osaka University（大阪大学）；RIKEN（理化学研究所）
本文提出稳定不变模型（SIM），利用Koopman和Perron-Frobenius算子谱表示动力学，在稳定性条件下近似深度平衡模型（DEQ）并扩展至不变集收敛，实验表明SIM在多个任务上性能相当或优于DEQ。
2023-06-19 cs.LG
Deep Equilibrium Based Neural Operators for Steady-State PDEs
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）；Duke University（杜克大学）
本文提出FNO-DEQ，将稳态PDE的解视为隐式算子的无限深度不动点，以O(1)训练内存实现高效求解，并在Darcy Flow和Navier-Stokes等任务上以更少参数超越FNO基线且对噪声更鲁棒。
2023-11-30 cs.LG cs.NA math.NA
Certified Inference and Training for Deep Equilibrium Networks: A Continuation Framework with Polynomial Complexity Guarantees
本文提出一个认证延续框架，用于深度平衡网络的推理与训练，通过同伦跟踪和加载Tikhonov修复实现多项式比特复杂度保证，并用Lean 4验证核心。
2026-09-22 cs.LG stat.ML
Solving Differential Equations using Physics-Informed Deep Equilibrium Models
Federal University of Santa Catarina（圣卡塔琳娜联邦大学）
本文提出物理信息深度均衡模型（PIDEQs），融合深度均衡模型的隐式输出表示与物理信息训练技术，用于高效求解常微分方程初值问题，并以 Van der Pol 振荡器验证其有效性。
2024-06-28 cs.LG cs.SY eess.SY
Recurrence without Recurrence: Stable Video Landmark Detection with Deep Equilibrium Models
University of Edinburgh（爱丁堡大学）；NVIDIA（英伟达）
本文提出将深度均衡模型（DEQ）应用于级联计算，设计了 LDEQ 模型提升静态图像关键点检测性能，并提出 RwR 范式在推理时模拟循环以减少视频关键点闪烁，同时引入了 NMF 指标和 WFLW-V 数据集。
2023-04-02 cs.CV cs.LG
A geometry-based deep equilibrium model for image restoration under multiplicative Gamma noise
School of Mathematics, Harbin Institute of Technology（哈尔滨工业大学数学学院）；Department of Mathematics, University of Bologna（博洛尼亚大学数学系）
提出一种基于几何先验的DEQ图像复原框架，用定制镜像下降算法优化，性能优于模型基方法、接近先进DEQ，且参数更少。
2026-08-06 cs.LG cs.NA math.NA
Accelerating Hopfield Network Dynamics: Beyond Synchronous Updates and Forward Euler
Ghent University（根特大学）；imec（imec研究院）
本文提出将Hopfield网络视为深度平衡模型，利用专门求解器和奇偶分裂技术，实现比传统同步更新快约两倍的异步并行收敛，并验证了其在能量最小化中的优势。
2024-08-21 cs.LG cs.NE
Quantum Deep Equilibrium Models
University of Toronto（多伦多大学）；Vector Institute（矢量研究所）；University of Copenhagen（哥本哈根大学）；McMaster University（麦克马斯特大学）
针对变分量子算法线路深度与误差、参数量与测量开销的矛盾，提出结合深度平衡模型的量子深度平衡模型（QDEQ），可在更浅线路下实现更优分类性能，助力近期量子计算机实用化。
2024-10-31 cs.LG quant-ph
One-Step Diffusion Distillation via Deep Equilibrium Models
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）
本文提出利用深度均衡模型GET作为蒸馏架构，直接从噪声一步生成图像，在可比训练预算下超越现有一阶方法，并以更小模型达到与5倍规模ViT相当的FID分数。
2023-12-12 cs.CV cs.LG
Continuous Deep Equilibrium Models: Training Neural ODEs faster by integrating them to Infinity
CSAIL MIT；Department of Mathematics MIT；Department of Electrical Engineering；Computer Science MIT
隐式模型将层的定义与其解决方案过程的描述分离。虽然隐式层允许深度等特征自动适应新的场景和输入，但这种自适应性使其计算费用难以预测。在这篇手稿中，我们通过在无限时间神经ODE方面重新定义该方法来增加DEQ的“隐式性”，这矛盾地将标准神经ODE的训练成本降低了2- 4倍。此外，我们解决的问题：是否有一种方法，同时实现隐式层的鲁棒性，同时允许显式层的计算费用减少？为了解决这个问题，我们开发了Skip和Skip Reg. DEQ，这是一个隐式-显式（IMEX）层，它同时训练显式预测，然后进行隐式校正。我们表明，训练这个显式预测器是免费的，甚至可以将训练时间减少1.11- 3.19倍。总之，这篇手稿展示了如何弥合内隐和外显深度学习的二分法，从而结合两种技术的优势。
2023-03-03 cs.CV cs.LG math.DS
Deep Equilibrium Approaches to Diffusion Models
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）
基于扩散的生成模型在生成高质量图像方面非常有效，生成的样本通常在几个指标下超过其他模型生成的样本的质量。然而，这些模型的一个显著特征是，它们通常需要长的采样链来产生高保真图像。这不仅从采样时间的透镜提出了挑战，而且从通过这些链反向传播以完成诸如模型反演的任务的固有困难提出了挑战，即近似地找到生成已知图像的潜在状态。在本文中，我们从不同的角度（深度）平衡（DEQ）不动点模型）来看待扩散模型。具体来说，我们扩展了最近的去噪扩散隐式模型（DDIM; Song et al. 2020），并将整个采样链建模为一个联合的多变量固定点系统。这种设置提供了扩散和平衡模型的优雅统一，并在1）单个图像采样中显示出优势，因为它用并行采样代替了完全串行的典型采样过程; 2）模型反演，我们可以利用DEQ设置中的快速梯度来更快地找到生成给定图像的噪声。该方法也是正交的，因此与用于减少采样时间或改善模型反演的其他方法互补。我们展示了我们的方法在多个数据集上的强大性能，包括CIFAR10，CelebA和LSUN Bedrooms and Churches。
2022-10-23 cs.CV cs.LG
Primal-dual residual networks
TU Braunschweig（布伦瑞克工业大学）
在这项工作中，我们提出了一个深神经网络架构的原始-对偶分裂方法从凸优化的动机。我们从理论上证明了导出的结构和剩余网络之间存在着密切的关系，并在数值实验中进一步研究了这种联系。此外，我们展示了我们的方法可以用来展开优化算法的某些问题的硬约束。使用语音去量化的例子，我们表明，我们的方法可以优于经典的分裂方法时，都适用于相同的任务。
2018-06-15 cs.LG math.OC stat.ML
Revisiting Implicit Models: Sparsity Trade-offs Capability in Weight-tied Model for Vision Tasks
EPFL（洛桑联邦理工学院）；Huawei（华为）；Westlake University（西湖大学）
本文重新审视视觉任务中的隐式模型，发现权重共享模型比DEQ变体更高效稳定，提出利用不同稀疏掩码提升模型容量，并提供了深度、宽度和稀疏性的设计指南。
2023-10-20 cs.CV cs.LG
Learning to Transduce with Unbounded Memory
Google DeepMind（谷歌DeepMind）；Oxford University（牛津大学）
最近，深度递归神经网络在自然语言转换问题上已经证明了强大的结果。在本文中，我们探讨了这些模型的代表性力量，使用合成语法设计表现出类似的现象，发现在真正的转导问题，如机器翻译。这些实验使我们提出了新的基于内存的递归网络，它实现了传统数据结构（如Stacks，Dockes和DeQues）的连续可微模拟。我们表明，这些架构表现出优于深度RNN的泛化性能，并且通常能够在我们的转导实验中学习底层生成算法。
2015-11-03 cs.CL cs.LG cs.NE
The Equilibrium Is the Initialization: Lazy Identity Collapse in Physics-Structured Deep Equilibrium Reasoning
Independent Researcher（独立研究者）
研究在两个推理任务中具有学习初始化的端口哈密顿深度平衡模型，发现隐式计算存在问题，求解平衡常等于起始点，迭代次数与难度无关，模型未超两层MLP，追溯机制到梯度饥饿，提炼四测试诊断协议。
2026-07-14 cs.AI cs.LG
Generating equilibrium molecules with deep neural networks
Technische Universität Berlin（柏林工业大学）
发现具有理想性质的原子体系是化学和材料科学中的一个重大挑战。在这里，我们介绍了一种新的自回归卷积深度神经网络架构，它通过在三维空间中顺序放置原子来生成分子平衡结构。该模型用易于处理的条件概率估计了分子构型上的联合概率，条件概率仅取决于原子与其核电荷之间的距离。它将最先进的原子神经网络的概念与图像和语音的自回归生成模型相结合。我们证明，该架构是能够产生接近平衡的C $_7$ O $_2$ H $_{10}$的结构异构体的分子。
2018-10-26 cs.LG physics.chem-ph stat.ML
Solving Inverse Problems with Model Mismatch using Untrained Neural Networks within Model-based Architectures
Georgia Institute of Technology（佐治亚理工学院）；King Fahd University of Petroleum and Minerals（法赫德国王石油矿产大学）
本文针对基于模型的深度学习方法中前向模型失配问题，提出在 LU 和 DEQ 架构中引入未训练的前向模型残差块，实现单次传递中同时拟合前向模型与重建，并在多个线性和非线性反问题实验中验证了其有效性和鲁棒性。
2024-06-10 cs.LG eess.SP
Response Renormalization for Critical Deep Equilibrium Models
Federal University of Bahia（巴伊亚联邦大学）；Grupo de Estudos e Aplicação de Inteligência Artificial em Geofísica (GAIA)（地球物理学人工智能研究与应用组（GAIA））
本研究针对深度均衡模型训练中伴随系统因雅可比近奇异导致梯度放大的问题，提出响应重归一化框架，通过CMR等方法控制近临界伴随放大，提升参数更新可靠性且保留有效梯度信息。
2026-08-26 cs.LG cs.NE
Multiscale Deep Equilibrium Models
Carnegie Mellon University（卡内基梅隆大学）；Intel Labs（英特尔实验室）；Bosch Center for AI（博世人工智能中心）
我们提出了一类新的隐式网络，多尺度深度平衡模型（MDEQ），适合于大规模和高度层次的模式识别领域。MDEQ直接求解并同时反向传播通过多个特征分辨率的平衡点，使用隐式微分来避免存储中间状态（因此仅需要$O(1)$内存消耗）。这些精心学习的多分辨率特征使我们能够在不同的任务和损失函数集合上训练单个模型，例如使用单个MDEQ来执行图像分类和语义分割。我们在两个大规模视觉任务上说明了这种方法的有效性：来自Cityscapes数据集的高分辨率图像上的ImageNet分类和语义分割。在这两种情况下，MDEQ都能够匹配或超过最近竞争性计算机视觉模型的性能：这是第一次通过隐式深度学习方法实现这样的性能和规模。代码和预训练模型在https://github.com/locuslab/mdeq上。
2020-11-24 cs.CV cs.LG stat.ML
Monotone operator equilibrium networks
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）
隐式深度模型（如深度均衡网络）最近被证明可以匹配或超过传统深度网络的性能，同时具有更高的内存效率。然而，这些模型存在不稳定的收敛性，并且缺乏解决方案存在的保证。另一方面，神经常微分方程，另一类隐式深度模型，确实保证了唯一解的存在，但与传统网络相比表现不佳。在本文中，我们开发了一类新的隐深度模型的基础上的单调算子的理论，单调算子均衡网络（monDEQ）。我们发现之间的密切联系找到一个隐式网络的平衡点和解决形式的单调算子分裂问题，它承认有效的求解保证，稳定的收敛。然后，我们开发了一个参数化的网络，确保所有的运营商保持单调，保证存在一个唯一的平衡点。最后，我们将展示如何实例化这些模型的几个版本，并实现由此产生的迭代求解器，结构化的线性算子，如多尺度卷积。由此产生的模型大大优于基于神经ODE的模型，同时计算效率也更高。代码可在http://github.com/locuslab/monotone_op_net上获得。
2021-05-03 cs.LG stat.ML
Boltzmann Generators -- Sampling Equilibrium States of Many-Body Systems with Deep Learning
FU Berlin（柏林自由大学）；Rice University（莱斯大学）；Tongji University（同济大学）
计算凝聚态多体系统（如溶剂化蛋白质）的平衡态是一个长期存在的挑战。由于缺乏用于在“一次性”中生成统计上独立的平衡样本的方法，大量的计算工作被投入用于在小步骤中模拟这些系统，例如，使用分子动力学。结合深度学习和统计力学，我们在这里开发了玻尔兹曼发生器，它被证明可以生成代表性凝聚态系统和蛋白质的无偏一次性平衡样本。玻尔兹曼发生器使用神经网络来学习复杂构型平衡分布到可以容易地采样的分布的坐标变换。自由能差的精确计算和新的配置的发现被证明，提供了一个统计力学工具，可以避免罕见的事件在采样过程中没有反应坐标的先验知识。
2019-07-12 cond-mat.stat-mech cs.LG physics.chem-ph
The Deep Equilibrium Algorithmic Reasoner
University of Cambridge（剑桥大学）；MediaTek Research（联发科研究院）
针对神经算法推理依赖循环架构、需逐步对齐算法迭代的问题，本文提出直接求解均衡点来训练 GNN，并通过实验验证了该方法的有效性。
2024-04-09 cs.LG
Deep Equilibrium Algorithmic Reasoning
University of Cambridge（剑桥大学）；MediaTek Research（联发科研究院）
本文提出用深度均衡视角替代循环架构执行神经算法推理，通过直接求解均衡方程免去对算法真实步数的依赖，并在CLRS-30基准上验证了其性能提升与加速潜力。
2024-10-19 cs.LG
DREAM: Deep Regret minimization with Advantage baselines and Model-free learning
Facebook AI Research（Facebook人工智能研究院）
我们介绍了DREAM，这是一种深度强化学习算法，可以在多代理的信息博弈中找到最优策略。形式上，DREAM在两人零和博弈中收敛于一个纳什均衡，在所有其他博弈中收敛于一个扩展形式的粗略相关均衡。我们的主要创新是一种有效的算法，与其他基于遗憾的深度学习算法相比，它不需要访问完美的游戏模拟器来实现良好的性能。我们表明，梦想经验达到国家的最先进的性能在流行的基准测试游戏中的无模型算法，甚至是有竞争力的算法，使用完美的模拟器。
2020-11-29 cs.GT cs.LG stat.ML
Deep Neural Networks Are Congestion Games: From Loss Landscape to Wardrop Equilibrium and Beyond
ENS Lyon（里昂高等师范学院）；Univ Lyon（里昂大学）；UJM-Saint-Etienne（圣艾蒂安让·莫奈大学）；CNRS（法国国家科学研究中心）；Institut d’Optique Graduate School（法国高等光学研究所）
深度神经网络（DNN）的理论分析可以说是目前机器学习（ML）中最具挑战性的研究方向之一，因为它需要科学家奠定新的统计学习基础来解释它们在实践中的行为。虽然最近在这方面取得了一些成功，但关于DNN是否可以使用ML社区以外的其他科学领域的工具进行分析的问题还没有得到应有的关注。在本文中，我们探讨了DNN和博弈论（GT）之间的相互作用，并展示了在分析前者时如何从后者的经典现成结果中受益。特别是，我们考虑了广泛研究的拥塞游戏类，并说明了它们与线性和非线性DNN的内在相关性以及它们的损失表面的性质。除了从文献中检索到最先进的结果外，我们认为我们的工作为分析DNN提供了一个非常有前途的新工具，并通过提出具体的开放问题来支持这一主张，这些问题在解决时可以大大提高我们对DNN的理解。
2020-10-21 cs.GT cs.LG stat.ML
Deep Incentive Design with Differentiable Equilibrium Blocks
本文提出基于可微均衡块的深度激励设计框架，通过统一管道和DEB训练神经网络，解决多智能体交互中的激励设计问题，涵盖合同设计、机器调度和逆向均衡等任务。
2026-03-12 cs.GT cs.LG
Equilibrium Propagation and Hamiltonian Inference in the Diffusive Fitzhugh-Nagumo Model
Rain Neuromorphics（Rain神经形态实验室）
本文扩展了平衡传播框架以应用于偏斜梯度系统，并展示了深度能量模型与哈密顿神经网络之间的等价性。研究重点是扩散耦合的 Fitzhugh-Nagumo 神经网络作为典型示例，证明了由于 Fitzhugh-Nagumo 模型的稳态解由自共轭算子描述，因此可以应用平衡传播方法进行信用分配。此外，对于具有深度残差网络拓扑的 Fitzhugh-Nagumo 网络，稳态解具有（空间）哈密顿量，因此可以应用哈密顿回传方法。最后，推导出一个显式的层间哈密顿递推关系，用于指导深度 Fitzhugh-Nagumo 网络和深度能量模型的稳态解推断。
2026-05-20 cs.LG
To update or not to update? Neurons at equilibrium in deep models
University of Turin（都灵大学）；Synesthesia s.r.l.（联觉有限公司）；Télécom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）
深度学习优化的最新进展表明，通过完全训练模型的一些后验信息，可以通过简单地训练其参数的子集来匹配相同的性能。这样的发现具有广泛的影响，从理论到应用，驱动的研究方法，以确定最小子集的参数训练没有前瞻性的信息开发。然而，所提出的方法不匹配的最先进的性能，并依赖于非结构化稀疏连接的模型。在这项工作中，我们将我们的重点从单个参数转移到整个神经元的行为，利用神经元平衡（NEq）的概念。当一个神经元处于平衡状态时（意味着它已经学习了特定的输入输出关系），我们可以停止它的更新;相反，当一个神经元处于非平衡状态时，我们让它的状态向平衡状态演变，更新它的参数。所提出的方法已经过测试，在不同的国家的最先进的学习策略和任务，验证NEq和观察，神经元的平衡取决于特定的学习设置。
2022-11-14 cs.AI cs.LG
Optimization Induced Equilibrium Networks
Peking University（北京大学）；Pazhou Lab（琶洲实验室）；Swiss Federal Institute of Technology（瑞士联邦理工学院）；Nanjing University of Information Science & Technology（南京信息工程大学）
隐含均衡模型，即，由隐式方程定义的深度神经网络（DNN）近年来受到越来越多的关注。在本文中，我们研究了一个新出现的问题：一个隐式均衡模型的平衡点可以被看作是一个最优化问题的解决方案？为此，我们首先将DNN分解为一类新的单位层，它是隐凸函数的近似算子，同时保持其输出不变。在此基础上，建立了单元层的均衡模型，称为优化诱导均衡网络（OptEq），该模型易于推广到深层。OptEq的平衡点理论上可以与其相应的具有显式目标的凸优化问题的解相联系。在此基础上，我们可以灵活地将先验性质引入到平衡点中：1）显式地修改底层凸问题，从而改变OptEq的结构; 2）将信息合并到不动点迭代中，保证在不动点集为非单点时选择所需的平衡点。我们表明，深OptEq优于以前的隐式模型，即使参数较少。这项工作为深度模型的优化指导设计迈出了第一步。
2021-06-07 cs.LG cs.NE
