A geometry-based deep equilibrium model for image restoration under multiplicative Gamma noise
School of Mathematics, Harbin Institute of Technology（哈尔滨工业大学数学学院）；Department of Mathematics, University of Bologna（博洛尼亚大学数学系）
提出一种基于几何先验的DEQ图像复原框架，用定制镜像下降算法优化，性能优于模型基方法、接近先进DEQ，且参数更少。
2026-08-06 cs.LG cs.NA math.NA
Deep equilibrium networks are sensitive to initialization statistics
Google Research（谷歌研究院）
深度平衡网络（DEQ）是一种很有前途的构建模型的方法，它可以在内存和计算之间进行权衡。然而，与传统网络相比，对这些模型的理论理解仍然缺乏，部分原因是重复应用了一组权重。我们发现，DEQs是敏感的矩阵家庭，他们被初始化的高阶统计。特别地，使用正交或对称矩阵初始化允许训练中的更大稳定性。这为我们提供了一个实用的初始化处方，允许使用更广泛的初始权重范围进行训练。
2022-07-19 cs.LG
Deep Fictitious Play for Finding Markovian Nash Equilibrium in Multi-Agent Games
Princeton University（普林斯顿大学）；Columbia University（哥伦比亚大学）
我们提出了一种基于深度神经网络的算法来识别一般大型$N$ -玩家随机微分对策的马尔可夫纳什均衡。根据虚拟游戏的思想，我们将$N$ -玩家游戏转换为$N$解耦的判定问题（每个玩家一个）并迭代求解。个人判定问题的特点是一个半线性Hamilton-Jacobi-Bellman方程，我们采用最近发展的深度Boundary方法来解决。由此产生的算法可以解决大型$N$玩家的游戏，传统的数值方法将遭受灾难的维数。多个数值例子涉及相同或异构代理，风险中性或风险敏感的目标，进行测试，以验证所提出的算法在大型群体游戏的准确性。即使是一个50人的游戏存在共同的噪音，该算法仍然找到近似的纳什均衡准确，这是据我们所知，很难实现的其他数值算法。
2020-06-05 cs.GT cs.LG math.OC
Reversible Deep Equilibrium Models
Department of Mathematical Sciences, University of Bath（数学科学系，巴斯大学）
可逆深度均衡模型通过精确梯度计算提升语言建模和图像分类任务性能。
2025-12-03 cs.LG stat.ML
Global Convergence of Over-parameterized Deep Equilibrium Models
Peking University（北京大学）；Huazhong University of Science and Technology（华中科技大学）；Peng Cheng Laboratory（鹏城实验室）
深度均衡模型（DEQ）是通过一个无限深度的权重绑定模型的平衡点与输入注入隐式定义的。代替无限的计算，它直接用求根法求解平衡点，用隐式微分法计算梯度。在这项研究中，过参数DEQ的训练动力学进行了研究。通过对初始平衡点设定一个条件，证明了在训练过程中平衡点总是存在唯一的，并证明了对于二次损失函数，梯度下降以线性收敛速度收敛到全局最优解.为了表明所需的初始条件是满足通过温和的过参数化，我们进行了细粒度的分析随机DEQ。我们提出了一个新的概率框架，以克服技术上的困难，在无限深度的权重绑定模型的非渐近分析。
2023-03-29 cs.LG stat.ML
Generating equilibrium molecules with deep neural networks
Technische Universität Berlin（柏林工业大学）
发现具有理想性质的原子体系是化学和材料科学中的一个重大挑战。在这里，我们介绍了一种新的自回归卷积深度神经网络架构，它通过在三维空间中顺序放置原子来生成分子平衡结构。该模型用易于处理的条件概率估计了分子构型上的联合概率，条件概率仅取决于原子与其核电荷之间的距离。它将最先进的原子神经网络的概念与图像和语音的自回归生成模型相结合。我们证明，该架构是能够产生接近平衡的C $_7$ O $_2$ H $_{10}$的结构异构体的分子。
2018-10-26 cs.LG physics.chem-ph stat.ML
Boltzmann Generators -- Sampling Equilibrium States of Many-Body Systems with Deep Learning
FU Berlin（柏林自由大学）；Rice University（莱斯大学）；Tongji University（同济大学）
计算凝聚态多体系统（如溶剂化蛋白质）的平衡态是一个长期存在的挑战。由于缺乏用于在“一次性”中生成统计上独立的平衡样本的方法，大量的计算工作被投入用于在小步骤中模拟这些系统，例如，使用分子动力学。结合深度学习和统计力学，我们在这里开发了玻尔兹曼发生器，它被证明可以生成代表性凝聚态系统和蛋白质的无偏一次性平衡样本。玻尔兹曼发生器使用神经网络来学习复杂构型平衡分布到可以容易地采样的分布的坐标变换。自由能差的精确计算和新的配置的发现被证明，提供了一个统计力学工具，可以避免罕见的事件在采样过程中没有反应坐标的先验知识。
2019-07-12 cond-mat.stat-mech cs.LG physics.chem-ph
Global Convergence Rate of Deep Equilibrium Models with General Activations
University of Essex（埃塞克斯大学）
本文针对过参数化深度平衡模型（DEQ），将Ling等人关于ReLU激活的线性收敛结论扩展到任意具有有界一二阶导数的通用激活函数，通过构建新颖总体Gram矩阵和带埃尔米特多项式展开的对偶激活解决了非齐次激活下的特征值界定难题。
2025-02-13 cs.LG stat.ML
Solving Differential Equations using Physics-Informed Deep Equilibrium Models
Federal University of Santa Catarina（圣卡塔琳娜联邦大学）
本文提出物理信息深度均衡模型（PIDEQs），融合深度均衡模型的隐式输出表示与物理信息训练技术，用于高效求解常微分方程初值问题，并以 Van der Pol 振荡器验证其有效性。
2024-06-28 cs.LG cs.SY eess.SY
Deep Incentive Design with Differentiable Equilibrium Blocks
本文提出基于可微均衡块的深度激励设计框架，通过统一管道和DEB训练神经网络，解决多智能体交互中的激励设计问题，涵盖合同设计、机器调度和逆向均衡等任务。
2026-03-12 cs.GT cs.LG
Deep Equilibrium Models
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）；Intel Labs（英特尔研究院）
我们提出了一种新的方法来建模序列数据：深度均衡模型（DEQ）。出于观察到许多现有的深层序列模型的隐藏层收敛到一些固定点，我们提出了DEQ方法，直接找到这些平衡点，通过寻根。这种方法相当于运行一个无限深度（权重绑定）的前馈网络，但具有显着的优势，我们可以使用隐式微分分析反向传播通过平衡点。使用这种方法，这些网络中的训练和预测只需要恒定的内存，而不管网络的有效“深度”如何。我们演示了DEQs如何应用于两个最先进的深度序列模型：自注意Transformers和网格网络。在大规模语言建模任务中，例如WikiText-103基准测试，我们表明DEQs 1）通常可以提高这些最先进的模型的性能（对于类似的参数计数）; 2）与现有模型具有类似的计算要求; 3）极大地减少内存消耗（通常是训练大型序列模型的瓶颈），在我们的实验中显示了高达88%的内存减少。该代码可在https://github.com/locuslab/deq上获得。
2019-10-28 cs.LG stat.ML
To update or not to update? Neurons at equilibrium in deep models
University of Turin（都灵大学）；Synesthesia s.r.l.（联觉有限公司）；Télécom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）
深度学习优化的最新进展表明，通过完全训练模型的一些后验信息，可以通过简单地训练其参数的子集来匹配相同的性能。这样的发现具有广泛的影响，从理论到应用，驱动的研究方法，以确定最小子集的参数训练没有前瞻性的信息开发。然而，所提出的方法不匹配的最先进的性能，并依赖于非结构化稀疏连接的模型。在这项工作中，我们将我们的重点从单个参数转移到整个神经元的行为，利用神经元平衡（NEq）的概念。当一个神经元处于平衡状态时（意味着它已经学习了特定的输入输出关系），我们可以停止它的更新;相反，当一个神经元处于非平衡状态时，我们让它的状态向平衡状态演变，更新它的参数。所提出的方法已经过测试，在不同的国家的最先进的学习策略和任务，验证NEq和观察，神经元的平衡取决于特定的学习设置。
2022-11-14 cs.AI cs.LG
Deep equilibrium models as estimators for continuous latent variables
Data61, CSIRO（联邦科学与工业研究组织数据61研究所）；Australian National University（澳大利亚国立大学）
主成分分析（PCA）及其指数族扩展有三个组成部分：观测值，潜在值和线性变换的参数。我们考虑一个广义的设置，其中的典型参数的指数家庭是一个非线性变换的潜伏期。我们显示特定的神经网络架构和相应的统计模型之间的显式关系。我们发现，深层平衡模型-最近推出的一类隐式神经网络-解决最大后验概率（MAP）估计的潜在的和参数的转换。我们的分析提供了一个系统的方法来关联激活函数，辍学，和层结构，统计假设的意见，从而提供了无监督DEQ的基本原则。对于分层潜伏期，单个神经元可以被解释为深度图形模型中的节点。我们的DEQ特征图是端到端可区分的，可以为下游任务进行微调。
2022-11-11 cs.LG stat.ML
Equivariant Deep Equilibrium Models for Imaging Inverse Problems
本文提出等变深度均衡模型用于解决成像反问题，通过模块化回传播简化训练，并展示其在信号重建中的优越性能。
2025-11-24 cs.LG eess.IV eess.SP
DDEQs: Distributional Deep Equilibrium Models through Wasserstein Gradient Flows
Harvard University（哈佛大学）；CREST；ENSAE（法国国家统计与经济行政学院）；IP Paris（巴黎理工学院）
本研究提出分布型深度平衡模型DDEQs，基于Wasserstein梯度流将DEQ拓展至离散测度输入场景，推导适配架构，在点云相关任务中性能达SOTA且参数效率显著提升。
2025-03-23 cs.LG stat.ML
Multiscale Deep Equilibrium Models
Carnegie Mellon University（卡内基梅隆大学）；Intel Labs（英特尔实验室）；Bosch Center for AI（博世人工智能中心）
我们提出了一类新的隐式网络，多尺度深度平衡模型（MDEQ），适合于大规模和高度层次的模式识别领域。MDEQ直接求解并同时反向传播通过多个特征分辨率的平衡点，使用隐式微分来避免存储中间状态（因此仅需要$O(1)$内存消耗）。这些精心学习的多分辨率特征使我们能够在不同的任务和损失函数集合上训练单个模型，例如使用单个MDEQ来执行图像分类和语义分割。我们在两个大规模视觉任务上说明了这种方法的有效性：来自Cityscapes数据集的高分辨率图像上的ImageNet分类和语义分割。在这两种情况下，MDEQ都能够匹配或超过最近竞争性计算机视觉模型的性能：这是第一次通过隐式深度学习方法实现这样的性能和规模。代码和预训练模型在https://github.com/locuslab/mdeq上。
2020-11-24 cs.CV cs.LG stat.ML
Optimization Induced Equilibrium Networks
Peking University（北京大学）；Pazhou Lab（琶洲实验室）；Swiss Federal Institute of Technology（瑞士联邦理工学院）；Nanjing University of Information Science & Technology（南京信息工程大学）
隐含均衡模型，即，由隐式方程定义的深度神经网络（DNN）近年来受到越来越多的关注。在本文中，我们研究了一个新出现的问题：一个隐式均衡模型的平衡点可以被看作是一个最优化问题的解决方案？为此，我们首先将DNN分解为一类新的单位层，它是隐凸函数的近似算子，同时保持其输出不变。在此基础上，建立了单元层的均衡模型，称为优化诱导均衡网络（OptEq），该模型易于推广到深层。OptEq的平衡点理论上可以与其相应的具有显式目标的凸优化问题的解相联系。在此基础上，我们可以灵活地将先验性质引入到平衡点中：1）显式地修改底层凸问题，从而改变OptEq的结构; 2）将信息合并到不动点迭代中，保证在不动点集为非单点时选择所需的平衡点。我们表明，深OptEq优于以前的隐式模型，即使参数较少。这项工作为深度模型的优化指导设计迈出了第一步。
2021-06-07 cs.LG cs.NE
Consistency Deep Equilibrium Models
School of Electronic Information and Communications, Huazhong University of Science and Technology（华中科技大学电子信息学院）；School of Electronic Information（电子信息学院）；Communications, Huazhong University of Science（华中科技大学通信学院）；School of Science, Wuhan University of Technology（武汉理工大学理学院）
提出一致性深度均衡模型（C-DEQ），通过一致性蒸馏将DEQ迭代推理过程视为沿ODE轨迹演化，训练模型将中间状态直接映射到不动点，实现少步推理并保持性能，同时支持多步评估以灵活权衡计算与性能，实验表明在相同少步推理预算下精度提升2-20倍。
2026-05-31 cs.AI cs.LG
Infusing Self-Consistency into Density Functional Theory Hamiltonian Prediction via Deep Equilibrium Models
Microsoft Research AI4Science（微软研究院AI4Science）；Tsinghua University（清华大学）
本研究提出结合深度平衡模型的DEQH架构，无需训练阶段DFT计算即可引入哈密顿量自洽性，解决计算瓶颈，在MD17、QH9数据集上预测精度显著提升，兼具预测与求解功能并开源实现。
2024-10-09 cs.LG
Lightweight and Flexible Deep Equilibrium Learning for CSI Feedback in FDD Massive MIMO
The Hong Kong University of Science and Technology（香港科技大学）；City University of Hong Kong（香港城市大学）
针对FDD大规模MIMO的CSI反馈开销问题，提出基于深度均衡模型的隐式定点迭代轻量网络，支持参数共享与运行时迭代数调整，以更低复杂度实现与基准相当的性能及灵活的精度—效率权衡。
2023-06-05 cs.IT cs.LG eess.SP
Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；Unité Mixte de Physique（联合物理实验室）；Thales（泰雷兹集团）；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；Canadian Institute for Advanced Research（加拿大高等研究院）；Google（谷歌）
平衡传播（EP）是一种受生物启发的反向传播时间（BPTT），由于其强大的理论保证和学习规则的空间局部性，促进了专用于学习的节能硬件的设计。然而，在实践中，EP并没有比MNIST更难扩展到视觉任务。在这项工作中，我们证明了EP的梯度估计中的偏差，这是使用有限轻推所固有的，是造成这种现象的原因，并且取消它允许通过EP训练深度ConvNets，包括具有不同的前向和后向连接的架构。这些结果突出了EP作为一种可扩展的方法来计算深度神经网络中的误差梯度，从而激励其硬件实现。
2021-01-14 cs.LG cs.NE
Lipschitz Multiscale Deep Equilibrium Models: A Theoretically Guaranteed and Accelerated Approach
Meiji University（东邦大学）
本研究提出一种理论保证且加速的Lipschitz多尺度深度均衡模型，通过重构架构实现固定点收敛，提升训练和推理效率。
2026-02-03 cs.LG
Large-Scale Contextual Market Equilibrium Computation through Deep Learning
PKU-WUHAN Institute for Artificial Intelligence（北京大学武汉研究院）；CFCS, School of Computer Science, Peking University（计算机科学系，北京大学）；Yuanpei College, Peking University（北京大学元培学院）；School of Computer Science, Wuhan University（武汉大学计算机科学系）；CMAR, Institute for AI, Peking University（人工智能研究院，北京大学）
针对大规模买家情境市场均衡计算难题，提出深度学习模型MarketFCNet，以神经网络参数化分配并采用无偏损失估计优化，用Nash Gap评估，在扩展市场时性能有竞争力且运行时间显著降低。
2025-04-21 cs.CE cs.GT cs.LG
DEFlow: Deep Equilibrium Flow Maximum-Entropy Reinforcement Learning
Tsinghua University（清华大学）；Peng Cheng Laboratory（鹏城实验室）
该研究提出DEFlow深度均衡流策略，结合隐式欧拉积分与隐式微分等技术，在多目标对接、操纵等强化学习任务中提升了性能，为兼具多样性与精度的任务提供了有效方案。
2026-10-15 cs.LG cs.RO
Towards Predicting Equilibrium Distributions for Molecular Systems with Deep Learning
Microsoft Research AI4Science（微软研究院AI4Science）
针对传统分子平衡分布获取方法计算成本高的问题，提出受退火启发的深度学习框架DiG，可基于分子描述符生成平衡分布并完成多类分子任务，推动分子系统统计研究。
2023-06-08 cs.LG physics.chem-ph q-bio.BM
TorchDEQ: A Library for Deep Equilibrium Models
CMU（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）
本文提出基于PyTorch的TorchDEQ库，统一深度均衡模型的定义、训练与推理，并构建DEQ Zoo，在十个数据集上显著提升六个隐式模型的性能、训练稳定性与效率。
2023-10-28 cs.LG
Efficient Training of Deep Equilibrium Models
Sony Europe B.V.（索尼欧洲公司）
针对 DEQ 反向传播需昂贵求解 Jacobian 方程的问题，本文复用前向传播中 Broyden 方法的 Jacobian 近似计算梯度，在不损失性能的前提下显著提升训练速度。
2023-04-23 cs.AI cs.LG
Deep Equilibrium Models Meet Federated Learning
University of Patras（帕特雷大学）；Ionian University（爱奥尼亚大学）
本文首次将深度均衡模型引入联邦学习，以降低通信开销并支持异构边缘设备，同时提出加权平均融合规则，初步实验验证了其有效性。
2023-05-29 cs.DC cs.LG
Local Scale Equivariance with Latent Deep Equilibrium Canonicalizer
Purdue University（普渡大学）；DSO National Laboratories（DSO国家实验室）
针对计算机视觉中物体尺度局部变化的挑战，提出可整合至现有架构的深度平衡规范化器（DEC），其在ImageNet基准上提升了ViT等四种预训练网络的性能与局部尺度一致性。
2025-08-19 cs.CV cs.GR cs.LG
Equilibrium Propagation and Hamiltonian Inference in the Diffusive Fitzhugh-Nagumo Model
Rain Neuromorphics（Rain神经形态实验室）
本文扩展了平衡传播框架以应用于偏斜梯度系统，并展示了深度能量模型与哈密顿神经网络之间的等价性。研究重点是扩散耦合的 Fitzhugh-Nagumo 神经网络作为典型示例，证明了由于 Fitzhugh-Nagumo 模型的稳态解由自共轭算子描述，因此可以应用平衡传播方法进行信用分配。此外，对于具有深度残差网络拓扑的 Fitzhugh-Nagumo 网络，稳态解具有（空间）哈密顿量，因此可以应用哈密顿回传方法。最后，推导出一个显式的层间哈密顿递推关系，用于指导深度 Fitzhugh-Nagumo 网络和深度能量模型的稳态解推断。
2026-05-20 cs.LG
On the Theory of Implicit Deep Learning: Global Convergence with Implicit Layers
Harvard University（哈佛大学）
深度平衡模型使用隐式层，隐式层通过无限计算序列的平衡点来隐式定义。它避免了任何显式计算的无穷序列找到一个平衡点直接通过求根和计算梯度通过隐式微分。本文分析了仅在权矩阵和权的非凸目标函数上具有非线性的深度均衡模型的梯度动力学，用于回归和分类。尽管非凸性，收敛到全局最优的线性速率是保证没有任何假设的模型的宽度，允许宽度小于输出尺寸和数据点的数量。此外，我们还证明了深隐层的梯度动力学与浅显层的信赖域牛顿法的动力学之间的关系。这个数学上证明的关系以及我们的数值观察表明，理解隐层的隐偏置的重要性和一个开放的问题。我们的证明涉及隐层、权捆绑和权的非线性，与相关文献中的证明不同。
2021-02-18 cs.AI cs.CV cs.LG
The Equilibrium Is the Initialization: Lazy Identity Collapse in Physics-Structured Deep Equilibrium Reasoning
Independent Researcher（独立研究者）
研究在两个推理任务中具有学习初始化的端口哈密顿深度平衡模型，发现隐式计算存在问题，求解平衡常等于起始点，迭代次数与难度无关，模型未超两层MLP，追溯机制到梯度饥饿，提炼四测试诊断协议。
2026-07-14 cs.AI cs.LG
One-Step Diffusion Distillation via Deep Equilibrium Models
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）
本文提出利用深度均衡模型GET作为蒸馏架构，直接从噪声一步生成图像，在可比训练预算下超越现有一阶方法，并以更小模型达到与5倍规模ViT相当的FID分数。
2023-12-12 cs.CV cs.LG
Two Sides of The Same Coin: Bridging Deep Equilibrium Models and Neural ODEs via Homotopy Continuation
ShanghaiTech University（上海科技大学）
本文通过同伦延拓建立DEQs与Neural ODEs的联系，提出新隐式模型HomoODE，兼具高精度与稳定性，并在图像分类任务中超越现有隐式模型。
2023-12-21 cs.LG stat.ML
Scalable Equilibrium Propagation via Intermediate Error Signals for Deep Convolutional CRNNs
School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；The Pennsylvania State University（宾夕法尼亚州立大学）；University Park, PA 16802
本文提出一种新的均衡传播框架，通过层间学习信号提供辅助监督，解决深度网络中消失梯度问题，提升收敛性，并在CIFAR-10和CIFAR-100数据集上取得最佳性能，展示了均衡传播在深度VGG架构中的可扩展性。
2026-05-08 cs.ET cs.LG
Positive concave deep equilibrium models
Wrocław University of Science and Technology（弗罗茨瓦夫理工大学）；Nicolaus Copernicus University（尼古拉·哥白尼大学）；Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）
针对现有深度平衡模型不动点存在唯一性及收敛性缺乏理论保证、实际应用不稳定的问题，提出基于非线性Perron-Frobenius理论的正凹深度平衡模型，在简化训练的同时实现了与其他隐式模型相当的性能。
2024-06-24 cs.LG
A Closer Look at the Adversarial Robustness of Deep Equilibrium Models
Tsinghua University（清华大学）；Sea AI Lab（Sea人工智能实验室）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
本文研究一般DEQ的经验对抗鲁棒性，通过估计中间梯度并接入攻击流程消除梯度混淆，实现白盒评估与有效防御，实验表明其鲁棒性可与同规模深度网络竞争。
2023-06-02 cs.LG stat.ML
Wide Neural Networks as Gaussian Processes: Lessons from Deep Equilibrium Models
Iowa State University（爱荷华州立大学）
本文证明深度平衡模型（DEQ）在宽度趋于无穷时收敛为高斯过程，且深度与宽度极限可交换，并保证核矩阵非退化，为DEQ训练与泛化研究奠定基础。
2023-10-16 cs.LG stat.ML
Online Deep Equilibrium Learning for Regularization by Denoising
Washington University in St. Louis（圣路易斯华盛顿大学）
即插即用先验（Plug-and-Play Priors，PPENS）和去噪正则化（Regularization by Denoising，RED）是通过计算结合物理测量模型和学习的图像先验的算子的不动点来解决成像逆问题的广泛使用的框架。虽然传统的PnP/RED公式集中在使用图像降噪器指定的先验知识上，但人们对学习端到端最佳PnP/RED先验知识的兴趣越来越大。最近的深度均衡模型（DEQ）框架通过隐式差分定点方程，实现了PPENDIX/RED先验的存储高效的端到端学习，而无需存储中间激活值。然而，依赖的计算/存储器的复杂性的测量模型在PPENS/RED的测量总数离开DEQ不切实际的许多成像应用。我们提出ODER作为一种新的策略，通过随机近似的测量模型，提高效率的DEQ。我们从理论上分析了ODER，深入了解其收敛性和逼近传统DEQ方法的能力。我们的数值结果表明，由于ODER在三个不同的成像应用中的训练/测试复杂性的潜在改进。
2022-05-25 cs.CV cs.LG eess.IV
Scaling Equilibrium Propagation to Deeper Neural Network Architectures
Engineering, Indian Institute of Technology, Madras（工程学院，印度理工学院马德拉斯分校）；AI, Indian Institute of Technology, Madras（人工智能，印度理工学院马德拉斯分校）
本文提出Hopfield-Resnet架构，通过残差连接和裁剪ReLU激活函数，实现更深层次网络训练，提升CIFAR-10数据集上的准确率。
2025-10-13 cs.LG cs.NE
Gradient descent dynamics for deep equilibrium models
Carnegie Mellon University, Department of Statistics（卡内基梅隆大学统计系）；Carnegie Mellon University, Department of Statistics and Machine Learning（卡内基梅隆大学统计与机器学习系）
本文研究了深度均衡单索引模型的梯度下降动态，证明了线性收敛性和守恒定律，通过实验验证了理论结果。
2026-10-06 cs.LG math.ST stat.ML
Solving Heterogeneous General Equilibrium Economic Models with Deep Reinforcement Learning
Bank of England（英格兰银行）；University College London（伦敦大学学院）；Office for National Statistics（英国国家统计局）
一般均衡宏观经济模型是决策者用来理解一国经济的核心工具。它们将经济体描述为具有前瞻性的行为者的集合，这些行为者的行为可能与随机效应相结合，以动态平衡的方式确定全球变量（如价格）。然而，解决这些模型的标准半分析技术使其难以包括异质性经济行为体的重要影响。COVID-19大流行进一步凸显了异质性的重要性，例如年龄和就业部门，以及宏观经济结果，以及对更容易纳入它的模型的需求。我们使用强化学习的技术来解决这种模型，以简单，可扩展和计算效率高的方式纳入异构代理。我们证明了该方法的准确性和稳定性的玩具问题，有一个已知的分析解决方案，它的通用性，通过解决一个一般均衡问题，包括全球随机性，其灵活性，通过解决一个综合的宏观经济和流行病学模型，以探索经济和健康的影响大流行。后者成功地捕捉到了由不同年龄的健康风险引起的合理的经济行为。
2021-03-31 cs.LG cs.MA econ.GN
Deep Equilibrium Approaches to Diffusion Models
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）
基于扩散的生成模型在生成高质量图像方面非常有效，生成的样本通常在几个指标下超过其他模型生成的样本的质量。然而，这些模型的一个显著特征是，它们通常需要长的采样链来产生高保真图像。这不仅从采样时间的透镜提出了挑战，而且从通过这些链反向传播以完成诸如模型反演的任务的固有困难提出了挑战，即近似地找到生成已知图像的潜在状态。在本文中，我们从不同的角度（深度）平衡（DEQ）不动点模型）来看待扩散模型。具体来说，我们扩展了最近的去噪扩散隐式模型（DDIM; Song et al. 2020），并将整个采样链建模为一个联合的多变量固定点系统。这种设置提供了扩散和平衡模型的优雅统一，并在1）单个图像采样中显示出优势，因为它用并行采样代替了完全串行的典型采样过程; 2）模型反演，我们可以利用DEQ设置中的快速梯度来更快地找到生成给定图像的噪声。该方法也是正交的，因此与用于减少采样时间或改善模型反演的其他方法互补。我们展示了我们的方法在多个数据集上的强大性能，包括CIFAR10，CelebA和LSUN Bedrooms and Churches。
2022-10-23 cs.CV cs.LG
Lyapunov-Stable Deep Equilibrium Models
Beijing Jiaotong University（北京交通大学）；Osaka University（大阪大学）；Northwestern Polytechnical University（西北工业大学）
针对深度均衡模型不动点稳定性不足的问题，提出基于Lyapunov理论的LyaDEQ模型，通过确保不动点的Lyapunov稳定性抵抗初始扰动，并结合层正交化分离不动点，显著提升了对抗鲁棒性。
2024-01-10 cs.CR cs.CV cs.LG
Federated Deep Equilibrium Learning: Harnessing Compact Global Representations to Enhance Personalization
The University of Sydney（悉尼大学）；The University of Pennsylvania（宾夕法尼亚大学）；Kyung Hee University（庆熙大学）
针对联邦学习的通信瓶颈、数据异质性等挑战，提出结合深度均衡学习与ADMM的FeDEQ框架，在性能持平SOTA的同时显著降低通信与内存开销。
2024-10-29 cs.DC cs.LG
Channel Equilibrium Networks for Learning Deep Representation
The Chinese University of Hong Kong（香港中文大学）；Simon Fraser University（西蒙菲莎大学）；The University of Hong Kong（香港大学）
卷积神经网络（CNN）通常通过堆叠多个构建块来构建，每个构建块包含一个归一化层，例如批量归一化（BN）和一个整流线性函数，例如ReLU。然而，这项工作表明，归一化和整流线性函数的组合导致抑制通道，其幅度较小，对学习的特征表示贡献不大，阻碍了CNN的泛化能力。与简单地删除抑制通道的现有技术不同，我们建议通过设计一种新的神经构建块（称为通道平衡（CE）块）来在训练过程中“唤醒它们”，该块使同一层的通道能够对学习的表示做出同等贡献。我们表明，CE是能够防止抑制通道的经验和理论。CE有几个吸引人的好处。(1)它可以集成到许多先进的CNN架构中，如ResNet和MobileNet，性能优于其原始网络。(2)CE与纳什均衡有着有趣的联系，纳什均衡是一个著名的非合作博弈解。(3)大量的实验表明，CE在ImageNet和COCO等各种具有挑战性的基准测试中达到了最先进的性能。
2020-02-29 cs.CV cs.LG
DEQuify your force field: More efficient simulations using deep equilibrium models
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Acceleration Consortium（加速联盟）；NVIDIA（英伟达）
本文提出将等变力场模型重构为深度平衡模型，利用模拟连续性回收中间特征，在多个数据集上提升精度与速度10%-20%，并降低训练内存需求。
2025-09-10 cs.AI cs.LG
Deep Equilibrium Models are Almost Equivalent to Not-so-deep Explicit Models for High-dimensional Gaussian Mixtures
School of Electronic Information and Communications, Huazhong University of Science and Technology（华中科技大学电子信息与通信学院）；Ezhou Industrial Technology Research Institute, Huazhong University of Science and Technology（华中科技大学鄂州工业技术研究院）；Department of CSE, Shanghai Jiao Tong University（上海交通大学计算机科学与工程系）；China-Austria Belt and Road Joint Laboratory on AI and AM, Hangzhou Dianzi University（杭州电子科技大学中奥人工智能与增材制造一带一路联合实验室）；Center for Applied Statistics and School of Statistics, Renmin University of China（中国人民大学应用统计中心与统计学院）
该研究借助随机矩阵理论分析高维高斯混合输入下隐式深度平衡模型（DEQ）的共轭核与神经切线核谱特性，证明其仅由含四个非线性方程的系统决定，且可通过精心设计的浅层显式网络实现等价核，该结论经实证也适用于真实数据集。
2024-05-19 cs.LG stat.ML
Deep Equilibrium Based Neural Operators for Steady-State PDEs
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）；Duke University（杜克大学）
本文提出FNO-DEQ，将稳态PDE的解视为隐式算子的无限深度不动点，以O(1)训练内存实现高效求解，并在Darcy Flow和Navier-Stokes等任务上以更少参数超越FNO基线且对噪声更鲁棒。
2023-11-30 cs.LG cs.NA math.NA
Certified Robustness for Deep Equilibrium Models via Serialized Random Smoothing
North Carolina State University（北卡罗来纳州立大学）；The University of Arizona（亚利桑那大学）
本文提出序列化随机平滑（SRS）方法，首次为深度平衡模型（DEQs）提供随机平滑认证防御，利用历史信息加速认证最高达7倍，同时保持认证精度。
2024-11-01 cs.AI cs.LG
Trend to Equilibrium for the Kinetic Fokker-Planck Equation via the Neural Network Approach
Pohang University of Science and Technology (POSTECH)（浦项科技大学）；Institute for Basic Science (IBS)（基础科学研究院）
弛豫到平衡的问题一直是稀薄气体动力学运动论的核心。在本文中，我们介绍了深度神经网络（DNN）的近似解的动力学Fokker-Planck方程在一个有界的时间间隔，并研究了大时间渐近行为的解决方案和其他物理相关的宏观量。我们施加了不同类型的边界条件，包括流入型和反射型边界以及不同的扩散和摩擦系数，并研究了边界对渐近行为的影响。这些包括粒子分布的逐点值和宏观物理量（包括总动能、熵和自由能）的大时间行为的预测。我们还为神经网络解的逐点收敛性提供了理论支持，证明了\textit{a priori}的分析解的收敛性。我们使用库\textit{PyTorch}、层间激活函数\textit{tanh}和深度学习算法的\textit{Adam}优化器。
2019-11-22 cs.LG cs.NA math.NA
Understanding Representation of Deep Equilibrium Models from Neural Collapse Perspective
ShanghaiTech University（上海科技大学）
本文以神经坍缩为分析工具，证明DEQ在均衡条件下存在NC，并揭示其在非均衡数据下仍具有ETF收敛与自对偶优势。
2024-12-03 cs.AI cs.LG
PTFlash : A deep learning framework for isothermal two-phase equilibrium calculations
Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；IFPEN（法国石油与新能源研究院）；Criteo AI Lab（科韬人工智能实验室）
相平衡计算是多孔介质多组分多相流数值模拟的重要组成部分，占计算时间的最大份额。在这项工作中，我们引入了一个支持GPU的快速并行框架PTFlash，该框架使用PyTorch对等温两相闪存计算所需的算法进行矢量化，并可以促进广泛的下游应用。此外，为了进一步加速PTFlash，我们设计了两个特定于任务的神经网络，一个用于预测给定混合物的稳定性，另一个用于提供分布系数的估计值，这些分布系数是离线训练的，并通过回避稳定性分析和减少迭代次数来缩短计算时间以达到收敛。PTFlash的评估进行了三个案例研究，涉及烃，CO2和N2，其中的相平衡进行了测试，在大范围的温度，压力和组成条件下，使用Soave-Redlich-Kwong（SRK）状态方程。我们比较PTFlash与内部的热力学库，卡诺，写在C++和执行闪存计算一个接一个的CPU。结果表明，大规模计算的速度提高了两个数量级，同时保持完美的精度与卡诺提供的参考解决方案。
2022-05-19 cs.AI cs.LG physics.chem-ph
Continuous Deep Equilibrium Models: Training Neural ODEs faster by integrating them to Infinity
CSAIL MIT；Department of Mathematics MIT；Department of Electrical Engineering；Computer Science MIT
隐式模型将层的定义与其解决方案过程的描述分离。虽然隐式层允许深度等特征自动适应新的场景和输入，但这种自适应性使其计算费用难以预测。在这篇手稿中，我们通过在无限时间神经ODE方面重新定义该方法来增加DEQ的“隐式性”，这矛盾地将标准神经ODE的训练成本降低了2- 4倍。此外，我们解决的问题：是否有一种方法，同时实现隐式层的鲁棒性，同时允许显式层的计算费用减少？为了解决这个问题，我们开发了Skip和Skip Reg. DEQ，这是一个隐式-显式（IMEX）层，它同时训练显式预测，然后进行隐式校正。我们表明，训练这个显式预测器是免费的，甚至可以将训练时间减少1.11- 3.19倍。总之，这篇手稿展示了如何弥合内隐和外显深度学习的二分法，从而结合两种技术的优势。
2023-03-03 cs.CV cs.LG math.DS
