MICS : Multi-steps, Inverse Consistency and Symmetric deep learning registration network
Université Paris-Saclay（巴黎萨克雷大学）；CentraleSupélec（中央理工-高等电力学院）；Inria Saclay（法国国家信息与自动化研究所萨克雷中心）；Institut Gustave Roussy（古斯塔夫·鲁西研究所）；Inserm（法国国家健康与医学研究院）
变形配准包括找到两个不同图像之间的最佳密集对应。许多算法已经出版，但临床应用是困难的高计算时间需要解决的优化问题。深度学习通过利用GPU计算和学习过程克服了这一限制。然而，许多深度学习方法没有考虑经典算法所遵循的理想属性。在本文中，我们提出了MICS，一种新的医学成像配准的深度学习算法。由于配准是一个不适定的问题，我们专注于我们的算法在不同的属性方面：逆一致性，对称性和方向守恒。我们还将我们的算法与多步策略相结合，以细化和改进变形网格。虽然许多方法将配准应用于脑部MRI，但我们探索了更具挑战性的身体定位：腹部CT。最后，我们在Learn2Reg挑战期间使用的数据集上评估了我们的方法，允许与已发布的方法进行公平比较。
2021-11-23 cs.AI cs.CV cs.LG
Efficient Training of Deep Equilibrium Models
Sony Europe B.V.（索尼欧洲公司）
针对 DEQ 反向传播需昂贵求解 Jacobian 方程的问题，本文复用前向传播中 Broyden 方法的 Jacobian 近似计算梯度，在不损失性能的前提下显著提升训练速度。
2023-04-23 cs.AI cs.LG
The Equilibrium Is the Initialization: Lazy Identity Collapse in Physics-Structured Deep Equilibrium Reasoning
Independent Researcher（独立研究者）
研究在两个推理任务中具有学习初始化的端口哈密顿深度平衡模型，发现隐式计算存在问题，求解平衡常等于起始点，迭代次数与难度无关，模型未超两层MLP，追溯机制到梯度饥饿，提炼四测试诊断协议。
2026-07-14 cs.AI cs.LG
Universal Consistency of Deep Convolutional Neural Networks
Xi’an Jiaotong University（西安交通大学）；City University of Hong Kong（香港城市大学）
与深度卷积神经网络（DCNN）在实际应用中的研究相比，其理论行为的研究相对滞后。特别是，DCNN的普遍一致性仍然是开放的。在本文中，我们证明了在DCNN上使用扩展卷积（带零填充）实现经验风险最小化是强普遍一致的。受普遍一致性的启发，我们进行了一系列实验，以证明在没有任何全连接层的情况下，具有扩展卷积的DCNN的性能并不比广泛使用的深度神经网络差，该深度神经网络具有包含收缩（无零填充）卷积层和几个全连接层的混合结构。
2021-06-23 cs.IT cs.LG math.IT
On the Importance of Consistency in Training Deep Neural Networks
University of Maryland（马里兰大学）；Arizona State University（亚利桑那州立大学）
我们解释了训练深度神经网络的困难来自于三个一致性问题的综合征。本文介绍了我们的努力，在他们的分析和治疗。第一个问题是不同层的训练速度不一致。我们建议用一种直观、易于实现、占用空间小的二阶方法来解决这个问题。第二个问题是层输入和层残差之间的尺度不一致。我们解释了二阶信息如何为消除这一障碍提供了有利的便利。第三个也是最具挑战性的问题是残差传播的不一致性。基于线性代数基本定理，给出了著名的梯度消失问题的数学刻画。从而为今后的优化设计和神经网络设计提供了重要的设计原则。最后，我们构建了一个新的收缩神经网络。
2017-08-02 cs.AI cs.CV cs.LG
Detecting Brittle Decisions for Free: Leveraging Margin Consistency in Deep Robust Classifiers
IID-Université Laval（拉瓦尔大学IID研究所）；Mila（米拉实验室）；CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）；I3S（信息、信号与智能系统实验室）；Maasai（Maasai研究所）
针对逐样本对抗脆弱性检测计算成本高的问题，提出边际一致性概念，证明其是用logit边际检测非鲁棒样本的充要条件，还通过伪边际解决一致性不足问题，实现高效脆弱决策检测。
2024-11-01 cs.AI cs.CV cs.LG
Deep End-to-End Survival Analysis with Temporal Consistency
EPFL（洛桑联邦理工学院）
本研究提出一种受深度Q网络启发、融入时间一致性的端到端深度生存分析算法，可处理大规模纵向数据，在长序列数据集上性能优于基准，且能提升训练稳定性。
2026-10-12 cs.LG
Envelope imbalanced ensemble model with deep sample learning and local-global structure consistency
School of Microelectronics and Communication Engineering, Chongqing University（重庆大学微电子与通信工程学院）
阶级不平衡的问题是重要的和具有挑战性的。包围法因其有效性而被广泛用于解决这一问题。然而，现有的集成方法都是对原始样本进行集成，而没有考虑原始样本之间的结构信息。这种局限性会阻碍不平衡学习的改善。此外，研究表明，样本间的结构信息包括局部结构信息和全局结构信息。在此基础上，提出了一种基于深度样本预包络网络（DSEN）和局部-全局结构一致性机制（LGSCM）的非平衡集成算法，该算法充分考虑了局部流形和全局结构信息，保证了高质量的深度包络样本，有利于非平衡学习。首先设计了深度样本包络预网络（DSEN）挖掘样本间的结构信息，然后设计了局部流形结构度量（LMSM）和全局结构分布度量（GSDM）构造LGSCM，以增强层间样本分布的一致性。然后，将DSEN和LGSCM放在一起以形成最终的深度样本包络网络（DSEN-LG）。然后，将基分类器分别应用于深层样本的各个层，最后，通过Bagging集成学习机制对基分类器的预测结果进行融合。为了证明所提出的方法的有效性，44个公共数据集和十多个代表性的相关算法进行了验证。实验结果表明，该算法明显优于其他非平衡集成算法。
2022-06-25 cs.LG
Deep equilibrium networks are sensitive to initialization statistics
Google Research（谷歌研究院）
深度平衡网络（DEQ）是一种很有前途的构建模型的方法，它可以在内存和计算之间进行权衡。然而，与传统网络相比，对这些模型的理论理解仍然缺乏，部分原因是重复应用了一组权重。我们发现，DEQs是敏感的矩阵家庭，他们被初始化的高阶统计。特别地，使用正交或对称矩阵初始化允许训练中的更大稳定性。这为我们提供了一个实用的初始化处方，允许使用更广泛的初始权重范围进行训练。
2022-07-19 cs.LG
Consistency regularization-based Deep Polynomial Chaos Neural Network Method for Reliability Analysis
College of Aerospace Science and Engineering, National University of Defense Technology（国防科技大学空天科学学院）；Defense Innovation Institute, Chinese Academy of Military Science（中国人民解放军军事科学院国防科技创新研究院）
多项式混沌展开（PCE）是一种基于代理模型的可靠性分析方法.对于一些复杂的非线性随机系统，通常需要一个具有较高展开阶的PCE模型来获得精确的代理模型。然而，高阶PCE增加了求解展开系数所需的标记数据的数量。针对这一问题，提出了一种基于一致性正则化的深度多项式混沌神经网络（Deep PCNN）方法，包括低阶自适应PCE模型（辅助模型）和高阶多项式混沌神经网络（主模型）。将主模型的展开系数参数化为多项式混沌神经网络的可学习权值，实现展开系数的迭代学习，获得更精确的高阶PCE模型。辅助模型使用所提出的一致性正则化损失函数来辅助训练主模型。基于一致性正则化的Deep PCNN方法可以通过使用少量的标记数据和大量的未标记数据，在不损失精度的情况下显著减少构建高阶PCE模型时的标记数据的数量。算例验证了基于一致性正则化的深度PCNN方法的有效性，并将该方法应用于两个航天工程系统的可靠性分析。
2022-04-04 cs.LG cs.SY eess.SY
Universal Consistency of Wide and Deep ReLU Neural Networks and Minimax Optimal Convergence Rates for Kolmogorov-Donoho Optimal Function Classes
本文证明了宽深ReLU神经网络分类器的普适一致性，给出其达到极小极大最优收敛速率的概率测度充分条件，框架涵盖更一般场景，且logistic损失下的分类器呈现良性过拟合行为。
2024-01-30 cs.LG stat.ML
Consistency Enhancement-Based Deep Multiview Clustering via Contrastive Learning
提出基于对比学习的一致性增强深度多视图聚类方法CCEC，通过引入语义连接块和谱聚类提升多视图特征与聚类表示的一致性，在五个数据集上优于SOTA方法。
2024-03-21 cs.CV cs.LG
The Deep Equilibrium Algorithmic Reasoner
University of Cambridge（剑桥大学）；MediaTek Research（联发科研究院）
针对神经算法推理依赖循环架构、需逐步对齐算法迭代的问题，本文提出直接求解均衡点来训练 GNN，并通过实验验证了该方法的有效性。
2024-04-09 cs.LG
A Critical Look at the Consistency of Causal Estimation With Deep Latent Variable Models
Aalto University（阿尔托大学）
在因果推理中使用深层潜变量模型最近引起了相当大的兴趣，但一个重要的悬而未决的问题是它们产生一致的因果估计的能力。虽然他们已经证明了有希望的结果和理论存在于一些简单的模型公式，我们也知道，因果效应甚至无法识别一般与潜变量。我们调查的理论和实证结果之间的差距与分析的考虑和广泛的实验下，多个合成和现实世界的数据集，使用因果效应变分自编码器（CEVAE）作为案例研究。虽然CEVAE似乎在一些简单的场景下可靠地工作，但它不能正确地估计潜在变量或复杂数据分布的因果效应，这与其原始动机相反。因此，我们的研究结果表明，应更加注意确保深潜变量模型的因果估计的正确性。
2022-01-24 cs.LG
Settling: Equilibrium Inference for Non-Convex Validity Sets
针对非凸有效集下条件均值坍缩问题，提出基于均衡的推断算子Settling，分离提议生成、一致性评估与均衡选择，在几何诊断中表现优于基线，成功率高达99/100。
2026-09-10 cs.LG
Deep Companion Learning: Enhancing Generalization Through Historical Consistency
Boston University（波士顿大学）
本文提出深度伴随学习（DCL）方法，通过训练深度伴随模型提供历史预测并惩罚不一致性来增强DNN泛化能力，在多个基准数据集和架构上取得SOTA表现。
2024-07-26 cs.CV cs.LG
Reversible Deep Equilibrium Models
Department of Mathematical Sciences, University of Bath（数学科学系，巴斯大学）
可逆深度均衡模型通过精确梯度计算提升语言建模和图像分类任务性能。
2025-12-03 cs.LG stat.ML
Global Convergence of Over-parameterized Deep Equilibrium Models
Peking University（北京大学）；Huazhong University of Science and Technology（华中科技大学）；Peng Cheng Laboratory（鹏城实验室）
深度均衡模型（DEQ）是通过一个无限深度的权重绑定模型的平衡点与输入注入隐式定义的。代替无限的计算，它直接用求根法求解平衡点，用隐式微分法计算梯度。在这项研究中，过参数DEQ的训练动力学进行了研究。通过对初始平衡点设定一个条件，证明了在训练过程中平衡点总是存在唯一的，并证明了对于二次损失函数，梯度下降以线性收敛速度收敛到全局最优解.为了表明所需的初始条件是满足通过温和的过参数化，我们进行了细粒度的分析随机DEQ。我们提出了一个新的概率框架，以克服技术上的困难，在无限深度的权重绑定模型的非渐近分析。
2023-03-29 cs.LG stat.ML
On the Universal Statistical Consistency of Expansive Hyperbolic Deep Convolutional Neural Networks
本文提出基于Poincaré Disc的Hyperbolic DCNN，分析非欧几里得域中的扩张卷积性质，提供其通用一致性的理论见解，实验证明其性能优于欧几里得架构。
2024-11-15 cs.LG stat.ML
Monocular Depth Estimation with Directional Consistency by Deep Networks
University of Applied Sciences Munich（慕尼黑应用科学大学）
随着处理能力变得越来越可用，越来越多的类人人工智能被创造出来，以解决我们天生擅长的图像处理任务。因此，我们提出了一个模型，估计从单目图像的深度。我们的方法利用了运动运动恢复结构和立体视差的组合。我们估计源图像与不同视点之间的姿态和密集深度图，并使用简单的变换来重建从所述视点看到的图像。然后，我们可以使用该视点处的真实图像作为监督来训练出模型。选择用于图像比较的度量采用标准L1和结构相似性以及深度图之间的一致性约束以及平滑度约束。我们发现，类似于人类的感知，利用两种不同方法提供的数据内的相关性，提高了准确性，并优于单个组件。
2019-05-11 cs.CV cs.LG
Generating equilibrium molecules with deep neural networks
Technische Universität Berlin（柏林工业大学）
发现具有理想性质的原子体系是化学和材料科学中的一个重大挑战。在这里，我们介绍了一种新的自回归卷积深度神经网络架构，它通过在三维空间中顺序放置原子来生成分子平衡结构。该模型用易于处理的条件概率估计了分子构型上的联合概率，条件概率仅取决于原子与其核电荷之间的距离。它将最先进的原子神经网络的概念与图像和语音的自回归生成模型相结合。我们证明，该架构是能够产生接近平衡的C $_7$ O $_2$ H $_{10}$的结构异构体的分子。
2018-10-26 cs.LG physics.chem-ph stat.ML
Global Convergence Rate of Deep Equilibrium Models with General Activations
University of Essex（埃塞克斯大学）
本文针对过参数化深度平衡模型（DEQ），将Ling等人关于ReLU激活的线性收敛结论扩展到任意具有有界一二阶导数的通用激活函数，通过构建新颖总体Gram矩阵和带埃尔米特多项式展开的对偶激活解决了非齐次激活下的特征值界定难题。
2025-02-13 cs.LG stat.ML
Harmonizing Feature Attributions Across Deep Learning Architectures: Enhancing Interpretability and Consistency
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；University of Oldenburg（奥尔登堡大学）
本文研究不同深度学习架构（如CNN和视觉Transformer）之间特征归因的泛化与协调，提出通过协调特征归因方法增强局部解释一致性，从而提升模型可解释性与可信度。
2023-07-25 cs.CV cs.LG
Deep Incentive Design with Differentiable Equilibrium Blocks
本文提出基于可微均衡块的深度激励设计框架，通过统一管道和DEB训练神经网络，解决多智能体交互中的激励设计问题，涵盖合同设计、机器调度和逆向均衡等任务。
2026-03-12 cs.GT cs.LG
Deep Incomplete Multi-view Clustering with Distribution Dual-Consistency Recovery Guidance
School of Computer, National University of Defense Technology（国防科技大学计算机学院）；Academy of Military Sciences（军事科学院）；Chinese PLA General Hospital（中国人民解放军总医院）
针对不完整多视图聚类中缺失视图恢复存在分布差异的问题，提出 BURG，通过跨视图分布迁移及邻居感知与原型一致性的双重对齐策略，提升缺失视图恢复和聚类性能。
2025-03-14 cs.CV cs.LG
Knowledge Consistency between Neural Networks and Beyond
Shanghai Jiao Tong University（上海交通大学）；Huawei Technologies（华为技术有限公司）
本文旨在分析预训练的深度神经网络之间的知识一致性。我们提出了一个通用的定义神经网络之间的知识一致性在不同的模糊层次。设计了一种任务无关的方法，从每个神经网络的原始中间层特征中分离出代表一致性知识的特征分量。作为一个通用的工具，我们的方法可以广泛地用于不同的应用。在初步实验中，我们使用知识一致性作为工具来诊断神经网络的表示。知识一致性为解释现有深度学习技术的成功提供了新的见解，例如知识蒸馏和网络压缩。更重要的是，知识一致性也可以用来改进预先训练的网络并提高性能。
2020-01-14 cs.CV cs.LG stat.ML
Boltzmann Generators -- Sampling Equilibrium States of Many-Body Systems with Deep Learning
FU Berlin（柏林自由大学）；Rice University（莱斯大学）；Tongji University（同济大学）
计算凝聚态多体系统（如溶剂化蛋白质）的平衡态是一个长期存在的挑战。由于缺乏用于在“一次性”中生成统计上独立的平衡样本的方法，大量的计算工作被投入用于在小步骤中模拟这些系统，例如，使用分子动力学。结合深度学习和统计力学，我们在这里开发了玻尔兹曼发生器，它被证明可以生成代表性凝聚态系统和蛋白质的无偏一次性平衡样本。玻尔兹曼发生器使用神经网络来学习复杂构型平衡分布到可以容易地采样的分布的坐标变换。自由能差的精确计算和新的配置的发现被证明，提供了一个统计力学工具，可以避免罕见的事件在采样过程中没有反应坐标的先验知识。
2019-07-12 cond-mat.stat-mech cs.LG physics.chem-ph
Deep Equilibrium Models
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）；Intel Labs（英特尔研究院）
我们提出了一种新的方法来建模序列数据：深度均衡模型（DEQ）。出于观察到许多现有的深层序列模型的隐藏层收敛到一些固定点，我们提出了DEQ方法，直接找到这些平衡点，通过寻根。这种方法相当于运行一个无限深度（权重绑定）的前馈网络，但具有显着的优势，我们可以使用隐式微分分析反向传播通过平衡点。使用这种方法，这些网络中的训练和预测只需要恒定的内存，而不管网络的有效“深度”如何。我们演示了DEQs如何应用于两个最先进的深度序列模型：自注意Transformers和网格网络。在大规模语言建模任务中，例如WikiText-103基准测试，我们表明DEQs 1）通常可以提高这些最先进的模型的性能（对于类似的参数计数）; 2）与现有模型具有类似的计算要求; 3）极大地减少内存消耗（通常是训练大型序列模型的瓶颈），在我们的实验中显示了高达88%的内存减少。该代码可在https://github.com/locuslab/deq上获得。
2019-10-28 cs.LG stat.ML
Solving Differential Equations using Physics-Informed Deep Equilibrium Models
Federal University of Santa Catarina（圣卡塔琳娜联邦大学）
本文提出物理信息深度均衡模型（PIDEQs），融合深度均衡模型的隐式输出表示与物理信息训练技术，用于高效求解常微分方程初值问题，并以 Van der Pol 振荡器验证其有效性。
2024-06-28 cs.LG cs.SY eess.SY
Deep Equilibrium Algorithmic Reasoning
University of Cambridge（剑桥大学）；MediaTek Research（联发科研究院）
本文提出用深度均衡视角替代循环架构执行神经算法推理，通过直接求解均衡方程免去对算法真实步数的依赖，并在CLRS-30基准上验证了其性能提升与加速潜力。
2024-10-19 cs.LG
Deep equilibrium models as estimators for continuous latent variables
Data61, CSIRO（联邦科学与工业研究组织数据61研究所）；Australian National University（澳大利亚国立大学）
主成分分析（PCA）及其指数族扩展有三个组成部分：观测值，潜在值和线性变换的参数。我们考虑一个广义的设置，其中的典型参数的指数家庭是一个非线性变换的潜伏期。我们显示特定的神经网络架构和相应的统计模型之间的显式关系。我们发现，深层平衡模型-最近推出的一类隐式神经网络-解决最大后验概率（MAP）估计的潜在的和参数的转换。我们的分析提供了一个系统的方法来关联激活函数，辍学，和层结构，统计假设的意见，从而提供了无监督DEQ的基本原则。对于分层潜伏期，单个神经元可以被解释为深度图形模型中的节点。我们的DEQ特征图是端到端可区分的，可以为下游任务进行微调。
2022-11-11 cs.LG stat.ML
Consistent Sparse Deep Learning: Theory and Computation
Purdue University（普渡大学）
深度学习一直是推动数据科学取得许多成功的引擎。然而，深度神经网络（DNN）作为深度学习的基础模型，往往过度参数化，造成训练、预测和解释的诸多困难。我们提出了一种学习稀疏DNN的类频率论方法，并在贝叶斯框架下证明了其一致性：所提出的方法可以学习最多$O(n/\log(n))$连接的稀疏DNN，并具有良好的理论保证，如后验一致性，变量选择一致性和渐近最优泛化界。特别是，我们建立后验一致性的稀疏DNN与混合高斯先验，表明稀疏DNN的结构可以一致地确定使用基于拉普拉斯近似的边缘后验包含概率的方法，并使用贝叶斯证据，以引起稀疏DNN的学习优化方法，如随机梯度下降在多个运行不同的初始化。对于大规模稀疏DNN，所提出的方法在计算上比标准贝叶斯方法更有效。数值结果表明，该方法在大规模网络压缩和高维非线性变量选择方面都有很好的表现，都推进了可解释的机器学习.
2021-03-08 cs.LG stat.ML
Lipschitz Multiscale Deep Equilibrium Models: A Theoretically Guaranteed and Accelerated Approach
Meiji University（东邦大学）
本研究提出一种理论保证且加速的Lipschitz多尺度深度均衡模型，通过重构架构实现固定点收敛，提升训练和推理效率。
2026-02-03 cs.LG
Deep semi-supervised approach based on consistency regularization and similarity learning for weeds classification
PRISME EA 4229 INSA CVL；LIFAT EA 6300 Université Tours；PRISME EA 4229 Université d’Orleans
针对杂草分类中标注数据稀缺问题，提出结合一致性正则化与相似性学习的深度半监督方法，在DeepWeeds数据集上验证了其优于全监督模型的鲁棒性与有效性。
2025-10-12 cs.CV cs.LG
Consistency Training of Multi-exit Architectures for Sensor Data
Eindhoven University of Technology（埃因霍温理工大学）
近年来，随着对用于推理的计算资源的需求的增加，深度神经网络已经变得更大;导致成本加剧，并且几乎没有空间用于在具有有限电池和用于实时应用的其他资源的设备上进行部署。多出口架构是一种深度神经网络，在模型的不同深度处与多个输出（或出口）层交织。它们提供了一种合理的方法，通过从早期退出产生预测来改善运行模型的计算时间和能量利用率。在这项工作中，我们提出了一种新的和架构不可知的方法，用于多出口架构的鲁棒训练，称为一致的出口训练。该方法的关键在于一个基于一致性的目标，以加强对清洁和扰动输入的预测不变性。我们利用弱监督来调整模型输出与一致性训练，并在网络出口上以多任务学习方式联合优化双重损失。我们的技术使出口层在面临越来越多的不确定性时能够更好地泛化，从而实现卓越的质量效率权衡。我们通过对涉及传感器数据的具有挑战性的学习任务的广泛评估证明，我们的方法允许示例以更好的检测率更早地退出，而无需执行深度模型中的所有层。
2021-09-27 cs.LG
DDEQs: Distributional Deep Equilibrium Models through Wasserstein Gradient Flows
Harvard University（哈佛大学）；CREST；ENSAE（法国国家统计与经济行政学院）；IP Paris（巴黎理工学院）
本研究提出分布型深度平衡模型DDEQs，基于Wasserstein梯度流将DEQ拓展至离散测度输入场景，推导适配架构，在点云相关任务中性能达SOTA且参数效率显著提升。
2025-03-23 cs.LG stat.ML
TorchDEQ: A Library for Deep Equilibrium Models
CMU（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）
本文提出基于PyTorch的TorchDEQ库，统一深度均衡模型的定义、训练与推理，并构建DEQ Zoo，在十个数据集上显著提升六个隐式模型的性能、训练稳定性与效率。
2023-10-28 cs.LG
Optimization Induced Equilibrium Networks
Peking University（北京大学）；Pazhou Lab（琶洲实验室）；Swiss Federal Institute of Technology（瑞士联邦理工学院）；Nanjing University of Information Science & Technology（南京信息工程大学）
隐含均衡模型，即，由隐式方程定义的深度神经网络（DNN）近年来受到越来越多的关注。在本文中，我们研究了一个新出现的问题：一个隐式均衡模型的平衡点可以被看作是一个最优化问题的解决方案？为此，我们首先将DNN分解为一类新的单位层，它是隐凸函数的近似算子，同时保持其输出不变。在此基础上，建立了单元层的均衡模型，称为优化诱导均衡网络（OptEq），该模型易于推广到深层。OptEq的平衡点理论上可以与其相应的具有显式目标的凸优化问题的解相联系。在此基础上，我们可以灵活地将先验性质引入到平衡点中：1）显式地修改底层凸问题，从而改变OptEq的结构; 2）将信息合并到不动点迭代中，保证在不动点集为非单点时选择所需的平衡点。我们表明，深OptEq优于以前的隐式模型，即使参数较少。这项工作为深度模型的优化指导设计迈出了第一步。
2021-06-07 cs.LG cs.NE
Sublinearly Structured Deep Neural Networks Achieve Feature Learning Consistency for Compositional Functions
Ewha Womans University（东亚大学）；New Jersey Institute of Technology（新泽西理工学院）；Purdue University（普渡大学）
针对亚线性结构化DNN（输入/输出维度和隐层神经元数随样本量亚线性增长），证明了学习层次组合函数时的特征学习一致性，并在过参数化下仍成立；实验表明其预测性能不逊于宽网络，且常用CNN（如AlexNet）具有亚线性结构。
2026-06-23 cs.LG math.ST stat.ML
Equivariant Deep Equilibrium Models for Imaging Inverse Problems
本文提出等变深度均衡模型用于解决成像反问题，通过模块化回传播简化训练，并展示其在信号重建中的优越性能。
2025-11-24 cs.LG eess.IV eess.SP
Unraveling the Truth: Do VLMs really Understand Charts? A Deep Dive into Consistency and Robustness
IIIT Hyderabad（印度信息技术学院海得拉巴分校）；Adobe Research（奥多比研究院）；Arizona State University（亚利桑那州立大学）；University of Pennsylvania（宾夕法尼亚大学）
本研究针对当前视觉语言模型（VLM）在图表问答领域鲁棒性与一致性研究不足的问题，通过自建综合数据集评估前沿VLM的复杂度应对能力与跨视觉呈现鲁棒性，揭示模型局限并指明未来研究方向。
2024-10-04 cs.AI cs.CL cs.CV
Consistency of Feature Attribution in Deep Learning Architectures for Multi-Omics
Pacific Northwest National Laboratory（太平洋西北国家实验室）
该研究针对多组学多视图深度学习模型的特征归因一致性问题，通过实验发现SHAP特征排名受架构和权重初始化影响，提出了评估重要生物分子识别鲁棒性的替代方法。
2025-07-30 cs.LG stat.ML
Multiscale Deep Equilibrium Models
Carnegie Mellon University（卡内基梅隆大学）；Intel Labs（英特尔实验室）；Bosch Center for AI（博世人工智能中心）
我们提出了一类新的隐式网络，多尺度深度平衡模型（MDEQ），适合于大规模和高度层次的模式识别领域。MDEQ直接求解并同时反向传播通过多个特征分辨率的平衡点，使用隐式微分来避免存储中间状态（因此仅需要$O(1)$内存消耗）。这些精心学习的多分辨率特征使我们能够在不同的任务和损失函数集合上训练单个模型，例如使用单个MDEQ来执行图像分类和语义分割。我们在两个大规模视觉任务上说明了这种方法的有效性：来自Cityscapes数据集的高分辨率图像上的ImageNet分类和语义分割。在这两种情况下，MDEQ都能够匹配或超过最近竞争性计算机视觉模型的性能：这是第一次通过隐式深度学习方法实现这样的性能和规模。代码和预训练模型在https://github.com/locuslab/mdeq上。
2020-11-24 cs.CV cs.LG stat.ML
Deep Fictitious Play for Finding Markovian Nash Equilibrium in Multi-Agent Games
Princeton University（普林斯顿大学）；Columbia University（哥伦比亚大学）
我们提出了一种基于深度神经网络的算法来识别一般大型$N$ -玩家随机微分对策的马尔可夫纳什均衡。根据虚拟游戏的思想，我们将$N$ -玩家游戏转换为$N$解耦的判定问题（每个玩家一个）并迭代求解。个人判定问题的特点是一个半线性Hamilton-Jacobi-Bellman方程，我们采用最近发展的深度Boundary方法来解决。由此产生的算法可以解决大型$N$玩家的游戏，传统的数值方法将遭受灾难的维数。多个数值例子涉及相同或异构代理，风险中性或风险敏感的目标，进行测试，以验证所提出的算法在大型群体游戏的准确性。即使是一个50人的游戏存在共同的噪音，该算法仍然找到近似的纳什均衡准确，这是据我们所知，很难实现的其他数值算法。
2020-06-05 cs.GT cs.LG math.OC
Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；Unité Mixte de Physique（联合物理实验室）；Thales（泰雷兹集团）；Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；Canadian Institute for Advanced Research（加拿大高等研究院）；Google（谷歌）
平衡传播（EP）是一种受生物启发的反向传播时间（BPTT），由于其强大的理论保证和学习规则的空间局部性，促进了专用于学习的节能硬件的设计。然而，在实践中，EP并没有比MNIST更难扩展到视觉任务。在这项工作中，我们证明了EP的梯度估计中的偏差，这是使用有限轻推所固有的，是造成这种现象的原因，并且取消它允许通过EP训练深度ConvNets，包括具有不同的前向和后向连接的架构。这些结果突出了EP作为一种可扩展的方法来计算深度神经网络中的误差梯度，从而激励其硬件实现。
2021-01-14 cs.LG cs.NE
Imitation and Adaptation Based on Consistency: A Quadruped Robot Imitates Animals from Videos Using Deep Reinforcement Learning
Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所）；Institutes for Robotics and Intelligent Manufacturing, Chinese Academy of Sciences（中国科学院机器人与智能制造创新研究院）；Westlake University（西湖大学）；University of Chinese Academy of Sciences（中国科学院大学）
四足动物动作的实质是重心的移动，重心的移动在四足动物的动作中具有一定的规律性。然而，四足机器人的步态运动规划是耗时的。自然界中的动物可以提供大量的步态信息供机器人学习和模仿。常见的方法是通过动作捕捉系统或大量的动作数据点来学习动物的姿势。在本文中，我们提出了一个视频模仿自适应网络（VIAN），可以模仿动物的动作，并适应它的机器人从几秒钟的视频。深度学习模型从视频中提取动物运动过程中的关键点。VIAN利用运动适配器消除噪声并提取运动的关键信息，然后将提取的运动函数作为运动模式应用于深度强化学习（DRL）。为了确保学习结果与视频中的动物运动之间的相似性，我们引入了基于运动一致性的奖励。DRL从视频中的运动模式中探索和学习保持平衡，模仿动物的动作，最终允许模型从不同动物的短运动视频中学习步态或技能，并将运动模式转移到真实的机器人上。
2022-03-02 cs.LG cs.RO
Closed-Loop Transformers: Autoregressive Modeling as Iterative Latent Equilibrium
University of Tartu（塔尔图大学）；S Holding OÜ（3S控股公司）
本文提出均衡变换器（EqT），通过迭代细化潜在表示实现自洽均衡，解决自回归模型中错误传播问题，提升长序列推理和多步规划能力。
2025-11-26 cs.CV cs.LG
FlowMoDL: Model-Based Deep Learning with Conjugate-Gradient Data Consistency for Highly Accelerated 4D Flow MRI Reconstruction
Leibniz University Hannover（莱布尼茨汉诺威大学）；Friedrich-Alexander-Universität Erlangen-Nürnberg（弗里德里希-亚历山大-埃尔兰根-纽伦堡大学）；University Medical Center of the Johannes Gutenberg University Mainz（美因茨约翰内斯·古腾堡大学医学中心）；L3S（L3S研究所）；CAIMED（CAIMED机构）；Institute of Information Processing (tnt)（信息处理研究所（tnt））；Institute of Medical Biostatistics, Epidemiology and Informatics（医学生物统计学、流行病学与信息学研究所）
FlowMoDL是基于MoDL框架的展开式神经网络，采用双通路条件方案，在多中心CMRx4DFlow数据集上，于10×至50×加速因子下，其梯度步骤效率更优，重建性能优于CG-SENSE等基线方法。
2026-08-27 cs.CV cs.LG
DEFlow: Deep Equilibrium Flow Maximum-Entropy Reinforcement Learning
Tsinghua University（清华大学）；Peng Cheng Laboratory（鹏城实验室）
该研究提出DEFlow深度均衡流策略，结合隐式欧拉积分与隐式微分等技术，在多目标对接、操纵等强化学习任务中提升了性能，为兼具多样性与精度的任务提供了有效方案。
2026-10-15 cs.LG cs.RO
Large-Scale Contextual Market Equilibrium Computation through Deep Learning
PKU-WUHAN Institute for Artificial Intelligence（北京大学武汉研究院）；CFCS, School of Computer Science, Peking University（计算机科学系，北京大学）；Yuanpei College, Peking University（北京大学元培学院）；School of Computer Science, Wuhan University（武汉大学计算机科学系）；CMAR, Institute for AI, Peking University（人工智能研究院，北京大学）
针对大规模买家情境市场均衡计算难题，提出深度学习模型MarketFCNet，以神经网络参数化分配并采用无偏损失估计优化，用Nash Gap评估，在扩展市场时性能有竞争力且运行时间显著降低。
2025-04-21 cs.CE cs.GT cs.LG
Lightweight and Flexible Deep Equilibrium Learning for CSI Feedback in FDD Massive MIMO
The Hong Kong University of Science and Technology（香港科技大学）；City University of Hong Kong（香港城市大学）
针对FDD大规模MIMO的CSI反馈开销问题，提出基于深度均衡模型的隐式定点迭代轻量网络，支持参数共享与运行时迭代数调整，以更低复杂度实现与基准相当的性能及灵活的精度—效率权衡。
2023-06-05 cs.IT cs.LG eess.SP
Deep Equilibrium Models Meet Federated Learning
University of Patras（帕特雷大学）；Ionian University（爱奥尼亚大学）
本文首次将深度均衡模型引入联邦学习，以降低通信开销并支持异构边缘设备，同时提出加权平均融合规则，初步实验验证了其有效性。
2023-05-29 cs.DC cs.LG
Deep autofocus with cone-beam CT consistency constraint
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Siemens Healthcare GmbH（西门子医疗有限公司）；University Hospital Basel（巴塞尔大学医院）
介入C臂锥形束计算机断层扫描（CBCT）的高质量重建需要精确的几何信息。如果几何信息被损坏，例如。例如，在一个实施例中，由于意外的患者或系统移动，测量的信号在反向投影操作中错位。随着介入C形臂CBCT采集时间的延长，患者僵硬运动的可能性增加。为了相应地调整反投影操作，运动估计策略是必要的。最近，提出了一种新的基于学习的方法，能够补偿采集平面内的运动。我们通过CBCT一致性约束扩展了该方法，该约束被证明对于垂直于采集平面的运动是有效的。通过这两种措施的协同组合，平面内和平面外运动可以很好地检测到，实现了93%的平均伪影抑制。这优于基于熵的最先进的自动对焦措施，平均达到54%的伪影抑制。
2019-12-04 cs.CV cs.LG eess.IV
A Consistency-Based Loss for Deep Odometry Through Uncertainty Propagation
K. N. Toosi University of Technology（K.N.托西工业大学）；University of Tehran（德黑兰大学）
通过测距法计算的增量姿态可以随时间积分以计算设备相对于初始位置的姿态。所得到的全局姿态可以用于在深度测距设置中制定第二基于一致性的损失项。在这种情况下，多个损失施加在网络上，每个输出的不确定性可以推导出来，以权衡最大似然设置中的不同损失项。然而，当对集成变换施加约束时，由于在算法的每次迭代中如何仅估计里程，因此没有关于与全局姿态相关联的不确定性的信息来加权全局损失项。在本文中，我们将不确定性与深度里程计网络的输出姿势相关联，并通过每次迭代传播不确定性。我们的目标是在每个增量步骤使用估计的协方差矩阵来加权相应步骤的损失，同时使用复合不确定性来加权全局损失项。这一公式提供了一种自适应的方法来权衡增量和综合损失项，注意到随着新的估计数的到来，不确定性会增加。我们提供了定量和定性分析的姿态估计，并表明我们的方法超越了最先进的视觉里程计方法的准确性。然后，评估不确定性估计，并与固定基线进行比较。最后，通过一个实际算例，验证了定位不确定性量化的有效性。
2021-07-01 cs.LG cs.RO
