A Review of Meta-Reinforcement Learning for Deep Neural Networks Architecture Search
Université de Strasbourg（斯特拉斯堡大学）；Segula Technologies（塞古拉科技公司）；ENIT（突尼斯国家工程学院）
深度神经网络是高效且灵活的模型，其对于诸如图像、语音识别和自然语言理解之类的各种任务表现良好。特别是，卷积神经网络（CNN）在计算机视觉，更具体地说在分类任务中引起了研究人员的浓厚兴趣。CNN架构和相关的超参数通常与所处理的任务的性质相关，因为网络提取允许最佳收敛的复杂且相关的特征。设计这样的架构需要大量的人类专业知识，大量的计算时间，并不总是导致最佳的网络。模型配置问题在机器学习中得到了广泛的研究，但没有标准的自动化方法。本次调查的重点是审查和讨论自动化CNN架构搜索的当前进展。
2018-12-17 cs.AI cs.LG
Neural Architecture Search for Generative Adversarial Networks: A Comprehensive Review and Critical Analysis
本文综述了NAS在GAN中的应用，分类比较不同搜索策略与评估指标，指出进化算法和梯度方法的优势，强调稳健评估指标和多样化数据集的重要性。
2026-06-26 cs.AI cs.LG
From Cognition to Computation: A Comparative Review of Human Attention and Transformer Architectures
UCLA（加利福尼亚大学洛杉矶分校）
本文从认知—功能视角比较人类注意力与 Transformer 的注意力机制，剖析二者在容量约束、通路和意图机制上的差异，并指出跨学科借鉴对通用人工智能的意义。
2024-04-25 cs.AI cs.LG q-bio.OT
A Letter on Convergence of In-Parameter-Linear Nonlinear Neural Architectures with Gradient Learnings
University of South Bohemia in Ceske Budejovice（南波西米亚大学）；Czech Technical University in Prague（布拉格捷克理工大学）；Tohoku University（东北大学）
这封信总结并证明了有界输入有界状态（BIBS）稳定性的概念的权重收敛的一个广泛的家庭在参数线性非线性神经架构，因为它通常适用于一个广泛的家庭的增量梯度学习算法。一个实用的BIBS收敛条件的结果，从每个单独的学习点或批次的实时应用程序派生的证明。
2021-11-25 cs.LG cs.NE math.DS
Convergence of backpropagation with momentum for network architectures with skip connections
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
我们研究了一类深度神经网络，其网络形成有向无环图（DAG）。对于自适应动量梯度下降定义的反向传播，我们证明了一个大类的非线性激活函数的权重收敛。该证明推广了Wu等人（2008）的结果，他们证明了具有一个隐藏层的前馈网络的收敛性。对于DAG架构的有效性的一个例子，我们描述了一个例子，通过自动编码器压缩，并比较顺序前馈网络下的几个指标。
2020-01-19 cs.CV cs.LG
TriAdReview: Triangular Adversarial Review Architecture for Multi-Model Technical Document Generation
Hunan Chemical Industry Vocational and Technical College（湖南化工职业技术学院）
提出TriAdReview三角对抗审查架构，使用两个独立审查模型和三角判断机制迭代改进生成器输出，在五个基准任务上相比单模型基线提升10.1%，但发现对抗审查在完整性任务上存在结构偏差。
2026-06-16 cs.LG
Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis
University of Texas at Austin（德克萨斯大学奥斯汀分校）；RIKEN AIP（理化学研究所先进智能项目中心）；Princeton University（普林斯顿大学）
由人类或AutoML算法设计的高级深度神经网络（DNN）正变得越来越复杂。不同的操作通过复杂的连接模式连接，例如，各种类型的跳过连接。这些拓扑组合在经验上是有效的，并且被观察到平滑损失景观并促进一般的梯度流。然而，对于它们对DNN容量或可训练性的影响的任何原则性理解，以及理解为什么或在哪个方面一个特定的连接模式比另一个更好，仍然是难以捉摸的。在这项工作中，我们从理论上描述了连接模式对细粒度梯度下降训练下DNN收敛的影响。通过分析广域网络的神经网络高斯过程（NNGP），我们能够描述NNGP内核的频谱如何通过特定的连接模式传播，以及如何影响收敛速率的范围。作为我们的结果的一个实际含义，我们表明，通过对“不希望”的连接模式进行简单的过滤，我们可以削减要评估的模型的数量，并显着加快大规模神经架构搜索，而无需任何开销。代码可从以下网址获得：https://github.com/VITA-Group/architecture_convergence。
2022-10-12 cs.LG
Faster Convergence for Transformer Fine-tuning with Line Search Methods
University Bielefeld（比勒费尔德大学）；RWTH Aachen University（亚琛工业大学）
本研究将Armijo线搜索与Adam优化器结合并应用于Transformer微调，通过在网络局部单元分别执行线搜索，在小型数据集或小预算下显著优于传统Adam，并提供了一个无需超参数的PyTorch优化器。
2024-03-27 cs.AI cs.LG
Distributed Learning with Selective State Space Models: Architecture-Aware Convergence Analysis
Purdue University（普渡大学）；IBM Research（IBM研究院）
针对现代选择性状态空间模型（如Mamba2）在联邦学习中的架构无关问题，推导架构感知的梯度和收敛界，并通过数值验证及九种算法在六个文本域上的实验，揭示稳定性、离散化与投影范数对联邦优化的影响。
2026-10-07 cs.AI cs.LG math.OC
Transformers-based architectures for stroke segmentation: A review
Qatar University（卡塔尔大学）；University of Hyogo（兵库县大学）
本文系统综述了基于Transformer架构的脑卒中分割方法，涵盖病理与成像挑战、Transformer核心机制、现有方法分类评估及其优缺点，并展望未来研究方向。
2024-03-27 cs.CV cs.LG eess.IV
Systematic Characterization of Minimal Deep Learning Architectures: A Unified Analysis of Convergence, Pruning, and Quantization
School of Computing, Newcastle University（新castle大学计算机学院）；VSB-Technical University of Ostrava（奥斯特拉瓦技术大学）；Queen Mary University of London（伦敦女王玛丽大学）；University of Florida（佛罗里达大学）；University of Catania（卡塔尼亚大学）
本文通过系统分析深度学习架构的收敛性、剪枝和量化特性，揭示了最小可学习参数与模型稳定性之间的关系，为图像分类任务中的紧凑模型设计提供了指导。
2026-01-25 cs.CV cs.LG
Memory-Augmented Transformers: A Systematic Review from Neuroscience Principles to Enhanced Model Architectures
Huawei Technologies Canada（华为加拿大技术有限公司）；Huawei Technologies Switzerland（华为瑞士技术有限公司）
本文从神经科学原理出发系统综述记忆增强Transformer，提出功能目标、记忆表征和整合机制三维分类框架，分析核心记忆操作的演进趋势，并指出可扩展性与干扰等挑战及分层缓冲、惊讶门控更新等解决方案，为终身学习架构提供路线图。
2025-08-16 cs.CL cs.LG
GuavaNet: A deep neural network architecture for automatic sensory evaluation to predict degree of acceptability for Guava by a consumer
Rochester Institute of Technology（罗切斯特理工学院）
本论文分为两个部分：第一部分：基于计算机视觉和深度学习的图像处理的水果、蔬菜、奶酪和鱼分析：综述。它包括一个全面的审查图像处理，计算机视觉和深度学习技术应用于进行水果，蔬菜，奶酪和鱼的分析。这一部分也作为第二部分的文献综述。第二部分：GuavaNet：一个深神经网络架构的自动感官评价，以预测消费者对番石榴的接受程度。这一部分介绍了一个端到端的深度神经网络架构，可以预测的程度，由消费者的番石榴感官评价的基础上。
2021-07-05 cs.CV cs.LG eess.IV
Convergence of Gradient Descent for General Neural Network Architectures Beyond the NTK Regime
Johns Hopkins University（约翰霍普金斯大学）
提出一个分析梯度下降动力学的收敛框架，适用于广泛神经网络架构和数据集，证明在温和假设下梯度下降几乎必然收敛到驻点邻域，并给出学习率缩放规律。
2026-06-23 cs.LG math.DS math.OC
Intelligent Offloading in Vehicular Edge Computing: A Comprehensive Review of Deep Reinforcement Learning Approaches and Architectures
Department of Electrical and Computer Engineering, University of Windsor（滑铁卢大学电气与计算机工程系）
本文综述了基于深度强化学习的车辆边缘计算卸载方法，分类比较了学习范式、系统架构和优化目标，并分析了马尔可夫决策过程的应用及未来研究方向。
2026-05-25 cs.AI cs.DC cs.LG
Document Automation Architectures and Technologies: A Survey
Wells Fargo（富国银行）
本文综述了文档自动化（DA）的现状。DA的目标是通过自动整合来自不同来源的输入并根据定义的模板组装文档来减少生成文档期间的手动工作。有评论的商业解决方案的DA，特别是在法律领域，但迄今为止，还没有全面的学术研究DA架构和技术的审查。当前的DA调查回顾了学术文献，并提供了DA及其特征的更清晰的定义和表征，确定了学术研究中最先进的DA架构和技术，并根据人工智能和深度神经网络的最新进展，提供了可以在DA领域带来新研究机会的想法。
2021-09-23 cs.CL cs.LG
Multimedia-Aware Question Answering: A Review of Retrieval and Cross-Modal Reasoning Architectures
Carnegie Mellon University（卡内基梅隆大学）；Boston University（波士顿大学）
本综述回顾了集成多媒体检索的问答系统，按检索、融合和生成策略分类，分析基准与挑战，并展望未来方向。
2025-10-23 cs.CL cs.CV cs.IR
From DNNs to GANs: Review of efficient hardware architectures for deep learning
Indian Institute of Technology Bhubaneswar（印度理工学院布巴内斯瓦尔分校）
近年来，超大规模集成（VLSI）工业的发展趋势是多方面的，例如，降低能耗、占用更少的空间、精确的结果、更少的功耗、更快的响应。为了满足这些需求，硬件架构应该是可靠的和鲁棒的这些问题。最近，神经网络和深度学习已经开始对目前的研究范式产生重大影响，这些研究范式包括数百万的参数，用于激活的非线性函数，用于特征提取的卷积运算，用于分类的回归，生成对抗网络。这些操作涉及巨大的计算和内存开销。目前可用的DSP处理器不能执行这些操作，并且它们大多面临诸如存储器开销、性能下降和精度受损的问题。此外，如果使用并行计算为巨大的硅区域供电以加速操作，则IC将由于大量产生的热量而有很大的烧毁机会。因此，新的暗硅约束的开发，以减少散热而不牺牲精度。类似地，不同的算法已经被适配为设计与神经网络、激活函数、卷积神经网络和生成对抗网络中的快速性能兼容的DSP处理器。在这篇综述中，我们说明了硬件的最新发展，以加速深度学习网络的有效实施，提高性能。在这篇评论中调查的技术，预计将指导未来的研究挑战的高性能计算的硬件优化。
2021-06-06 cs.AR cs.LG
Temporal Anchoring in Deepening Embedding Spaces: Event-Indexed Projections, Drift, Convergence, and an Internal Computational Architecture
Lightcap Institute（Lightcap研究所）；Bahcesehir University（巴切塞希尔大学）
本文提出一个用于嵌入空间时间锚定的算子理论框架，通过漂移映射与事件索引块交织构建模型，并证明了变块收缩引理、漂移-投影收敛定理及有限运行等价定理。
2025-08-13 cs.LG math.FA math.OC
Convergence Theory for Iterative LLM-Based Neural Architecture Search: A Parametric Cross-Entropy Framework with Closed-Form Proxy Reliability
Computer Vision Lab, CAIDAS & IFI, University of Würzburg, Germany（计算机视觉实验室，CAIDAS与IFI，乌尔姆大学，德国）
将迭代式LLM-NAS建模为参数化交叉熵方法，证明了收敛性、精英集概率几何收敛、增量生成有效性、MinHash-Jaccard去重防止模式崩溃以及代理可靠性闭式公式，并通过实验验证了理论预测。
2026-05-28 cs.LG
On Random Kernels of Residual Architectures
Facebook AI Research (FAIR)（脸书人工智能研究实验室）
我们推导出ResNets和DenseNets的神经切线核（NTK）的有限宽度和深度校正。我们的分析表明，有限大小的残差架构的初始化更接近“内核制度”比他们的香草同行：而在不使用跳过连接的网络，收敛到NTK需要一个固定的深度，同时增加层的宽度。我们的研究结果表明，在ResNets中，如果有适当的初始化，当深度和宽度同时趋于无穷大时，可能会收敛到NTK。然而，在DenseNets中，当宽度趋于无穷大时，NTK收敛到其极限是有保证的，其收敛速度与权重的深度和规模无关。我们的实验验证了理论结果，并证明了深度ResNets和DenseNets在具有随机梯度特征的核回归中的优势。
2020-06-17 cs.LG stat.ML
Global Convergence of MAML and Theory-Inspired Neural Architecture Search for Few-Shot Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
与模型无关的元学习（MAML）及其变体已经成为少样本学习的流行方法。然而，由于深度神经网络（DNN）的非凸性和MAML的双层公式，带有DNN的MAML的理论特性在很大程度上仍然未知。在本文中，我们首先证明了具有过参数化DNN的MAML保证以线性速度收敛到全局最优解。我们的收敛性分析表明，具有过参数化DNN的MAML等价于具有一类新内核的内核回归，我们将其命名为Meta神经切线核（MetaNTK）。然后，我们提出了MetaNTK-NAS，一个新的训练免费的神经架构搜索（NAS）方法的少样本学习，使用MetaNTK排名和选择架构。从经验上讲，我们在两个流行的少样本学习基准测试miniImageNet和tieredImageNet上将MetaNTK-NAS与以前的NAS方法进行了比较。我们表明，MetaNTK-NAS的性能与为少样本学习设计的最先进的NAS方法相当或更好，同时享受超过100倍的加速。我们相信MetaNTK-NAS的效率使其在许多现实任务中更加实用。
2022-03-17 cs.CV cs.LG stat.ML
Understanding Architectures Learnt by Cell-based Neural Architecture Search
School of Computing（计算学院）；National University of Singapore（新加坡国立大学）
神经架构搜索（NAS）自动搜索给定任务的架构，例如，图像分类和语言建模。近年来，提高搜索效率和有效性越来越受到人们的关注。然而，很少有人致力于理解生成的架构。在本文中，我们首先揭示了现有的NAS算法（例如，DARTS、ENAS）倾向于支持具有宽且浅的单元结构的架构。这些有利的架构一致地实现快速收敛，因此被NAS算法选择。我们的实证和理论研究进一步证实了他们的快速收敛来自于他们的光滑损失景观和准确的梯度信息。尽管如此，这些架构可能不一定导致更好的泛化性能相比，在相同的搜索空间中的其他候选架构，因此进一步的改进是可能的，通过修改现有的NAS算法。
2020-01-01 cs.CV cs.LG stat.ML
Convergence beyond the over-parameterized regime using Rayleigh quotients
INRIA（法国国家信息与自动化研究所）；École Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
在本文中，我们提出了一种新的策略，通过梯度流来证明深度学习架构收敛到零训练（甚至测试）损失。我们的分析是集中在瑞利因子的概念，以证明更广泛的神经网络架构和损失函数的Kurdyka-Eschojasiewicz不等式。我们表明，瑞利矩提供了一个统一的观点，在文献中的几个收敛分析技术。我们的策略为参数学习的各种示例提供了收敛性证明。特别是，我们的分析不需要参数的数量趋于无穷大，也不需要样本的数量是有限的，从而扩展到测试损失最小化和超越过参数化制度。
2023-01-19 cs.LG
Transformers for scientific data: a pedagogical review for astronomers
University of Pennsylvania（宾夕法尼亚大学）
本文是一篇面向科学家的教学性综述，介绍了ChatGPT等生成式AI背后的transformers架构及其自注意力机制，并涵盖其数学基础、原始架构及在天文学时间序列与成像数据中的应用。
2023-10-19 astro-ph.IM cs.LG
Hybrid ISTA: Unfolding ISTA With Convergence Guarantees Using Free-Form Deep Neural Networks
Shanghai Jiao Tong University（上海交通大学）
通过展开迭代算法（例如，迭代收缩阈值算法（ISTA））作为具有可学习参数的深度神经网络（DNN）。然而，现有的基于ISTA的展开算法限制了网络结构的迭代更新与部分权重耦合结构，以保证收敛。在本文中，我们提出了混合ISTA，通过结合自由形式的DNN（即，具有任意可行和合理的网络架构的DNN），同时确保理论收敛。我们首先开发HCISTA，以提高经典ISTA（预先计算的参数）的效率和灵活性，而不影响理论上的收敛速度。此外，基于DNN的混合算法被推广到流行的学习ISTA的变体，称为HLISTA，以实现学习参数的自由架构，并保证线性收敛。据我们所知，本文是第一篇提供收敛可证明框架的论文，该框架在基于ISTA的展开算法中启用了自由形式的DNN。这个框架一般赋予任意DNN用于求解线性逆问题的收敛保证。大量的实验表明，混合ISTA可以减少重建误差，提高收敛速度的稀疏恢复和压缩感知的任务。
2022-05-05 cs.CV cs.LG eess.IV
Causal Circuit Tracing Reveals Distinct Computational Architectures in Single-Cell Foundation Models: Inhibitory Dominance, Biological Coherence, and Cross-Model Convergence
Department of Computer Science University of Tübingen（计算机科学系图宾根大学）
该研究通过因果电路追踪揭示单细胞基础模型中抑制主导、生物一致性和跨模型收敛的计算架构特征。
2026-03-04 cs.LG q-bio.CB q-bio.GN
A Review of Sparse Expert Models in Deep Learning
Google Brain（谷歌大脑）；Google Research（谷歌研究院）
稀疏专家模型（Sparse Expert Models）是一个有着30年历史的概念，现在作为深度学习中的流行架构重新出现。这类体系结构包括专家混合、交换机Transformers、路由网络、基础层等，所有这些都具有统一的思想，即每个示例都由参数的子集作用。通过这样做，稀疏度使每个示例的计算中的参数计数成倍增加，从而允许非常大但有效的模型。由此产生的模型在不同领域（如自然语言处理、计算机视觉和语音识别）都有了显著的改进。我们回顾了稀疏专家模型的概念，提供了常见算法的基本描述，介绍了深度学习时代的进展，并通过强调未来工作的领域得出结论。
2022-09-04 cs.CL cs.LG
On architectural choices in deep learning: From network structure to gradient convergence and parameter estimation
University of Wisconsin Madison（威斯康星大学麦迪逊分校）
我们研究了一些机制来表征深度架构中反向传播的渐近收敛如何与网络结构相关，以及它如何受到其他设计选择的影响，包括激活类型，去噪和辍学率。我们试图分析网络结构和输入数据统计是否可以指导学习参数的选择，反之亦然。考虑到深度架构的广泛适用性，这个问题从理论和实践的角度来看都很有趣。利用一般非凸目标的性质（一阶信息），我们首先建立网络的结构，分布和可学习性方面与它们与参数收敛速率的相互作用之间的关联。我们确定了特征去噪和辍学之间的良好关系，并构建了实现相同收敛水平的网络家族。然后，我们推导出一个工作流程，该工作流程提供有关网络大小和学习参数选择的系统指导，这些参数通常由输入统计数据介导4。我们的技术结果证实了一套广泛的评估，本文以及独立的经验观察报告的其他团体。我们还进行了实验，展示了我们的框架为给定问题选择最佳全连接设计的实际意义。
2017-02-28 cs.LG math.OC stat.ML
Audio representations for deep learning in sound synthesis: A review
Technological University of Dublin（都柏林理工大学）
深度学习算法的兴起导致许多研究人员放弃使用经典的信号处理方法来生成声音。深度学习模型已经实现了富有表现力的语音合成、逼真的声音纹理和来自虚拟乐器的音符。然而，最合适的深度学习架构仍在研究中。架构的选择与音频表示紧密耦合。声音的原始波形可能过于密集和丰富，以至于深度学习模型无法有效处理-复杂性增加了训练时间和计算成本。此外，它并不代表声音的方式，它被认为是。因此，在许多情况下，原始音频已经使用上采样、特征提取或甚至通过采用波形的更高级别的图示而被转换为压缩且更有意义的形式。此外，有条件的形式选择，额外的条件表示，不同的模型架构，和众多的指标，用于评估重建的声音进行了研究。本文概述了使用深度学习应用于声音合成的音频表示。此外，它还介绍了使用深度学习模型开发和评估声音合成架构的最重要方法，这些方法始终取决于音频表示。
2022-01-07 cs.LG cs.SD eess.AS
Modeling Hierarchical Spaces: A Review and Unified Framework for Surrogate-Based Architecture Design
IRIT（图卢兹计算机研究所）；UT Capitole, Université de Toulouse（图卢兹大学图卢兹 Capitole 大学）；CNRS（法国国家科学研究中心）；Toulouse INP（图卢兹国立理工学院）；UT3（图卢兹第三大学）；UT2J（图卢兹第二大学让·饶勒斯）；GERAD（决策分析研究集团）；Polytechnique Montréal（蒙特利尔高等理工学院）；Institute of System Architectures in Aeronautics, German Aerospace Center (DLR)（德国航空航天中心（DLR）航空系统架构研究所）；ONERA（法国航空航天实验室）；Fédération ENAC ISAE-SUPAERO ONERA, Université de Toulouse（图卢兹大学 ENAC ISAE-SUPAERO ONERA 联合会）
本文提出了一种统一框架，用于基于代理的架构设计，通过层次空间建模解决复杂系统设计问题。
2026-01-17 cs.LG math.OC stat.ML
