Structural Pruning of Pre-trained Language Models via Neural Architecture Search
Amazon Web Services（亚马逊网络服务）；Helsing（赫尔辛公司）
本文提出利用神经架构搜索（NAS）进行预训练语言模型的结构化剪枝，通过多目标方法识别Pareto最优子网络集，并采用两阶段权重共享NAS加速搜索，实现效率与泛化性能的最优权衡。
2024-08-25 cs.CL cs.LG
Homomorphism Counts as Structural Encodings for Graph Learning
University of Oxford（牛津大学）；TU Wien（维也纳工业大学）；AITHYRA（艾西拉研究院）
本文提出基于图同态计数的 MoSE 结构编码框架，理论分析其表达能力，实验证明其在多种架构和分子性质预测数据集上优于其他编码并达到 SOTA。
2025-02-02 cs.LG
Dataset Structural Index: Leveraging a machine's perspective towards visual data
Independent Researcher.
随着视觉和感知架构的进步，我们已经意识到，与算法相比，处理数据同样重要。直到今天，我们都是根据我们的知识和对世界的看法来训练机器。数据集结构索引（DSI）的整个概念围绕着理解机器对数据集的看法。通过DSI，我展示了两个Meta值，通过它们我们可以在可视化数据集上获得更多信息，并使用它来优化数据，创建更好的架构，并能够猜测哪个模型最好。这两个值是“品种贡献率”和“相似性矩阵”。在本文中，我展示了DSI的许多应用，其中之一是如何在更少的数据量上训练相同的模型架构来实现相同的准确度。
2023-01-23 cs.CV cs.LG
Structural Plasticity as Active Inference: A Biologically-Inspired Architecture for Homeostatic Control
Brennen Hill
本文提出SAPIN模型，通过结构可塑性和突触可塑性机制实现生物启发的稳态控制，成功解决Cart Pole任务并保持稳定策略。
2026-02-10 cs.AI cs.LG cs.NE
Causal Structural Hypothesis Testing and Data Generation Models
University of California, Los Angeles（加州大学洛杉矶分校）
大量的专家和领域知识被捕获的因果结构先验，但一直很少有研究测试这样的先验的泛化和数据合成的目的。我们提出了一种新的模型架构，因果结构假设检验，可以使用非参数，结构因果知识和近似因果模型的功能关系，使用深神经网络。我们使用这些架构来比较结构先验，类似于假设检验，使用训练和测试数据的故意（非随机）分裂。大量的模拟证明了分布外泛化误差作为因果结构先验假设检验的代理的有效性，并为解释结果提供了统计基线。我们表明，变分版本的架构，因果结构变分假设检验可以提高性能在低信噪比制度。由于模型的简单性和低参数计数，从业者可以在小数据集上测试和比较结构先验假设，并使用具有最佳泛化能力的先验来合成更大的因果信息数据集。最后，我们在合成摆数据集上验证了我们的方法，并在现实世界的创伤手术地面坠落数据集上展示了一个用例。
2022-11-04 cs.AI cs.LG stat.ML
Modeling Bilingual Sentence Processing: Evaluating RNN and Transformer Architectures for Cross-Language Structural Priming
University of Florida（佛罗里达大学）
本研究评估 RNN 和 Transformer 模型在汉英跨语言结构启动中的表现，发现 Transformer 优于 RNN，挑战了传统循环处理观点，提示基于线索的检索机制作用。
2024-10-15 cs.CL cs.LG
A Domain Guided CNN Architecture for Predicting Age from Structural Brain Images
University of Michigan（密歇根大学）
鉴于卷积神经网络（CNN）应用于自然图像的广泛成功，研究人员已经开始将其应用于神经成像数据。然而，迄今为止，对针对神经成像数据定制的新型CNN架构的探索受到限制。最近的几项工作未能利用大脑的3D结构，而是将大脑视为一组独立的2D切片。利用3D卷积的方法依赖于为自然2D图像中的对象识别任务开发的架构。这种架构对神经成像可能不适用的输入做出假设。例如，现有的架构假设大脑中的模式表现出平移不变性。然而，大脑中的模式可能具有不同的含义，这取决于它在大脑中的位置。有必要探索适合大脑图像的新架构。我们提出了两个简单的修改现有的CNN架构的基础上，大脑图像结构。应用于大脑年龄预测任务，我们的网络实现了1.4年的平均绝对误差（MAE），并且比CNN基线训练速度快30%，达到了1.6年的MAE。我们的研究结果表明，从自然图像开发模型中吸取的经验教训可能不会直接转移到神经成像任务中。相反，在这一领域的模式发展方面仍有大量未探索的问题，其答案可能与传统智慧不同。
2018-08-11 cs.CV cs.LG stat.ML
The Coordinate System Problem in Persistent Structural Memory for Neural Architectures
National Institute of Electronics and Information Technology（电子信息技术国家研究院）
本文提出DPPN架构，通过持久信息素场发现持久结构记忆的两个独立要求：坐标稳定性与优雅转移机制。
2026-03-24 cs.AI cs.LG cs.NE
Structural Compositional Function Networks: Interpretable Functional Compositions for Tabular Discovery
Department of Computer Science（计算机科学系）；Oklahoma Christian University（俄克拉荷马基督教大学）
结构组合函数网络通过可解释的功能组合提升表格数据发现的性能和可解释性。
2026-01-27 cs.AI cs.LG
The silence of the weights: a structural pruning strategy for attention-based audio signal architectures with second order metrics
本文提出一种针对注意力机制的通道剪枝技术，通过二阶指标评估参数重要性，验证在AST和Whisper模型中50%参数剪枝后性能仍保持良好。
2026-03-16 cs.LG cs.SD
Evolutionary Optimization Reveals Structural Constraints on Reservoir Architecture for Spatiotemporal Chaos
Department of Physics, MIT（麻省理工学院物理系）；McGovern Institute for Brain Research, MIT（麻省理工学院麦戈文脑研究 institute）
通过进化优化储层计算超参数，发现预测误差降低、设计空间沿规模-效率前沿组织，且进化储层在保持谱包络的同时优化低特征值模式，揭示可解释的结构约束。
2026-06-23 cs.AI cs.LG cs.NE
Structurally Prune Anything: Any Architecture, Any Framework, Any Time
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Pruna AI；Technical University of Munich（慕尼黑工业大学）
本文提出通用结构化剪枝框架SPA，利用标准化计算图与ONNX表示及组级重要性估计，支持任意架构、框架和训练阶段剪枝，并引入无需微调和校准数据的OBSPA算法，取得最先进性能。
2024-03-03 cs.CV cs.LG
A Deep Neural Information Fusion Architecture for Textual Network Embeddings
School of Data and Computer Science, Sun Yat-sen University（中山大学数据与计算机科学学院）；School of Electronics and Information Technology, Sun Yat-sen University（中山大学电子与信息工程学院）
文本网络嵌入的目标是为网络中的每个节点学习一个低维表示，以便网络的结构和文本信息都可以很好地保留在表示中。传统上，结构嵌入和语篇嵌入是通过模型学习的，很少考虑它们之间的相互影响。在本文中，提出了一种深度神经架构，以有效地融合这两种信息到一个表示。新的目标函数、结构特征与文本特征的互补信息融合方法以及文本特征提取的互门机制等方面都体现了该体系结构的新颖性。实验结果表明，该模型在所有三个数据集上的性能优于比较方法。
2021-08-12 cs.CL cs.LG cs.SI
On the Application of Data-Driven Deep Neural Networks in Linear and Nonlinear Structural Dynamics
University of Notre Dame（圣母大学）
探索了深度神经网络（DNN）模型作为线性和非线性结构动力系统的替代品的使用。目标是开发基于DNN的代理来预测结构响应，即，位移和加速度，对于给定的输入（谐波）激励。特别是，重点是使用全连接，稀疏连接和卷积网络层开发高效的网络架构，以及相应的训练策略，可以在目标数据空间中提供整体网络复杂性和预测准确性之间的平衡。对于线性动力学，网络层中权重矩阵的稀疏模式用于构建具有稀疏层的卷积DNN。对于非线性动力学，网络层的稀疏性丢失，并探索了具有全连接和卷积网络层的高效DNN架构。迁移学习策略也被引入到成功的训练建议DNN，和各种负载因素影响的网络架构进行了研究。结果表明，建议DNNs可以作为有效和准确的替代品预测谐波载荷下的线性和非线性动力响应。
2021-11-03 cs.CE cs.LG
Convolutional Neural Network Pruning with Structural Redundancy Reduction
The University of Tennessee Knoxville（田纳西大学诺克斯维尔分校）；Sun Yat-sen University（中山大学）
卷积神经网络（CNN）剪枝是近年来最成功的网络压缩方法之一。现有的网络修剪工作通常集中在删除网络中最不重要的过滤器，以实现紧凑的架构。在这项研究中，我们声称，识别结构冗余起着更重要的作用，比发现不重要的过滤器，理论和经验。我们首先从冗余减少的角度对网络修剪问题进行统计建模，发现在具有最多结构冗余的层中进行修剪优于在所有层中修剪最不重要的过滤器。基于这一发现，我们提出了一种网络修剪方法，该方法识别CNN的结构冗余，并修剪具有最大冗余的选定层中的滤波器。在各种基准网络架构和数据集上的实验表明，我们提出的方法显着优于以前的最先进的。
2021-04-08 cs.CV cs.LG
Representation and decomposition of functions in DAG-DNNs and structural network pruning
该研究提出DAG-DNN框架，通过下三角矩阵序列分解DNN函数，实现系统化结构化剪枝，证明该方法普适所有DNN，并验证了弱版本彩票假设的中奖彩票存在性。
2023-06-16 cs.LG
NNiT: Width-Agnostic Neural Network Generation with Structurally Aligned Weight Spaces
Department of Electrical；Computer Engineering, Duke University, NC, USA；Department of Computer Science, Duke University, NC, USA；Computer Science \& Artificial Intelligence Laboratory, Massachusetts Institute of Technology, MA, USA
提出NNiT，通过将权重矩阵分块并建模为局部结构场，实现宽度无关的神经网络参数生成，在ManiSkill3任务上对未见架构拓扑达到>85%成功率。
2026-06-23 cs.AI cs.LG
DynNet: Physics-based neural architecture design for linear and nonlinear structural response modeling and prediction
Lehigh University（利哈伊大学）
数据驱动模型预测线性和非线性系统的动态响应是非常重要的，因为它们广泛应用于从概率分析到反问题，如系统辨识和损伤诊断。在这项研究中，一个基于物理的递归神经网络模型的设计，是能够学习的线性和非线性多自由度系统的动力学地面运动。该模型能够估计一套完整的响应，包括位移，速度，加速度和内力。与最先进的模型相比，该模型需要更少的可训练变量，而对于长轨迹的预测精度更高。此外，经常性的块的架构的启发，微分方程求解器算法，预计这种方法会产生更广义的解决方案。在训练阶段，我们提出了多种新的技术，以显着加快学习过程中使用较小的数据集，如硬采样，利用轨迹损失函数，并实施信任区域的方法。数值案例研究进行检查的强度的网络学习不同的非线性行为。结果表明，该网络能够捕获动态系统的不同非线性行为，具有非常高的精度，不需要先验信息或非常大的数据集。
2020-07-03 cs.LG stat.ML
CODA: Constructivism Learning for Instance-Dependent Dropout Architecture Construction
Ainstein AI
Dropout正在吸引人们对深度学习的浓厚研究兴趣，将其作为防止过拟合的有效方法。最近结合结构信息时，决定哪些单位辍学产生了可喜的结果相比，忽略结构信息的方法。然而，现有工作的一个主要问题是，它未能区分实例时，构造辍学架构。这对于许多应用来说可能是一个严重的缺陷。为了解决这个问题，我们提出了基于实例依赖的辍学架构（CODA）的建构主义学习，这是从哲学理论，建构主义学习的启发。特别地，在此理论基础上，我们设计了一种更好的丢弃技术，均匀过程混合模型，使用贝叶斯非参数方法均匀过程。我们已经在5个真实世界的数据集上评估了我们提出的方法，并将其性能与其他最先进的dropout技术进行了比较。实验结果证明了CODA算法的有效性。
2021-06-15 cs.LG stat.ML
Neural Abstractive Summarization with Structural Attention
IIIT-Delhi（德里印度理工学院）；Carnegie Mellon University（卡内基梅隆大学）
基于RNN的编码器-解码器架构在新闻文章的抽象摘要方面取得了令人印象深刻的性能。然而，这些方法无法考虑文档的句子内的长期依赖性。这个问题在多文档摘要任务中加剧，例如在社区问答（CQA）网站（例如Yahoo！答案和Quora。这些线索包含的答案往往相互重叠或矛盾。在这项工作中，我们提出了一个分层编码器的基础上结构注意力模型，这样的句子间和文档间的依赖关系。我们设置流行的指针生成器架构和一些衍生自它的架构作为我们的基线，并表明它们无法在多文档设置中生成良好的摘要。我们进一步说明，我们提出的模型在单文档和多文档摘要设置中的基线上都取得了显着的改进-在前一种设置中，它分别在CNN和CQA数据集上击败了最佳基线1.31和7.8个ROUGE-1点;在后一种设置中，性能在CQA数据集上进一步提高了1.6个ROUGE-1点。
2020-10-10 cs.CL cs.LG
Multilayer Q-Matrix-Embedded Neural Network for Cognitive Diagnosis (M-QCDNet): Structure-Aware Deep Learning Architecture for Psychometric Interpretability
提出M-QCDNet，将Q矩阵作为结构先验嵌入神经网络，通过带L2惩罚的损失函数平衡预测性能与结构对齐，实现可解释的认知诊断。
2026-07-03 cs.LG
Autoassociative Learning of Structural Representations for Modeling and Classification in Medical Imaging
Institute of Computing Science（计算科学研究院）；Poznan University of Technology（波兹南技术大学）
本文提出神经符号系统，通过视觉基本元素重建图像以提高医学影像分类的准确性和透明度。
2026-03-09 cs.CV cs.LG
PANDA: Prior-guided Attentional Dual-path Architecture
University of Cambridge（剑桥大学）；University of Bergamo（贝加莫大学）
本文提出PANDA插件，用于改进超图神经网络，通过双路径架构解决注意力竞争性问题，在八个真实世界基准数据集上平均提升5.18个百分点。
2026-10-12 cs.LG
AutoHGNN: Robust and Efficient Neural Architecture Search for Hypergraph Neural Networks
本文提出AutoHGNN，一种针对超图神经网络的神经架构搜索框架，通过引入超交互模块和超图稳定拓扑距离，在多种基准上实现更优的分类准确率与时间效率。
2026-09-29 cs.AI cs.LG
Graph Neural Networks with Learnable Structural and Positional Representations
Nanyang Technological University（南洋理工大学）；Loyola Marymount University（洛约拉马利蒙特大学）；Mila（米拉）；University of Montréal（蒙特利尔大学）；CIFAR（加拿大高级研究所）；National University of Singapore（新加坡国立大学）
图神经网络（GNN）已经成为图的标准学习架构。GNN已应用于从量子化学、推荐系统到知识图谱和自然语言处理等众多领域。任意图的一个主要问题是缺乏节点的规范位置信息，这降低了GNN区分同构节点和其他图对称性的表示能力。解决这个问题的一种方法是引入节点的位置编码（PE），并将其注入到输入层中，就像Transformers中一样。可能的图PE是拉普拉斯特征向量。在这项工作中，我们建议解耦结构和位置表示，使网络更容易学习这两个基本属性。我们介绍了一种新的通用架构，我们称之为LSPE（可学习的结构和位置编码）。我们研究了几个稀疏和全连接（类似于transformer）的GNN，并观察到分子数据集的性能提高，当考虑两个GNN类的可学习PE时，从1.79%提高到64.14%。
2022-02-10 cs.LG
Graph-based Neural Architecture Search with Operation Embeddings
National Technical University of Athens（雅典国家技术大学）；École Polytechnique（巴黎综合理工学院）
神经结构搜索（NAS）作为一类在网络结构的输入空间中自动搜索的方法，最近得到了越来越多的关注。NAS流水线的一个关键部分是架构的编码，该架构由应用的计算块组成，即操作和它们之间的链接。大多数现有的方法要么无法捕获的结构特性的架构或使用手工设计的载体来编码的运营商信息。在本文中，我们提出了在优化过程中使用可学习表示替换固定算子编码。这种方法有效地捕捉了不同操作之间的关系，导致架构的更平滑和更准确的表示，从而提高了最终任务的性能。我们在ENAS基准测试中的广泛评估证明了所提出的操作嵌入对生成高度准确的模型的有效性，实现了最先进的性能。最后，我们的方法产生了具有相似操作和图形模式的高性能架构，突出了架构的结构属性与其性能之间的强相关性。
2021-08-17 cs.AI cs.CV cs.LG
TabMixNN: A Unified Deep Learning Framework for Structural Mixed Effects Modeling on Tabular Data
TabMixNN是一种结合经典混合效应建模与现代神经网络的统一深度学习框架，支持多种结果类型和复杂数据结构，提供灵活的模块化架构和全面的可解释性工具。
2025-12-29 cs.LG stat.CO stat.ME
COMBINEX: A Unified Counterfactual Explainer for Graph Neural Networks via Node Feature and Structural Perturbations
Sapienza University of Rome（罗马第一大学）
本文提出 COMBINEX，通过联合优化边结构与节点特征扰动，为节点和图分类生成最小、有效且可解释的 GNN 反事实解释。
2025-02-14 cs.LG
Recurrent Neural Networks Beyond Time: Learning from Multiple Ordered Projections
该研究提出有序结构依赖假设与独立结构专家原则，构建结构演化循环神经网络，通过多个有序投影提升序列学习性能，为结构化学习提供通用计算视角。
2026-08-11 cs.LG
Gaussian Process Limit Reveals Structural Benefits of Graph Transformers
本文通过高斯过程极限分析，揭示图变换器在节点级预测任务中优于图卷积网络的结构优势，证明其能保留社区信息并防止过平滑。
2026-03-18 cs.LG stat.ML
Transparency as Architecture: Structural Compliance Gaps in EU AI Act Article 50 II
Technichal University Berlin XpaliNLP Group（柏林工业大学 XpaliNLP 组）；Research Center for Artificial Intelligence (DFKI)（人工智能研究中心（DFKI））；Center for European Research on Trusted AI (CERTAIN)（欧洲可信人工智能研究中心（CERTAIN））
本文探讨了欧盟AI法案第50条II项对AI生成内容的双重透明度要求，指出当前生成式AI系统存在结构性合规缺口，需将透明度视为架构设计需求。
2026-03-27 cs.AI cs.CY cs.LG
Identity as Attractor: Geometric Evidence for Persistent Agent Architecture in LLM Activation Space
Independent Researcher（独立研究者）；Rapallo, Italy（意大利拉帕洛）
研究通过对比不同条件下的隐藏状态，发现语义相似的提示在LLM激活空间中呈现吸引子行为，证明代理身份文档在激活空间中诱导吸引子几何结构。
2026-04-13 cs.AI cs.LG
MSR-IVA: Masked Structural Residual Independent Vector Analysis for State-Aware Fusion of Structural MRI and Dynamic Functional Network Connectivity
Georgia State University（佐治亚州立大学）；Georgia Institute of Technology（佐治亚理工学院）；Emory University（埃默里大学）
该研究针对sMRI与dFNC融合时IVA方法的缺陷，提出MSR-IVA框架，在ADNI队列实验中提升匹配源耦合、降低非匹配依赖，实现受控结构共享以适配状态差异。
2026-08-27 cs.LG
Explicit Interaction Architectures for Dynamical Learning: A Controlled Study of Structural Inductive Bias
Dipartimento di Elettronica, Informazione e Bioingegneria (DEIB), Politecnico di Milano（电子、信息与生物工程系（DEIB），米兰理工学院）
提出基于波启发交互结构的显式动力学单元，通过结构化组织而非非线性表达实现建模能力，在非线性系统辨识中深度提升表示质量与泛化性能。
2026-09-04 cs.LG eess.SP
Learning Structural Manipulability in Gate-Level Netlists Using Graph Neural Networks
研究门级网表中结构可操纵性，定义拓扑驱动分数，用图神经网络制定节点级回归学习该分数，实验评估不同GNN架构效果，组件级和消融分析因素贡献，案例研究揭示注入木马电路结构模式。
2026-07-21 cs.AI cs.LG
Connections between Numerical Algorithms for PDEs and Neural Networks
Saarland University（萨尔兰大学）
我们研究了偏微分方程（PDE）的数值算法和神经架构之间的许多结构连接。我们的目标是将丰富的数学基础从偏微分方程转移到神经网络。除了结构的见解，我们提供了具体的例子和实验评估所产生的架构。以一维广义非线性扩散为例，我们考虑了显式格式、加速策略、隐格式和多重网格方法。我们将这些概念与残差网络、递归神经网络和U-网架构联系起来。我们的研究结果启发了一个对称的残差网络设计与可证明的稳定性保证，并证明跳跃连接的有效性，从数值的角度来看，在神经网络。此外，我们提出了U-网络架构，实现多重网格技术学习有效解的偏微分方程模型，并激励不寻常的设计选择，如可训练的非单调激活函数。实验结果表明，所提出的架构节省了一半的可训练参数，因此可以在相同的模型复杂度下优于标准的。我们的考虑是解释流行神经架构成功的基础，并为开发新的数学基础良好的神经构建模块提供了蓝图。
2022-03-21 cs.LG cs.NA math.NA
Extracting full-field subpixel structural displacements from videos via deep learning
Northeastern University（东北大学）；China Energy Engineering Corporation Limited（中国能源建设股份有限公司）；Michigan Technological University（密歇根理工大学）；MIT（麻省理工学院）
本文开发了一种基于卷积神经网络（CNN）的深度学习框架，该框架能够从视频中实时提取全场子像素结构位移。特别是，两个新的CNN架构的设计和训练的数据集生成的基于相位的运动提取方法从一个单一的实验室记录的高速视频的动态结构。由于位移只在纹理对比度足够的区域可靠，通过网络结构设计和损失函数定义，考虑了纹理掩模引起的运动场稀疏性。实验结果表明，训练好的神经网络在保证运动场完整性和稀疏性的前提下，能够识别出纹理对比度足够高的像素及其亚像素运动。在其他结构的各种视频上测试经训练的网络的性能，以提取全场运动（例如，位移时间历史），这表明训练的网络具有泛化能力，可以准确地提取具有足够纹理对比度的像素的全场细微位移。
2020-09-03 cs.CV cs.LG eess.IV
Improving Structural Diversity of Blackbox LLMs via Chain-of-Specification Prompting
Microsoft Research（微软研究院）；University of Pennsylvania（宾夕法尼亚大学）
针对大语言模型生成多样性可控性不足的问题，提出结构多样性指标与规格链（CoS）提示策略，可在黑盒LLM上显著提升诗歌、代码领域的结构多样性。
2024-08-12 cs.CL cs.LG
From Memorization to Creativity: LLM as a Designer of Novel Neural Architectures
Computer Vision Lab, CAIDAS & IFI, University of Würzburg, Germany（计算机视觉实验室，CAIDAS与IFI，乌尔姆大学，德国）
本文提出NNGPT框架，通过闭环架构合成流水线，利用代码型LLM的监督微调循环，结合MinHash-Jaccard新颖性过滤和低保真性能信号，迭代提升生成架构的有效性、性能和多样性，实现从记忆到创造的转变。
2026-04-16 cs.CV cs.LG
Hierarchical, rotation-equivariant neural networks to select structural models of protein complexes
Stanford University（斯坦福大学）
预测多蛋白质复合物的结构是生物化学中的一个巨大挑战，对基础科学和药物发现具有重大意义。计算结构预测方法通常利用预定义的结构特征来区分准确的结构模型和不太准确的结构模型。这就提出了一个问题，即是否有可能直接从蛋白质复合物的原子坐标中学习精确模型的特征，而无需事先假设。在这里，我们介绍了一种机器学习方法，该方法直接从所有原子的3D位置学习，以识别蛋白质复合物的准确模型，而不使用任何预先计算的物理或统计术语。我们的神经网络架构结合了多种成分，这些成分共同实现了从包含数万个原子的分子结构中进行端到端学习：原子的基于点的表示，旋转和平移的等方差，局部卷积和分层子采样操作。当与以前开发的评分函数结合使用时，我们的网络大大提高了在大量可能模型中识别准确结构模型的能力。我们的网络还可以用于预测给定结构模型的绝对精度。我们提出的架构是很容易适用于其他任务，涉及学习大型原子系统的3D结构。
2021-01-23 cs.CV cs.LG q-bio.BM
Permutation-Invariant Graph Partitioning:How Graph Neural Networks Capture Structural Interactions?
Australian National University（澳大利亚国立大学）
本文提出置换不变图划分方法，建立其与图同构的理论联系，并设计了图划分神经网络（GPNNs），有效增强了GNNs在多种图基准任务中捕获结构交互的表达能力。
2025-03-02 cs.AI cs.LG
Separable neural architectures as a primitive for unified predictive and generative intelligence
本文提出可分离神经架构(SNA)，通过约束交互阶数和张量秩，将高维映射分解为低 arity 组件，揭示了混沌时空动态与语言自回归的结构类比，并在多个领域展示了其统一预测与生成智能的能力。
2026-03-15 cs.AI cs.LG
Dense Optimizer : An Information Entropy-Guided Structural Search Method for Dense-like Neural Network Design
Information Engineering University（信息工程大学）
针对Dense-like网络人工设计调参困难的问题，提出信息熵引导的架构搜索方法Dense Optimizer，结合幂律与分支定界算法高效优化网络结构，在CIFAR-100上准确率提升5.97%。
2024-10-10 cs.AI cs.CV cs.LG
Determination Of Structural Cracks Using Deep Learning Frameworks
Praxis Business School（普拉克斯商学院）
本文提出一种基于残差U-Net与卷积元模型集成的深度学习架构，用于提升结构裂缝检测精度，实验表明其性能优于SegNet和传统U-Net，在IoU和DICE指标上取得最高分。
2025-07-03 cs.CV cs.LG eess.IV
Does Form Follow Function? An Empirical Exploration of the Impact of Deep Neural Network Architecture Design on Hardware-Specific Acceleration
University of Waterloo（滑铁卢大学）；DarwinAI（达尔文人工智能公司）；Intel Corporation（英特尔公司）
关于深度神经网络架构设计和硬件特定加速的形式和功能之间的细粒度关系是研究文献中没有很好研究的一个领域，形式通常由准确性决定，而不是硬件功能。在这项研究中，进行了全面的实证探索，以调查深度神经网络架构设计对推理加速程度的影响，可以通过硬件特定的加速实现。更具体地说，我们通过OpenVINO微处理器特定和GPU特定加速的镜头，实证研究了各种常用的宏观架构设计模式对不同架构深度的影响。实验结果表明，虽然利用硬件特定的加速实现了380%的平均推理加速，但推理加速的程度根据宏架构设计模式的不同而变化很大，在依赖瓶颈卷积设计模式上实现了550%的最大加速。此外，我们进行了深入的探索FLOPs的要求，3级缓存的效率，网络延迟与增加架构的深度和宽度之间的相关性。最后，我们分析了使用硬件特定的加速与各种手工深度卷积神经网络架构设计以及通过神经架构搜索策略发现的本地深度学习框架相比时的推理时间减少。我们发现，DARTS衍生的架构受益于硬件特定软件加速的最大改进（1200%），而基于卷积的MobileNet-V2则具有最低的整体推理时间，约为2.4 ms。
2021-07-08 cs.AI cs.CV cs.LG
Efficiently Training Vision Transformers on Structural MRI Scans for Alzheimer's Disease Detection
大规模人群的神经影像学检查对于识别促进或抵抗脑部疾病的因素，以及辅助诊断、分型和预后是有价值的。卷积神经网络（CNN）等数据驱动模型越来越多地应用于大脑图像，通过学习鲁棒特征来执行诊断和预测任务。Vision Transformers（ViT）是一种新的深度学习架构，近年来已经成为CNN在几个计算机视觉应用中的替代品。在这里，我们测试了ViT架构的变体，用于一系列基于难度的所需神经成像下游任务，在这种情况下，用于基于3D脑MRI的性别和阿尔茨海默病（AD）分类。在我们的实验中，两个Vision Transformer架构变体分别实现了0.987的性别AUC和0.892的AD分类AUC。我们独立地评估了我们的模型，数据来自两个基准AD数据集。我们分别在合成（由潜在扩散模型生成）和真实MRI扫描上预训练的微调Vision Transformer模型后，实现了5%和9-10%的性能提升。我们的主要贡献包括测试不同ViT训练策略的效果，包括预训练，数据增强和学习率预热，然后退火，与神经成像领域有关。这些技术对于训练用于神经成像应用的类ViT模型是必不可少的，其中训练数据通常是有限的。我们还通过数据模型缩放曲线分析了训练数据量对ViT测试时间性能的影响。
2023-03-14 cs.AI cs.CV cs.LG
