Fixing Overconfidence in Dynamic Neural Networks
Aalto University（阿尔托大学）；Saab Finland Oy（萨博芬兰公司）；NVIDIA（英伟达）；Xi’an Jiaotong University（西安交通大学）
本文针对动态神经网络难以区分难易样本且不确定性估计过度自信的问题，提出对最后几层进行概率化处理的事后不确定性量化方法，以同时建模偶然与认知不确定性，并在多个图像数据集上提升准确率、不确定性捕捉与校准表现。
2023-12-08 cs.LG
Intriguing Properties of Randomly Weighted Networks: Generalizing While Learning Next to Nothing
Department of Electrical Engineering and Computer Science York University（约克大学电气工程与计算机科学系）
训练深度神经网络会产生强大的学习表示，表现出良好的泛化能力。在大多数情况下，训练涉及通过反向传播迭代修改网络内部的所有权重。在极限学习机器中，有人建议将网络的第一层设置为固定的随机值，而不是学习它。在本文中，我们建议将这种方法更进一步，固定深度卷积神经网络的几乎所有层，只允许学习一小部分权重。正如我们的实验所示，即使是固定网络的大多数参数，其性能也往往与学习所有参数的性能相当。讨论了深度神经网络这一有趣特性的含义，并提出了利用它来创建更强大的表示的方法。
2018-02-02 cs.AI cs.CV cs.LG
Diagnosing and Fixing Manifold Overfitting in Deep Generative Models
Layer 6 AI
基于可能性或显式的深度生成模型使用神经网络来构建灵活的高维密度。这个公式直接与流形假设相矛盾，流形假设认为观测数据位于嵌入高维环境空间的低维流形上。在本文中，我们研究了在这种维度不匹配的情况下，最大似然训练的病理。我们正式证明，退化的最优实现，其中流形本身的学习，但不是它的分布，我们称之为流形过拟合的现象。我们提出了一类两步的程序，包括一个降维步骤，其次是最大似然密度估计，并证明他们恢复的数据生成分布在非参数制度，从而避免歧管过拟合。我们还表明，这些程序使密度估计的流形上学习的隐式模型，如生成对抗网络，从而解决了这些模型的一个主要缺点。最近提出的几种方法是我们的两步程序的实例;因此，我们统一，扩展，并在理论上证明了一大类模型。
2022-11-28 cs.AI cs.LG stat.ME
Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs
Institute for Computational and Mathematical Engineering（计算与数学工程研究所）；Stanford University（斯坦福大学）
本文将门控 ReLU 网络的凸规划解释为带加权数据掩码的 MKL，证明其特定核等价于 NTK，并通过迭代重加权获得等价于精确凸解的最优核。
2023-09-26 cs.LG stat.ML
Normalized AOPC: Fixing Misleading Faithfulness Metrics for Feature Attribution Explainability
Corti；University of Copenhagen（哥本哈根大学）；IT University of Copenhagen（哥本哈根技术大学）；LUT University（拉普兰大学）
针对AOPC指标在跨模型比较中的误导性问题，提出归一化AOPC（NAOPC），实现一致的忠实度评估，并质疑早期研究结论，提供更稳健的框架。
2025-05-23 cs.LG
Repairing Neural Networks by Leaving the Right Past Behind
Microsoft Health Futures（微软健康未来部门）；Imperial College London（帝国理工学院）
机器学习模型的预测失败通常源于训练数据中的缺陷，例如不正确的标签、离群值和选择偏差。然而，导致给定故障模式的这种数据点通常先验未知，更不用说用于修复故障的机制了。这项工作借鉴了持续学习的贝叶斯观点，并为两者开发了一个通用框架，识别导致目标失败的训练样本，并通过删除有关它们的信息来修复模型。这个框架自然允许利用持续学习的最新进展来解决模型修复的新问题，同时将影响函数和数据删除的现有工作作为具体实例。实验上，所提出的方法优于基线识别有害的训练数据和修复模型故障，在一个通用的方式。
2022-11-09 cs.LG
Learning Physical Systems: Symplectification via Gauge Fixing in Dirac Structures
Department of Engineering Science, University of Oxford（牛津大学工程科学系）
本文提出预配分网络（PSNs），通过Dirac结构学习配分提升，恢复非退化对称几何，实现受约束耗散系统的几何机器学习模型。
2026-03-05 cs.LG cs.RO
Uncovering and Fixing Collider Bias in Bayesian PINNs
TU Graz（格拉茨工业大学）
该研究揭示贝叶斯物理信息神经网络（B-PINNs）的碰撞器偏差问题，提出层次链模型结合粒子MCMC方法修正偏差，经实验验证其有效性。
2026-10-20 cs.AI cs.LG
Learning to Fix Build Errors with Graph2Diff Neural Networks
Google（谷歌）；University of Cambridge（剑桥大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）
专业的软件开发人员花费大量的时间来修复构建，但这在自动程序修复中很少受到关注。我们提出了一个新的深度学习架构，称为Graph2Diff，用于自动定位和修复构建错误。我们将源代码、构建配置文件和编译器诊断消息表示为图，然后使用图神经网络模型来预测差异。diff指定如何修改代码的抽象语法树，在神经网络中表示为一系列标记和指向代码位置的指针。我们的网络是一个更通用的抽象的实例，我们称之为Graph2Tocopo，它在任何预测源代码更改的开发工具中都可能有用。我们在超过50万个真实构建错误的数据集上评估了该模型，并从专业开发人员那里获得了解决方案。与DeepDelta的方法（Mesbah等人，2019年），我们的方法解决了预测更精确差异的更困难的任务，但仍然实现了两倍以上的准确性。
2019-11-04 cs.AI cs.LG cs.SE
Simultaneous Learning of the Inputs and Parameters in Neural Collaborative Filtering
Rakuten Group, Inc.（乐天集团）
基于神经网络的协同过滤系统的重点是设计网络架构，以学习更好的表示，同时固定的输入到用户/项目交互向量和/或ID。在本文中，我们首先表明，非零元素的输入是可学习的参数，确定在结合用户/项目嵌入的权重，并固定它们限制了在学习表示的模型的力量。然后，我们建议学习的非零元素的输入值与神经网络参数。我们分析了模型的复杂性和我们的方法的经验风险，并证明了学习输入导致更好的泛化界。我们在几个真实世界数据集上的实验表明，我们的方法优于最先进的方法，即使使用具有较少层数和参数的浅层网络结构。
2022-03-14 cs.IR cs.LG
Magnitude Matters: Fixing SIGNSGD Through Magnitude-Aware Sparsification in the Presence of Data Heterogeneity
Zhejiang University（浙江大学）；Wuhan University（武汉大学）；Singapore University of Technology and Design（新加坡科技设计大学）；North Carolina State University（北卡罗来纳州立大学）
通信开销已成为深度神经网络分布式训练的主要瓶颈之一。为了缓解这一问题，人们提出了各种梯度压缩方法，其中基于符号的算法受到了广泛关注。然而，SIGNSGD未能收敛的数据异构性，这是常见的新兴的联邦学习（FL）范式的存在。已经提出了误差反馈来解决不收敛问题。尽管如此，它需要工作人员在本地跟踪压缩错误，这使得它不适合FL，因为工作人员在整个学习过程中可能不参加培训。在本文中，我们提出了一个幅度驱动的稀疏化方案，解决了SIGNSGD的不收敛问题，同时进一步提高通信效率。此外，局部更新计划进一步纳入，以提高学习性能，所提出的方法的收敛性。在Fashion-MNIST、CIFAR-10和CIFAR-100数据集上的实验验证了该方法的有效性。
2023-02-19 cs.LG
Shared Low-rank Basis Factorization for Data-free Mixture-of-Experts Compression
Kyoto University（京都大学）；The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所革新智能统合研究中心）
针对MoE大模型压缩，提出共享低秩基分解（SLBF）无数据权重重构方法，通过专家间共享秩-k基降低重构误差，在16B至122B五个架构上优于剪枝、合并和重构三类方法。
2026-10-08 cs.AI cs.LG
A comparative analysis of a neural network with calculated weights and a neural network with random generation of weights based on the training dataset size
Institute of Control Systems, Azerbaijan National Academy of Sciences（阿塞拜疆国家科学院控制系统研究所）
本文对比了多层感知器在预计算权重与随机初始化权重下的表现，发现预计算权重能显著加快训练速度并提升对数据集缩减的鲁棒性。
2025-05-29 cs.AI cs.LG
What's Hidden in a Randomly Weighted Neural Network?
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Washington（华盛顿大学）
训练神经网络与学习权值是同义的。相比之下，我们证明了随机加权的神经网络包含子网络，这些子网络在没有训练权重值的情况下实现了令人印象深刻的性能。隐藏在随机加权的Wide ResNet-50中，我们发现有一个子网络（具有随机权重）比在ImageNet上训练的ResNet-34的性能更小，但与之匹配。这些“未经训练的子网络”不仅存在，而且我们提供了一种算法来有效地找到它们。我们的经验表明，随着具有固定权重的随机加权神经网络变得更宽更深，“未经训练的子网络”在准确性上接近具有学习权重的网络。我们的代码和预训练模型可以在https://github.com/allenai/hidden-networks上找到。
2020-03-31 cs.CV cs.LG
WeightScale: Interpreting Weight Change in Neural Networks
University of Nebraska（内布拉斯加大学）；University of Nebraska-Lincoln（内布拉斯加大学林肯分校）；Georgia Institute of Technology（佐治亚理工学院）；Ford Motor Company（福特汽车公司）
解释神经网络的学习动力学可以为网络如何学习以及开发更好的训练和设计方法提供有用的见解。我们提出了一种解释神经网络学习的方法，通过测量每层的相对权重变化，并通过降维和聚类的组合动态聚合新兴趋势，使我们能够扩展到非常深的网络。我们使用这种方法来研究各种最先进网络中视觉任务的学习，并深入了解这些网络的学习行为，包括任务复杂性如何影响网络深层的分层学习。
2022-03-26 cs.AI cs.LG
Understanding Weight Similarity of Neural Networks via Chain Normalization Rule and Hypothesis-Training-Testing
Sun Yat-sen University（中山大学）；University of Oxford（牛津大学）
提出了一种权值相似性度量方法，可以量化非凸神经网络的权值相似性。为了理解不同训练模型的权重相似性，我们提出从神经网络的权重中提取特征表示。我们首先通过引入一个链规范化规则来规范化神经网络的权值，该规则用于权值表示学习和权值相似性度量。我们将传统的假设检验方法扩展为假设训练检验统计推断方法来验证关于神经网络权值相似性的假设。利用链归一化规则和新的统计推断方法，研究了多层感知器（MLP）、卷积神经网络（CNN）和递归神经网络（RNN）的权值相似性度量，发现用随机梯度下降（SGD）算法优化的同一神经网络的权值在度量空间中收敛到相似的局部解.权值相似性度量提供了对神经网络局部解的更深入的了解。在多个数据集上的实验一致地验证了权重相似性度量的假设。
2022-08-08 cs.CV cs.LG math.ST
Autoencoders as Weight Initialization of Deep Classification Networks for Cancer versus Cancer Studies
University of Porto（波尔图大学）；Faculty of Engineering, University of Porto（波尔图大学工程学院）；INESC TEC - Institute for Systems and Computer Engineering, Technology and Science（INESC TEC——系统与计算机工程、技术与科学研究所）
癌症仍然是我们这个时代最具破坏性的疾病之一。自动分类肿瘤样品的一种方法是通过分析其衍生的分子信息（即，其基因表达特征）。在这项工作中，我们的目标是区分三种不同类型的癌症：甲状腺癌，皮肤癌和胃癌。为此，我们比较了用作深度神经网络权重初始化的去噪自动编码器（DAE）的性能。虽然我们在这项工作中解决了不同的领域问题，但我们采用了Ferreira等人的相同方法。在我们的实验中，我们在训练分类模型时评估了两种不同的方法：（a）在预训练DAE之后固定权重，以及（b）允许对整个分类网络进行微调。此外，我们应用两种不同的策略将DAE嵌入到分类网络中：（1）仅导入编码层，以及（2）插入完整的自动编码器。我们最好的结果是通过DAE进行无监督特征学习，然后将其完全导入分类网络，然后通过监督训练进行微调，在识别甲状腺癌样本时实现了98.04% +/- 1.09的F1得分。
2020-01-15 cs.LG stat.ML
Loss-aware Weight Quantization of Deep Networks
Department of Computer Science and Engineering（计算机科学与工程系）；Hong Kong University of Science and Technology（香港科技大学）
深度网络的巨大规模阻碍了它们在小型计算设备中的使用。在本文中，我们考虑压缩网络的重量量化。我们将最近提出的损失感知权重二值化方案扩展到三值化，对于正权重和负权重可能具有不同的缩放参数，以及m位（其中m > 2）量化。在前馈和递归神经网络上的实验表明，该方案优于最先进的权重量化算法，并且与全精度网络一样准确（甚至更准确）。
2018-05-10 cs.LG
WeNet: Weighted Networks for Recurrent Network Architecture Search
Amazon AWS AI（亚马逊AWS人工智能）
近年来，在深度学习中对自动架构搜索的需求越来越大。已经提出了许多方法，并在各种应用中产生了最先进的结果，包括图像分类和语言建模。在本文中，我们提出了一种新的方式架构搜索加权网络（WeNet），它由一些网络，每个分配一个权重。这些权重通过反向传播进行更新，以反映不同网络的重要性。这种加权网络具有类似于混合专家模型的特点。我们在Penn Treebank和WikiText-2上进行实验。我们表明，所提出的WeNet可以找到经常性的架构，从而导致最先进的性能。
2019-04-08 cs.LG cs.NE
Approximation error of single hidden layer neural networks with fixed weights
本文给出了具有两个固定权值的单隐层神经网络逼近误差的显式表达式。
2022-03-04 cs.LG math.CA stat.ML
Weight Prediction for Variants of Weighted Directed Networks
University of Notre Dame（圣母大学）
加权有向网络（WDN）是一个有向图，其中每条边都与一个称为权重的唯一值相关联。这些网络非常适合于对现实世界的社交网络进行建模，其中存在一个顶点对其他顶点的评估。本文研究的主要问题之一是在这样的网络中的边权重的预测。我们介绍，第一次，度量几何方法来研究边缘权重预测WDN。我们修改了通常的WDN的概念，并引入了一种新类型的WDN，我们硬币术语\textit{almost-weighted directed networks}（AWDN）。AWDN可以从给定的训练集中捕获网络的权重信息。然后，我们构建了一类AWDN的度量（或距离），它配备了这样的网络与度量空间结构。利用AWDN的度量几何结构，我们提出了改进的$k$最近邻（kNN）方法和改进的支持向量机（SVM）方法，然后将其用于预测AWDN中的边权重。在许多现实世界的数据集，除了边的权重，还可以关联权重的顶点捕捉顶点的信息，权重的顶点的关联，特别是在图嵌入问题中起着重要的作用。采用类似的方法，我们引入了两种新类型的有向网络，其中的权重与原始顶点的子集或终端顶点的子集。我们，第一次，构建新的类的指标，这样的网络，并根据这些新的指标提出修改后的$k$ NN和SVM方法预测的权重，在这些网络中的起源和终端。我们提供了几个真实世界的数据集上的实验结果，使用我们的几何方法。
2020-09-29 cs.LG cs.SI stat.ML
Vertex Classification on Weighted Networks
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出了一种加权网络中顶点的判别方法。我们假设网络中的边权重和邻接是条件独立的，并且两个信息源都对类成员信息进行编码。特别地，我们在标准K-块随机块模型中引入边权重分布矩阵来对加权网络进行建模。这使我们能够开发简单而强大的扩展的分类技术，使用谱嵌入的未加权邻接矩阵。我们考虑两个假设的边缘权重分布，并提出在这两种设置的分类程序。我们通过将它们与变换后的加权网络的谱嵌入后的二次判别分析进行比较，展示了所提出的分类器的有效性。此外，我们讨论并显示如何执行的方法时，边缘权重不编码类成员信息。
2019-06-07 cs.LG cs.SI stat.ME
