Cortex Neural Network: learning with Neural Network groups
Purdue University（普渡大学）；Department of Computer Science（计算机科学系）
神经网络已成功地应用于许多现实问题，如图像识别和机器翻译。然而，对于当前的神经网络架构，很难执行复杂的认知任务，例如，一起处理图像和音频输入。大脑皮层作为大脑的重要结构，对动物完成复杂的认知任务起着重要作用。我们将大脑皮层的结构视为当前人工神经网络设计中缺失的部分。在本文中，我们的目的皮层神经网络（CrtxNN）。皮层神经网络是一种由大脑皮层驱动的神经网络的上层结构，它可以在同一个学习系统中处理不同的任务。它能够识别不同的任务并使用不同的方法解决它们。在我们的实现中，皮层神经网络能够处理不同的认知任务，并执行反射，以获得更高的准确性。我们提供了一系列的实验，以检查传统的神经网络的皮层架构的能力。实验结果表明，该算法在皮层神经网络上的识别能力在MNIST和CIFAR10上分别达到了98.32%和62%的识别准确率，可以有效地减少40%的损失。
2018-04-10 cs.CV cs.LG cs.NE
Differentiable Learning-to-Group Channels via Groupable Convolutional Neural Networks
The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）
组卷积将ConvNets的通道划分为组，与常规卷积操作相比取得了令人印象深刻的改进。然而，现有的模型，如。ResNeXt仍然受到次优性能的影响，这是由于在所有层上手动将组的数量定义为常数。为了解决这个问题，我们提出了通过使用新型动态分组卷积（DGConv）操作构建的可分组ConvNet（GroupNet），该操作能够以端到端的方式学习组的数量。所提出的方法有几个吸引人的好处。(1)DGConv提供了一个统一的卷积表示，并涵盖了许多现有的卷积运算，如常规密集卷积，组卷积和去卷积。(2)DGConv是一种可微分且灵活的操作，它可以从训练数据中学习执行各种卷积。(3)使用DGConv训练的GroupNet为不同的卷积层学习不同数量的组。大量的实验表明，GroupNet在准确性和计算复杂性方面优于ResNet和ResNeXt等同行。我们还提出了内省和再现性的研究，第一次，显示了学习动态的训练组数。
2019-08-19 cs.CV cs.LG cs.NE
Linear Leaky-Integrate-and-Fire Neuron Model Based Spiking Neural Networks and Its Mapping Relationship to Deep Neural Networks
IEEE Publication Technology Group（IEEE出版技术组）
脉冲神经网络（SNN）是一种基于脑的机器学习算法，具有生物相容性和无监督学习能力等优点。以前的工作已经表明，将人工神经网络（ANN）转换为SNN是实现SNN的实用且有效的方法。然而，缺乏训练非精度损失SNN的基本原理和理论基础。本文建立了线性泄漏-积分-激发模型（LIF）/SNN的生物学参数与ReLU-AN/深度神经网络（DNN）参数之间的精确数学映射。这种映射关系在一定条件下得到了解析证明，并通过模拟和实际数据实验得到了验证。它可以作为两类神经网络各自优点的潜在结合的理论基础。
2022-05-31 cs.AI cs.LG cs.NE
Group Equivariant Conditional Neural Processes
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所人工智能项目中心）
我们提出了组等变条件神经过程（EquivCNP），这是一种元学习方法，与传统的条件神经过程（CNP）一样，在数据集中具有排列不变性，并且在数据空间中也具有变换等变性。解释组等方差，如旋转和缩放等方差，提供了一种考虑真实世界数据对称性的方法。我们给出了一个置换不变和群等变映射的分解定理，这使我们能够构造具有无限维潜空间的EquivCNP来处理群对称性。在本文中，我们使用李群卷积层构建架构以供实际实现。我们表明，翻译等方差的EquivCNP在一维回归任务中实现了与传统CNP相当的性能。此外，我们证明，将适当的李群等方差，EquivCNP是能够zero-shot概括的图像完成任务，通过选择适当的李群等方差。
2021-02-17 cs.LG stat.ML
Transition to Linearity of Wide Neural Networks is an Emerging Property of Assembling Weak Models
Ohio State University（俄亥俄州立大学）；UC, San Diego（加州大学圣地亚哥分校）
具有线性输出层的宽神经网络已被证明是近线性的，并且在包含梯度下降的优化路径的区域中具有近常数的神经切线核（NTK）。这些发现似乎与直觉相反，因为一般来说，神经网络是高度复杂的模型。为什么当网络变宽时会出现线性结构？在这项工作中，我们提供了一个新的视角，这种“过渡到线性”考虑一个神经网络作为一个组装模型递归地建立从一组子模型对应于单个神经元。在这种观点中，我们表明，广泛的神经网络的线性，事实上，组装大量不同的“弱”的子模型，其中没有一个占主导地位的组装的新兴属性。
2022-03-10 cs.LG
Evidence, Definitions and Algorithms regarding the Existence of Cohesive-Convergence Groups in Neural Network Optimization
针对人工神经网络优化因非凸性难以实际收敛的问题，本文基于优化过程中出现的凝聚收敛群现象，提出新的研究思路以拓展神经网络收敛领域的相关研究。
2024-03-08 cs.CV cs.LG
Neural Bandit with Arm Group Graph
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
上下文强盗的目标是在一组武器中，根据它们的上下文信息，确定具有最高奖励的最佳武器。基于手臂通常具有群体行为和群体之间存在相互影响的特点，提出了一种新的手臂群图模型（Arm Group Graph，AGG）。为了利用AGG中丰富的信息，我们提出了一个强盗算法，AGG-UCB，其中的神经网络被设计为估计奖励，我们建议利用图神经网络（GNN）来学习具有相关性的臂组的表示。为了解决强盗中的剥削-探索困境，我们推导出一个新的置信上界（UCB）建立在神经网络（剥削）的探索。此外，我们证明了AGG-UCB可以达到一个近最优的遗憾界与过参数化的神经网络，并提供了GNN的收敛性分析与全连接层，可能是独立的利益。最后，我们在多个公共数据集上对最先进的基线进行了广泛的实验，证明了所提出的算法的有效性。
2022-06-10 cs.LG stat.ML
HIN-RNN: A Graph Representation Learning Neural Network for Fraudster Group Detection With No Handcrafted Features
University of Western Australia（西澳大利亚大学）
社会评论是现代消费者决策不可或缺的资源。为了获得经济利益，公司最好以小组形式向欺诈者支付费用，以降级或促销产品和服务，因为消费者更有可能被小组的大量类似评论所误导。最近的欺诈者群体检测方法采用手工制作的群体行为特征，而不考虑群体中评论者评论之间的语义关系。在本文中，我们提出了第一种神经方法，HIN-RNN，一种异构信息网络（HIN）兼容的RNN，用于欺诈者组检测，不需要手工制作的功能。HIN-RNN为每个评论者的表示学习提供了一个统一的架构，初始向量是由同一评论者撰写的所有评论文本的词嵌入的总和，并由负面评论的比例连接起来。给定一个共同评论网络，该网络表示评论者对具有相同评级的相同项目进行了评论，以及评论者的向量表示，通过HIN-RNN训练获得协作矩阵。所提出的方法被证实是有效的，与最先进的方法相比，在Yelp（召回率和F1值分别为22%和12%）和Amazon（召回率和F1值分别为4%和2%）数据集上都有显着的改进。
2021-05-25 cs.LG cs.NE cs.SI
An application of neural networks to a problem in knot theory and group theory (untangling braids)
University of Liverpool（利物浦大学）；University of Essex（埃塞克斯大学）
我们报告我们成功地解决了解开辫子的问题，长度为20和宽度为4。我们在强化学习的框架中使用前馈神经网络来训练代理选择Reidemeister移动以最少的移动次数解开辫子。
2022-06-10 cs.LG math.GT
Approximating Lipschitz continuous functions with GroupSort neural networks
Criteo（Criteo公司）；Sorbonne Université（索邦大学）
对抗性攻击和Wasserstein GANs的最新进展提倡使用具有受限Lipschitz常数的神经网络。出于这些观察，我们研究了最近推出的GroupSort神经网络，限制的权重，并作出理论上的一步，更好地了解他们的表达能力。我们特别展示了这些网络如何表示任何Lipschitz连续分段线性函数。我们还证明了它们非常适合于近似Lipschitz连续函数，并且在深度和大小上都具有上界。总之，GroupSort网络与更标准的ReLU网络相比的效率在一组合成实验中得到了说明。
2021-02-08 cs.LG stat.ML
A Novel Explanation Against Linear Neural Networks
Lynbrook High School（林布鲁克高中）
本文提出无激活函数的线性神经网络因参数过多导致优化困难，降低训练与测试性能，需比线性回归更多迭代才可能收敛，并通过优化分析与合成噪声数据集实验予以证明。
2023-12-30 cs.LG
Graph Neural Netwrok with Interaction Pattern for Group Recommendation
Beijing University of Posts and Telecommunications（北京邮电大学）；School of Computer Science (National Pilot Software Engineering School), Beijing University of Posts and Telecommunications（北京邮电大学计算机学院（国家示范性软件学院））
随着社交平台的发展，人们越来越倾向于组合成群体参与一些活动，因此群体推荐逐渐成为一个值得研究的问题。对于群体推荐，一个重要的问题是如何通过个人的交互历史来获取群体和项目的特征表征，从而获得群体对项目的偏好。针对这一问题，我们提出了一种基于交互模式的群推荐图神经网络模型GIP 4GR。具体而言，该模型利用具有强大表示能力的图神经网络框架，在图的拓扑结构中表示群体-用户-项目之间的交互，同时通过分析图的交互模式来调整图神经网络的特征输出，得到群体和项目的特征表示，计算群体对项目的偏好。我们在两个真实世界的数据集上进行了大量的实验，以说明我们的模型的优越性能。
2021-09-21 cs.AI cs.IR cs.LG
Optimal Potential Shaping on SE(3) via Neural ODEs on Lie Groups
University of Twente（特温特大学）
该研究提出将有限维李群上的动态系统优化转化为李群上的神经ODE优化问题，设计可扩展的梯度下降算法，通过李代数表示降低梯度计算成本，并在SE(3)刚体最优势能整形控制任务中验证了有效性。
2024-09-17 cs.LG math.OC
Group-Feature (Sensor) Selection With Controlled Redundancy Using Neural Networks
Indian Statistical Institute（印度统计研究所）
本文提出一种基于MLP的嵌入式特征选择方法并推广至组特征选择，通过推广组Lasso惩罚实现冗余控制，理论证明其单调性与收敛性，实验验证了其在特征和组特征选择任务上的优越性能。
2024-09-25 cs.LG
Group-Aware Graph Neural Network for Nationwide City Air Quality Forecasting
Zhejiang University（浙江大学）；Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）；Wuhan University（武汉大学）
空气污染问题威胁着公众健康。空气质量预报可以提供数小时甚至数天后的空气质量指数，帮助公众提前预防空气污染。以前的工作集中在城市范围内的空气质量预测，不能解决全国范围内的城市预测问题，其困难在于捕捉地理上遥远但高度相关的城市之间的潜在依赖关系。在本文中，我们提出了群体感知的图神经网络（GAGNN），全国城市空气质量预报的层次模型。该模型构建了一个城市图和一个城市群图，分别模拟城市之间的空间和潜在的依赖关系。GAGNN引入可微分组网络，发现城市间潜在的依赖关系，生成城市群。在生成城市群的基础上，引入群相关性编码模块，学习城市群之间的相关性，有效捕捉城市群之间的依赖关系。在图的构建之后，GAGNN实现了消息传递机制来建模城市和城市群之间的依赖关系。对中国城市空气质量数据集的评价实验表明，GAGNN的预测性能优于现有的预测模型。
2021-08-27 cs.LG
Deep Convolutional Neural Networks for predicting highest priority functional group in organic molecules
Dhirubhai Ambani Institute of Information & Communication Technology（迪鲁巴希·阿姆巴尼信息与通信技术研究所）
本文提出利用深度卷积神经网络预测有机分子中最高优先级的功能基团，通过对比支持向量机等方法，验证了CNN的优越性。
2026-03-25 cs.AI cs.LG
The Geometry of Polynomial Group Convolutional Neural Networks
Uppsala University（乌普萨拉大学）；Chalmers University of Technology（查尔姆斯理工大学）
本文研究了任意有限群G下的多项式群卷积神经网络（PGCNNs），提出基于分级群代数的数学框架，通过Hadamard和Kronecker积得到参数化，并计算了神经流形的维度，推测了Hadamard参数化的纤维结构。
2026-09-09 cs.LG math.AG
Compact Matrix Quantum Group Equivariant Neural Networks
Department of Computing, Imperial College London, United Kingdom（计算机系，伦敦帝国学院，英国）
本文提出紧矩阵量子群等变神经网络，以处理非交换几何数据，并刻画简单紧矩阵量子群的权重矩阵，获得新的等变权重矩阵表征。
2025-05-23 cs.LG math.CO math.CT
GroupIM: A Mutual Information Maximization Framework for Neural Group Recommendation
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Visa Research（Visa研究院）
我们研究的问题，使项目的建议，短暂的群体，其中包括用户有限或没有历史活动在一起。现有的研究针对具有大量活动历史的持久组，而短暂组缺乏历史相互作用。为了克服群体交互稀疏性，我们提出了数据驱动的正则化策略，以利用同一群体中用户之间的偏好协方差，以及用户个人偏好与每个群体的上下文相关性。我们做了两个贡献。首先，我们提出了一个推荐架构不可知的框架GroupIM，可以集成任意的神经偏好编码器和聚合器的短暂的组推荐。其次，我们规范化的用户组的潜在空间，以克服组交互稀疏：最大限度地提高互信息之间的代表性的群体和群体成员，并动态优先级的偏好，通过上下文偏好加权的高度信息化的成员。我们在几个真实世界数据集上的实验结果表明，与最先进的组推荐技术相比，性能有显着提高（相对NDCG@20为31-62%）。
2020-06-09 cs.IR cs.LG cs.SI
Hardware/Software Codesign for Training/Testing Multiple Neural Networks on Multiple FPGAs
大多数用于FPGA的神经网络设计是不灵活的。在本文中，我们提出了一个灵活的VHDL结构，将允许任何神经网络在多个FPGA上实现。此外，VHDL结构允许测试以及训练多个神经网络。VHDL设计由多个处理器组组成。有两种类型的处理器组：迷你向量机处理器组和激活处理器组。每个处理器组由单独的迷你向量机和激活处理器组成。迷你向量机将向量运算应用于数据，而激活处理器将激活函数应用于数据。实现了一个环形缓冲区来连接各个处理器组。
2020-03-23 cs.AR cs.LG cs.SE
On the Number of Linear Functions Composing Deep Neural Network: Towards a Refined Definition of Neural Networks Complexity
RIKEN AIP（理化学研究所人工智能研究中心）；École Normale Supérieure Paris-Saclay（巴黎-萨克雷高等师范学校）
衡量具有分段线性激活的深度神经网络的表达能力的经典方法是基于计算其线性区域的最大数量。这种复杂性度量与理解神经网络的表现力的一般属性（例如深度优于宽度）非常相关。然而，在比较不同网络架构的表现力时，它似乎是有限的。当考虑置换不变网络时，由于线性区域之间的对称冗余，这种缺乏变得特别突出。为了解决这个问题，我们提出了一个细化的定义分段线性函数的复杂性：而不是直接计算线性区域的数量，我们首先引入一个等价关系的线性函数组成分段线性函数，然后计算这些线性函数相对于该等价关系。我们的新复杂性度量可以清楚地区分上述两种模型，与经典度量一致，并随深度呈指数增长。
2021-02-25 cs.LG stat.ML
Deep-gKnock: nonlinear group-feature selection with deep neural network
University of Rhode Island（罗德岛大学）；Northeastern University（东北大学）
特征选择是当代高维数据分析的核心。在各种科学问题中，自然会出现特征间的同构。已经提出了许多方法来将分组结构信息并入特征选择。然而，这些方法通常限于线性回归设置。为了放松线性约束，我们将深度神经网络（DNN）与最近的Knockoffs技术相结合，该技术在个人特征选择上下文中取得了成功。我们提出Deep-gKnock（使用Knockoffs的深度组特征选择）作为模型解释和降维的方法。Deep-gKnock通过控制逐组错误发现率（gFDR）来执行无模型组特征选择。我们的方法提高了DNN的可解释性和可重复性。在合成数据和真实数据上的实验结果表明，与现有的方法相比，我们的方法实现了更高的功率和更精确的gFDR控制。
2019-05-27 cs.LG stat.ML
Group Activity Recognition in Basketball Tracking Data -- Neural Embeddings in Team Sports (NETS)
Temple University（天普大学）
像许多团队运动一样，篮球涉及两组球员，他们参与合作和对抗活动以赢得比赛。玩家和团队正在执行各种复杂的策略，以获得超过对手的优势。定义、识别和分析不同类型的活动是体育分析中的一项重要任务，因为它可以帮助球员和教练组制定更好的策略和决策。本文的目的是自动识别篮球群体活动的跟踪数据表示的位置的球员和球在比赛中。我们提出了一种新的深度学习方法，用于团队运动中的群体活动识别（GAR），称为NETS。为了有效地对团队运动中的球员关系进行建模，我们将基于Transformer的架构与LSTM嵌入相结合，并使用团队池层来识别团队活动。训练这样的神经网络通常需要大量的注释数据，这导致了高的标记成本。为了解决人工标签的稀缺性，我们生成弱标签并在自监督轨迹预测任务上预训练神经网络。我们使用了来自632场NBA比赛的大型跟踪数据集来评估我们的方法。结果表明，NETS能够以高精度学习群体活动，并且NETS中的自我和弱监督训练对GAR精度有积极的影响。
2022-08-31 cs.LG
Distributionally Robust Neural Networks for Group Shifts: On the Importance of Regularization for Worst-Case Generalization
Stanford University（斯坦福大学）；Microsoft（微软）
过度参数化的神经网络在i.i.d.上的平均精度可以很高。测试集在非典型数据组上始终失败（例如，通过学习平均保持但在这样的组中不保持的伪相关性）。分布式鲁棒优化（DRO）允许我们学习模型，而不是在一组预定义的组上最小化最坏情况下的训练损失。然而，我们发现，天真地将组DRO应用于过参数化神经网络是失败的：这些模型可以完美地拟合训练数据，并且任何具有消失的平均训练损失的模型也已经具有消失的最坏情况训练损失。相反，较差的最坏情况性能来自于某些组的较差泛化。通过将组DRO模型与增加的正则化（比典型的L2惩罚或早期停止更强）相结合，我们实现了更高的最差组准确率，在自然语言推理任务和两个图像任务上提高了10-40个百分点，同时保持了较高的平均准确率。我们的研究结果表明，正则化是很重要的最坏的群推广的过参数化制度，即使它是不需要的平均推广。最后，我们引入了一个随机优化算法，收敛保证，有效地训练组DRO模型。
2020-04-02 cs.LG stat.ML
Adaptive Group Lasso Neural Network Models for Functions of Few Variables and Time-Dependent Data
Dalhousie University（达尔豪斯大学）；University of Waterloo（滑铁卢大学）
在本文中，我们提出了一个自适应组Lasso深度神经网络的高维函数逼近，其中输入数据是从一个动态系统和目标函数依赖于少数活动变量或少数变量的线性组合。我们近似的目标函数的深度神经网络，并强制执行一个自适应组Lasso约束的权重合适的隐藏层，以表示对目标函数的约束。我们利用邻近算法来优化惩罚损失函数。利用Bregman距离的非负性质，我们证明了所提出的优化过程实现了损失衰减。我们的实证研究表明，该方法优于最近的国家的最先进的方法，包括稀疏字典矩阵方法，神经网络与或不组Lasso惩罚。
2021-12-03 cs.LG cs.NA math.NA
PAC bounds of continuous Linear Parameter-Varying systems related to neural ODEs
Institute for Computer Science and Control (ELKH SZTAKI)（计算机科学与控制研究所（ELKH SZTAKI））；Eötvös Loránd University（厄特沃什·罗兰大学）；Université de Lille（里尔大学）
本文在连续时间LPV系统框架下研究neural ODEs的学习问题，并在稳定性条件下给出了不依赖于积分区间的PAC泛化界。
2023-07-07 cs.LG
Grouped Convolutional Neural Networks for Multivariate Time Series
Ulsan National Institute of Science and Technology（蔚山科学技术院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
分析多变量时间序列数据对于自动控制、故障诊断和异常检测等应用具有重要意义。其中一个关键挑战是从动态变化的多变量输入中自动学习潜在特征。在视觉识别任务中，卷积神经网络（CNN）已经成功地学习了具有空间域上的共享参数的广义特征提取器。然而，当给定高维多变量时间序列时，设计适当的CNN模型结构变得具有挑战性，因为内核可能需要扩展到输入体积的全维。为了解决这个问题，我们提出了两种用于深度CNN模型的结构学习算法。我们的算法利用多个时间序列的协方差结构将输入量划分为组。第一种算法通过对单个输入序列进行聚类来显式地学习组CNN结构。第二种算法从误差反向传播中隐式地学习组CNN结构。在两个真实世界数据集的实验中，我们证明了我们的CNN组优于现有的基于CNN的回归方法。
2018-05-31 cs.LG
Theoretical Aspects of Group Equivariant Neural Networks
University of Pennsylvania（宾夕法尼亚大学）
群等变神经网络在过去的几年里一直在探索，从理论和实践的角度来看都很有趣。他们利用了群表示理论，非交换调和分析和微分几何的概念，这些概念在机器学习中并不经常出现。在实践中，它们已被证明可以降低样本和模型的复杂性，特别是在存在输入变换（如任意旋转）的挑战性任务中。我们开始这项工作的阐述组表示理论和必要的机械定义和评估积分和卷积组。然后，我们展示了最近的SO（3）和SE（3）等变网络的应用，即球形CNN，Clebsch-Gordan网络和3D Steerable CNN。我们继续讨论两个最近的理论结果。第一个是Kondor和Trivedi（ICML'18），表明神经网络是群等变的当且仅当它具有卷积结构。第二个由Cohen等人提出（NeurIPS'19），将第一个推广到更大的一类网络，将特征映射作为齐次空间上的场。
2020-04-30 cs.LG stat.ML
Monomial Matrix Group Equivariant Neural Functional Networks
National University of Singapore（新加坡国立大学）；FPT Software AI Center（FPT软件人工智能中心）
针对 NFN 仅利用权重置换对称性的局限，本文提出 Monomial-NFN，将缩放与符号翻转对称性纳入单项矩阵群作用，并证明相关不变群的子群性质，以更少参数实现具竞争力的性能与效率。
2025-03-13 cs.LG
Sparsely Grouped Input Variables for Neural Networks
Yale Child Study Center, School of Medicine, Yale University（耶鲁大学医学院耶鲁儿童研究中心）；Paul G. Allen School of Computer Science and Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；Seattle Children’s Research Institute（西雅图儿童研究所）；School of Medicine, University of Washington（华盛顿大学医学院）
在基因组分析、生物标志物发现、图像识别和涉及机器学习的其他系统中，输入变量通常可以通过其来源或语义类别组织成不同的组。消除某些变量组可以加快数据采集的过程并避免过拟合。研究人员已经使用组套索来确保线性模型中的组稀疏性，并将其扩展到元学习中创建紧凑的神经网络。与以往的研究不同，我们使用多层非线性神经网络来寻找输入变量的稀疏群。我们提出了一个新的损失函数来正则化分组输入变量的参数，为这个损失函数设计了一个新的优化算法，并在三个真实世界的设置中测试这些方法。我们实现了三个数据集的组稀疏性，保持令人满意的结果，同时从RNA剪接实验中排除一个核苷酸位置，从眼睛跟踪实验中排除89.9%的刺激，并从MNIST数据集的实验中排除60%的图像行。
2019-11-29 cs.LG stat.ML
Linear and Nonlinear Identification of Dryer System Using Artificial Intelligence and Neural Networks
当你阅读这些文字时，你正在使用一个复杂的生物神经网络。你有一组高度相互连接的神经元，以促进你的阅读，呼吸，运动和思考。你的每一个生物神经元，一个丰富的组织和化学组合，如果不是速度，也有微处理器的复杂性。你的一些神经结构在你出生时就已经存在了。其他部分已根据经验确定。
2019-02-08 cs.LG
Coordinate descent on the orthogonal group for recurrent neural network training
National Physical Laboratory（国家物理实验室）；Mathematical Institute（数学研究所）；University of Oxford（牛津大学）；IIIT Delhi（德里印度理工学院）
我们建议使用正交群上的随机黎曼坐标下降来训练循环神经网络。该算法连续旋转递归矩阵的两列，这种操作可以有效地实现为与Givens矩阵相乘。在每次迭代中随机均匀选择坐标的情况下，我们证明了该算法在标准假设下对损失函数、步长和小批量噪声的收敛性。此外，我们数值证明了循环神经网络训练中的黎曼梯度具有近似稀疏的结构。利用这一观察结果，我们提出了一个更快的变种，所提出的算法依赖于高斯-索斯韦尔规则。在一个标准的循环神经网络训练问题上的实验证明了该算法的有效性。
2021-07-30 cs.LG math.OC
Filter Pruning using Hierarchical Group Sparse Regularization for Deep Convolutional Neural Networks
Hiroshima University（广岛大学）
由于卷积神经网络经常用冗余参数训练，因此可以减少冗余核或滤波器以获得紧凑的网络而不降低分类精度。在本文中，我们提出了一种过滤器修剪方法使用层次组稀疏正则化。在我们以前的工作中，层次组稀疏正则化是有效的，在获得稀疏网络中，连接到不必要的通道的过滤器自动接近零。在对卷积神经网络进行层次群稀疏正则化训练后，根据随机选取的训练样本分类损失的增加情况选取不必要的滤波器，得到一个紧凑的网络。结果表明，该方法可以减少CIFAR-10的ResNet参数的50%以上，而测试样本的准确性仅下降0.3%。此外，TinyImageNet-200的ResNet参数减少了34%，精度高于基线网络。
2020-11-04 cs.CV cs.LG
Hierarchical Group Sparse Regularization for Deep Convolutional Neural Networks
Hiroshima University（广岛大学）
在深度神经网络（DNN）中，为了获得高的学习性能，参数的数量通常是巨大的。由于这个原因，它需要大量的内存和大量的计算资源，并且还会导致过拟合。众所周知，一些参数是冗余的，可以从网络中删除，而不会降低性能。许多稀疏正则化准则已经被提出来解决这个问题。在卷积神经网络（CNN）中，组稀疏正则化通常用于去除不必要的权重子集，例如滤波器或通道。当我们对作为一个组连接到神经元的权重应用组稀疏正则化时，每个卷积滤波器在正则化中不被视为目标组。在本文中，我们引入层次分组的概念来解决这个问题，我们提出了几个层次组稀疏正则化标准的CNN。我们提出的分层组稀疏正则化可以将输入神经元或输出神经元的权重视为一个组，并将卷积滤波器视为同一组中的一个组，以修剪不必要的权重子集。因此，我们可以根据网络的结构和保持高性能的通道数量来更充分地修剪权重。在实验中，我们通过在几种网络架构的公共数据集上进行密集的比较实验来研究所提出的稀疏正则化的有效性。代码可以在GitHub上找到：“https://github.com/K-Mitsuno/hierarchical-group-sparse-regularization“
2020-04-09 cs.CV cs.LG
The Role of Permutation Invariance in Linear Mode Connectivity of Neural Networks
TU Graz（格拉茨工业大学）；CSH Vienna（维也纳复杂科学中心）；Google Research（谷歌研究院）
在本文中，我们猜想，如果考虑到神经网络的置换不变性，SGD解决方案将可能没有障碍，在它们之间的线性插值。虽然这是一个大胆的猜想，但我们展示了广泛的经验尝试是如何无法反驳它的。我们进一步提供了一个初步的理论结果来支持我们的猜想。我们的猜想对彩票假设，分布式训练和集成方法都有影响。
2022-07-05 cs.LG
On the Generalization of Equivariance and Convolution in Neural Networks to the Action of Compact Groups
The University of Chicago（芝加哥大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
卷积神经网络在图像识别领域非常成功，因为它们确保了平移的等方差。最近有许多尝试将这个框架推广到其他领域，包括图形和数据躺在流形上。在本文中，我们给出了一个严格的，在神经网络中的卷积和等方差的理论处理，不只是平移，但任何紧凑组的行动。我们的主要结果是证明（给定一些自然约束）卷积结构不仅是一个充分的，而且是一个必要条件，一个紧凑的群的作用等变性。我们的论述利用表示论和非交换调和分析的概念，推导出新的广义卷积公式。
2018-11-10 cs.LG stat.ML
Layer Dynamics of Linearised Neural Nets
IBM Research（IBM研究院）
尽管近年来深度学习取得了惊人的成功，但在理解神经网络的基本机制方面仍然存在差距。更多的研究集中在手工制作复杂和更大的网络上，设计决策通常是临时的，基于直觉。最近的一些研究旨在通过尝试从第一原理构建理论来揭开神经网络中学习动力学的神秘面纱，例如表征专用\textit{linear}深度神经网络（例如正交网络）的非线性动力学。在这项工作中，我们扩展和推导出一般多层线性神经网络的学习动力学特性。虽然单层线性网络的过度参数化，但线性多层神经网络提供了有趣的见解，解释了学习动态如何在数据空间的小口袋中进行。我们特别指出，线性网络中的多个层以近似相同的速度增长，并且有明显不同的层增长的不同学习阶段。然后，我们将线性化过程应用于一般的RelU神经网络，并展示了非线性如何打破线性神经网络中观察到的增长对称性。总的来说，我们的工作可以被看作是建立一个理论的第一步，从第一原理理解层设计对学习动态的影响。
2019-04-24 cs.LG stat.ML
Invariant deep neural networks under the finite group for solving partial differential equations
College of Science, Minzu University of China（中央民族大学理学院）；College of Science, North China University of Technology（北方工业大学理学院）
本文提出一种对称增强深度神经网络（sDNN），通过扩展隐藏层维度或输入数据集使架构在有限群下保持不变，在大幅减少训练参数的同时严格证明了其不变性与通用近似能力，实验表明其预测精度与泛化能力显著优于原始PINN。
2025-04-06 cs.LG
Dynamic neuron approach to deep neural networks: Decoupling neurons for renormalization group analysis
Department of Physics, Korea Advanced Institute of Science and Technology（韩国科学技术院物理系）
本文提出将神经元视为额外自由度的动态神经元方法，通过解耦神经元揭示深度神经网络的平移对称性，从而简化重整化群变换的应用，为用统计物理学分析深度神经网络的临界现象开辟新途径。
2025-06-18 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Computing Linear Regions in Neural Networks with Skip Connections
University of Illinois at Chicago Department of Mathematics, Statistics, and Computer Science（伊利诺伊大学芝加哥分校数学、统计与计算机科学系）
本文利用热带几何方法提出计算带跳跃连接神经网络线性区域的算法，并通过实验揭示了过拟合问题及跳跃连接的优势。
2025-09-18 cs.LG cs.SC
Infinite-width limit of deep linear neural networks
ETH Zurich（苏黎世联邦理工学院）
研究了随机参数初始化的深度线性神经网络的无限宽极限。我们得到，当神经元的数量发散，训练动态收敛（在精确的意义上）的动态从一个无限宽的确定性线性神经网络的梯度下降。此外，即使权值保持随机，我们也得到了它们沿着训练动态的精确规律，并证明了线性预测器在神经元数量方面的定量收敛结果。最后，我们研究了无限宽线性神经网络的连续时间极限，并证明了神经网络的线性预测以指数速度收敛到风险的最小$\ell_2$范数极小化者。
2022-11-29 cs.LG math.OC stat.ML
Generalizing Convolutional Neural Networks for Equivariance to Lie Groups on Arbitrary Continuous Data
New York University（纽约大学）
卷积层的平移等方差使卷积神经网络能够很好地概括图像问题。虽然平移等方差为图像提供了强大的归纳偏差，但我们通常还希望对其他变换（例如旋转）进行等方差，特别是对于非图像数据。我们提出了一种通用的方法来构造一个卷积层，该卷积层与任何具有满射指数映射的指定李群的变换是等变的。将等方差扩展到新组需要仅实现组指数和对数映射，从而实现快速原型化。展示我们的方法的简单性和通用性，我们将相同的模型架构的图像，球和棒的分子数据，和哈密顿动力系统。对于哈密顿系统，我们的模型的等变性特别有影响力，导致线性和角动量的精确守恒。
2020-09-24 cs.LG stat.ML
Cheap Orthogonal Constraints in Neural Networks: A Simple Parametrization of the Orthogonal and Unitary Group
University of Oxford（牛津大学）
我们介绍了一种新的方法来执行正交和酉约束的一阶优化。这种方法是基于一个参数化源于李群理论通过指数映射。参数化将约束优化问题转化为欧氏空间上的无约束优化问题，可以使用常见的一阶优化方法。所给出的理论结果是一般的，足以涵盖特殊的正交群，酉群，并在一般情况下，任何连通紧李群。我们讨论了如何通过一个实现技巧来有效地计算这个和其他参数化，使得在神经网络中以可忽略的运行时成本使用数值上复杂的参数化。特别是，我们将我们的结果应用于具有正交递归权重的RNN，产生了一种称为expRNN的新架构。我们展示了我们的方法如何构成一种更强大的正交约束优化方法，在几个旨在测试RNN的任务中显示出更快，更准确，更稳定的收敛性。
2019-05-30 cs.LG stat.ML
Six Lectures on Linearized Neural Networks
Stanford University（斯坦福大学）
该系列讲座通过线性模型分析多层神经网络行为，梳理懒训练下的对应关系，综述四类线性化神经网络模型，指出线性理论局限并探讨其他解决思路。
2023-08-25 cs.LG math.ST stat.ML
Redundancy in Deep Linear Neural Networks
Faculty of Math&CS（数学与计算机科学学院）；Weizmann Institute of Science（魏茨曼科学研究所）
传统观点认为，深度线性神经网络受益于单个线性层的表现力和优化优势。本文提出，在实践中，使用传统优化器的深度线性全连接网络的训练过程与单个线性全连接层相同，是凸的。本文旨在解释并证明这一说法。尽管卷积网络与此描述不一致，但这项工作旨在获得对全连接线性网络的新概念理解，这可能会揭示卷积设置和非线性架构的可能约束。
2022-06-09 cs.LG cs.PF
Affine Invariance in Continuous-Domain Convolutional Neural Networks
University of Hamburg（汉堡大学）
本研究聚焦连续域卷积神经网络的仿射不变性，针对GL₂(ℝ)生成的仿射变换完整结构，引入新评估准则并通过嵌入仿射李群G₂实现群卷积，扩展了深度学习流水线可处理的几何变换范围。
2025-04-11 cs.LG math.ST stat.ML
Learning with Collaborative Neural Network Group by Reflection
Purdue University（普渡大学）；Fuzhou University（福州大学）
对于目前的神经系统工程，大规模学习任务的准备通常不仅需要一个巨大的神经系统，其准备过程令人难以置信，而且还需要为真正的应用程序找到一个澄清。在本文中，我们可能想要介绍协作神经网络组（CNNG）。CNNG是神经系统的一个进展，这些神经系统在类似的学习框架中协同工作，独立处理各种差事。它是由一个孤立的神经系统通过反射而发展起来的。按照这些思路，根据通过计算去除的各种情况，CNNG可以在处理信息时执行各种技术。所选方法的实例可以直观地显示出来，使深度适应更加合理。在我们的执行中，CNNG由一些适度小的神经系统加入。我们给出了一系列的测试，以评估执行CNNG与其他学习策略的对比。CNNG能够以更低的训练成本获得更高的精度。在一个训练周期内，采用3个前馈网络（4层）的MNIST可以将出错率降低74.5%，准确率达到99.45%。
2019-01-20 cs.CV cs.LG
Deep Neural Linear Bandits: Overcoming Catastrophic Forgetting through Likelihood Matching
Technion Israel Institute of Technology（以色列理工学院）
研究了求解高维边信息序贯决策问题的神经线性强盗模型。神经线性强盗利用深度神经网络的表示能力，并将其与为线性上下文强盗设计的高效探索机制相结合，在最后一个隐藏层之上。由于表示在学习期间被优化，因此关于使用“旧”特征的探索的信息丢失。在这里，我们提出了第一个有限的记忆神经线性强盗，是弹性的这种现象，我们的术语灾难性遗忘。我们评估我们的方法在各种现实世界的数据集，包括回归，分类和情感分析，并观察到我们的算法是弹性的灾难性遗忘，并取得优异的性能。
2019-08-11 cs.AI cs.LG stat.ML
Brauer's Group Equivariant Neural Networks
Imperial College London（帝国理工学院）
本文完整刻画了缺失于文献的O(n)、SO(n)、Sp(n)三种对称群下，张量幂层构成的等变神经网络的线性等变层函数，并给出其生成矩阵集。
2023-06-18 cs.LG math.CO math.RT
Probabilistic Verification of Neural Networks Against Group Fairness
Singapore Management University（新加坡管理大学）；Huawei Singapore（华为新加坡）；Chinese Academy of Science（中国科学院）
公平性是神经网络的一个重要问题，它被应用于具有重要社会意义的应用中。最近，已经有了关于改进神经网络的公平性的多次尝试，其焦点在于公平性测试（例如，生成个体歧视性实例）和公平性训练（例如，通过强化培训提高公平性）。在这项工作中，我们提出了一种方法来正式验证神经网络的公平性，重点是基于独立性的公平性，如组公平性。我们的方法建立在用于从用户提供的神经网络（即，前馈神经网络或递归神经网络），其保证便于声音分析。学习的马尔可夫链不仅允许我们验证（具有可能近似正确性保证）神经网络是否公平，而且还有助于敏感性分析，这有助于理解为什么违反公平性。我们证明了我们的分析结果，神经权重可以优化，以提高公平性。我们的方法已被评估与多个模型在基准数据集上训练，实验结果表明，我们的方法是有效的和高效的。
2021-07-18 cs.AI cs.CY cs.LG
Concentration of measure for non-linear random matrices with applications to neural networks and non-commutative polynomials
University of Warsaw, Institute of Mathematics, ul. Banacha 2, 02-097 Warszawa, Poland（华沙大学数学研究所）
本文证明了多种非线性随机矩阵模型的集中不等式，并以此为推论获得了神经网络共轭核的线性谱统计及随机矩阵中非交换多项式的估计。
2025-07-14 cs.LG math.PR
TESTSGD: Interpretable Testing of Neural Networks Against Subtle Group Discrimination
Singapore Management University（新加坡管理大学）；Zhejiang University（浙江大学）
许多机器学习应用中都存在歧视现象，这就要求在将其部署到人脸识别、医疗诊断和刑事判决等道德相关领域之前进行充分的公平性测试。现有的公平测试方法大多是为了识别个人歧视而设计的，即，歧视个人。然而，作为另一种广泛关注的歧视类型，针对群体歧视的测试，大多是隐藏的，研究得少得多。为了解决这一差距，在这项工作中，我们提出了TESTSGD，一个可解释的测试方法，系统地识别和测量隐藏的（我们称之为“微妙的”组歧视}的神经网络的特征是条件的敏感功能的组合。具体来说，给定一个神经网络，TESTSGD首先自动生成一个可解释的规则集，将输入空间分为两组，暴露模型的组歧视。此外，TESTSGD还根据对输入空间的采样提供了一个估计的群体公平性分数，以衡量所识别的微妙群体歧视的程度，该分数保证在误差范围内是准确的。我们评估TESTSGDon多个神经网络模型训练流行的数据集，包括结构化数据和文本数据。实验结果表明，TESTSGD是有效的，有效地识别和测量这种微妙的群体歧视，从来没有被揭示出来。此外，我们表明，测试结果的TESTSGD可以指导生成新的样本，以减轻这种歧视，通过重新训练，可以忽略不计的准确性下降。
2022-08-24 cs.CY cs.LG cs.SE
Finite Group Equivariant Neural Networks for Games
Trinity College Dublin（都柏林圣三一学院）；University of Siegen（锡根大学）
围棋、国际象棋和跳棋等游戏有多个等价的游戏状态，即多个棋盘位置，应该进行对称和相反的移动。这些等价性没有被当前最先进的神经代理所利用，而是必须重新学习类似的信息，从而浪费计算时间。现有工作中的组等变CNN创建了可以利用对称性来改善学习的网络，但是它们缺乏正确反映游戏所需的移动嵌入的表现力。我们介绍有限群神经网络（FGNNs），一种用于创建代理的方法，这些董事会的立场与生俱来的理解。FGNN被证明可以提高网络玩跳棋（国际跳棋）的性能，并且可以很容易地适应其他游戏和学习问题。此外，FGNN可以从现有的网络架构中创建。其中包括第一次使用跳过连接和任意层类型的连接。我们证明了U-Net的等变版本（FGNN-U-Net）在图像分割方面优于未修改的网络。
2020-09-10 cs.LG stat.ML
A General Framework for Equivariant Neural Networks on Reductive Lie Groups
University of Cambridge（剑桥大学）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）；Université Paris-Saclay（巴黎萨克雷大学）；Massachusetts Institute of Technology（麻省理工学院）；EIA University（EIA大学）；University of British Columbia（不列颠哥伦比亚大学）
本文提出适用于任意约化李群有限维表示的通用等变神经网络框架，推广ACE与MACE，并发布lie-nn库，在顶夸克标记和形状识别任务中验证其通用性。
2023-05-31 cs.LG hep-th stat.ML
