Large Neighborhood Search based on Neural Construction Heuristics
University of Hildesheim（希尔德斯海姆大学）
提出了一种基于神经网络的学习构造启发式算法作为修复算子的大邻域搜索（LNS）方法来求解带时间窗的车辆路径问题（VRPTW）。我们的方法使用图神经网络对问题进行编码，并对解决方案进行自回归解码，并在施工任务上使用强化学习进行训练，而不需要任何标签进行监督。神经修复算子与局部搜索例程、启发式破坏算子和应用于小群体的选择过程相结合，以达到复杂的解决方案。其关键思想是使用学习的模型来重建部分破坏的解决方案，并通过破坏策略（或随机策略本身）引入随机性，以有效地探索大的邻域。
2022-05-10 cs.AI cs.LG
MM-GNN: Mix-Moment Graph Neural Network towards Modeling Neighborhood Feature Distribution
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Microsoft Research Asia（微软亚洲研究院）
图神经网络（GNN）通过聚合来自邻居的信息，在图表示学习上表现出了表达性能。最近，一些研究讨论了在图上建模邻域分布的重要性。然而，大多数现有的GNN通过单个统计来聚合邻居的特征（例如，mean，max，sum），这丢失了与邻居的特征分布相关的信息，因此降低了模型性能。本文受统计学中矩方法的启发，提出用多阶矩来描述邻域的特征分布。设计了一种新的GNN模型--混合矩图神经网络（MM-GNN），它包括多阶矩嵌入（MME）模块和基于元素注意力的矩适配器模块。MM-GNN首先计算每个节点的邻居的多阶矩作为签名，然后使用基于元素注意力的矩适配器为每个节点的重要矩分配更大的权重并更新节点表示。我们在15个真实世界的图（包括社交网络、引文网络和网页网络等）上进行了广泛的实验。评估我们的模型，结果表明MM-GNN优于现有的国家的最先进的模型。
2023-01-28 cs.LG
High-order Graph Neural Networks with Common Neighbor Awareness for Link Prediction
School of Computer Science and Technology, Chongqing University of Posts and Telecommunications（重庆邮电大学计算机科学与技术学院）；Chongqing Institute of Green and Intelligent Technology, Chinese Academy of Sciences（中国科学院重庆绿色智能技术研究院）；College of Computer and Information Science, Southwest University（西南大学计算机与信息科学学院）
针对动态图神经网络忽略共同邻居交互的局限，提出具有共同邻居感知的高阶图神经网络HGNN-CNA，通过多跳共同邻居估计相关性并融入消息传递，显著提升了链路预测准确率。
2025-04-26 cs.LG
Graph Neural Networks with Diversity-aware Neighbor Selection and Dynamic Multi-scale Fusion for Multivariate Time Series Forecasting
University of Southern California（南加州大学）；New York University（纽约大学）
针对GNN多元时间序列预测中邻居信息冗余和单一时间尺度表示的问题，提出DIMIGNN，通过DNSM选择兼顾相似性与多样性的邻居，并利用DMFM动态融合多尺度预测，实验证明其性能持续优于已有方法。
2025-09-28 cs.AI cs.LG
Reinforced Neighborhood Selection Guided Multi-Relational Graph Neural Networks
Beihang University（北京航空航天大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；University of Leeds（利兹大学）
图神经网络（GNN）已被广泛用于各种结构化图数据的表示学习。虽然很有前途，但大多数现有的GNN过度简化了图中边的复杂性和多样性，因此无法有效地处理普遍存在的异构图，这些异构图通常是多关系图表示的形式。在本文中，我们提出了RioGNN，一种新的加强，递归和灵活的邻域选择引导的多关系图神经网络架构，导航复杂的神经网络结构，同时保持关系依赖的表示。首先根据实际任务构造一个多关系图，反映节点、边、属性和标签的异构性。为了避免不同类型节点之间的嵌入过度同化，我们采用了一种标签感知的神经相似性度量来确定基于节点属性的最相似邻居。一个增强的关系感知的邻居选择机制，选择最相似的邻居的目标节点在一个关系，然后聚合所有的邻居信息从不同的关系，以获得最终的节点嵌入。特别地，为了提高邻居选择的效率，我们提出了一种新的递归和可扩展的强化学习框架，具有可估计的深度和宽度的不同规模的多关系图。RioGNN可以通过过滤阈值机制识别每个关系的个体重要性，从而学习更多有区别的节点嵌入，增强了可解释性。在真实图数据和实际任务上的综合实验表明，与其他比较GNN模型相比，该模型在有效性、效率和模型可解释性方面都有很大的进步。
2021-10-05 cs.LG cs.SI
Evaluating Neighbor Explainability for Graph Neural Networks
Ericsson Cognitive Network Solutions（爱立信认知网络解决方案部门）；Ericsson Global Artificial Intelligence Accelerator（爱立信全球人工智能加速器）；Ericsson Research（爱立信研究院）；Etvös Loránd University（厄特沃什·罗兰大学）
本文研究图神经网络节点分类中邻居重要性的评估问题，通过重构现有可解释性方法并提出四种新指标，发现梯度类方法解释差异很小，且无自环 GNN 下许多方法无法识别重要邻居。
2024-03-30 cs.AI cs.LG
LSPI: Heterogeneous Graph Neural Network Classification Aggregation Algorithm Based on Size Neighbor Path Identification
College of Mathematics and Systems Science, Shandong University of Science and Technology（山东科技大学数学与系统科学学院）
针对异构图神经网络忽略元路径属性及大邻居路径噪声干扰问题，提出LSPI算法，通过路径判别器划分大小邻居路径并过滤噪声，利用子图级注意力融合特征生成节点嵌入，显著提升了模型性能。
2024-05-31 cs.LG
Search to aggregate neighborhood for graph neural network
Paradigm Inc.（第四范式公司）；Tsinghua University（清华大学）
近年来，图神经网络（GNN）在各种场景中得到了普及和成功。为了获得数据特定的GNN架构，研究人员转向神经架构搜索（NAS），它在发现卷积神经网络中的有效架构方面取得了令人印象深刻的成功。然而，由于搜索空间设计中的挑战和现有NAS方法的昂贵搜索成本，将NAS方法应用于GNN是不平凡的。在这项工作中，为了获得特定于数据的GNN架构并解决NAS方法所面临的计算挑战，我们提出了一个框架，该框架试图搜索聚合邻域（SANE），以自动设计特定于数据的GNN架构。通过设计一个新颖的和有表现力的搜索空间，我们提出了一个可微的搜索算法，这是更有效的比以前的强化学习的方法。在四个任务和七个真实数据集上的实验结果表明，SANE与现有的GNN模型和NAS方法相比，在有效性和效率方面具有优越性。(Code可在以下网址获得：https：//github.com/AutoML-4Paradigm/SANE）。
2021-04-20 cs.LG
Gaussian Rank-Based Neighborhood Degree for Graph Neural Networks in Image Classification
Institute of Mathematics and Computer Science (ICMC)（数学与计算机科学研究所）；University of São Paulo (USP)（圣保罗大学）；São Carlos -- SP -- Brazil（巴西圣卡洛斯）
提出GRaNDe（高斯排序邻域度）方法，通过结合邻域排序与高斯距离加权来改进图神经网络中的度归一化，在五个公开图像分类数据集上取得一致准确率提升。
2026-05-23 cs.CV cs.LG
Neighborhood Convolutional Network: A New Paradigm of Graph Neural Networks for Node Classification
Huazhong University of Science and Technology（华中科技大学）
解耦的图卷积网络（GCN）是GCN的最新发展，它在每个卷积层中实现了邻域聚合和特征变换，在图表示学习方面表现出了良好的性能。现有的解耦GCN首先利用简单的神经网络（例如，MLP）学习节点的隐藏特征，然后将学习到的特征以固定的步长在图上传播，以聚集多跳邻域的信息。尽管有效，但需要整个邻接矩阵作为输入的聚合操作涉及模型训练，导致高训练成本，阻碍了其在更大图上的潜力。另一方面，由于作为输入的节点属性的独立性，用于解耦GCN的神经网络非常简单，并且高级技术不能应用于建模。为此，我们进一步解放的聚合操作从解耦的GCN，并提出了一个新的范式的GCN，称为邻域卷积网络（NCN），利用邻域聚合结果作为输入，然后由一个特殊的卷积神经网络量身定制的聚合输入提取表达节点表示。这样，该模型既继承了解耦GCN在聚集邻域信息方面的优点，又开发了更强大的特征学习模块。一种称为掩码训练的训练策略被纳入，以进一步提高模型的性能。大量的结果表明，我们的模型的节点分类任务的有效性不同的同伦图和异伦图。
2022-11-15 cs.LG cs.SI
Tree Decomposed Graph Neural Network
Vanderbilt University（范德堡大学）
图神经网络（GNN）通过迭代地执行特征传播和变换来利用邻域信息，在学习更好的表示方面取得了重大成功。然而，迭代传播限制了高层邻域的信息通过低层邻域传输并与之融合，这必然导致不同层邻域之间的特征平滑，从而损害性能，特别是在异质网络上。此外，大多数深度GNN只认识到高层邻居的重要性，而尚未充分探索不同层邻居上下文中多跳依赖性在学习更好表示方面的重要性。在这项工作中，我们首先从理论上分析了不同层的邻域之间的特征平滑，并从经验上证明了不同层的邻域之间的同质性水平的方差。受这些分析的启发，我们进一步提出了一种树分解方法来解开不同层中的邻域，以减轻这些层之间的特征平滑。此外，我们通过我们的树分解公式中的图扩散来表征多跳依赖，以构建树分解图神经网络（TDGNN），它可以灵活地将来自大感受野的信息和利用多跳依赖聚集这些信息。综合实验结果表明，TDGNN在各种节点分类设置下，在同质和异质网络上都具有优异的性能。广泛的参数分析突出了TDGNN防止过度平滑并将浅层特征与更深的多跳依赖性结合的能力，这为更深层次的图神经网络提供了新的见解。TDGNN代码：http://github.com/YuWVandy/TDGNN
2021-08-25 cs.AI cs.LG cs.SI
Generalized Bilinear Deep Convolutional Neural Networks for Multimodal Biometric Identification
West Virginia University（西弗吉尼亚大学）
在本文中，我们建议采用一组模态专用卷积神经网络（CNN），融合，训练，并将它们优化在一起，用于人员分类任务。模态专用的CNN用于每个模态以提取模态特定的特征。我们证明，与卷积层的空间融合不同，融合可以在特定模态CNN的全连接层的输出上执行，而不会损失任何性能，并且参数数量显著减少。我们表明，在特征级别使用具有多模态融合的多个CNN，我们的性能显着优于使用单模态表示的系统。我们研究加权特征，双线性，紧凑的双线性特征级融合算法的多模态生物特征的人识别。最后，我们提出了一种广义紧双线性融合算法，将加权特征融合和紧双线性融合结合起来。我们提供了三个具有挑战性的数据库：CMU多PIE，BioCop和BIOMDATA的算法的结果。
2018-07-03 cs.LG stat.ML
2-hop Neighbor Class Similarity (2NCS): A graph structural metric indicative of graph neural network performance
Huawei Munich Research Center（华为慕尼黑研究中心）
图神经网络（GNN）在众多领域的图结构数据上实现了最先进的性能。它们将节点表示为其邻近区域的摘要的潜在能力已被证明对同构图特别有效，其中相同类型的节点倾向于连接。在不同类型的节点可能连接的异质图上，GNN的表现不太一致，因为邻域信息可能不太具有代表性，甚至具有误导性。另一方面，GNN的性能在所有异质图上都不差，并且缺乏对其他图形属性影响GNN性能的理解。在这项工作中，我们强调了广泛使用的同质比和最近的跨类邻域相似性（CCNS）度量在估计GNN性能方面的局限性。为了克服这些限制，我们引入了2跳邻居类相似性（2NCS），这是一种新的定量图形结构属性，与GNN性能的相关性比其他指标更强，更一致。2NCS认为两跳的邻居作为一个理论推导的两步标签传播过程的结果支配GCN的训练推理过程。一个合成和八个真实世界的图数据集上的实验证实了在估计基于GCN和GAT的架构对节点分类任务的准确性方面，与现有指标相比的一致改进。
2022-12-26 cs.LG
Bayesian Neighborhood Adaptation for Graph Neural Networks
Golisano College of Computing and Information Science（计算与信息科学学院）；Rochester Institute of Technology（罗切斯特理工学院）；Amazon.com, Inc.（亚马逊公司）
本文提出基于贝叶斯邻域适应的图神经网络方法，通过将跳数建模为beta过程，提升GNN的表达能力并在节点分类任务中取得优异性能。
2026-02-12 cs.LG
Heterophilous Distribution Propagation for Graph Neural Networks
Zhejiang University（浙江大学）；Bytedance Inc.（字节跳动公司）；Alibaba Group（阿里巴巴集团）
本文提出图神经网络的异质分布传播方法（HDP），通过自适应划分同质和异质邻居并结合正交约束与对比学习，解决了异质图中邻域划分不足和异质性建模问题，在多个异质数据集上优于基线方法。
2024-05-31 cs.LG cs.SI
Grothendieck Graph Neural Networks Framework: An Algebraic Platform for Crafting Topology-Aware GNNs
Department of Electrical Engineering（电气工程系）；École de Technologie Supérieure (ÉTS)（高级技术学院）；University of Quebec（魁北克大学）；Montreal, Canada（加拿大蒙特利尔）
本文提出Grothendieck图神经网络框架，通过将邻域扩展为覆盖，为构建拓扑感知的GNN提供代数基础，并设计了Sieve Neural Networks以提升拓扑评估能力。
2026-04-28 cs.LG
Node2Seq: Towards Trainable Convolutions in Graph Neural Networks
Texas A&M University（德州农工大学）
随着图数据在许多实际应用中的出现，研究图特征学习变得非常重要。几种图神经网络方法被提出用于节点特征学习，并且它们通常遵循邻近信息聚合方案来学习节点特征。虽然已经取得了很大的性能，不同的邻居节点的权重学习仍然很少探索。在这项工作中，我们提出了一种新的图网络层，称为Node2Seq，用于学习具有不同相邻节点的显式可训练权重的节点嵌入。对于目标节点，我们的方法通过注意力机制对其相邻节点进行排序，然后采用1D卷积神经网络（CNN）来实现信息聚合的显式权重。此外，我们建议将非本地信息的特征学习的自适应方式的基础上的注意力分数。实验结果表明，我们提出的Node2Seq层的有效性，并表明，所提出的自适应非局部信息学习可以提高特征学习的性能。
2021-01-06 cs.LG
Spatial Autoregressive Coding for Graph Neural Recommendation
Peking University（北京大学）；ByteDance Inc（字节跳动公司）
图嵌入方法包括传统的浅层模型和深层图神经网络（GNNs），在推荐中有着广阔的应用前景。然而，浅层模型，特别是基于随机游走的算法，由于其优化范式，未能充分利用采样子图或序列中的邻居邻近性。基于GNN的算法存在对高阶信息利用不足的问题，并且在堆叠过多层时容易导致过度平滑问题，这可能会恶化低度（长尾）项目的推荐，从而限制了表达性和可扩展性。在本文中，我们提出了一个新的框架SAC，即空间自回归编码，以解决上述问题的统一方式。为了充分利用邻居邻近性和高阶信息，我们设计了一种新型的空间自回归范式。具体来说，我们首先随机屏蔽多跳邻居，并通过整合所有其他周围的邻居与一个明确的多跳注意嵌入目标节点。然后，我们加强了模型学习的邻居预测编码的目标节点，通过比较的编码和掩蔽邻居的嵌入，配备了一个新的硬负采样策略。为了学习目标到邻居预测任务的最小充分表示并去除邻居的冗余，我们设计了邻居信息瓶颈，通过最大化目标预测编码和掩蔽邻居嵌入之间的互信息，同时约束编码和周围邻居嵌入之间的相互信息。在公共推荐数据集和真实网络规模的Douyin-Friend-Recommendation数据集上的实验结果表明，SAC方法优于现有方法。
2022-08-03 cs.AI cs.IR cs.LG
MEGA: Message Passing Neural Networks for Multigraphs with EdGe Attributes
Delft University of Technology（代尔夫特理工大学）；University of Neuchâtel（纳沙泰尔大学）
针对带边属性多重图学习的局限，该研究提出邻居感知聚合算子，构建MEGA-GNN框架，在社交和金融数据集上验证其性能达到或超越现有最优方法。
2026-09-01 cs.LG
ScaleGNN: Towards Scalable Graph Neural Networks via Adaptive High-order Neighboring Feature Fusion
Ocean University of China（海洋大学）；Harbin Institute of Technology（哈尔滨工业大学）；Shandong University of Science and Technology（山东科技大学）；School of Computer, National University of Defense Technology（国防科技大学计算机学院）
ScaleGNN通过自适应融合多跳节点特征，解决大规模图神经网络的可扩展性和过平滑问题，提升预测准确性和效率。
2026-03-09 cs.LG
On the Two Sides of Redundancy in Graph Neural Networks
Faculty of Computer Science, University of Vienna（维也纳大学计算机科学学院）；UniVie Doctoral School Computer Science, University of Vienna（维也纳大学UniVie计算机科学博士学院）；Simula Research Laboratory（Simula研究实验室）；Research Network Data Science, University of Vienna（维也纳大学数据科学研究网络）
本文针对图神经网络中的过度挤压问题，提出基于邻域树剪枝和同构子树合并的聚合方案，通过控制信息冗余提升节点和图嵌入质量，并在基准数据集上取得更高准确率。
2024-03-28 cs.LG
Neighbor-Sampling Based Momentum Stochastic Methods for Training Graph Neural Networks
针对图卷积网络高效训练缺乏理论保证与动量等实用要素的问题，提出基于邻居采样的Adam类控制变量随机方法，证明最优收敛速率，实验显示其性能优于同类SGD方法，尤其适用于大规模图数据集。
2025-08-01 cs.LG math.OC
On Graph Neural Network Fairness in the Presence of Heterophilous Neighborhoods
University of Michigan（密歇根大学）；Lawrence Livermore National Lab（劳伦斯利弗莫尔国家实验室）；RWTH Aachen University（亚琛工业大学）
我们研究了图神经网络（GNNs）的节点分类任务，并建立了由统计奇偶性和平等机会衡量的组公平性与局部非线性之间的联系，即，链接节点具有相似属性的趋势。这种非对称性通常是由同质性引起的，即具有相似属性的节点连接的趋势。在社交网络中，系统性因素迫使个体进入具有共同敏感属性的社区，因此，同质性是很常见的。通过合成图，我们研究了本地发生的同质性和公平预测之间的相互作用，发现并不是所有的节点邻域在这方面都是平等的-由一类敏感属性主导的邻域往往很难获得公平待遇，特别是在发散的本地类和敏感属性同质性的情况下。在确定局部同质性和公平性之间存在关系后，我们研究了不公平性问题是否与所应用的GNN模型的设计有关。我们表明，通过采用能够处理dispertative组标签的heterophilous GNN设计，在真实和合成数据集中，局部heterophilous邻域中的组公平性可以比homophilous设计提高高达25%。
2022-11-14 cs.CY cs.LG cs.SI
Conformal Prediction for Federated Graph Neural Networks with Missing Neighbor Information
University of Southern California（南加州大学）；DEVCOM Army Research Office（DEVCOM陆军研究办公室）
本文针对联邦图学习中缺失邻居信息影响模型可靠性的问题，提出基于变分自编码器重建缺失邻居的共形预测方法，在保证覆盖率的同时获得更小的预测集。
2024-10-17 cs.LG
Scalable Consistency Training for Graph Neural Networks via Self-Ensemble Self-Distillation
University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校）；Amazon Web Services（亚马逊网络服务）
一致性训练是改进计算机视觉和自然语言处理中深度学习模型的一种流行方法。图神经网络（GNNs）在各种网络科学学习任务中取得了显着的性能，但迄今为止还没有研究大规模图问题的一致性训练的效果。GNN通过小批量训练和子样本节点邻居来处理高度节点，从而扩展到大型图。我们利用邻居的子采样中固有的随机性，并引入一种新的一致性训练方法来提高精度。对于目标节点，我们生成不同的邻域扩展，并将预测平均值的知识提取到GNN。我们的方法近似于可能的邻域样本的预期预测，实际上只需要几个样本。我们证明了我们的训练方法在几种不同的设置中优于标准GNN训练，并且在标签率较低时获得最大收益。
2021-10-12 cs.LG
Anomaly-resistant Graph Neural Networks via Neural Architecture Search
通常，图神经网络（GNN）一直使用消息传递方法来聚合和汇总关于邻居的信息以表达它们的信息。尽管如此，以前的研究表明，图神经网络的性能变得脆弱时，有异常节点的邻居，由于这种消息传递方法。在本文中，受神经结构搜索方法的启发，我们提出了一种算法，识别异常节点，并自动排除他们的信息聚合。在各种真实世界数据集上的实验表明，我们提出的基于神经结构搜索的抗异常图神经网络（NASAR-GNN）实际上是有效的。
2021-12-19 cs.AI cs.LG
On Generalized Degree Fairness in Graph Neural Networks
Singapore Management University（新加坡管理大学）
传统的图神经网络（GNN）经常面临公平性问题，这些问题可能源于其输入，包括节点属性和节点周围的邻居。虽然最近已经提出了几种方法来消除源于敏感属性的偏差，但它们忽略了GNN的其他关键输入，即节点的邻居，这可能会引入偏差，因为GNN依赖于邻域结构来生成节点表示。特别是，节点之间不同的邻域结构，表现在截然不同的节点度上，导致节点的不同行为和有偏见的结果。在本文中，我们首先定义和推广的度偏差使用一个广义的定义节点度的表现和量化不同的多跳结构周围不同的节点。为了解决节点分类中的偏差，我们提出了一种新的GNN框架，称为广义度公平中心图神经网络（Deg-FairGNN）。具体而言，在每个GNN层中，我们采用可学习的去偏置函数来生成去偏置上下文，该上下文调制逐层邻域聚合以消除源自节点之间不同程度的程度偏差。在三个基准数据集上的大量实验证明了我们的模型在准确性和公平性指标上的有效性。
2023-02-20 cs.LG cs.SI
Finding Global Homophily in Graph Neural Networks When Meeting Heterophily
East China Normal University（华东师范大学）；Microsoft Research Asia（微软亚洲研究院）；Nanyang Technological University（南洋理工大学）
研究了具有异质性的图上的图神经网络。一些现有的方法用多跳邻居来放大节点的邻域，以包括更多具有同质性的节点。然而，为不同节点设置个性化的邻域大小是一个重大挑战。此外，对于排除在邻域中的其他同性节点，它们被忽略用于信息聚合。为了解决这些问题，我们提出了两个模型GloGNN和GloGNN++，它们通过聚合图中全局节点的信息来生成节点的嵌入。在每一层中，两个模型都学习一个系数矩阵来捕获节点之间的相关性，并基于此执行邻域聚合。系数矩阵允许有符号的值，并且是从具有封闭形式解的优化问题导出的。我们进一步加速邻域聚集，并得到一个线性的时间复杂度。我们从理论上解释了模型的有效性，证明了系数矩阵和生成的节点嵌入矩阵具有所需的分组效果。我们进行了广泛的实验，将我们的模型与其他11个竞争对手在15个基准数据集上进行了广泛的领域，规模和图形异质性的比较。实验结果表明，我们的方法实现了优越的性能，也是非常有效的。
2022-05-15 cs.AI cs.LG
Efficient Neural Common Neighbor for Temporal Graph Link Prediction
Institute for Artificial Intelligence, Peking University（人工智能研究院，北京大学）；State Key Laboratory of General Artificial Intelligence, Peking University（通用人工智能国家重点实验室，北京大学）
TNCN通过高效的时间图架构和多跳共同邻居学习，实现了在大规模时间图上高效且准确的链接预测。
2025-12-14 cs.AI cs.LG cs.SI
An $α$-No-Regret Algorithm For Graphical Bilinear Bandits
PSL - Université Paris Dauphine（巴黎多芬大学（PSL研究大学））；CNRS（法国国家科学研究中心）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
我们提出了第一个基于后悔的方法来解决图形双线性强盗问题，其中图中的$n$代理与每个邻居进行随机双线性强盗游戏。这种设置揭示了一个组合的NP难问题，防止使用任何现有的后悔为基础的算法（双）线性土匪文学。在本文中，我们填补了这一空白，并提出了第一个基于后悔的算法，图形双线性土匪使用乐观的原则，面对不确定性。理论分析表明，这种新的方法产生了一个上界的$\tilde{O}(\sqrt{T})$的$α$ -遗憾和证据的影响，图的结构上的收敛速度。最后，我们通过各种实验表明我们的方法的有效性。
2022-10-12 cs.LG stat.ML
Backpropagation with N-D Vector-Valued Neurons Using Arbitrary Bilinear Products
向量值神经学习是近年来深度学习研究的一个重要方向。传统上，神经网络（NN）的训练数据被公式化为标量向量;然而，由于相邻标量之间的关联没有建模，因此其性能可能不是最佳的。在本文中，我们提出了一种新的向量神经网络架构称为任意双线性积神经网络（ABIPNN），它处理信息作为每个神经元的向量，并使用任意双线性积定义前馈投影。这样的双线性积可以包括循环卷积、七维向量积、斜循环卷积、逆时循环卷积或在先前工作中未见到的其他新积。作为概念验证，我们将我们提出的网络应用于多光谱图像去噪和歌声分离。实验结果表明，ABIPNN与传统NN相比，获得了实质性的改进，这表明关联是在训练过程中学习的。
2018-05-24 cs.CV cs.LG stat.ML
ECC: Platform-Independent Energy-Constrained Deep Neural Network Compression via a Bilinear Regression Model
University of Rochester（罗切斯特大学）；Kwai Seattle AI Lab（快手西雅图人工智能实验室）
许多支持DNN的视觉应用始终在严格的能源约束下运行，例如无人机、增强现实耳机和智能手机。设计能够满足严格能源预算的DNN变得越来越重要。本文提出了ECC，这是一种压缩DNN以满足给定能量约束同时最小化准确性损失的框架。ECC的核心思想是通过一种新的双线性回归函数来模拟DNN的能耗。能量估计模型允许我们将DNN压缩公式化为约束优化，其在能量约束上最小化DNN损失函数。然而，优化问题具有非平凡的约束。因此，现有的深度学习求解器不能直接应用。我们提出了一种优化算法，结合了交替方向乘法（ADMM）框架的本质与基于梯度的学习算法。该算法将原约束优化问题分解为多个子问题，并迭代求解。ECC还可以跨不同的硬件平台移植，而不需要硬件知识。实验表明，与最先进的资源受限DNN压缩技术相比，ECC在相同或更低的能量预算下实现了更高的准确性。
2019-04-06 cs.LG stat.ML
BINAS: Bilinear Interpretable Neural Architecture Search
Alibaba Group（阿里巴巴集团）；Technion - Israel Institute of Technology（以色列理工学院）
神经网络的实际使用通常涉及对延迟、能量和存储器等的要求。在这种要求下查找网络的一种流行方法是通过约束神经架构搜索（NAS）。然而，以前的方法使用复杂的预测网络的准确性。这些预测器很难解释，并且对许多要调整的超参数很敏感，因此，生成的模型的准确性经常受到损害。在这项工作中，我们通过引入双线性可解释神经架构搜索（BINAS）来解决这个问题，该搜索基于准确度估计器和预期资源需求的准确和简单的双线性公式，以及具有理论保证的可扩展搜索方法。我们提出的估计器的简单性以及它的直观构造方式，通过对不同设计选择的贡献的许多见解带来了可解释性。例如，我们发现，在检查的搜索空间中，在网络的更深阶段和每个解析阶段的开始，增加深度和宽度更有效。我们的实验表明，BINAS产生可比或更好的架构比其他国家的最先进的NAS方法在降低边际搜索成本，同时严格满足资源约束。
2022-04-27 cs.AI cs.CV cs.LG
Bilinear residual Neural Network for the identification and forecasting of dynamical systems
IMT Atlantique（IMT大西洋学院）；Lab-STICC（通信与计算机科学实验室）；INRIA Bretagne-Atlantique（法国国家信息与自动化研究所布列塔尼-大西洋中心）
由于大规模观测和仿真数据集的可用性越来越高，数据驱动表示作为动力系统的有效和相关的计算表示出现在广泛的应用中，其中基于常微分方程的模型驱动模型仍然是最先进的方法。在这项工作中，我们研究神经网络（NN）作为物理健全的数据驱动的表示这样的系统。重新解释龙格-库塔方法的图形模型，我们认为残留NN架构，并引入双线性层嵌入非线性动力系统的内在特征。从经典动力系统的数值实验，我们证明了建议的NN为基础的架构的预测性能和模型识别方面的相关性。
2017-12-19 cs.LG eess.SP physics.data-an
Beyond Linear Dynamics: Neural Bilinear Dynamical Models for Time Series Forecasting
Hangzhou Dianzi University（杭州电子科技大学）
针对时间序列预测中线性模型难以捕捉非线性动力学的问题，本文提出神经双线性动力学模型NBDM，结合Koopman理论与误差补偿项，设计增强记忆控制器处理控制缺失，在五组数据集上预测性能优于基线方法。
2026-08-06 cs.AI cs.LG
Neural Koopman Lyapunov Control
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
未知非线性控制系统的镇定控制器的学习与综合是一个具有挑战性的问题。Koopman算子理论允许人们通过线性系统的透镜来分析非线性系统，并且通过双线性控制系统的透镜来分析非线性控制系统。这些方法的关键思想在于将非线性系统的坐标变换为Koopman可观量，Koopman可观量是允许将原始系统（控制系统）表示为高维线性（双线性控制）系统的坐标。然而，对于非线性控制系统，通过应用基于Koopman算子的学习方法获得的双线性控制模型不一定是可镇定的。同时辨识可镇定提升双线性控制系统以及相关的Koopman观测量仍然是一个开放的问题。在本文中，我们提出了一个框架来构建这些稳定的双线性模型，并确定其相关的可观的数据，同时学习一个双线性Koopman嵌入的底层未知的控制仿射非线性系统，以及控制李雅普诺夫函数（CLF）的Koopman为基础的双线性模型使用学习器和证伪器。因此，我们所提出的方法提供了可证明的保证渐近稳定的Koopman为基础的表示的未知控制仿射非线性控制系统作为一个双线性系统。数值仿真结果验证了我们提出的一类稳定反馈控制器对未知控制仿射非线性系统的有效性。
2022-05-23 cs.LG cs.NE cs.RO
Use of BNNM for interference wave solutions of the gBS-like equation and comparison with PINNs
利用广义双线性方法导出了广义类破缺孤子方程。建立了能精确拟合显式解且误差为零的神经网络模型，并利用双线性神经网络方法（BNNM）和物理信息神经网络（PINNs）得到了类gBS方程的干涉波解。通过三维图和密度图很好地显示了干涉波。与PINNs相比，双线性神经网络方法不仅精度更高，而且速度更快。
2022-10-25 cs.LG cs.NA cs.NE
Bilinear Input Normalization for Neural Networks in Financial Forecasting
Tampere University（坦佩雷大学）；Aarhus University（奥胡斯大学）
数据规范化是构建机器学习模型时最重要的预处理步骤之一，特别是当感兴趣的模型是深度神经网络时。这是因为使用随机梯度下降优化的深度神经网络对输入变量范围敏感，并且容易出现数值问题。不同于其他类型的信号，金融时间序列往往表现出独特的特征，如高波动性，非平稳性和多模态，使他们具有挑战性的工作，往往需要专业领域的知识来设计一个合适的处理管道。在本文中，我们提出了一种新的数据驱动的规范化方法，用于处理高频金融时间序列的深度神经网络。所提出的归一化方案，它考虑到金融多元时间序列的双峰特性，不需要专业知识来预处理金融时间序列，因为这一步骤被制定为端到端的优化过程的一部分。我们的实验，进行了国家的最先进的神经网络和高频数据，从两个大规模的限价订单簿来自北欧和美国市场，在预测未来的股票价格动态显着改善其他规范化技术。
2021-09-01 cs.LG q-fin.ST
A technical note on bilinear layers for interpretability
Conjecture（康杰科彻尔（注：Conjecture为AI安全研究机构，暂无通用标准译名，采用音译））
该研究针对神经网络超叠加导致的可解释性难题，分析了双线性层的数学特性，证明其可通过线性运算和三阶张量表示，可整合进此前仅支持纯注意力transformer的电路框架，为机制可解释性和安全研究提供新路径。
2023-05-05 cs.LG cs.NE
Multi-head Temporal Attention-Augmented Bilinear Network for Financial time series prediction
Aarhus University（奥胡斯大学）；Tampere University（坦佩雷大学）
金融时间序列预测是时间序列分析中最具挑战性的领域之一。这主要是由于金融时间序列数据的高度非平稳性和噪声性。随着社会的进步努力，设计专门的神经网络结合先前的领域知识，许多金融分析和预测问题已经成功地解决。时间注意力机制是一种神经层设计，最近由于其专注于重要时间事件的能力而流行起来。在本文中，我们提出了一个神经层的时间注意力和多头注意力的思想的基础上扩展的能力，同时关注多个时间实例的底层神经网络。我们的方法的有效性进行了验证，使用大规模的限价订单簿市场数据来预测中间价的运动方向。我们的实验表明，使用多头时间注意模块导致增强的预测性能相比，基线模型。
2022-01-14 cs.CE cs.LG
Epileptic Seizure Classification with Symmetric and Hybrid Bilinear Models
The University of Sydney（悉尼大学）；Royal Prince Alfred Hospital（皇家阿尔弗雷德王子医院）
癫痫影响着全球近1%的人口，其中三分之二可以通过抗癫痫药物治疗，手术治疗的比例要低得多。癫痫的诊断程序和监测是高度专业化和劳动密集型的。诊断的准确性也因重叠的医学症状、不同的经验水平和临床专业之间的观察者差异而复杂化。本文提出了一种新型的混合双线性深度学习网络，并将其应用于癫痫分类诊断的临床程序中，其中使用表面脑电图（sEEG）和视听监测是标准做法。基于两种类型的特征提取器，即卷积神经网络（CNN）和递归神经网络（RNN）的混合双线性模型，使用一秒sEEG的短时傅里叶变换（STFT）进行训练。在所提出的混合模型中，CNN提取时空模式，而RNN则专注于给定相同输入数据的相对较长时间间隔内的时间动态特性。基于这些时空特征之间的相互作用的二阶特征通过双线性池化进一步探索并用于癫痫分类。我们提出的方法在坦普尔大学医院癫痫语料库上获得了97.4%的F1分数，在EPILEPSIAE数据集上获得了97.2%的F1分数，与现有的基于sEEG的癫痫类型分类基准相比，这是有利的。该研究的开源实现可在https://github.com/NeuroSyd/Epileptic-Seizure-Classification上获得
2020-01-15 cs.LG eess.SP stat.ML
Bilinear Mamba-Koopman Neural MPC for Varying Dynamics
Psistar AI
该研究针对Koopman神经网络MPC在变动力学下的适应局限，提出双线性Mamba-Koopman Neural MPC，通过引入控制依赖耦合提升性能，在多基准测试中展现出更优的预测精度与鲁棒性。
2026-10-14 cs.LG math.OC
Acoustic Scene Classification Using Bilinear Pooling on Time-liked and Frequency-liked Convolution Neural Network
Xylem Inc（赛莱默公司）；Newcastle University（纽卡斯尔大学）
当前处理声学场景分类（ASC）任务的方法可以描述为两个步骤，将音频波形预处理成对数梅尔频谱图，然后将其用作卷积神经网络（CNN）的输入表示。这种范式转变发生在DCASE 2016之后，该框架模型在（ESC-50）数据集上实现了ASC任务的最新结果，并实现了64.5%的准确度，比基线模型提高了20.5%，DCASE 2016数据集的准确度为90.0%（开发）和86.2%（评估），分别比基线系统提高了6.4%和9%。本文探讨了利用谐波和谐波源分离（HPSS）将音频分离为谐波音频和谐波音频的方法，该方法在音乐信息检索（MIR）领域得到了广泛的应用。虽然已经在ASC任务中使用HPSS作为CNN模型的输入表示方面做了工作，但是本文进一步研究了通过策展2个CNN来利用分离的谐波分量和谐波分量的可能性，所述2个CNN试图以其自然形式理解谐波音频和谐波音频，一个专门用于在时间偏置域中提取深度特征，另一个专门用于在频率偏置域中提取深度特征，分别然后，从这2个CNN中提取的深度特征将使用双线性池进行组合。因此，提出了一种时频双流CNN结构的声学场景分类方法。该模型正在DCASE 2019子任务1a数据集上进行评估，并在开发数据集Kaggle Leadership Private and Public Board上平均得分为65%。
2020-02-14 cs.LG cs.SD eess.AS
Finding Manifolds With Bilinear Autoencoders
University of Antwerp（安特卫普大学）；Vrije Universiteit Brussel（布鲁塞尔自由大学）
本文提出用双线性自编码器将表示高效分解为二次多项式，并通过重要性排序、聚类与激活稀疏性改进，构建无需依赖输入即可分析的非线性潜在表示。
2025-10-19 cs.LG
Neural Similarity Learning
Georgia Institute of Technology（佐治亚理工学院）；Mila, Université de Montréal（蒙特利尔大学米拉研究所）；Ant Financial（蚂蚁金服）
基于内积的卷积一直是卷积神经网络（CNN）的基石，可以实现视觉表示的端到端学习。通过用双线性矩阵推广内积，我们提出了神经相似性，它可以作为CNN的可学习参数相似性度量。神经相似性自然地推广卷积并增强灵活性。此外，我们考虑神经相似性学习（NSL），以学习神经相似性自适应从训练数据。具体来说，我们提出了两种不同的学习神经相似性的方法：静态NSL和动态NSL。有趣的是，动态神经相似性使CNN成为一个动态推理网络。通过正则化双线性矩阵，NSL可以看作是同时学习核的形状和相似性度量。我们进一步从理论上证明了NSL的有效性。最重要的是，NSL在视觉识别和少样本学习方面表现出了良好的性能，验证了NSL相对于基于内积的卷积算法的优越性。
2019-12-06 cs.CV cs.LG stat.ML
BARNet: Bilinear Attention Network with Adaptive Receptive Fields for Surgical Instrument Segmentation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
手术器械分割对于计算机辅助手术是极其重要的。与一般的目标分割不同，由于特殊的手术场景会引起较大的光照变化和尺度变化，使得目标分割更具挑战性。在本文中，我们提出了一种新的双线性注意力网络与自适应感受野，以解决这两个挑战。对于光照变化，双线性注意模块可以捕获二阶统计量以编码全局上下文和局部像素之间的语义依赖性。利用它们，可以从相邻区域中推断出具有挑战性的区域的语义特征，从而提高各种语义的区分度。对于尺度变化，我们的自适应感受野模块聚合多尺度特征，并自动融合它们与不同的权重。具体来说，它对通道之间的语义关系进行编码，以强调具有适当尺度的特征图，从而改变后续卷积的感受野。该网络在Cata7上实现了最佳性能97.47%的平均IOU，并在EndoVis 2017上以10.10%的IOU超越第二排名方法排名第一。
2020-05-22 cs.CV cs.LG cs.RO
Graph Structure Inference with BAM: Introducing the Bilinear Attention Mechanism
Technische Universität Darmstadt（达姆施塔特工业大学）
提出一种基于双线性注意力机制（BAM）的监督图结构学习神经网络模型，利用结构方程模型与多元切比雪夫多项式模拟训练数据，仅需单次前向传播即可在无向图及部分有向无环图估计中鲁棒检测线性和非线性依赖关系。
2024-02-13 cs.LG stat.ML
Nearest-Neighbor Neural Networks for Geostatistics
North Carolina State University（北卡罗来纳州立大学）
克里格法是用于空间预测的主要方法，但依赖于预测是观测值的线性组合的假设。克里格法通常还依赖于其他假设，如正态性和平稳性。我们提出了一种基于最近邻神经网络（4N）过程的更灵活的空间预测方法，该方法将深度学习嵌入到地质统计模型中。我们证明了4N过程是一个有效的随机过程，并提出了一系列新的方法来构建特征，这些特征将用作基于邻域信息的深度学习模型的输入。我们的模型框架优于一些现有的最先进的模拟非高斯数据的地质统计建模方法，并应用于大量的林业数据集。
2019-03-28 cs.LG stat.ML
Bilinear Sequence Regression: A Model for Learning from Long Sequences of High-dimensional Tokens
Statistical Physics of Computation Laboratory, École Polytechnique Fédérale de Lausanne (EPFL), Switzerland；Department of Computing Sciences, Universita Bocconi, Milan, Italy；Department of Mathematics, ETH Zürich, Switzerland
针对高维标记长序列简单可处理模型不足的问题，本文引入双线性序列回归（BSR）模型，计算其贝叶斯最优泛化误差并提出匹配性能的消息传递算法，量化最优学习改进并揭示梯度下降算法特性。
2025-05-21 cond-mat.dis-nn cs.LG
Twin Neural Network Improved k-Nearest Neighbor Regression
Homes Plus Magazine Inc.（霍姆斯普拉斯杂志公司）
本研究提出基于双神经网络的改进k近邻回归算法，通过预测目标差值并集成近邻锚点的预测结果求解回归问题，在中小型数据集上表现优于神经网络与传统k近邻回归。
2023-10-01 cs.LG
Neighborhood Region Smoothing Regularization for Finding Flat Minima In Deep Neural Networks
Tsinghua University（清华大学）
由于深度神经网络（DNN）具有严重的过度参数化，正则化技术对于在巨大的假设空间中找到最优解至关重要。在本文中，我们提出了一种有效的正则化技术，称为邻域平滑（NRS）。NRS利用模型将受益于收敛到平坦最小值的发现，并尝试在权重空间中正则化邻域区域以产生近似输出。具体而言，在邻域区域中的模型的输出之间的间隙是由基于Kullback-Leibler散度的定义的度量来衡量的。这个度量提供了类似的见解与最小描述长度原则解释平坦极小。通过最小化这种分歧和经验损失，NRS可以显式地驱动优化器收敛到平坦的最小值。我们通过在CIFAR和ImageNet等常用数据集上跨各种模型架构执行图像分类任务来确认NRS的有效性，其中泛化能力可以普遍提高。此外，我们的经验表明，由NRS发现的最小值将有相对较小的海森特征值相比，传统的方法，这被认为是平坦的最小值的证据。
2022-02-24 cs.LG stat.ML
Integrating Nearest Neighbors with Neural Network Models for Treatment Effect Estimation
Harokopio University of Athens（雅典哈罗科皮奥大学）
提出NNCI方法，将最近邻信息集成到神经网络模型中，以提升观测数据下的治疗效果估计精度，并在多个基准上验证了显著改进。
2023-06-21 cs.LG stat.ML
Structural Disentanglement in Bilinear MLPs via Architectural Inductive Bias
Department of Electrical Engineering, Indian Institute of Technology Roorkee (IIT Roorkee), India；Department of Material Science \& Engineering, IIT Roorkee, India；Mehta Family School of Data Science
本研究通过双线性MLP探索架构归纳偏置对结构解耦的影响，证明其在代数结构恢复和可靠反学习中的作用。
2026-02-05 cs.LG
Examining the Use of Neural Networks for Feature Extraction: A Comparative Analysis using Deep Learning, Support Vector Machines, and K-Nearest Neighbor Classifiers
Rensselaer Polytechnic Institute（伦斯勒理工学院）
许多种类的神经网络被吹捧为非常强大的机器学习工具，因为它们能够从不同形式的数据中提取大量信息，提取复杂的特征并实现强大的分类能力。在这项研究中，我们使用神经网络从图像和数字数据中提取特征，并使用这些提取的特征作为其他机器学习模型的输入，即支持向量机（SVM）和k-最近邻分类器（KNN），以查看神经网络提取的特征是否增强了这些模型的能力。我们以这种方式测试了7种不同的神经网络架构，其中4种用于图像，3种用于数字数据，分别训练不同的时间长度，然后将神经网络的结果独立地与SVM和KNN的结果进行比较，最后将这些结果与使用通过神经网络架构提取的特征训练的SVM和KNN模型进行比较。在3个不同的图像数据集和2个不同的数字数据集上重复该过程。结果表明，在许多情况下，使用神经网络提取的特征显着提高SVM和KNN的能力相比，运行这些算法的原始特征，在某些情况下，也超过了神经网络单独的性能。这反过来又表明，使用神经网络作为提取特征的手段，以供其他机器学习模型对某些数据集进行分类，可能是一种合理的做法。
2018-06-12 cs.LG stat.ML
