Complete the Missing Half: Augmenting Aggregation Filtering with Diversification for Graph Convolutional Neural Networks
McGill University(麦吉尔大学);Mila(米拉人工智能研究所);DeepMind(深度思维)
当前图神经网络的核心操作是通过图拉普拉斯算子或消息传递实现的聚合,过滤节点的邻域信息。虽然对各种任务有效,但在本文中,我们表明它们可能是所有GNN模型在某些数据集上学习的潜在问题因素,因为它们迫使节点表示相似,使节点逐渐失去身份并变得不可区分。因此,我们增加了聚合操作与他们的对偶,即多样化运营商,使节点更加独特,并保持身份。这种增强用双通道过滤过程代替聚合,理论上,这有利于丰富节点表示。在实践中,所提出的双通道滤波器可以很容易地在现有的GNN方法上使用不同的训练策略,包括频谱和空间(消息传递)方法。在实验中,我们观察到模型的期望特性和9个节点分类任务的基线上的显着性能提升。
2022-12-21 cs.AI cs.LG
Recurrent Graph Neural Networks with Set-Based Aggregation
Universidad Simón Bolívar(西蒙·玻利瓦尔大学)
本研究提出循环图神经网络与模态μ-演算片段BΣ°₁之间的双向等价,通过基于集合的聚合和可从权重检查的条件,实现无需计数逻辑或外部信号的符号解释路径。
2026-09-15 cs.AI
Dual Policy Learning for Aggregation Optimization in Graph Neural Network-based Recommender Systems
Sungkyunkwan University(成均馆大学);Korea University(高丽大学)
图神经网络(GNN)为推荐任务提供了强大的表示。基于GNN的推荐系统通过聚集来自远距离邻居的信息来捕获用户和项目之间复杂的高阶连接,可以提高推荐系统的性能。最近,知识图谱(KG)也已被纳入到用户项目交互图,以提供更丰富的上下文信息,他们被利用来解决冷启动问题,并使更多的可解释的聚合在基于GNN的推荐系统(GNN-R)。然而,由于用户和项目的异质性,开发一个有效的聚合策略,跨多个GNN-R,如LightGCN和KGAT,仍然是一个挑战。在本文中,我们提出了一种新的强化学习为基础的推荐系统的消息传递框架,我们称之为DPAO(聚合优化的双策略框架)。该框架使用双策略学习自适应地确定高阶连接以聚合用户和项目。双策略学习利用两个Deep-Q-Network模型来利用来自GNN-R的用户和项目感知反馈,并提高目标GNN-R的性能。我们提出的框架在六个真实世界的数据集上使用基于KG和基于KG的GNN-R模型进行了评估,结果表明,我们提出的框架显着增强了最近的基础模型,将nDCG和召回率分别提高了63.7%和42.9%。我们的实现代码可以在https://github.com/steve30572/DPAO/上找到。
2023-02-21 cs.AI
CLEAR: Class-wise Expert Aggregation with Structured Sampling for Long-Tailed Classification
School of Information Sciences(信息科学学院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对长尾分类中模型在不同类别间可靠性不均的问题,提出模块化集成框架CLEAR,通过结构化采样生成专家并估计类级信任分数,实验显示其在多数据集上表现优异,尤其小样本性能突出。
2026-08-13 cs.AI cs.CV cs.LG
Sound Logical Explanations for Mean Aggregation Graph Neural Networks
Department of Computer Science University of Oxford(计算机科学系牛津大学)
针对均值聚合GNN可解释性研究缺失的问题,本文研究非负权重均值聚合GNN(MAGNN),证明其适配的可靠单调规则类别,提出可解释其预测的一阶逻辑片段,实验验证该方法性能达标且可生成有效解释、暴露模型问题。
2025-10-27 cs.AI cs.LG cs.LO
Breaking the Expressive Bottlenecks of Graph Neural Networks
Dalian University of Technology(大连理工大学)
最近,Weisfeiler-Lehman(WL)图同构测试被用来衡量图神经网络(GNNs)的表达能力,表明邻域聚合GNNs在区分图结构方面最多与1-WL测试一样强大。还提出了类似于$k$测试($k>1$)的改进。然而,这些GNN中的聚合器远不是WL测试所要求的内射,并且具有较弱的区分能力,使其成为表达瓶颈。在本文中,我们通过探索强大的聚合器来提高表达能力。我们用相应的聚合系数矩阵重新定义了聚合,然后系统地分析了构建更强大的聚合器甚至内射聚合器对聚合系数矩阵的要求。它也可以被看作是保持隐藏特征的秩的策略,并意味着基本聚合器对应于低秩变换的特殊情况。我们还展示了在聚合之前应用非线性单元的必要性,这与大多数基于聚合的GNN不同。基于我们的理论分析,我们开发了两个GNN层,ExpandingConv和CombConv。实验结果表明,我们的模型显着提高性能,特别是对于大型和密集连接的图形。
2020-12-14 cs.AI cs.LG
Transfer Learning via Test-Time Neural Networks Aggregation
University of Torino(都灵大学);University of Catania(卡塔尼亚大学);Edinburgh Napier University(爱丁堡龙比亚大学)
已经证明,深度神经网络优于传统的机器学习。然而,深度网络缺乏普遍性,也就是说,由于域转移,它们的表现不如从不同分布中提取的新(测试)集。为了解决这个已知的问题,已经提出了几种迁移学习方法,其中训练模型的知识被转移到另一个模型中,以提高不同数据的性能。然而,这些方法中的大多数需要额外的训练步骤,或者它们遭受灾难性遗忘,当训练的模型覆盖了先前学习的知识时会发生这种情况。我们解决这两个问题,一个新的迁移学习方法,使用网络聚合。我们在统一的框架中对特定于以太网的网络和聚合网络进行训练。损失函数包括两个主要部分:任务特定损失(如交叉熵)和聚合损失。提出的聚合损失允许我们的模型学习如何使用聚合算子聚合训练的深度网络参数。我们证明了所提出的方法在测试时学习模型聚合,而无需任何进一步的训练步骤,将迁移学习的负担减少到一个简单的算术运算。所提出的方法实现了相当的性能w.r.t.基线。此外,如果聚合算子有逆,我们将证明我们的模型也固有地允许选择性遗忘,即,聚合模型可能会忘记它所训练的数据集之一,而保留其他数据集的信息。
2022-06-27 cs.AI cs.CV cs.LG
LGAN: An Efficient High-Order Graph Neural Network via the Line Graph Aggregation
LGAN通过线图聚合实现高效高阶图神经网络,提升表达能力与可解释性。
2025-12-11 cs.AI cs.LG
Sequential Aggregation and Rematerialization: Distributed Full-batch Training of Graph Neural Networks on Large Graphs
Intel AI Lab(英特尔人工智能实验室)
我们提出了顺序聚合和再物质化(SAR)计划的分布式全批训练的图神经网络(GNNs)在大型图。最近,GNN的大规模训练主要是基于采样的方法和基于不可学习消息传递的方法。另一方面,SAR是一种分布式技术,可以直接在整个大型图上训练任何GNN类型。SAR中的关键创新是分布式顺序重新物质化方案,该方案在向后传递期间顺序地重建然后释放过大的GNN计算图的片段。这导致了出色的内存扩展行为,其中每个工作线程的内存消耗随工作线程的数量线性下降,即使是密集连接的图形。使用SAR,我们报告了迄今为止全批GNN训练的最大应用,并展示了随着工人数量的增加而节省的大量内存。我们还提出了一种基于核融合和注意力矩阵再物质化的通用技术,以优化基于注意力的模型的运行时间和内存效率。我们表明,与SAR相结合,我们优化的注意力内核可以显著提高基于注意力的GNNs的速度并节省内存。我们提供了SAR GNN训练库:\url{https://github.com/IntelLabs/SAR}。
2022-04-15 cs.AI cs.LG
Secure Forward Aggregation for Vertical Federated Neural Networks
The Hong Kong University of Science and Technology(香港科技大学);Clustar(Clustar(星环聚能));Peking University(北京大学);Fuzhou University(福州大学)
垂直联邦学习(VFL)正吸引着越来越多的关注,因为它能够以隐私保护的方式实现跨筒仓数据协作。虽然VFL中的大多数研究工作都集中在线性和树模型上,但深度模型(例如,神经网络)在VFL中没有得到很好的研究。在本文中,我们专注于SplitNN,一个著名的神经网络框架VFL,并确定数据安全性和模型性能之间的权衡SplitNN。简单地说,SplitNN通过交换梯度和转换数据来训练模型。一方面,SplitNN的模型性能受到损失,因为多方联合训练模型时使用的是转换后的数据而不是原始数据,大量的低层特征信息被丢弃。另一方面,通过在SplitNN中的较低层聚合来提高模型性能的天真解决方案(即,数据被较少地变换并且更多的低级特征被保留)使得原始数据易受推断攻击。为了减轻上述权衡,我们提出了一个新的神经网络协议VFL称为安全前向聚合(SFA)。它改变了聚合转换后的数据的方式,并采用可移动的掩码来保护原始数据。实验结果表明,采用SFA的网络在保证数据安全的同时,具有较高的模型性能。
2022-06-28 cs.AI cs.CR cs.LG
Eliminating Multicollinearity Issues in Neural Network Ensembles: Incremental, Negatively Correlated, Optimal Convex Blending
Purdue University(普渡大学);University of Ioannina(约阿尼纳大学)
给定一个{features,target}数据集,我们引入了一个增量算法,该算法使用神经网络的集成来构建一个聚合回归量。众所周知,集成方法遭受多重共线性问题,这是主要由于公共训练数据集而产生的冗余的表现。在目前的增量方法中,在每个阶段,我们最佳地混合的总回归与新训练的神经网络下的凸性约束,如果必要的话,诱导负相关。在此框架下,共线性问题根本不会出现,因此该方法既准确又稳健。
2021-04-30 cs.AI cs.LG math.OC
A new interval-based aggregation approach based on bagging and Interval Agreement Approach (IAA) in ensemble learning
集成学习的主要目的是使用多个单独的分类器输出而不是一个分类器输出来聚合它们以获得更准确的分类。生成集成分类器一般由三个步骤组成:选择基分类器,应用采样策略以生成不同的个体分类器和聚合分类器输出。针对分类器输出集结步骤,提出了一种新的基于区间的集结建模方法,该方法采用了集成学习中的装袋响应方法和区间一致性方法。IAA是一种有趣而实用的决策集成方法,它被引入到决策者的意见时,他们提出的意见,间隔。在本文中,除了在集成学习中实现一种新的聚合方法外,我们还设计了一些实验来鼓励研究人员在集成学习中使用区间建模,因为它保留了更多的不确定性,这会导致更准确的分类。为了这个目的,我们比较了实施所提出的方法的结果,以多数投票作为最常见和成功的聚合函数在文献中的10个医疗数据集,以显示更好的性能的区间建模和建议的基于区间的聚合函数在二进制分类时,它涉及到集成学习。结果证实了我们所提出的方法的良好性能。
2020-12-15 cs.AI cs.LG
WWAggr: A Window Wasserstein-based Aggregation for Ensemble Change Point Detection
Applied AI Center, Skoltech(斯克里普钦技术大学应用人工智能中心);BIMSA(北京国际数学研究中心)
针对高维变点检测中现有单模型效果有限、标准集成聚合方法次优及决策阈值选择难的问题,提出基于Wasserstein距离的任务专属集成聚合方法WWAggr,可适配各类深度CPD模型集成并解决阈值选择难题。
2025-10-02 cs.AI cs.LG stat.ML
A Fairness Analysis on Private Aggregation of Teacher Ensembles
Syracuse University(锡拉丘兹大学)
教师集合私有聚合(Private Aggregation of Teacher Ensembles,PATE)是一个重要的私有机器学习框架。它结合了多个学习模型作为教师的学生模型,学习预测教师之间的嘈杂投票选择的输出。由此产生的模型满足差分隐私,并已被证明有效地学习高质量的私人模型在半监督设置或当一个人希望保护数据标签。本文问这种隐私保护框架是否会引入或加剧偏见和不公平,并表明PATE可以引入个人和群体之间的准确性差距。本文分析了哪些算法和数据属性造成了不成比例的影响,为什么这些方面对不同群体的影响不成比例,并提出了减轻这些影响的指导方针。所提出的方法进行了评估,在几个数据集和设置。
2021-09-17 cs.AI cs.CR cs.LG
PATE-AAE: Incorporating Adversarial Autoencoder into Private Aggregation of Teacher Ensembles for Spoken Command Classification
Georgia Institute of Technology(佐治亚理工学院);University of Enna(恩纳大学);NTNU(挪威科技大学)
我们提出使用对抗自动编码器(AAE),以取代生成对抗网络(GAN)的教师合奏(PATE)的私人聚合,解决方案,以确保差分隐私在语音应用中。AAE架构使我们能够获得良好的合成语音利用后的歧视性训练的潜在向量。当非敏感数据在公共领域中不充分可用时,这种合成语音用于构建隐私保护分类器。该分类器遵循PATE方案,该方案使用噪声输出的集合来标记合成样本,并在其导出的分类器上保证$\varepsilon$ -差分隐私(DP)。因此,我们提出的框架包括一个基于AAE的生成器和一个基于PATE的分类器(PATE-AAE)。在Google语音命令数据集版本II上进行评估,与其他隐私保护解决方案(即PATE-GAN和DP-GAN)相比,所提出的PATE-AAE分别将平均分类准确率提高了+ $2.11\%$和+ $6.60\%$,同时保持了$\varepsilon$ =0.01的强大隐私目标水平,固定$δ$ =10 $^{-5}$。
2021-06-15 cs.AI cs.LG cs.NE
Ensemble Elastic DQN: A Step Dependent Ensemble Approach for Reducing Overestimation in Deep Value-Based Reinforcement Learning
研究基于深度Q网络的高估偏差问题,提出集成弹性深度Q网络算法,结合自适应弹性多步回报与基于集成的目标聚合,改进回报构建并应用视域相关的集成聚合,在多环境评估中表现良好。
2026-07-07 cs.AI cs.LG
Learning-To-Ensemble by Contextual Rank Aggregation in E-Commerce
Alibaba Group(阿里巴巴集团)
电子商业中的包围模型结合了来自多个子模型的预测,以提高排名和收入。工业集成模型通常是深度神经网络,遵循监督学习范式来推断来自子模型的给定输入的转化率。然而,该过程具有以下两个问题。首先,逐点评分方法忽略了项目之间的关系并导致同质的显示结果,而多样化的显示有益于用户体验和收入。其次,学习范式关注排名指标,并不直接优化收入。在我们的工作中,我们提出了一个新的学习到Ensemble(LTE)框架RAEGO,它取代了集成模型与上下文的排名聚合器(RA),并探讨了最佳权重的子模型的评估器生成器优化(EGO)。为了实现最佳的在线性能,我们提出了一个新的排名聚合算法TournamentGreedy作为一个改进的经典排名聚合器,这也产生了最好的平均加权肯德尔Tau距离(KTD)之间的所有考虑的算法与二次时间复杂度。在假设最佳输出列表在子模型的KTD度量上是Pareto最优的情况下,我们证明了RA算法在探索最优权值方面具有更高的效率和覆盖率。结合贝叶斯优化和梯度下降的思想,我们解决了在线上下文黑盒优化任务,找到最佳的权重,为子模型给定一个选定的RA模型。RA-EGO已部署在我们的在线系统中,并显着提高了收入。
2023-02-02 cs.AI cs.LG
A Coreset Selection Framework with Ensemble Aggregation for Image Classification
Institute of Mathematics and Computer Science (ICMC)(数学与计算机科学研究所);University of São Paulo (USP)(圣保罗大学);São Carlos -- SP -- Brazil(巴西圣保罗州萨昂卡里斯)
针对图像数据增长带来的训练挑战,提出结合核心集选择与集成聚合的框架并使用SCOSS方法,经实验对比不同采样率下多种分类器,表明该方法在准确性和效率权衡上有优势,尤其在细粒度数据集上表现突出。
2026-07-13 cs.AI cs.CV
Where Do LLM Ensemble Gains Come From? Decomposing Candidate Value, Diversity, and Aggregation
该研究分解LLM集成增益的来源,发现其可分为额外候选对比与候选-上下文对比,且增益衡量结果依赖参考控制基准,建议集成评估需明确参考控制。
2026-10-16 cs.AI cs.CL
SF-PATE: Scalable, Fair, and Private Aggregation of Teacher Ensembles
Syracuse University(雪城大学);Georgia Institute of Technology(佐治亚理工学院)
数据驱动过程中的一个关键问题是建立模型,其结果不会歧视某些人口群体,包括性别,种族或年龄。为了确保在学习任务中不歧视,了解群体属性至关重要。然而,在实践中,由于法律和道德要求,这些属性可能不可用。为了应对这一挑战,本文研究了一种模型,该模型保护个人敏感信息的隐私,同时还允许它学习非歧视性的预测。所提出的模型的一个关键特征是,使通过关闭的自我和非私有的公平模型,以创建一个隐私保护和公平的模型。本文分析了准确性,隐私性和公平性之间的关系,实验评估说明了所提出的模型在几个预测任务上的好处。特别是,这个建议是第一个允许非常大的神经网络的私人和公平的模型的可扩展和准确的训练。
2022-04-11 cs.AI cs.LG
Unifying Ensemble Methods for Q-learning via Social Choice Theory
National University of Singapore(新加坡国立大学);Max Planck Institute for Software Systems (MPI-SWS)(马克斯·普朗克软件系统研究所)
为了提高稳定性、加快收敛速度和改善探索性,包围方法在强化学习(RL)中得到了广泛的应用。这些方法通常通过在不同RL算法的动作上采用聚合机制来工作。我们表明,各种这些方法可以通过借鉴社会选择理论中的委员会投票规则来统一。我们将集成方法中的动作聚合机制设计问题映射到投票问题,该问题在不同的投票规则下产生流行的基于集成的RL算法,如多数投票Q学习或Bootstrapped Q学习。我们的统一框架,反过来,使我们能够设计新的合奏RL算法具有更好的性能。例如,我们将两个以多样性为中心的委员会投票规则,即单一不可转移投票规则和Chamberlin-Courant规则映射到新的RL算法中,这些算法在我们的实验中表现出出色的探索性行为。
2019-10-08 cs.AI
Wisdom of LLM Crowds: Aggregation and Contamination in Language Model Ensembles
SND / CNRS / Sorbonne University(SND / 法国国家科学研究中心 / 索邦大学)
研究探讨大语言模型群体是否有群体智慧,通过让15个LLMs对254个二元预测市场问题进行概率估计,评估经典和学习型聚合方法,发现学习型聚合器表现优,训练截止污染影响结果,表明LLM群体有群体智慧效应,但可靠评估需无污染评估。
2026-07-24 cs.AI cs.LG
Dynamic Layer Aggregation for Neural Machine Translation with Routing-by-Agreement
Carnegie Mellon University(卡内基梅隆大学);Tencent AI Lab(腾讯人工智能实验室)
随着深度神经网络的发展,层聚合已被用于融合计算机视觉和机器翻译等各个领域的跨层信息。然而,大多数以前的方法结合层在一个静态的方式,因为它们的聚合策略是独立的特定的隐藏状态。受胶囊网络最新进展的启发,在本文中,我们提出使用协议路由策略来动态聚合层。具体来说,该算法以迭代的方式学习部分(单独的层表示)分配给整体(聚合表示)的概率,并相应地组合部分。我们在最先进的神经机器翻译模型Transformer上实现了我们的算法,并在广泛使用的WMT 14英德和WMT 17汉英翻译数据集上进行了实验。跨语言对的实验结果表明,该方法始终优于强基线模型和代表性的静态聚合模型。
2019-02-15 cs.AI cs.CL
Neural Aggregation Network for Video Face Recognition
Microsoft Research(微软研究院);The Australian National University(澳大利亚国立大学);Beijing Institute of Technology(北京理工大学)
本文提出了一种用于视频人脸识别的神经聚集网络(NAN)。该网络将具有可变数量的人脸图像的人脸视频或人脸图像集作为其输入,并产生用于识别的紧凑的、固定维度的特征表示。整个网络由两个模块组成。特征嵌入模块是一个深度卷积神经网络(CNN),它将每个人脸图像映射到一个特征向量。聚合模块由两个注意力块组成,这两个注意力块自适应地聚合特征向量以在由它们所跨越的凸包内形成单个特征。由于注意力机制的存在,聚集对图像的顺序是不变的。我们的NAN是在没有任何额外监督信号的情况下使用标准分类或验证损失进行训练的,我们发现它会自动学习倡导高质量的人脸图像,同时排斥低质量的图像,如模糊、遮挡和不适当暴露的人脸。在IJB-A、YouTube Face、Celebrity-1000视频人脸识别基准测试上的实验表明,它始终优于朴素聚合方法,并达到了最先进的准确性。
2017-08-02 cs.AI cs.CV
Neural Conjugate Aggregation: Identifiable Unsupervised Multi-Sensor Regression under Heterogeneous Sensor Bias
Istanbul Technical University(伊斯坦布尔理工大学);University of Washington(华盛顿大学)
提出神经共轭聚合模型(NCAM),一种结合神经网络与共轭高斯推理的无监督多源融合框架,通过传感器锚定和方差正则化解决非可识别性,并集成自适应蒙特卡洛共形预测提供有限样本保证。
2026-10-09 cs.AI cs.LG
Beyond Weighted Summation: Learnable Nonlinear Aggregation Functions for Robust Artificial Neurons
Independent Researcher(独立研究者)
本文提出可学习非线性聚合机制,通过F-Mean神经元和高斯支持神经元提升神经网络鲁棒性,在噪声环境下表现更优。
2026-03-19 cs.AI cs.LG
CoNAN: Conditional Neural Aggregation Network For Unconstrained Face Feature Fusion
University at Buffalo(布法罗大学)
针对远距离等无约束场景下人脸特征聚合依赖元数据或高维特征、不适用于极低分辨率人脸的问题,提出条件神经聚合网络CoNAN,通过基于特征分布的上下文向量加权聚合,在相关数据集上取得SOTA结果。
2023-07-16 cs.AI cs.CV cs.LG
A Single Model Ensemble Framework for Neural Machine Translation using Pivot Translation
本文提出了一种基于中介翻译的单模型集成框架,通过生成多样且准确的候选并进行事后聚合,提升低资源语言对的神经机器翻译质量。
2026-03-07 cs.AI cs.CL
RandomForestMLP: An Ensemble-Based Multi-Layer Perceptron Against Curse of Dimensionality
Georgia Institute of Technology(佐治亚理工学院);Télécom Paris(巴黎高等电信学院)
我们提出了一种新颖实用的深度学习管道,称为RandomForestMLP。该核心可训练分类引擎由一个卷积神经网络主干组成,后面是一个用于分类任务的基于集合的多层感知器核心。它是在自我和半监督学习任务的背景下设计的,以避免在非常小的数据集上训练时过度拟合。本文详细介绍了RandomForestMLP的体系结构,并提出了不同的策略,神经网络决策聚集。然后,它评估其鲁棒性过拟合训练时,现实的图像数据集,并比较其分类性能与现有的常规分类器。
2020-11-02 cs.AI cs.LG
Reasoning Consensus: Structural Ensembling of LLM Reasoning via Weighted DAG Aggregation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
该研究提出通过加权DAG聚合集成LLM推理结构的框架,在六个基准上优于多数投票基线,可提供可检查的共识推理图,还能分析不同推理视角。
2026-11-03 cs.AI cs.CL cs.LG
Dynamic Meta-Learning for Adaptive XGBoost-Neural Ensembles
IMDEX Limited mining technology company(IMDEX有限采矿技术公司)
本研究提出一种结合XGBoost与神经网络的自适应集成框架,借助元学习、不确定性量化及特征重要性融合实现动态模型调度,在多数据集上取得更优预测性能与可解释性。
2025-09-30 cs.AI cs.LG
Hot PATE: Private Aggregation of Distributions for Diverse Task
Google Research(谷歌研究);Tel Aviv University(特拉维夫大学);MIT(麻省理工学院);UC Berkeley(加州大学伯克利分校)
针对PATE框架适配多样化生成任务时多样性与隐私效用难以兼顾的问题,提出Hot PATE变体,设计高效采样器在不增加隐私成本的前提下保留多样性,经实验验证在上下文学习任务中显著优化了隐私-效用权衡。
2025-10-01 cs.AI cs.CR cs.DS