Extreme Learning Machine with Local Connections
Dalian University of Technology（大连理工大学）
研究了极限学习机（ELM）输入隐权值的稀疏化问题。对于普通的前向神经网络，稀疏化通常是通过在网络的学习过程中引入某种正则化技术来实现的。但这种策略不能应用于ELM，因为ELM的输入隐藏权重应该是随机选择的，而不是学习的。为此，我们提出了一种改进的ELM，称为ELM-LC（ELM与本地连接），这是专为稀疏的输入隐藏权重如下：隐节点和输入节点分别分为几个相应的组，输入节点组是完全连接到其对应的隐节点组，但不连接到任何其他的隐节点组。与通常的ELM一样，隐输入权重随机给定，隐输出权重通过最小二乘学习获得。在一些基准问题的数值模拟中，新的ELM-CL表现优于传统的ELM。
2018-01-22 cs.AI cs.LG stat.ML
Expanding Label Sets for Graph Convolutional Networks
Abdullah Gül University（阿卜杜拉·居尔大学）；Case Western Reserve University（凯斯西储大学）
近年来，图卷积网络（GCN）及其变体已被广泛用于涉及图的学习任务。这些任务包括推荐系统、节点分类等。在节点分类问题中，输入是一个图，其中边表示节点对之间的关联，多维特征向量与节点相关联，并且图中的一些节点具有已知的标签。我们的目标是预测未标记的节点的标签，使用节点的功能，结合图形拓扑。虽然GCN已成功应用于此问题，但它们继承自传统深度学习模型的警告对GCN在节点分类中的广泛应用构成了重大挑战。一个这样的警告是，训练GCN需要大量的标记训练实例，这在现实环境中通常不是这种情况。为了弥补这一要求，最先进的方法利用基于网络扩散的方法在训练GCN之前在网络中传播标签。然而，这些方法忽略了网络扩散方法的倾向，即偏向于接近中心，导致标签传播到图中连接良好的节点。为了解决这个问题，我们在这里提出了一种通过以下三个步骤推断GCN中节点标签的替代方法：（i）对网络进行聚类以识别社区，（ii）使用网络扩散算法来量化每个节点与社区的接近度，从而获得每个节点的低维拓扑简档，（iii）比较这些拓扑简档以识别与标记的节点最相似的节点。
2019-12-18 cs.LG stat.ML
Unifying Graph Convolutional Neural Networks and Label Propagation
Stanford University（斯坦福大学）
标签传播（LPA）和图卷积神经网络（GCN）都是图上的消息传递算法。两者都解决了节点分类的任务，但LPA在图的边缘传播节点标签信息，而GCN传播和转换节点特征信息。然而，虽然在概念上相似，但LPA和GCN之间的理论关系尚未被研究。在这里，我们从两个方面研究LPA和GCN之间的关系：（1）特征/标签平滑，我们分析一个节点的特征/标签如何在其邻居上传播;以及（2）特征/标签影响，即一个节点的初始特征/标签对另一个节点的最终特征/标签的影响程度。基于我们的理论分析，我们提出了一个端到端的模型，统一GCN和LPA的节点分类。在我们的统一模型中，边缘权重是可学习的，LPA作为正则化来帮助GCN学习适当的边缘权重，从而提高分类性能。我们的模型也可以被看作是基于节点标签的学习注意力权重，这比现有的基于特征的注意力模型更面向任务。在真实世界的图上进行的大量实验中，我们的模型在节点分类精度方面优于最先进的基于GCN的方法。
2020-02-17 cs.LG stat.ML
Active Online Learning with Hidden Shifting Domains
Stanford University（斯坦福大学）；University of Southern California（南加州大学）；University of Arizona（亚利桑那大学）
在线机器学习系统需要适应领域的变化。同时，在每个时间步获取标签是昂贵的。我们提出了一个令人惊讶的简单的算法，自适应平衡其遗憾和标签查询的设置，其中数据流是从隐藏域的混合物。对于具有不经意对手的在线线性回归，我们提供了一个紧密的权衡，取决于隐藏域的持续时间和维度。我们的算法可以自适应地处理来自不同域的输入的交织跨度。我们还将我们的结果推广到非线性回归的假设类有界逃避维度和自适应对手。在人工数据集和真实数据集上的实验表明，该算法在相同的标记预算下，比均匀查询和贪婪查询具有更低的遗憾度。
2021-02-26 cs.LG stat.ML
Automatic Node Selection for Deep Neural Networks using Group Lasso Regularization
Doshisha University（同志社大学）；Advanced Telecommunications Research Institute International（国际高级电信研究所）
我们通过将DNN-HMM混合语音识别器应用于TED Talks语音数据来检查组Lasso（gLasso）正则化器在选择深度神经网络（DNN）隐藏层的显着节点时的效果。我们测试了两种类型的gLasso正则化，一种用于传出权重向量，另一种用于传入权重向量，以及两种大小的DNN：2048个隐藏层节点和4096个节点。此外，我们比较了gLasso和L2正则化器。我们的实验结果表明，我们的DNN训练（其中嵌入了gLasso正则化器）成功地选择了实现高分类能力所必需且足够的隐藏层节点。
2016-11-17 cs.CL cs.LG stat.ML
Multi-Label Graph Convolutional Network Representation Learning
Florida Atlantic University（佛罗里达大西洋大学）；Hunan University of Science and Technology（湖南科技大学）
基于图的系统的知识表示是许多学科的基础。迄今为止，大多数现有的表示学习方法主要关注具有单纯标签的网络，然而现实世界的对象（节点）本质上是复杂的，并且通常包含丰富的语义或标签，例如，用户可以属于社交网络的不同兴趣组，从而导致用于许多应用的多标签网络。多标签网络节点不仅具有用于每个节点的多个标签，这样的标签通常是高度相关的，使得现有方法无效或无法处理用于节点表示学习的这样的相关性。本文提出了一种新的多标记图卷积网络（ML-GCN），用于学习多标记网络的节点表示。为了充分探索标签-标签相关性和网络拓扑结构，我们提出将多标签网络建模为两个连体GCN：节点-节点-标签图和标签-标签-节点图。这两个GCN分别处理节点和标签的表示学习的一个方面，并且它们在一个目标函数下无缝集成。学习的标签表示可以有效地保持内部标签交互和节点标签属性，然后在统一的训练框架下聚合以增强节点表示学习。多标签节点分类的实验和比较验证了我们提出的方法的有效性。
2019-12-26 cs.LG cs.SI stat.ML
Inverse Graph Identification: Can We Identify Node Labels Given Graph Labels?
Tsinghua University（清华大学）；Tencent AI Lab（腾讯AI实验室）
图识别（GI）在图学习中已经研究了很长时间，并且在某些应用中（例如，社交社区发现）是必不可少的。具体来说，GI需要预测给定其节点特征和边连接集合的目标图的标签/分数。虽然这个任务很常见，但在实践中会出现更复杂的情况-我们应该做相反的事情，例如，在给定不同社区的标签的情况下，将社交网络中的相似用户分组。这引发了一个有趣的想法：我们是否可以根据节点所属的图的标签来识别它们？因此，本文定义了一个新的问题，称为逆图识别（IGI），而不是GI。IGI的变体的正式讨论后，我们选择了一个特定的案例研究的节点聚类，通过使用的图形标签和节点功能，与一个层次图，进一步表征不同的图形之间的连接的援助。为了解决这个问题，我们提出了高斯混合图卷积网络（GMGCN），这是一种简单而有效的方法，在GI协议下使用图注意力网络（GAT）进行节点级消息传递过程，然后通过高斯混合层（GML）推断每个节点的类别。GMGCN的训练通过提出的共识损失来进一步提高，以利用分层图的结构。通过大量的实验验证了IGI公式的合理性。我们验证了所提出的方法相比，其他基线的几个基准，我们已经建立了优越性。我们将发布我们的代码和基准数据，以促进更多的研究关注IGI问题。
2020-07-12 cs.LG stat.ML
Label-Consistency based Graph Neural Networks for Semi-supervised Node Classification
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
图神经网络（GNNs）在基于图的半监督节点分类中取得了显著的成功，它利用来自相邻节点的信息来改进目标节点的表示学习。GNN在节点分类方面的成功取决于连接的节点往往具有相同标签的假设。然而，这样的假设并不总是有效，限制了GNN在节点分类方面的性能。在本文中，我们提出了基于标签一致性的图神经网络（LC-GNN），利用节点对不连接，但具有相同的标签，以扩大GNN中的节点的感受野。在基准数据集上的实验表明，LC-GNN在基于图的半监督节点分类中优于传统GNN，并进一步显示了LC-GNN在只有少数标记节点的稀疏场景中的优越性。
2020-07-27 cs.LG cs.SI stat.ML
Collaborative Graph Walk for Semi-supervised Multi-Label Node Classification
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；Symantec（赛门铁克）
本文提出协作图游走方法Multi-Label-Graph-Walk，利用强化学习精细调整节点嵌入，通过多智能体协作游走捕获标签与结构关系及任务相关性，实现半监督多标签节点分类性能显著提升。
2019-11-17 cs.AI cs.LG stat.ML
CoulGAT: An Experiment on Interpretability of Graph Attention Networks
Fromthesky Research Labs LLC（Fromthesky研究实验室有限责任公司）
本文从屏蔽库仑势的定义出发，提出了一种注意力机制。该注意力机制用于通过使用为此目的开发的灵活且可扩展的框架（CoulGAT）来解释图注意力（GAT）模型层和训练数据集。使用CoulGAT，针对CHAMPS数据集使用该注意力机制训练和表征平原和resnet模型的森林。使用注意力机制的可学习变量来提取节点-节点和节点-特征交互，以定义图结构和隐藏层的经验标准模型。图和隐藏层的这种表示可以用作比较不同模型、优化隐藏层和提取数据集的图结构的紧凑定义的工具。
2019-12-18 cs.LG stat.ML
Cross-covariance modelling via DAGs with hidden variables
University of Washington（华盛顿大学）
具有隐变量的DAG模型存在许多困难，这些困难在观察所有节点时不存在。特别是，完全观察到的DAG模型被识别并对应于定义良好的分布集，而如果节点未被观察到，则情况并非如此。本文对一类一维高斯潜变量模型给出的分布集进行了精确的刻画。这些模型涉及两个观察变量块，仅对互协方差矩阵进行建模。我们描述了这个模型的相互协方差矩阵的奇异值分解的关系。我们表明，虽然该模型是欠识别，有用的信息可以提取。我们进一步考虑一种替代参数化，其中一个潜在变量与每个块相关联。我们的分析导致了一些新的协方差等价结果高斯隐变量模型。
2013-01-10 cs.LG stat.ML
Node Classification on Graphs with Few-Shot Novel Labels via Meta Transformed Network Embedding
Xi’an Jiaotong University（西安交通大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Tsinghua University（清华大学）
研究了具有Few-Shot新标签的图的节点分类问题，该问题具有两个显著的性质：（1）图中会出现新标签;（2）新标签中只有少数几个用于训练分类器的代表节点.这个问题的研究是有益的，并对应于许多应用程序，如建议新成立的团体，只有少数用户在网上社交网络。为了解决这个问题，我们提出了一个新的Meta转换网络嵌入框架（MetaTNE），它由三个模块组成：（1）一个\emph{structural module}根据图的结构为每个节点提供一个潜在表示。(2)\emph{meta-learning module}以元学习方式捕获图结构和节点标签之间的关系作为先验知识。此外，我们引入了一个\emph{embedding transformation function}，弥补了直接使用元学习的不足。本质上，元学习的先验知识可以用于促进Few-Shot新标签的学习。(3)\emph{optimization module}采用简单而有效的调度策略来训练上述两个模块，并在图结构学习和元学习之间取得平衡。在四个真实世界数据集上的实验表明，MetaTNE比最先进的方法带来了巨大的改进。
2020-10-22 cs.LG stat.ML
Autoencoder Node Saliency: Selecting Relevant Latent Representations
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；Center for Applied Scientific Computing（应用科学计算中心）
自动编码器是一个人工神经网络模型，它学习未标记数据的隐藏表示。对于线性传递函数，它类似于主成分分析（PCA）。虽然这两种方法都使用权重向量进行线性变换，但自动编码器没有任何类似于PCA中与特征向量配对的特征值的指示。我们提出了一种新的监督节点显着性（SNS）的方法，排名隐藏的节点通过比较类分布的潜在表示对一个固定的参考分布。隐藏节点的潜在表示可以使用一维直方图来描述。我们应用归一化熵差（NED）来衡量直方图的“兴趣度”，并得出一个属性的NED值来识别一个好的分类节点。通过将我们的方法应用于真实数据集，我们证明了SNS解释训练的自动编码器所学到的东西的能力。
2018-03-08 cs.CV cs.LG stat.ML
Active Discovery of Network Roles for Predicting the Classes of Network Nodes
University of Colorado（科罗拉多大学）
现实世界网络中的节点通常具有类标签或底层属性，这些标签或属性与它们连接到其他节点的方式有关。有时这种关系很简单，例如同一类的节点可能更有可能连接。然而，在其他情况下，这并不正确，网络中节点的链接方式与其属性之间的关系则不同，更为复杂。在这里，我们考虑网络，我们知道节点是如何连接的，但我们不知道节点的类标签或类标签如何与网络链接相关。我们希望识别最佳的节点子集来标记，以了解节点属性和网络链接之间的关系。然后，我们可以使用这个发现的关系来准确地预测其余网络节点的类标签。我们提出了一个模型，识别具有相似链接模式的节点组，我们称之为网络角色，使用生成块模型。然后，该模型通过使用最大间隔分类器学习从网络角色到类标签的映射来预测标签。我们选择一个子集的节点标记根据迭代的边缘为基础的主动学习策略。通过将网络角色的发现与分类器优化相结合，主动学习过程可以使网络角色适应于更好地表示用于节点分类的网络。我们通过探索现实世界中的网络，包括海洋食物网和英语单词网络来展示该模型。我们表明，与其他网络分类器相比，该模型实现了良好的分类精度为一系列的网络类标签和网络链接之间的不同关系。
2014-03-18 cs.LG cs.SI stat.ML
On the effect of the activation function on the distribution of hidden nodes in a deep network
Google Brain（谷歌大脑（Google Brain））
我们分析了一个完全连接的深度网络的不同层中隐变量向量长度的联合概率分布，当权重和偏置根据高斯分布随机选择时，输入在$\{ -1, 1\}^N$中。我们表明，如果激活函数$ϕ$满足一组最小的假设，满足所有的激活函数，我们知道，在实践中使用的，然后，作为网络的宽度变大，“长度过程”收敛概率的长度映射，确定为一个简单的函数的方差的随机权重和偏见，和激活函数$ϕ$。我们还表明，这种收敛可能会失败的$ϕ$，违反我们的假设。
2019-01-07 cs.AI cs.LG cs.NE
Label-Based Diversity Measure Among Hidden Units of Deep Neural Networks: A Regularization Method
Tianjin University（天津大学）；The Open University（开放大学）
虽然深层结构保证了深度网络（DNN）强大的表达能力，但它也引发了严重的过拟合问题。为了提高DNN的泛化能力，人们开发了许多策略来提高隐藏单元之间的多样性。然而，大多数这些策略是经验和启发式的，在缺乏多样性度量的理论推导或从多样性到泛化能力的明确联系的情况下。在本文中，从信息论的角度来看，我们引入了一个新的定义冗余描述的多样性隐藏单元下监督学习设置形式化的推广能力的互信息的隐藏层的影响。我们证明了定义的冗余和泛化能力之间存在相反的关系，即，冗余的减少通常提高了泛化能力。实验结果表明，采用冗余度作为正则化算子的DNN能有效地减少过拟合，降低泛化误差，很好地支持了上述观点。
2021-04-03 cs.AI cs.LG physics.app-ph
Learning Discriminative Features via Label Consistent Neural Network
Raytheon BBN Technologies（雷神BBN技术公司）；University of Maryland, College Park（马里兰大学帕克分校）
深度卷积神经网络（CNN）仅在输出层执行监督信息，并且通过反向传播来自输出层的预测误差来训练隐藏层，而无需显式监督。我们提出了一种监督的特征学习方法，标签一致性神经网络，它在后面的隐藏层中实施直接监督。我们将隐藏层中的每个神经元与特定的类标签相关联，并鼓励它为来自同一类的输入信号激活。更具体地说，我们引入了一个标签一致性正则化，称为“判别表示错误”损失的后期隐藏层，并将其与分类错误损失相结合，以建立我们的整体目标函数。这种标签一致性约束消除了梯度消失的常见问题，并趋向于更快的收敛;它还使得即使使用简单的$k$ -NN分类器，从后期隐藏层导出的特征也足以区分分类，因为来自同一类的输入信号将具有非常相似的表示。实验结果表明，我们的方法实现了国家的最先进的性能在几个公共基准动作和对象类别识别。
2016-06-05 cs.CV cs.LG cs.MM
Local Graph Clustering with Noisy Labels
University of Waterloo（滑铁卢大学）
本文研究如何利用含噪节点标签进行局部图聚类，提出基于标签构建加权图并执行图扩散的方法，从理论上证明其恢复优势，并在多个真实数据集上将F1最高提升13%。
2024-03-04 cs.LG cs.SI stat.ML
Joint Inference of Multiple Label Types in Large Networks
Facebook Inc.（脸书公司）
我们解决了在部分标记图中推断节点标签的问题，其中图中的每个节点具有多个标签类型，并且每个标签类型具有大量可能的标签。我们的主要示例，也是本文的重点，是对通过社交网络连接的用户的标签类型（如家乡、当前城市和雇主）的联合推断。标准标签传播没有考虑标签类型的属性以及它们之间的交互。我们提出的方法，称为EdgeExplain，明确地模拟这些，同时仍然使分布式消息传递架构下的可扩展推理。在Facebook社交网络的十亿节点子集上，EdgeExplain在几种标签类型上的表现明显优于标签传播，recall@1的提升率高达120%，recall@3的提升率高达60%。
2014-01-30 cs.LG cs.SI stat.ML
Restricted Boltzmann Machines as Models of Interacting Variables
Kavli Institute for Systems Neuroscience and Centre for Neural Computation, Norwegian University of Science and Technology（挪威科技大学 Kavli 系统神经科学研究所与神经计算中心）；SISSA—Cognitive Neuroscience（SISSA 认知神经科学）
我们研究了具有不同激活函数的受限玻尔兹曼机（RBM）的分布类型，通过研究隐藏节点的激活函数对它们施加在观察到的二进制节点上的边缘分布的影响来表达。我们报告的确切表达这些边际的形式的一个模型的相互作用的显式形式的相互作用取决于隐藏节点的激活函数的二元变量。我们详细研究了这些相互作用的性质，并评估了RBM近似二进制变量分布的准确性如何取决于隐藏节点激活函数和隐藏节点的数量。当推断的RBM参数是弱的，一个直观的模式被发现的相互作用项的表达，大大减少了激活函数之间的差异。我们证明了弱参数近似对于在MNIST数据集上训练的不同RBM是一个很好的近似。有趣的是，在这些情况下，映射揭示了推断的模型本质上是低阶相互作用模型。
2021-03-29 cond-mat.dis-nn cs.LG physics.data-an
Adaptive Mean Estimation in the Hidden Markov sub-Gaussian Mixture Model
针对标签具隐马尔可夫依赖的高维二元次高斯混合模型，本文提出极小极大最优且自适应的中心估计程序，将速率改进至 $\sqrt{δd/n}+d/n$。
2024-06-18 math.ST stat.ML stat.TH
