Relational Neurosymbolic Markov Models
KU Leuven(鲁汶大学);Örebro University(厄勒布鲁大学)
针对深度序列模型无法保证约束满足及神经符号方法在序列问题上的指数扩展问题,提出关系神经符号马尔可夫模型,结合近似贝叶斯推理与自动推理,实现可扩展且可证明满足逻辑约束的端到端可微序列建模。
2024-12-17 cs.AI cs.LG
Relational Pooling for Graph Representations
Purdue University(普渡大学)
这项工作概括了图神经网络(GNN),超越了那些基于Weisfeiler-Lehman(WL)算法,图拉普拉斯算子和扩散。我们的方法,表示关系池(RP),从有限的部分交换的理论,提供了一个框架,最大的代表性权力的图形。RP可以与现有的图表示模型一起工作,并且有点违反直觉,可以使它们比原始的WL同构测试更强大。此外,RP允许像递归神经网络和卷积神经网络这样的架构用于理论上合理的图分类方法。我们证明了基于RP的图形表示在许多任务上比最先进的方法性能更好。
2019-05-14 cs.LG stat.ML
Ensemble Multi-Relational Graph Neural Networks
Beijing University of Posts and Telecommunications(北京邮电大学);Meituan(美团)
图神经网络可以从优化目标的角度进行解释和设计。由于优化目标明确,因此所推导的GNNs结构具有良好的理论基础,能够灵活地弥补GNNs的不足。然而,这个优化目标仅针对具有单关系图的GNN被证明。我们能否通过扩展这个优化目标来推断一种新的多关系图GNN,以便同时解决以前多关系GNN中的问题,例如,过度参数化在本文中,我们提出了一种新的集成多关系GNNs通过设计一个集成多关系(EMR)优化目标。该EMR优化目标能够导出迭代更新规则,该规则可以形式化为具有多个关系的集成消息传递(EnMP)层。我们进一步分析了EnMP层的优良特性,例如,与多关系的个性化PageRank。最后,提出了一种新的多关系GNNs,很好地缓解了过度平滑和过度参数化的问题。在四个基准数据集上进行的大量实验很好地证明了该模型的有效性。
2022-05-24 cs.LG cs.SI
Jointly Learning Knowledge Embedding and Neighborhood Consensus with Relational Knowledge Distillation for Entity Alignment
Tsinghua University(清华大学)
实体对齐的目的是整合来自不同知识图谱的异构知识。最近的研究采用基于嵌入的方法,首先学习的知识图谱的表示,然后通过测量实体嵌入之间的相似性进行实体对齐。然而,由于学习知识嵌入和邻域一致性的不同目标导致的权衡问题,它们未能很好地利用关系语义信息。为了解决这个问题,我们提出了关系知识蒸馏实体对齐(RKDEA),图卷积网络(GCN)为基础的模型配备了知识蒸馏实体对齐。我们采用基于GCN的模型来学习实体的表示,考虑图的结构,并通过知识蒸馏将关系语义信息纳入GCN。然后,我们引入了一种新的自适应机制来传递关系知识,从而共同学习实体嵌入和邻域一致性。在多个基准数据集上的实验结果证明了该模型的有效性。
2022-01-25 cs.AI cs.CL cs.LG
Spatially-Aware Graph Neural Networks for Relational Behavior Forecasting from Sensor Data
Uber Advanced Technologies Group(优步先进技术集团);University of Toronto(多伦多大学)
在本文中,我们解决了从传感器数据的关系行为预测的问题。为了实现这一目标,我们提出了一种新的空间感知图神经网络(SpAGNN),模型代理在场景中的相互作用。具体来说,我们利用一个卷积神经网络来检测演员和计算他们的初始状态。然后,图神经网络通过消息传递过程迭代地更新参与者状态。受高斯信念传播的启发,我们将消息设计为邻近代理的输出分布的空间变换参数。我们的模型是完全可区分的,从而实现端到端的培训。重要的是,我们的概率预测可以在轨迹层面上对不确定性进行建模。我们通过在两个现实世界的自动驾驶数据集:ATG4D和nuScenes上实现对最先进技术的显著改进来证明我们方法的有效性。
2019-10-18 cs.CV cs.LG cs.RO
Graph Convolutional Networks from the Perspective of Sheaves and the Neural Tangent Kernel
University of Minnesota(明尼苏达大学)
图卷积网络是一类流行的深度神经网络算法,其在许多关系学习任务中显示出成功。尽管取得了成功,但图卷积网络表现出许多独特的特征,包括偏向于学习过平滑和同质函数,由于这些算法的复杂性,这些函数不容易诊断。我们建议通过研究层卷积网络的神经切线核来弥合这一理解上的差距--层卷积网络是图卷积网络的拓扑推广。为此,我们推导出层卷积网络的神经切线核的参数化,该参数化将函数分为两部分:一部分由图确定的前向扩散过程驱动,另一部分由节点激活对输出层的复合效应确定。这种几何聚焦的推导产生了许多我们详细讨论的直接见解。
2022-08-19 cs.LG
Relational Graph Neural Networks for Fraud Detection in a Super-App environment
Rappi(拉匹(Rappi公司));University of California Berkeley(加州大学伯克利分校);University of California, San Diego(加州大学圣地亚哥分校)
大型数字平台创建了捕获不同类型用户交互的环境,这些关系为欺诈检测问题提供了新的信息来源。在本文中,我们提出了一个框架的关系图卷积网络方法的欺诈行为预防的金融服务的超级应用程序。为此,我们将该框架应用于不同的异构图的用户,设备和信用卡;最后使用一个可解释性算法的图神经网络,以确定最重要的关系的分类任务的用户。我们的研究结果表明,当考虑利用超级应用程序的替代数据以及在其高连接性中发现的交互的模型时,会有附加价值,进一步证明他们如何利用这些数据来做出更好的决策和欺诈检测策略。
2021-07-30 cs.LG q-fin.GN
Temporal-related Convolutional-Restricted-Boltzmann-Machine capable of learning relational order via reinforcement learning procedure?
Xiaogan Senior High School(孝感高级中学)
在这篇文章中,我们扩展了卷积限制玻尔兹曼机的传统框架,通过构建一层乘法单元来学习任意数量的时间相关输入映射中的高度抽象特征,该乘法单元捕捉输入之间的关系。在许多情况下,两个以上的映射是强相关的,所以明智的做法是让乘法单元学习更多输入映射之间的关系,换句话说,找到每个单元的最佳关系顺序。为了使我们的机器能够学习关系顺序,我们开发了一种学习方法,其最优性被证明可以训练网络。
2017-06-24 cs.AI cs.LG stat.ML
Relational Graph Convolutional Networks: A Closer Look
Informatics Institute, University of Amsterdam(阿姆斯特丹大学信息学研究所);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
本文描述了关系图卷积网络(RGCN)的一个复制。使用我们的再现,我们解释了模型背后的直觉。我们的再现结果经验验证了我们的实现使用基准知识图谱数据集的节点分类和链接预测任务的正确性。我们的解释提供了一个友好的理解RGCN的不同组成部分的用户和研究人员扩展RGCN的方法。此外,我们介绍了两个新的配置的RGCN更参数有效。代码和数据集可在https://github.com/thiviyanT/torch-rgcn上获得。
2021-07-21 cs.LG
Relational Graph Convolutional Networks for Sentiment Analysis
Amirkabir University of Technology(阿米尔卡比尔理工大学)
本文提出利用关系图卷积网络(RGCNs)结合BERT和RoBERTa等预训练语言模型进行情感分析,有效捕捉实体间复杂关系,并在Amazon和Digikala数据集上验证了其有效性。
2024-04-16 cs.CL cs.LG
Relational Fusion Networks: Graph Convolutional Networks for Road Networks
Aalborg University(奥尔堡大学)
机器学习技术在道路网络设置中的应用具有促进许多重要的智能交通应用的潜力。图卷积网络(GCN)是能够利用网络结构的神经网络。然而,许多隐含的假设GCN不适用于道路网络。我们介绍的关系融合网络(RFN),一种新型的GCN专门为道路网络设计。特别是,我们提出的方法在道路网络中的两个机器学习任务上的性能比最先进的GCN高出21%-40%。此外,我们表明,国家的最先进的GCN可能无法有效地利用道路网络结构,并可能无法推广到其他道路网络。
2020-09-14 cs.LG stat.ML
Relational Extraction on Wikipedia Tables using Convolutional and Memory Networks
University of Alberta(阿尔伯塔大学)
针对维基百科表格中的关系抽取,提出结合 CNN 与 BiLSTM 的神经模型,实验显示其性能稳定优于既有方法,并通过消融与错误分析验证各组件贡献。
2023-07-11 cs.AI cs.CL cs.IR
GNN4PPM: Multi-Target Predictive Process Monitoring with Relational Graph Convolutional Networks
Technical University of Munich(慕尼黑工业大学)
GNN4PPM利用关系图卷积网络和异构知识图谱,实现多目标预测性流程监控,一次性预测所有下一事件及其数据负载,实验证明其准确性和适用性。
2026-09-15 cs.LG
ColdGuess: A General and Effective Relational Graph Convolutional Network to Tackle Cold Start Cases
Amazon Inc.(亚马逊公司);AWS AI Education and Research(AWS人工智能教育与研究部门)
在线零售网站中的低质量列表和不良行为威胁着电子商务业务,因为这些导致次优的购买体验并侵蚀客户信任。当一个新的列表被创建时,如何判断它具有良好的质量?该方法是否有效、快速且可扩展?先前的方法通常具有三个限制/挑战:(1)不能处理新卖家/列表缺乏足够的销售历史的冷启动问题。(2)无法大规模地对数亿个列表进行评分,或者在可扩展性方面牺牲性能。(3)具有巨大的电子商务业务规模的大规模图的空间挑战。为了克服这些限制/挑战,我们提出了ColdGuess,这是一种基于异构卖家产品图的基于归纳图的风险预测器,它可以有效地识别大规模的风险卖家/产品/列表。ColdGuess通过合并节点来处理大规模图,并使用齐次影响来解决冷启动问题1。对真实数据的测试表明,随着未知特征数量的增加,ColdGuess算法具有稳定的性能。在新卖家销售新产品的冷启动情况下,它比lightgbm 2高出34 pcp ROC-AUC。由此产生的系统ColdGuess是有效的,能够适应不断变化的风险卖方行为,并且已经投入生产
2022-05-26 cs.AI cs.LG
Convolutional Recurrent Neural Networks for Polyphonic Sound Event Detection
Tampere University of Technology (TUT)(坦佩雷理工大学)
声音事件通常发生在非结构化的环境中,它们在频率内容和时间结构上表现出广泛的变化。卷积神经网络(CNN)能够提取对局部光谱和时间变化不变的更高级别的特征。循环神经网络(RNN)在学习音频信号中的较长期时间上下文方面是强大的。CNN和RNN作为分类器,最近在各种声音识别任务中表现出比现有方法更好的性能。我们结合这两种方法在卷积递归神经网络(CRNN),并将其应用于复音声音事件检测任务。我们比较了所提出的CRNN方法与CNN,RNN和其他已建立的方法的性能,并观察到由日常声音事件组成的四个不同数据集的相当大的改进。
2017-02-21 cs.LG cs.SD
Deep Dense and Convolutional Autoencoders for Unsupervised Anomaly Detection in Machine Condition Sounds
CCG ZGDV Institute(CCG ZGDV研究所);Bosch Car Multimedia, Portugal(博世汽车多媒体(葡萄牙)公司)
本技术报告描述了为DCASE 2020挑战任务2开发的两种方法。挑战涉及到无监督学习来检测异常声音,因此在训练过程中只有正常的机器工作条件样本可用。这两种方法涉及深度自动编码器,基于使用melspectogram处理的声音特征的密集和卷积架构。使用挑战的六种机器类型数据集进行实验。总体而言,所提出的密集和卷积AE实现了具有竞争力的结果,优于基线挑战方法。
2020-06-19 cs.LG cs.SD eess.AS
RBA-GCN: Relational Bilevel Aggregation Graph Convolutional Network for Emotion Recognition
提出RBA-GCN,通过图生成、相似性聚类和双层聚合模块,解决传统GCN信息冗余和模态交互弱的问题,在IEMOCAP和MELD上F1提升2.17%-5.21%。
2023-08-31 cs.AI cs.LG
Relational Graph Attention Networks
Babylon Health(巴比伦健康)
我们研究关系图注意力网络,一类模型,扩展非关系图注意力机制,将关系信息,开放这些方法,以更广泛的各种问题。对这些模型进行了全面的评价,并与既定的基准进行了比较。为了提供有意义的比较,我们重新训练关系图注意力网络的光谱对应物-关系图卷积网络,并在相同条件下对其进行评估。我们发现,关系图注意力网络的表现比预期的要差,尽管有些配置对建模分子特性略有好处。我们提供的见解,为什么这可能是,并建议修改评估策略,以及方向,以调查未来的工作。
2019-04-11 cs.AI cs.LG stat.ML
Attention based Convolutional Recurrent Neural Network for Environmental Sound Classification
Shanghai Institute for Advanced Communication and Data Science(上海先进通信与数据科学研究院);Shanghai University(上海大学)
由于声音的复杂性,环境声音分类是一个具有挑战性的问题。ESC性能在很大程度上取决于从环境声音中提取的代表性特征的有效性。然而,ESC经常遭受语义无关帧和沉默帧。为了解决这个问题,我们采用了一个框架级的注意力模型,专注于语义相关的框架和显着的框架。具体来说,我们首先提出了一个卷积循环神经网络来学习频谱-时间特征和时间相关性。然后,我们用帧级注意力机制扩展了我们的卷积RNN模型,以学习ESC的判别特征表示。实验在ESC-50和ESC-10数据集上进行。实验结果证明了该方法的有效性,并取得了国家的最先进的性能方面的分类精度。
2019-07-04 cs.LG cs.SD eess.AS
Diffusion-Convolutional Neural Networks
College of Information and Computer Science(信息与计算机科学学院);University of Massachusetts(马萨诸塞大学)
我们提出了扩散-卷积神经网络(DCNNs),一种新的模型的图形结构的数据。通过引入扩散卷积运算,我们展示了如何从图结构数据中学习基于扩散的表示,并将其用作节点分类的有效基础。DCNN有几个有吸引力的品质,包括在同构下不变的图形数据的潜在表示,以及可以表示为张量运算并在GPU上有效实现的多项式时间预测和学习。通过对真实结构化数据集的几个实验,我们证明了DCNN在关系节点分类任务中的性能优于概率关系模型和图上核方法。
2016-07-08 cs.LG
Relational graph convolutional networks for predicting blood-brain barrier penetration of drug molecules
The University of Texas Health Science Center at Houston(德克萨斯大学休斯顿健康科学中心)
评价药物分子的血脑屏障(BBB)通透性是脑药物开发的关键步骤。传统的评价方法需要复杂的体外或体内测试。或者,基于机器学习的计算机预测已被证明是补充体外和体内方法的具有成本效益的方法。然而,所建立的模型的性能受到限制,他们无法处理药物和蛋白质之间的相互作用,这在BBB穿透行为背后的机制中起着重要作用。为了解决这一限制,我们采用了关系图卷积网络(RGCN)来处理药物-蛋白质相互作用以及每种药物的性质。RGCN模型的总体准确度为0.872,AUROC为0.919,AUPRC为0.838,用于药物-蛋白质相互作用和Mordred描述符作为输入的测试数据集。引入药物-药物相似性来连接数据图中结构相似的药物进一步改善了测试结果,总体准确度为0.876,AUROC为0.926,AUPRC为0.865。特别是,RGCN模型被发现大大优于LightGBM基础模型时,与药物的BBB渗透依赖于药物-蛋白质相互作用进行评估。我们的模型有望提供高置信度的预测血脑屏障渗透性的药物优先级在实验筛选血脑屏障穿透药物。
2022-04-06 cs.LG q-bio.QM
Sound Event Detection Using Spatial Features and Convolutional Recurrent Neural Network
CSC-IT Center for Science(芬兰科学信息技术中心)
提出了一种利用多通道音频中提取的低层空间特征进行声音事件检测的方法。我们扩展了卷积循环神经网络,通过在初始阶段分别从每种多通道特征中学习来处理多种多通道特征。我们表明,网络不是将每个通道的特征连接到单个特征向量中,而是在多通道音频中更好地学习声音事件,当它们作为卷的单独层呈现时。在同一网络上使用所提出的空间特征超过单声道特征,在公开可用的TUT-SED 2016数据集上获得了6.1%的绝对F分数改善,在TUT-SED 2009数据集上获得了2.7%的绝对F分数改善,该数据集大了15倍。
2017-06-07 cs.LG cs.SD
Quaternion Convolutional Neural Networks for Detection and Localization of 3D Sound Events
Sapienza University of Rome(罗马第一大学)
从四元数域中的数据学习使我们能够利用4D信号的内部依赖性,并将它们视为单个实体。其中一个非常适合四元数数据处理的模型是用三维声信号的球谐分解来表示的。在本文中,我们解决的问题,定位和检测的声音事件在空间声场中使用四元数值数据处理。特别是,我们认为一阶立体混响麦克风捕获的信号的球谐分量,并通过使用四元数卷积神经网络处理它们。实验结果表明,该方法利用了立体混响信号的相关性,从而提高了3D声音事件检测和定位的准确性。
2018-12-17 cs.LG cs.SD eess.AS
Multichannel Sound Event Detection Using 3D Convolutional Neural Networks for Learning Inter-channel Features
Tampere University of Technology(坦佩雷理工大学);Aalto University(阿尔托大学)
在本文中,我们提出了一个堆叠的卷积和递归神经网络(CRNN)与三维卷积神经网络(CNN)在第一层的多通道声音事件检测(SED)任务。3D CNN使网络能够从输入的多声道音频中同时学习声道间和声道内特征。为了评估所提出的方法,多声道音频数据集与不同数量的重叠声源合成。每个数据集都有一个四声道一阶Ambisonic,双耳和单声道版本,使用所提出的方法比较SED的性能,以研究使用多声道音频的SED的潜力。还对真实录音TUT-SED 2017开发数据集的双耳和单通道版本进行了类似的研究。所提出的方法可以更快地从多通道特征中识别重叠的声音事件,并且使用更少的训练时期来执行更好的SED。结果表明,在使用多声道高保真音频代替单声道音频时,我们将总体F分数提高了7.5%,总体出错率提高了10%,并且在具有四个重叠声源的时间帧中识别出15.6%以上的声音事件。
2018-01-29 cs.LG cs.SD eess.AS
Automatic COVID-19 disease diagnosis using 1D convolutional neural network and augmentation with human respiratory sound based on parameters: cough, breath, and voice
NIT Tiruchirappalli(印度国立理工学院蒂鲁吉拉帕利分校)
呼吸音分类的问题在过去一年中得到了临床科学家和医学研究小组的高度关注,以诊断COVID-19疾病。迄今为止,各种人工智能(AI)模型进入现实世界,从人类产生的声音(如语音/语音,咳嗽和呼吸)中检测COVID-19疾病。卷积神经网络(CNN)模型是在人工智能(AI)的基础上实现的,用于解决许多现实问题。在此背景下,提出并实施一维(1D)CNN,以从诸如语音、咳嗽和呼吸的人类呼吸声音诊断COVID-19的呼吸疾病。应用基于增强的机制来提高COVID-19声音数据集的预处理性能,并使用1D卷积网络自动进行COVID-19疾病诊断。此外,DDAE(数据去噪自动编码器)技术被用来生成深度声音特征,如输入函数的1D CNN,而不是采用标准的输入MFCC(梅尔频率倒谱系数),它是执行比以前的模型更好的精度和性能。
2021-12-14 cs.LG cs.SD eess.AS
Sub-Spectrogram Segmentation for Environmental Sound Classification via Convolutional Recurrent Neural Network and Score Level Fusion
Shanghai Institute for Advanced Communication and Data Science(上海先进通信与数据科学研究院);Shanghai University(上海大学)
环境声分类是一个重要而又具有挑战性的问题,而特征表示是环境声分类中的一个关键甚至是决定性的因素。特征表示能力直接影响声音分类的准确性。因此,ESC性能在很大程度上取决于从环境声音中提取的代表性特征的有效性。在本文中,我们提出了一个基于子谱图分割的ESC分类框架。此外,我们采用了建议的卷积循环神经网络(CRNN)和分数级融合,以共同提高分类精度。广泛的截断方案进行评估,以找到最佳的数量和相应的频带范围的子频谱。基于数值实验,所提出的框架可以达到81.9%的ESC分类准确率在公共数据集ESC-50,这提供了9.1%的精度提高比传统的基线计划。
2019-08-16 cs.LG cs.SD eess.AS
Edge Attention-based Multi-Relational Graph Convolutional Networks
图卷积网络(GCN)是卷积神经网络(CNN)的推广,可以处理任意结构的图。二进制邻接矩阵通常用于训练GCN。最近,注意力机制允许网络学习邻域的动态和自适应聚合。我们提出了一个新的GCN模型的图,其边缘的特点是在多个视图或精确的多个关系。例如,在化学图论中,化合物结构通常由氢耗尽的分子图表示,其中节点对应于原子,边对应于化学键。多个属性对于表征化学键可能很重要,例如原子对(键连接的原子类型),芳香性以及键是否在环中。不同的属性导致相同分子的不同图形表示。在化学和机器学习领域,人们越来越感兴趣的是从分子图中直接学习化合物的分子性质,而不是从化学家预先定义的指纹中。所提出的GCN模型,我们称之为基于边缘注意力的多关系GCN(EAGCN),在图卷积中联合学习注意力权重和节点特征。对于每个键属性,使用实值注意矩阵来代替二进制邻接矩阵。通过为边缘注意力设计字典,并通过查找字典形成每个分子的注意力矩阵,EAGCN利用不同分子中键之间的对应关系。化合物性质的预测是基于聚合的节点特征,这是独立的变化的分子(图)的大小。我们证明了EAGCN对多个化学数据集的有效性:Tox21,HIV,Freesolv和亲脂性,并解释了由此产生的注意力权重。
2018-05-20 cs.LG stat.ML
Direction of arrival estimation for multiple sound sources using convolutional recurrent neural network
Tampere University of Technology(坦佩雷理工大学);Aalto University(阿尔托大学)
提出了一种用于多声源波达方向估计的深度神经网络。所提出的堆叠卷积和循环神经网络(DOAnet)生成空间伪谱(SPS)以及方位角和仰角的DOA估计。我们避免任何显式的特征提取步骤,通过使用所有通道的频谱图的幅度和相位作为网络的输入。建议的波达方向网进行评估,通过估计多个同时存在的源在消声,匹配和不匹配的混响条件下的波达方向。实验结果表明,该算法能够较好地估计出信源个数和波达方向,并产生较高信噪比的SPS。
2018-08-05 cs.LG cs.SD eess.AS
Segmental Convolutional Neural Networks for Detection of Cardiac Abnormality With Noisy Heart Sound Recordings
Stanford University School of Medicine(斯坦福大学医学院);Stanford University(斯坦福大学)
心脏病构成了全球健康负担,而聆听和解读心音容易出错的性质加剧了这一问题。这激发了自动分类的发展,以筛选异常心音。现有的基于机器学习的系统实现了心音记录的准确分类,但依赖于尚未对噪声记录进行彻底评估的专家特征。在这里,我们提出了一个分段卷积神经网络架构,实现了自动特征学习嘈杂的心音记录。我们的实验表明,我们的最佳模型,在使用现有的基于隐藏半马尔可夫模型的方法获得的噪声记录片段上进行训练,在2016年PhysioNet/CinC Challenge数据集上达到了87.5%的分类准确率,而在同一数据集上训练和评估的最先进的统计分类器的准确率为84.6%。我们的研究结果表明,使用神经网络为基础的方法,以提高心脏疾病的筛查心音记录的自动分类的准确性的潜力。
2016-12-06 cs.LG cs.SD stat.ML
Lifted Representation of Relational Causal Models Revisited: Implications for Reasoning and Structure Learning
Artificial Intelligence Research Laboratory(人工智能研究实验室);College of Information Sciences and Technology(信息科学与技术学院);Pennsylvania State University(宾夕法尼亚州立大学)
Maier等人(2010)介绍了关系因果模型(RCM),用于表示和推断关系数据中的因果关系。抽象地图(AGG)是一种提升表示,在RCM的推理和学习中起着核心作用。Maier等人(2013 a)提出的从数据中学习RCM的算法的正确性依赖于AGG对于关系d-分离的可靠性和完整性,以将RCM的学习减少到AGG的学习。我们重新审视了AGG的定义,并表明Maier等人(2013 b)定义的AGG并没有正确地抽象所有的基础图。我们修改了AGG的定义,以确保它正确地抽象所有的地面图。我们进一步证明了AGG表示对于关系d-分离是不完全的,也就是说,在一个RCM中可以存在不被AGG蕴涵的条件独立关系。仔细检查之间的关系D-分离和忠诚条件的AGG的完整性的缺乏之间的关系表明,较弱的概念的完整性,即邻接忠诚度和方向的忠诚度之间的RCM和它的AGG,可以用来学习的RCM数据。
2015-08-17 cs.AI cs.LG
Neonatal Bowel Sound Detection Using Convolutional Neural Network and Laplace Hidden Semi-Markov Model
Monash University(莫纳什大学);The University of Sydney(悉尼大学);Westmead Hospital(韦斯特米德医院)
腹部听诊是一种方便、安全、廉价的评估肠道状况的方法,在新生儿护理中至关重要。它有助于早期发现新生儿肠道功能障碍,并允许及时干预。本文提出了一种新生儿肠鸣音检测方法,以协助听诊。具体地,提出了一种卷积神经网络(CNN)来分类发音和非发音。然后使用拉普拉斯隐半马尔可夫模型(HSMM)优化分类。所提出的方法验证腹音从49新生儿入院到我们的第三新生儿重症监护室(NICU)。结果表明,该方法能有效地检测肠鸣音,准确率和曲线下面积(AUC)评分分别为89.81%和83.96%,优于13种基线方法。此外,所提出的拉普拉斯HSMM细化策略被证明能够增强其他肠音检测模型。这项工作的成果有可能促进未来的新生儿护理的远程保健应用。我们工作的源代码可以在https://bitbucket.org/chirudeakin/neonatal-bowel-sound-classification/上找到
2022-06-01 cs.LG cs.SD eess.AS
Classification of animal sounds in a hyperdiverse rainforest using Convolutional Neural Networks
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
为了保护热带森林的生物多样性,我们需要能够可靠、廉价和大规模地检测它。通过机器学习方法从被动记录的音景中自动检测物种是实现这一目标的一种有前途的技术,但它受到大训练数据集的必要性的限制。使用音景从婆罗洲的热带森林和卷积神经网络模型(CNN)创建的迁移学习,我们调查i)的最小可行的训练数据集的大小准确预测的呼叫类型(“sonotypes”),和ii)的程度,数据增强可以克服小的训练数据集的问题。我们发现,即使相对较高的样本量(> 80每呼叫类型)导致平庸的准确性,然而,这与数据增强,包括在极小的样本量,无论分类组或呼叫特征显着改善。我们的研究结果表明,迁移学习和数据增强可以使使用CNN对物种的发声进行分类,即使是对于具有许多稀有物种的小型音景项目也是可行的。重新培训我们的开源模式只需要基本的编程技能,这使得个人的保护举措能够符合当地的情况,以便能够对生物多样性进行更有证据的管理。
2022-10-17 cs.LG
Tensor Graph Convolutional Networks for Multi-relational and Robust Learning
Univ. of Minnesota(明尼苏达大学);King Juan Carlos Univ.(胡安卡洛斯国王大学)
“数据泛滥”的时代重新激发了人们对基于图的学习方法及其广泛应用的兴趣,从社会学和生物学到交通和通信。在这种图形感知方法的背景下,本文介绍了一种张量-图卷积网络(TGCN),用于从与由张量表示的图形集合相关联的数据进行可扩展的半监督学习(SSL)。新型TGCN架构的关键方面是通过可学习的权重动态适应张量图中的不同关系,以及考虑基于图的正则化器以促进平滑性并减轻过度参数化。最终目标是设计一个强大的学习架构,能够:发现复杂和高度非线性的数据关联,组合(和选择)多种类型的关系,随着图的大小优雅地扩展,并保持对图边缘扰动的鲁棒性。所提出的架构不仅在节点自然涉及不同关系的应用中(例如,在社交网络中捕获家庭、友谊和工作关系的多关系图),而且在鲁棒学习设置中,其中图需要一定程度的不确定性,并且不同的张量板对应于标称图的不同版本(实现)。数值测试表明,所提出的架构相对于标准GCN实现了显着提高的性能,应对最先进的对抗攻击,并导致显着的SSL性能超过蛋白质相互作用网络。
2020-03-15 cs.LG eess.SP stat.ML
"Seeing Sound": Audio Classification with the Wigner-Wille Distribution and Convolutional Neural Networks
Technical University of Eindhoven (TU/e)(埃因霍温理工大学);Dutch National Police(荷兰国家警察)
随着大数据变得越来越可用,物联网硬件被广泛采用,人工智能功能变得越来越强大,组织正在不断投资于传感。来自传感器网络的数据目前与传感器融合和人工智能算法相结合,以推动自动驾驶汽车等领域的创新。来自这些传感器的数据可以用于许多用例,包括城市环境的安全系统中的警报,例如枪击和爆炸事件。此外,各种类型的传感器,例如声音传感器,可以在低光条件下或在相机不可用的位置处使用。本文探讨了在城市环境中利用声音传感器数据的潜力。在技术上,我们提出了一种新的方法分类的声音数据使用Wigner-Ville分布和卷积神经网络。在本文中,我们报告的方法在开源数据集上的性能。提出的概念和工作是基于我的博士论文,这是在埃因霍温大学数据科学工程博士课程的一部分,与荷兰国家警察合作。在论文中,对真实世界的数据集进行了额外的工作,由于保密性,这里没有介绍。
2022-11-06 cs.AI cs.LG cs.SD
Urban Sound Tagging using Convolutional Neural Networks
FindHotel(FindHotel公司)
在本文中,我们提出了一个框架,环境声音分类在低数据的情况下(少于100个标记的例子,每个类)。我们表明,使用预训练的图像分类模型以及使用数据增强技术的结果在更高的性能比替代方法。我们将该系统应用于DCASE 2019的城市声音标记任务。目标是从原始音频数据中标记不同的噪声源。MobileNetV 2的修改形式,卷积神经网络(CNN)模型被训练以联合分类粗标签和细标签。该模型使用对数尺度梅尔频谱图作为音频数据的表示格式。混合、随机擦除、缩放和移位被用作数据增强技术。使用缩放标签的第二个模型被构建来解释注释中的人为错误。所提出的模型在排行榜上获得了第一名,精细和粗糙标签的Micro-AUPRC值分别为0.751和0.860。
2019-09-27 cs.LG cs.SD eess.AS
Localization, Detection and Tracking of Multiple Moving Sound Sources with a Convolutional Recurrent Neural Network
Tampere University(坦佩雷大学)
本文研究了联合定位,检测和跟踪的声音事件使用卷积循环神经网络(CRNN)。我们使用CRNN先前提出的固定源的定位和检测,并表明,经常性的层,使运动源的空间跟踪时,训练与动态场景。CRNN的跟踪性能进行了比较,一个独立的跟踪方法,结合了多源(DOA)估计和粒子滤波。他们各自的性能进行评估,在各种声学条件下,如消声和混响的情况下,固定和移动源在几个角速度,并与不同数量的重叠源。结果表明,CRNN设法跟踪多个源更一致的声学场景比参数的方法,但在较高的定位误差的成本。
2019-04-29 cs.LG cs.SD eess.AS
"What's That Sound?": A Versatile, Robust, and Lightweight Convolutional Transformer for Environment Sound Recognition
Northville High School(诺斯维尔高中)
针对助听器无法识别非语音声音的问题,提出随机音频增强分层卷积Transformer(RALCT),结合MFCC与log-mel特征及CNN-Transformer架构,以约31万参数在UrbanSound8K上达94.56%准确率,并集成移动应用提升听障者安全。
2026-09-24 cs.LG cs.SD
End-to-End Polyphonic Sound Event Detection Using Convolutional Recurrent Neural Networks with Learned Time-Frequency Representation Input
Tampere University of Technology(坦佩雷理工大学)
声音事件检测系统通常由两个阶段组成:从原始音频波形中提取手工制作的特征,以及使用分类器学习这些特征与目标声音事件之间的映射。近来,声音事件检测研究的焦点已经大部分转移到使用诸如mel频谱图的标准特征作为诸如深度神经网络的分类器的输入的后一阶段。在这项工作中,我们利用端到端的方法,并建议将这两个阶段结合在一个单一的深度神经网络分类器。原始波形上的特征提取由前馈层块进行,其参数被初始化以提取时频表示。在训练期间更新特征提取参数,从而产生针对特定任务优化的表示。这个特征提取块之后是一个卷积递归网络(并与之联合训练),该网络最近在许多声音识别任务中给出了最先进的结果。所提出的系统并没有优于具有固定手工特征的卷积递归网络。特征提取块参数的最终幅度谱特性表明,对于给定任务最相关的信息包含在0 - 3 kHz频率范围内,并且这也得到了SED性能的经验结果的支持。
2018-05-09 cs.LG cs.SD eess.AS
End-to-End Environmental Sound Classification using a 1D Convolutional Neural Network
École de Technologie Supérieure, Université du Québec(魁北克大学高等技术学院)
在本文中,我们提出了一种端到端的方法,环境声音分类的基础上,1D卷积神经网络(CNN),学习直接从音频信号的表示。几个卷积层用于捕获信号的精细时间结构,并学习与分类任务相关的各种滤波器。所提出的方法可以处理任何长度的音频信号,因为它使用滑动窗口将信号分成重叠的帧。考虑到几个输入大小的不同架构进行评估,包括初始化的第一个卷积层与Gammatone滤波器组,模拟人类听觉滤波器响应在耳蜗。在UrbanSound8k数据集上评估了所提出的端到端方法在分类环境声音方面的性能,实验结果表明,它达到了89%的平均准确率。因此,所提出的方法优于大多数使用手工制作的特征或2D表示作为输入的最先进的方法。此外,与文献中发现的其他架构相比,所提出的方法具有少量参数,这减少了训练所需的数据量。
2019-04-18 cs.LG cs.SD stat.ML
Sound Event Detection in Multichannel Audio using Convolutional Time-Frequency-Channel Squeeze and Excitation
Microsoft Research(微软研究院)
在这项研究中,我们引入了一个卷积时频信道“挤压和激励”(tfc-SE)模块,以显式地对时频域和多个信道之间的相互依赖性进行建模。tfc-SE模块由两部分组成:tf-SE块和c-SE块,分别用于提供时频域和信道域的关注,用于自适应地重新校准输入特征图。所提出的tfc-SE模块以及流行的卷积递归神经网络(CRNN)模型在具有重叠音频源的多通道声音事件检测任务中进行了评估:训练和测试数据是用麦克风阵列记录的合成TUT Sound Events 2018数据集。我们表明,TFC-SE模块可以被纳入CRNN模型在一个小的额外的计算成本,并带来显着的改善声音事件检测精度。我们还通过分析可能影响SE块性能的各种因素进行详细的消融研究。结果表明,使用最佳tfc-SE块,错误率(ER)从0.2538降低到0.2026,ER相对降低20.17%,F1得分提高5.72%。结果表明,学习的声学嵌入与tfc-SE模块有效地加强时频和通道的特征表示,以提高区分性能。
2019-08-04 cs.LG cs.SD eess.AS
Short-segment heart sound classification using an ensemble of deep convolutional neural networks
Universiti Teknologi Malaysia(马来西亚工艺大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
本文提出了一种基于深度卷积神经网络(CNN)的框架,用于使用单个心跳的短片段进行自动心音分类。我们设计了一个直接从原始心音信号中学习特征的1D-CNN和一个基于Mel频率倒谱系数(MFCC)的二维的时频特征图的2D-CNN。我们进一步开发了一个时频CNN集成(TF-ECNN)结合的1D-CNN和2D-CNN基于分数级融合的类概率。在大型PhysioNet CinC挑战2016数据库上,提出的CNN模型优于基于支持向量机和隐马尔可夫模型的传统分类器,具有各种手工制作的时域和频域特征。ECNN实现了最佳分类评分,准确度为89.22%,灵敏度为89.94%,2D-CNN单独在测试集上实现了91.55%的特异性和88.82%的修正准确度。
2018-10-27 cs.LG cs.SD eess.AS
Classification of Short Segment Pediatric Heart Sounds Based on a Transformer-Based Convolutional Neural Network
United International University(联合国际大学);Khalifa University(哈利法大学);University of Bristol(布里斯托大学)
本文研究了用于自动分类心音的最短信号持续时间,采用基于MFCC特征的变压器残差一维卷积神经网络,发现5秒信号能获得93.69%的准确率,而3秒信号信息不足,15秒信号噪声较多。
2024-03-30 cs.LG cs.SD eess.AS
A Statistical Relational Approach to Learning Distance-based GCNs
Technical University of Darmstadt(达姆施塔特工业大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文研究了基于距离的关系数据图卷积网络的学习问题。具体地说,我们首先嵌入到欧几里德空间$\mathbb{R}^m$使用的关系密度估计技术,从而构建一个辅助欧几里德图的原始图。图的顶点对应于目标三元组,边表示目标三元组之间的欧几里得距离。我们强调学习二次欧几里德图的重要性和采用距离矩阵的优势,通常使用的邻接矩阵。我们全面的实证评估表明,我们的方法优于$12$不同的GCN模型,关系嵌入技术和规则学习技术。
2021-10-12 cs.LG
SELD-TCN: Sound Event Localization & Detection via Temporal Convolutional Networks
Robert Bosch GmbH(罗伯特·博世有限公司);University of Stuttgart(斯图加特大学)
对周围环境的理解在自动驾驶汽车等自主机器人系统中起着关键作用。关于视觉感知已经进行了广泛的研究。然而,为了获得对环境的更完整的感知,未来的自主系统还应该考虑声学信息。最近的声音事件定位和检测(SELD)框架利用卷积递归神经网络(CRNN)。然而,考虑到CRNN的周期性,在嵌入式硬件上有效地实现它们变得具有挑战性。它们的计算不仅难以并行化,而且还需要高内存带宽和大内存缓冲区。在这项工作中,我们开发了一个更强大和硬件友好的新架构的基础上的时间卷积网络(TCN)。所提出的框架(SELD-TCN)在四个不同的数据集上优于最先进的SELDnet性能。此外,SELD-TCN在普通图形处理单元(GPU)上实现了每epoch 4倍的训练时间和40倍的推理时间。
2020-03-03 cs.LG cs.SD eess.AS
Improving Sound Event Classification by Increasing Shift Invariance in Convolutional Neural Networks
Universitat Pompeu Fabra(庞培法布拉大学)
最近的研究对卷积网络通常假设的移位不变性提出了质疑,表明输入中的微小移位会对输出预测产生重大影响。在本文中,我们分析了解决基于CNN的声音事件分类中缺乏移位不变性的好处。具体来说,我们评估了两种池化方法,以提高CNN中的移位不变性,基于低通滤波和对传入特征图的自适应采样。这些方法是通过插入到CNN的池化层中的小的架构修改来实现的。我们使用不同容量的模型并在强正则化的情况下评估这些架构变化对FSD 50 K数据集的影响。我们表明,这些修改一贯提高声音事件分类在所有情况下考虑。我们还实证证明,所提出的池化方法增加了网络中的移位不变性,使其对输入频谱图中的时间/频率移位更具鲁棒性。这是通过添加可忽略不计的可训练参数来实现的,这使得这些方法成为传统池化层的有吸引力的替代方案。结果是在FSD 50 K分类基准上获得了0.541的最新mAP。
2021-07-22 cs.LG cs.SD eess.AS
Robust Sound Source Tracking Using SRP-PHAT and 3D Convolutional Neural Networks
University of Zaragoza(萨拉戈萨大学)
在本文中,我们提出了一个新的单声源DOA估计和跟踪系统的基础上著名的SRP-PHAT算法和三维卷积神经网络。它使用SRP-PHAT功率图作为全卷积因果架构的输入特征,该架构使用3D卷积层来准确地执行声源跟踪,即使在大多数最先进技术都失败的高度混响场景中也是如此。与以前的方法不同,由于我们不使用双向递归层,并且我们所有的卷积层在时间维度上都是因果关系,因此我们的系统对于实时应用是可行的,并且它为每个新的SRP-PHAT映射提供了新的DOA估计。为了训练模型,我们引入了一个新的过程来模拟随机轨迹,因为它们在训练过程中需要,相当于一个无限大小的数据集具有高度的灵活性,以修改其声学条件,如混响时间。我们使用声学模拟在大范围的混响时间和LOCATA数据集的实际记录,以证明我们的系统的鲁棒性和良好的性能,即使使用低分辨率SRP-PHAT地图。
2020-12-16 cs.LG cs.SD eess.AS
Integrating Implicit and Explicit Relational Biases through Graph-Based Multiple Instance Learning: A Case Study in Skin Lesion Diagnosis
Gdańsk University of Technology(格但斯克工业大学);Medical University of Gdańsk(格但斯克医科大学)
本研究提出双层级关系框架,结合隐式图像块关系建模与显式图结构消息传递,在ISIC-2018、ISIC-2019皮肤病变诊断基准上提升了平衡准确率,其中集成网格结构的图注意力网络表现最优。
2026-08-07 cs.AI cs.CV cs.LG
Environment Sound Classification using Multiple Feature Channels and Attention based Deep Convolutional Neural Network
在本文中,我们提出了一个环境声音分类任务(ESC)的模型,该模型由多个特征通道组成,作为具有注意力机制的深度卷积神经网络(CNN)的输入。本文的创新之处在于使用了由梅尔倒谱系数(MFCC)、伽玛倒谱系数(GFCC)、常数Q变换(CQT)和色度图组成的多个特征通道。这样的多个特征以前从未用于信号或音频处理。而且,与以前的模型相比,我们采用了更深的CNN(DCNN),由分别在时间和特征域上工作的空间可分离卷积组成。此外,我们还使用注意力模块来同时执行通道和空间注意力。我们使用一些数据增强技术来进一步提高性能。我们的模型能够在所有三个基准环境声音分类数据集上实现最先进的性能,即UrbanSound 8 K(97.52%),ESC-10(95.75%)和ESC-50(88.50%)。据我们所知,这是第一次一个单一的环境声音分类模型能够在所有三个数据集上实现最先进的结果。对于ESC-10和ESC-50数据集,所提出的模型实现的准确度分别超过人类的95.7%和81.3%。
2020-12-08 cs.LG cs.SD eess.AS
Deep Convolutional Neural Networks and Data Augmentation for Environmental Sound Classification
New York University(纽约大学)
深度卷积神经网络(CNN)学习区分性频谱-时间模式的能力使其非常适合环境声音分类。然而,标记数据的相对稀缺阻碍了这一系列高容量模型的开发。这项研究有两个主要贡献:首先,我们提出了一个深度卷积神经网络架构的环境声音分类。其次,我们提出使用音频数据增强来克服数据稀缺的问题,并探索不同增强对所提出的CNN架构的性能的影响。结合数据增强,所提出的模型产生国家的最先进的结果,环境声音分类。我们表明,改进的性能源于深度,高容量模型和增强训练集的组合:这种组合优于没有增强的拟议CNN和增强的“浅”字典学习模型。最后,我们研究了每个增强对每个类别的模型的分类精度的影响,并观察到每个类别的精度受到每个增强的不同影响,这表明通过应用类条件数据增强可以进一步提高模型的性能。
2016-11-28 cs.CV cs.LG cs.NE
Grid-to-Graph: Flexible Spatial Relational Inductive Biases for Reinforcement Learning
University College London(伦敦大学学院)
尽管近年来强化学习在许多领域得到了成功的应用,但我们仍然缺乏能够系统推广的智能体。虽然适合任务的关系归纳偏差可以提高RL代理的泛化能力,但这些偏差通常直接硬编码在代理的神经架构中。在这项工作中,我们表明,我们可以将关系归纳偏见,编码的关系图的形式,到代理。基于这一见解,我们提出了网格到图(GTG),从网格结构到关系图的映射,当通过关系图卷积网络(R-GCN)处理时,关系图携带有用的空间关系归纳偏差。我们表明,与基于卷积神经网络和神经逻辑机的基线相比,在具有挑战性的程序生成环境和MinAtar上,R-GCN在分布内和分布外都具有更好的泛化能力。此外,我们表明,GTG产生的代理,可以共同的原因在观察和环境动态编码的知识库。
2021-02-08 cs.LG
TCN: Table Convolutional Network for Web Table Interpretation
University of Notre Dame(圣母大学)
半结构化网页的信息抽取为知识图谱的扩充提供了有价值的长尾事实。关系Web表是一个关键组件,其中包含丰富多样知识的附加实体和属性。然而,从关系表中提取知识是具有挑战性的,因为稀疏的上下文信息。现有的工作线性化表格单元格,并且严重依赖于修改深度语言模型,例如BERT,其仅捕获同一表格中的相关单元格信息。在这项工作中,我们提出了一种新的关系表表示学习方法,同时考虑表内和表间的上下文信息。一方面,所提出的表卷积网络模型采用注意力机制自适应地关注同一行或列的最具信息量的表内单元格;另一方面,它从不同表的单元格之间的各种类型的隐式连接中聚合表间上下文信息。具体来说,我们提出了三个新的聚合模块(一)相同值的细胞,(二)相同的模式位置的细胞,(三)细胞链接到同一页面主题。我们进一步设计了一个监督多任务训练目标,用于联合预测列类型和成对列关系,以及用于预训练的表单元格恢复目标。在真实Web表数据集上的实验表明,该方法在列类型预测和成对列关系预测方面分别比竞争基线的F1和F1高出+4.8%和+4.1%。
2021-02-17 cs.IR cs.LG
Cluster Flow: how a hierarchical clustering layer make allows deep-NNs more resilient to hacking, more human-like and easily implements relational reasoning
School of Chemistry(化学学院);University of Bristol(布里斯托大学)
本研究提出可叠加于已训练神经网络的半监督层级聚类框架ClusterFlow,利用SoftMax前层特征构建超空间图,无需重训练即可提升网络抗攻击性、类人性与关系推理能力,还可处理非神经网络数据及缺失数据。
2023-04-27 cs.AI cs.CV cs.LG
Relational Graph Learning for Crowd Navigation
Simon Fraser University(西蒙弗雷泽大学);UT Austin(德克萨斯大学奥斯汀分校)
我们提出了一种基于模型的深度强化学习的机器人人群导航的关系图学习方法,该方法通过展望未来来规划行动。我们的方法的原因,所有代理之间的关系的基础上,他们的潜在功能,并使用图卷积网络编码高阶交互在每个代理的状态表示,随后利用状态预测和价值估计。预测人类运动的能力使我们能够执行多步前瞻规划,考虑到人类人群的时间演变。我们评估了我们的方法对一个国家的最先进的基线人群导航和消融我们的模型,以证明导航与我们的方法是更有效的,导致更少的碰撞,并避免涉及振荡和冻结行为的失败情况。
2020-08-03 cs.AI cs.LG cs.RO
Comparing Spectrogram Front-Ends for Abnormal Heart-Sound Detection with a Convolutional Neural Network
Santa Clara University(圣克拉拉大学);Independent Researcher(独立研究者)
该研究针对异常心音检测,在二分类任务中固定卷积神经网络,改变音频转图像方式,尝试常规对数梅尔频谱图、PCEN 和多分辨率版本三种方法,在数据集上测试,发现 PCEN 和多分辨率版本在准确性上优于普通对数梅尔频谱图。
2026-07-21 cs.AI cs.CY cs.LG