A Convolutional Dispersion Relation Preserving Scheme for the Acoustic Wave Equation
Tel Aviv University(特拉维夫大学)
我们提出了一个精确的数值格式来逼近二维声波问题的解。我们使用机器学习来找到一个合适的模板,即使在高波数的存在。所提出的方案将优化数值方案领域的物理信息元素纳入卷积优化机器学习算法。
2022-05-22 cs.LG cs.NA math.AP
End-to-End Learning from Complex Multigraphs with Latent-Graph Convolutional Networks
University of Amsterdam(阿姆斯特丹大学);Owlin;VU Amsterdam(阿姆斯特丹自由大学);ING(荷兰国际集团);WBAA;Heineken(喜力)
我们研究了复杂多重图的端到端学习问题,其中两个顶点之间的边可能非常多,每条边都标记有丰富的信息。示例范围从通信网络到机场之间的航班或金融交易图。我们提出了潜在图卷积网络(L-GCN),它将信息从这些复杂的边缘传播到潜在的邻接张量,之后可以执行进一步的下游任务,例如节点分类。我们在两个模拟金融交易网络欺诈的合成数据集上评估了模型的几种变体的性能,确保模型必须使用边缘标签才能实现良好的分类性能。我们发现,允许在每个邻居的基础上的非线性相互作用显着提高性能,同时在归纳设置中显示出有希望的结果。最后,我们展示了L-GCN在城市交通网络形式的真实数据上的使用。
2021-01-24 cs.LG cs.SI stat.ML
Scaling Kinetic Monte-Carlo Simulations of Grain Growth with Combined Convolutional and Graph Neural Networks
Department of Electrical and Computer Engineering, University of Florida, Gainesville, FL, USA(电气与计算机工程系,佛罗里达大学,盖恩斯维尔,佛罗里达州,美国);Northwestern University(西北大学);Lawrence Livermore National Laboratory, Livermore, CA, United States(劳伦斯利弗莫尔国家实验室,利弗莫尔,加利福尼亚州,美国)
本文提出结合卷积神经网络和图神经网络的方法,通过压缩空间维度提升晶粒生长模拟的计算效率和准确性,适用于大规模模拟场景。
2026-03-22 cond-mat.mtrl-sci cs.LG
Wavelet Probabilistic Recurrent Convolutional Network for Multivariate Time Series Classification
Imperial College London(帝国理工学院)
本文提出小波概率循环卷积网络(WPRCN),通过自适应小波概率特征生成器与通道注意力概率时间卷积网络,结合LSTM和C-FCN,在30个多变量时间序列数据集上平均准确率与排名优于基准,尤其擅长处理数据稀缺、非平稳和噪声扰动。
2025-05-22 cs.LG
Two-stage initial-value iterative physics-informed neural networks for simulating solitary waves of nonlinear wave equations
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学);Brown University(布朗大学)
本文提出两阶段初值迭代物理信息神经网络(IINN),仅利用初始值即可求解多类非线性波动方程的孤立波,并通过理论保证和与传统方法对比验证其有效性。
2024-09-02 cs.AI cs.LG math-ph
Low PAPR waveform design for OFDM SYSTEM based on Convolutional Auto-Encoder
Ben Gurion University(本·古里安大学)
介绍了一种用于正交频分复用(OFDM)系统的卷积自编码器(CAE)的结构,该CAE用于降低峰均功率比(PAPR)和波形设计。该架构集成了一个峰均比降低模块和一个非线性高功率放大器(HPA)模型。我们将渐进损失学习应用于多目标优化。通过对该模型的误比特率、峰均比和频谱响应的分析,并与常用的峰均比降低算法进行了比较。
2020-11-12 cs.LG cs.SY eess.SY
Assessment of convolutional recurrent autoencoder network for learning wave propagation
University of Glasgow(格拉斯哥大学);The University of British Columbia(不列颠哥伦比亚大学)
由于自然界中波浪传播的物理性质复杂,环境参数和动力学尺度变化大,因此建立广义的物理模型具有挑战性。在这篇文章中,我们提出了卷积自编码器递归网络(CRAN)作为学习波传播现象的数据驱动模型。CRAN由一个用于学习低维系统表示的卷积自编码器和一个用于低维系统进化的长短期记忆递归神经网络组成。我们表明,卷积自动编码器通过基于投影的方法显着优于复杂波传播现象的降维,因为它可以直接学习类似波特征的子空间。另一方面,基于投影的模式被限制到傅立叶子空间。卷积自动编码器的几何先验能够选择性地对复杂的波动动力学进行尺度分离,进一步增强了其降维能力。我们还证明了卷积自动编码器的平移等方差和平移不变性等几何先验知识可以实现低维映射的广义学习。因此,将卷积自编码器与专门为自回归建模设计的长短期记忆网络连接的复合CRAN模型可以在期望的时间范围内执行广义波传播预测。数值实验显示,90%的平均结构相似性指数测量CRAN预测相比,真正的解决方案的训练情况下,和小于10%的逐点$L_1$错误的大多数情况下,验证了这样的泛化索赔。最后,CRAN的预测提供了类似的波特征模式的目标解决方案,不仅表明他们的泛化,但他们的运动学的一致性。
2022-10-11 cs.LG cs.SD eess.AS
Comparing recurrent and convolutional neural networks for predicting wave propagation
Imperial College London(帝国理工学院);The University of Edinburgh(爱丁堡大学)
动力系统可以用偏微分方程来建模,数值计算在科学和工程中无处不在。在这项工作中,我们研究了递归和卷积深度神经网络架构预测表面波的性能。该系统由圣维南方程控制。我们改进了以前的方法的长期预测,同时保持推理时间在一小部分的数值模拟。我们还表明,卷积网络在这项任务中的表现至少与递归网络一样好。最后,我们通过在较长的时间范围内和不同的物理环境中进行外推来评估每个网络的泛化能力。
2020-04-20 cs.CV cs.LG stat.ML
Very Deep Convolutional Neural Networks for Raw Waveforms
Bosch(博世)
以最少的处理直接从原始波形数据学习声学模型是具有挑战性的。当前基于波形的模型通常使用非常少(~2)的卷积层,这可能不足以构建高级判别特征。在这项工作中,我们提出了非常深的卷积神经网络(CNN),直接使用时域波形作为输入。我们的CNN具有多达34个权重层,可以有效地优化非常长的序列(例如,大小为32000的向量),这是处理声波波形所必需的。这是通过批量归一化、残差学习和在初始层中仔细设计下采样来实现的。我们的网络是完全卷积的,没有使用完全连接的层和dropout,以最大限度地提高表示学习。我们在第一个卷积层中使用一个大的感受野来模拟带通滤波器,但随后使用非常小的感受野来控制模型容量。我们展示了更深层次的模型的性能增益。我们的评估表明,具有18个权重层的CNN在环境声音识别任务的绝对准确性方面优于具有3个权重层的CNN超过15%,并且与使用对数梅尔特征的模型的性能相匹配。
2016-10-01 cs.LG cs.NE cs.SD
Raw Waveform-based Speech Enhancement by Fully Convolutional Networks
Research Center for Information Technology Innovation, Academia Sinica(中央研究院信息技术创新研究中心);Department of Computer Science and Information Engineering, National Taiwan University(国立台湾大学资讯工程学系);National Institute of Information and Communications Technology(国立信息通信技术研究所)
本研究提出一种全卷积网络(FCN)模型,用于基于原始波形的语音增强。所提出的系统在端到端(即,波形输入和波形输出)方式,这不同于处理幅度谱的大多数现有去噪方法(例如,对数功率谱(LPS))。由于深度神经网络(DNN)和卷积神经网络(CNN)中涉及的全连接层可能无法准确表征语音信号的局部信息,特别是高频分量,因此我们采用全卷积层来建模波形。更具体地说,FCN仅由卷积层组成,因此语音信号的局部时间结构可以用相对较少的权重有效地保留。实验结果表明,基于DNN和CNN的模型恢复波形高频分量的能力有限,从而导致增强语音的可懂度降低。相比之下,所提出的FCN模型不仅可以有效地恢复波形,而且在短时客观可懂度(STOI)和语音质量感知评估(PESQ)方面优于基于LPS的DNN基线。此外,与DNN和CNN相比,FCN中的模型参数数量仅约为0.2%。
2017-06-15 cs.LG cs.SD stat.ML
Finding Appropriate Traffic Regulations via Graph Convolutional Networks
NTT Communication Science Laboratories(NTT通信科学实验室)
适当的交通规则,例如有计划的道路封闭,在拥堵事件中很重要。人群模拟器已被用于通过模拟具有不同法规的多个场景来找到适当的法规。然而,这种方法需要多次模拟运行,这是耗时的。在本文中,我们提出了一种方法来学习一个函数,输出调节效果给定当前的交通状况作为输入。如果预先使用许多模拟运行的训练数据来学习函数,则可以通过绕过当前情况的模拟来有效地获得适当的调节。我们使用图卷积网络对函数进行建模,这使我们能够找到规则,即使是看不见的区域。使用所提出的方法,我们为每个区域构造一个图,其中节点表示道路,边表示道路连接。通过在不同区域运行具有不同法规的人群模拟,我们生成交通状况和法规效果。图卷积网络被训练以输出给定图的调节效果,其中交通状况信息作为输入。通过使用真实世界的道路网络和人群模拟器的实验,我们证明了所提出的方法可以找到一条关闭的道路,从而减少到达目的地所需的平均时间。
2018-10-23 cs.AI cs.LG physics.soc-ph
Detection of gravitational waves using topological data analysis and convolutional neural network: An improved approach
Ajou University(亚洲大学);University at Buffalo, State University of New York(纽约州立大学布法罗分校)
引力波探测问题是具有挑战性的,因为噪声通常是压倒性的。卷积神经网络(CNN)已被成功应用,但需要一个大的训练集和准确性显着影响在低信噪比的情况下。我们提出了一种改进的方法,采用一个特征提取步骤,使用持久的同源性。由此产生的方法对噪声更具弹性,更能够检测具有不同签名的信号,并且需要更少的训练。这是一个强大的改进,因为检测问题可能是计算密集型的,并且涉及相对较大类别的波特征。
2019-10-18 astro-ph.HE astro-ph.IM cs.LG
Multi-wavelet residual dense convolutional neural network for image denoising
Beijing Institute of Technology(北京理工大学)
近年来,具有大感受野(RF)的网络显示出先进的拟合能力。在这项工作中,我们利用短期残差学习方法来提高图像去噪任务的网络的性能和鲁棒性。在这里,我们选择了一个多小波卷积神经网络(MWCNN),一个具有大RF的最先进的网络,作为骨干,并在其每一层插入剩余密集块(RDB)。我们称之为多小波残差密集卷积神经网络(MWRDCNN)。与其他基于关系数据库的网络相比,它可以从相邻层中提取更多的目标特征,保留较大的RF,提高计算效率。同时,这种方法也提供了一种可能性,吸收多种架构的优点,在一个单一的网络没有冲突。所提出的方法的性能已被证明在广泛的实验与现有技术的比较。
2020-02-19 cs.LG eess.IV stat.ML
Multichannel Speech Enhancement by Raw Waveform-mapping using Fully Convolutional Networks
National Taiwan University(台湾大学);Academia Sinica(台湾中央研究院);National Cheng-Kung University(台湾成功大学)
近年来,基于波形映射的语音增强(SE)方法引起了人们的广泛关注。这些方法通常使用深度学习模型来直接处理和重构语音波形。由于输入和输出都是波形形式的,基于波形映射的SE方法可以克服基于频谱映射的SE系统中可能遇到的不完美相位估计所引起的失真。到目前为止,大多数基于波形映射的SE方法都集中在单通道任务上。在本文中,我们提出了一种新的全卷积网络(FCN)与Sinc和膨胀的卷积层(称为SDFCN)的多通道SE,在时域中操作。我们还提出了一个扩展版本的SDFCN,称为残余SDFCN(称为rSDFCN)。所提出的方法进行评估,两个多通道SE任务,即双通道内耳麦克风SE任务和分布式麦克风SE任务。实验结果证实了所提出的SE系统在这两项任务上的出色去噪能力,以及使用残差架构对整体SE性能的好处。
2020-02-24 cs.LG cs.SD eess.AS
Learning Waveform-Based Acoustic Models using Deep Variational Convolutional Neural Networks
University of Göttingen(哥廷根大学)
我们研究了随机神经网络学习有效的基于波形的声学模型的潜力。基于波形的设置,固有的完全端到端的语音识别系统,是由几个自动和人类语音识别的比较研究,标准的非自适应特征提取技术与信息丢失,这可能会对鲁棒性产生不利影响。另一方面,随机神经网络是一类能够将丰富的正则化机制整合到学习过程中的模型。我们考虑一个深度卷积神经网络,它首先通过自适应参数卷积块将语音分解为频率子带,其中滤波器由composite支持的窗口的余弦调制指定。然后,该网络采用标准的非参数1D卷积来提取相关的频谱-时间模式,同时逐渐压缩由参数块生成的结构化高维表示。我们依赖于所提出的神经架构的概率参数化,并使用随机变分推断学习模型。这需要评估一个分析上难以处理的积分定义的库尔贝克-莱布勒散度长期负责正则化,为此,我们提出了一个有效的近似高斯-厄米特积分的基础上。我们的实证结果表明,所提出的方法比基于波形的基线具有更好的性能,并表明它可以导致鲁棒性。此外,该方法优于最近提出的深度卷积神经网络,用于学习具有标准FBANK特征的鲁棒声学模型。
2021-08-16 cs.LG stat.ML
Haar Wavelet Feature Compression for Quantized Graph Convolutional Networks
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
图卷积网络(GCN)广泛用于各种应用中,并且可以被视为标准卷积神经网络(CNN)的非结构化版本。与CNN一样,GCN用于大型输入图(例如大型点云或网格)的计算成本可能很高,并且抑制了这些网络的使用,特别是在计算资源较低的环境中。为了降低这些成本,可以对GCN进行量化。然而,特征图的积极量化可能导致性能的显著下降。另一方面,Haar小波变换被认为是压缩信号的最有效和最高效的方法之一。因此,我们建议利用Haar小波压缩和轻量化来减少网络所涉及的计算和带宽,而不是对特征图应用积极的量化。我们证明,对于从节点分类到点云分类以及部分和语义分割等各种问题,这种方法明显优于激进的特征量化。
2021-10-10 cs.CV cs.LG eess.IV
Wavelet Convolutional Neural Networks
The University of Tokyo(东京大学);Digital Frontier Inc.(数字前沿株式会社)
空间方法和谱方法是图像分类和目标识别等图像处理任务的两种主要方法。在许多这样的算法中,卷积神经网络(CNN)最近在许多具有挑战性的任务中实现了显著的性能改进。由于CNN直接在空间域中处理图像,因此它们本质上是空间方法。鉴于空间和频谱方法具有不同的特性,将频谱方法纳入CNN将是有趣的。我们提出了一种新的CNN架构,小波CNN,它结合了多分辨率分析和CNN到一个模型。我们的见解是,CNN可以被视为多分辨率分析的有限形式。基于这一见解,我们通过小波变换来补充多分辨率分析中缺失的部分,并将它们作为额外的组件集成到整个架构中。小波CNN允许我们利用传统CNN中丢失的光谱信息,但在大多数图像处理任务中很有用。我们评估了小波CNN在纹理分类和图像注释方面的实际性能。实验表明,小波CNN在这两个任务中都可以达到比现有模型更好的精度,同时比传统CNN具有更少的参数。
2018-05-20 cs.CV cs.LG
MuSLCAT: Multi-Scale Multi-Level Convolutional Attention Transformer for Discriminative Music Modeling on Raw Waveforms
University of San Francisco(旧金山大学)
在这项工作中,我们的目标是通过在一个有效的端到端架构中建模顺序(时间)和层次信息来提高基于波形的歧视性音乐网络的表达能力。我们提出了MuSLCAT,或多尺度和多级卷积注意力Transformer,一种新的架构,用于直接从原始波形记录中学习复杂音乐标签的鲁棒表示。我们还介绍了MuSLCAT的一个轻量级变体MuSLCAN,即Multi-scale and Multi-level Convolutional Attention Network的缩写。MuSLCAT和MuSLCAN都通过集成前端-后端架构从多个尺度和级别建模功能。前端针对不同的频率范围,同时通过使用两个具有注意力增强卷积(AAC)块的卷积注意力网络来建模远程依赖性和多级交互。后端动态地重新校准多尺度和水平的功能,从前端提取的结合自我注意。MuSLCAT和MuSLCAN之间的区别在于它们的后端组件。MuSLCAT的后端是BERT的修改版本。而MuSLCAN是一个简单的AAC块。我们验证了建议MuSLCAT和MuSLCAN架构进行比较,以最先进的网络上的四个基准数据集的音乐标记和流派识别。我们的实验表明,MuSLCAT和MuSLCAN始终产生竞争力的结果相比,国家的最先进的波形为基础的模型,但需要少得多的参数。
2021-04-06 cs.LG cs.SD eess.AS
A priori compression of convolutional neural networks for wave simulators
Safran Tech(赛峰科技);MINES ParisTech, PSL University(巴黎高等矿业学院,巴黎文理研究大学);CNRS(法国国家科学研究中心)
本文提出在训练前对卷积神经网络进行先验压缩,用单通道滤波器替换多通道卷积核,并在二维波动方程有限元物理数据上验证其能以更少参数和更低内存达到与经典卷积层相当的性能。
2023-04-12 cs.CE cs.LG
Method for motion artifact reduction using a convolutional neural network for dynamic contrast enhanced MRI of the liver
University of Yamanashi(山梨大学)
目的:旨在使用深度学习方法改善通过动态对比增强MRI(DCE-MRI)获得的图像质量,包括运动伪影和模糊。研究方法:提出了一种基于多通道卷积神经网络(MARC)的方法,用于减少通过DCE-MRI获得的肝脏图像中由呼吸运动引起的运动伪影和模糊。神经网络的训练数据集包括具有和不具有呼吸诱导的运动伪影或模糊的图像,并且通过模拟k空间中的相位误差来生成失真。使用多相T1加权扰相梯度回波序列对肝脏进行患者研究,在数据采集期间包含屏气失败。将训练好的神经网络应用于采集的图像,分析滤波性能,并通过Bland-Altman图比较去噪前后的亮度和对比度。结果如下:发现所提出的网络显着降低了由呼吸运动引起的伪影和模糊的幅度,并且通过网络处理后的图像的对比度与未处理图像的对比度一致。结论:证明并验证了一种基于深度学习的方法,用于去除肝脏中通过DCE-MRI获得的图像中的运动伪影。
2018-10-03 cs.CV cs.LG
Efficient Convolutional Network Learning using Parametric Log based Dual-Tree Wavelet ScatterNet
University of Cambridge(剑桥大学)
我们提出了一个DTCWT ScatterNet卷积神经网络(DTSCNN),通过用基于参数日志的DTCWT ScatterNet替换CNN网络的前几层形成。ScatterNet提取基于边缘的不变表示,CNN的后续层使用这些表示来学习高级特征。这改进了网络的训练,因为后面的层可以从学习开始就学习更复杂的模式,因为边缘表示已经存在。在CIFAR-10和Caltech-101数据集上证明了DTSCNN网络的有效学习。ScatterNet前端的通用性质通过与预训练的CNN前端的等效性能来显示。还提出了与CIFAR-10和Caltech-101数据集上的最新技术的比较。
2017-08-30 cs.LG stat.ML
Convolutional neural networks in phase space and inverse problems
University of Washington(华盛顿大学);Institute for Advanced Study, the Hong Kong University of Science and Technology(香港科技大学高等研究院);Stanford University(斯坦福大学)
我们研究的逆问题,包括确定介质属性使用的响应探测波从机器学习的角度来看。基于对波的传播及其非线性相互作用的理解,我们构建了一个深度卷积神经网络,其中参数用于分类和重建模拟介质特性的非线性波动方程的系数。此外,对于给定的近似精度,我们得到的深度和数量的单位的网络和它们的定量依赖于介质的复杂性。
2018-11-09 cs.LG math.AP stat.ML
Deep Convolutional Framelet Denosing for Low-Dose CT via Wavelet Residual Network
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Seoul National University Bundang Hospital(首尔国立大学盆唐医院)
用于低剂量X射线CT的基于模型的迭代重建(MBIR)算法在计算上是昂贵的。为了解决这个问题,我们最近提出了一种用于低剂量X射线CT的深度卷积神经网络(CNN),并获得了2016年AAPM低剂量CT大挑战赛的第二名。然而,一些纹理没有完全恢复。为了解决这个问题,我们提出了一种新的基于小框架的去噪算法,该算法使用小波残差网络,协同结合了深度学习的表达能力和基于小框架的去噪算法的性能保证。新算法的灵感来自于最近将深度卷积神经网络(CNN)解释为级联卷积小框架信号表示。大量的实验结果证实,所提出的网络有显着提高的性能,并保留了原始图像的细节纹理。
2018-03-28 cs.AI cs.CV cs.LG
Convolutional neural networks: a magic bullet for gravitational-wave detection?
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Max Planck ETH Center for Learning Systems(马克斯·普朗克-ETH学习系统中心);University of Cambridge(剑桥大学);University of Portsmouth(朴茨茅斯大学);Max Planck Institute for Gravitational Physics(马克斯·普朗克引力物理研究所)
在过去的几年中,机器学习技术,特别是卷积神经网络,已经被研究作为一种方法来取代或补充传统的匹配滤波技术,用于检测合并黑洞的引力波签名。然而,到目前为止,这些方法尚未成功地应用于高级LIGO和Virgo引力波天文台记录的长时间数据分析。在这项工作中,我们批判性地研究了卷积神经网络作为搜索合并黑洞的工具的使用。我们确定了这种方法的优势和局限性,强调了机器学习和引力波天文学之间转换的一些常见陷阱,并讨论了跨学科的挑战。特别是,我们详细解释了为什么卷积神经网络不能单独用于声称统计上显著的引力波检测。然而,我们展示了它们如何仍然可以用于快速标记数据中潜在信号的时间,以便进行更详细的随访。我们的卷积神经网络架构以及提出的性能指标比标准的二进制分类方案更适合这项任务。我们的方法对先进的LIGO数据的详细评估表明,这种系统作为触发发生器的潜力。最后,我们通过构建对抗性示例来提醒注意,这些示例展示了我们模型中有趣的“故障模式”,其中与真实引力波信号没有明显相似之处的输入被网络以高置信度识别出来。
2019-09-06 astro-ph.HE astro-ph.IM cs.LG
Towards end-to-end F0 voice conversion based on Dual-GAN with convolutional wavelet kernels
IRCAM(声学/音乐研究与协作研究所);CNRS(法国国家科学研究中心);Sorbonne Université(索邦大学)
本文提出了一个端到端的框架F0转换的表达语音转换的上下文中。提出了一个单一的神经网络,其中第一个模块用于学习不同时间尺度上的F0表示,第二个对抗模块用于学习从一种情感到另一种情感的转换。第一个模块由具有小波核的卷积层组成,使得可以有效地编码F0变化的各种时间尺度。单个分解/变换网络允许直接从原始F0信号以端到端的方式学习相对于变换最优的F0分解。
2021-04-15 cs.LG cs.SD eess.AS
Fast Spectrogram Inversion using Multi-head Convolutional Neural Networks
Baidu Silicon Valley Artificial Intelligence Lab(百度硅谷人工智能实验室)
提出了一种用于频谱图波形合成的多头卷积神经网络(MCNN)结构。MCNN中的非线性插值与并行头中的转置卷积层一起使用。MCNN的计算强度比Griffin-Lim等常用迭代算法高出一个数量级以上,可有效利用现代多核处理器,并实现非常快速(超过300倍实时)的波形合成。为了训练MCNN,我们使用大规模语音识别数据集和与感知音频质量相关的波形上定义的损失。我们证明,MCNN构成了一个非常有前途的方法,高品质的语音合成,没有任何迭代算法或自回归计算。
2018-11-06 cs.LG cs.SD eess.AS
Deep Feature Tracker: A Novel Application for Deep Convolutional Neural Networks
Ford Motor Company(福特汽车公司);University of Texas at Arlington(德克萨斯大学阿灵顿分校)
特征跟踪是诸如视觉里程计、增强现实和目标跟踪等许多应用的构建块。不幸的是,由于这种环境的性质所带来的挑战,最先进的基于视觉的跟踪算法在手术图像中失败。在本文中,我们提出了一种新颖且统一的基于深度学习的方法,该方法可以学习如何可靠地跟踪特征,以及学习如何检测这些可靠的特征以用于跟踪目的。被称为Deep-PT的拟议网络由一个跟踪器网络和两个完全连接的网络组成,该跟踪器网络是一个卷积神经网络,模拟深度学习方面的互相关,这两个完全连接的网络对跟踪器中间层的输出进行操作,以检测特征并预测检测点的可跟踪性。基于跟踪器的能力来检测特征的能力将所提出的方法与在该领域中使用的以前的算法区分开来,并且提高了算法对场景动态的鲁棒性。由于缺乏用于特征跟踪数据集的专用数据集,该网络使用多个数据集进行训练,并进行了广泛的比较,以将Deep-PT的准确性与最近的像素跟踪算法进行比较。正如实验所表明的那样,所提出的深度架构故意学习跟踪什么以及如何跟踪,并优于最先进的方法。
2021-07-30 cs.CV cs.LG cs.RO
Sample-level Deep Convolutional Neural Networks for Music Auto-tagging Using Raw Waveforms
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
最近,使用深度卷积神经网络从原始数据中学习分层表示的端到端方法已经在图像、文本和语音领域得到了成功的探索。这种方法也被应用于音乐信号,但尚未完全探索。为此,我们提出了样本级深度卷积神经网络,它从非常小的波形颗粒(例如2或3个样本)中学习表示,而不是典型的帧级输入表示。我们的实验展示了具有样本级过滤器的深度架构如何提高音乐自动标记的准确性,并且它们提供的结果与Magnatagatune数据集和Million Song数据集之前的最先进性能相当。此外,我们将在每一层的样本级DCNN中学习的滤波器可视化,以识别分层学习的特征,并表明它们对沿层的对数缩放频率敏感,例如广泛用于音乐分类系统的梅尔频谱图。
2017-05-22 cs.LG cs.MM cs.NE
PhyCRNet: Physics-informed Convolutional-Recurrent Network for Solving Spatiotemporal PDEs
Northeastern University(东北大学);University of Notre Dame(圣母大学);MIT(麻省理工学院)
偏微分方程(PDE)在建模和模拟各种学科的问题中发挥着重要作用。深度学习的最新进展表明,物理信息神经网络(PINN)在解决偏微分方程方面具有巨大潜力,可作为数据驱动建模和逆分析的基础。然而,大多数现有的PINN方法,基于全连接的神经网络,造成内在的限制,低维时空参数化。此外,由于初始/边界条件(I/BC)是通过惩罚来软施加的,因此解的质量严重依赖于超参数调整。为此,我们提出了新的物理信息卷积递归学习架构(PhyCRNet和PhyCRNet-s),用于在没有任何标记数据的情况下求解偏微分方程。具体地,提出了用于低维空间特征提取和时间演化学习的编码器-解码器卷积长短期记忆网络。损失函数被定义为聚合的离散化PDE残差,而I/BC在网络中被硬编码以确保强制满足(例如,周期性边界填充)。网络通过自回归和残差连接进一步增强,显式模拟时间推进。我们提出的方法的性能已经通过求解三个非线性偏微分方程(例如,2D Burgers方程、$λ$ - $ω$和FitzHugh Nagumo反应扩散方程),并与最新基线算法进行比较。数值结果表明,我们所提出的方法的优越性,在解决方案的精度,外推性和推广。
2021-06-26 cs.CL cs.LG cs.NA