Missing Value Imputation on Multidimensional Time Series
IIT Bombay(印度理工学院孟买分校)
DeepMVI是一种深度学习缺失值插补方法,结合细粒度与粗粒度模式及跨分类维度趋势,在九个数据集上显著优于七种现有方法,误差降低超50%,且是唯一比丢弃缺失值更准确的分析选项。
2023-06-21 cs.AI cs.LG
Adaptive Graph Convolutional Network Framework for Multidimensional Time Series Prediction
在现实世界中,用电量预测、空气质量预测等很多情况下都需要进行长序列时间序列预测(LSTF),多维长时间序列模型对模型的要求更加严格,不仅需要有效捕捉输入与输出之间准确的长期依赖关系,而且需要捕捉不同维度数据之间的关系,最近的研究表明,基于Transformer的Informer模型在长时间序列预测方面取得了优异的性能,然而,该模型在多维预测方面还存在一些不足,不能很好地捕捉不同维度之间的关系。我们改进了Informer,以解决其在多维预测中的缺点。首先,我们引入了一个自适应图神经网络来捕捉隐藏的维度依赖性,主要是时间序列预测。其次,我们将自适应图卷积网络集成到各种时空序列预测模型中,以解决它们无法捕捉不同维度之间关系的缺陷。第三,通过多个数据集的实验测试,将框架引入模型后,准确率提高了约10%。
2022-05-08 cs.AI cs.LG
A Sensitivity Analysis of Attention-Gated Convolutional Neural Networks for Sentence Classification
National Digital Switching System Engineering and Technological R&D Center(国家数字交换系统工程技术研究中心);Information Engineering University(信息工程大学)
在本文中,我们研究了不同超参数以及超参数设置的不同组合对注意力门控卷积神经网络(AGCNN)性能的影响,例如,核窗口大小、特征映射的数量、丢弃层的保持率和激活函数。我们从广泛的实证结果中得出实用的建议。通过灵敏度分析,我们进一步改进了AGCNN的超参数设置。实验表明,我们的建议可以实现平均0.81%和0.67%的改进AGCNN-NLReLU-rand和AGCNN-SELU-rand,分别和平均0.47%和0.45%的改进AGCNN-NLReLU-static和AGCNN-SELU-static,分别。
2019-10-16 cs.CL cs.LG
Detection of Obstructive Sleep Apnoea Using Features Extracted from Segmented Time-Series ECG Signals Using a One Dimensional Convolutional Neural Network
Liverpool John Moores University(利物浦约翰摩尔斯大学)
本文的研究提出了一种一维卷积神经网络(1DCNN)模型,用于从单通道心电图(ECG)信号中捕获的阻塞性睡眠呼吸暂停(OSA)的自动检测。该系统在临床实践中提供了帮助诊断患有OSA的患者的机制。使用1DCNN中最先进的技术,使用卷积,最大池化层和由隐藏层和SoftMax输出组成的全连接多层感知器(MLP)构建模型进行分类。1DCNN提取显著特征,其用于训练MLP。该模型使用分割的ECG信号进行训练,这些信号被分组为具有设定窗口大小的5个唯一数据集。从包含70个夜间心电图记录的注释数据库中选择了35个心电图信号记录。(A组= a01至a20(呼吸暂停),B组= b01至b05(中度),C组= c01至c10(正常)。共记录了6514分钟的呼吸暂停。使用一组标准度量对模型进行评估,这些标准度量显示所提出的模型在使用我们的窗口策略的训练和验证中均实现了高分类结果,特别是W=500(灵敏度0.9705,特异性0.9725,F1得分0.9717,Kappa得分0.9430,对数损失0.0836,ROCAUC 0.9945)。这表明该模型可以高度准确地识别呼吸暂停的存在。
2020-02-03 cs.LG eess.SP stat.ML
Correlating Time Series with Interpretable Convolutional Kernels
Massachusetts Institute of Technology(麻省理工学院);University of Central Florida(中佛罗里达大学);McGill University(麦吉尔大学)
本研究针对单变量、多变量及多维时间序列的卷积核学习问题,提出基于稀疏回归与张量计算的方法,通过非负约束实现可解释性,在真实数据集上揭示了时间模式并提升了下游任务性能。
2024-09-02 cs.AI cs.LG
A CNN-based Local-Global Self-Attention via Averaged Window Embeddings for Hierarchical ECG Analysis
Universidade Federal de Minas Gerais(巴西米纳斯吉拉斯联邦大学)
针对传统Transformer难以捕捉ECG局部形态特征的问题,提出LGA-ECG模型,结合卷积归纳偏置与全局自注意力,在CODE-15数据集上超越现有模型,展现临床部署潜力。
2025-04-13 cs.AI cs.LG eess.SP
Multidimensional Distributional Neural Network Output Demonstrated in Super-Resolution of Surface Wind Speed
本文提出基于多维高斯损失的神经网络训练框架,通过傅里叶协方差表示与信息共享正则化,在地表风速超分辨率中生成保持空间相关性的闭式预测分布,实现高效不确定性量化。
2025-08-21 cs.LG stat.ME stat.ML
Geometry of Deep Convolutional Networks
KTH(瑞典皇家理工学院);School of EECS(电气与计算机科学学院)
我们给出了一个计算卷积网络输出原像的正式过程,该过程使用从与网络层相关联的超平面集合定义的对偶基。我们指出了特殊的对称性与安排的超平面的卷积网络,采取的形式,定期多维多面体锥。我们讨论了大量的嵌套锥层,从增量小尺寸卷积的结果,以提供一个很好的折衷之间的有效收缩的数据到低维和成形的原像流形的效率。我们演示了一个特定的网络如何将非线性输入流形转换为仿射输出流形,并讨论了它与理解深度网络分类特性的相关性。
2019-05-21 cs.LG
Guaranteed Multidimensional Time Series Prediction via Deterministic Tensor Completion Theory
School of Mathematics and Statistics, Xi’an Jiaotong University(西安交通大学数学与统计学院)
本文将多维时间序列预测重新表述为确定性张量补全问题,提出TCTNN模型,通过时间卷积和张量核范数确定精确预测的最大范围,在多种真实数据集上实现了更高的预测精度和计算效率。
2025-01-26 cs.LG
Deep Graph Convolutional Networks for Wind Speed Prediction
Maastricht University(马斯特里赫特大学)
风速预测和预报对于各种商业和管理部门都很重要。本文介绍了一种基于图卷积网络(GCN)的风速预测模型。给定从多个气象站获取的几个天气变量的每小时数据,预测多个时间步长的风速值。特别是,气象站被视为节点的图形,其相关的邻接矩阵是可学习的。通过这种方式,网络学习图形空间结构,并根据历史天气数据确定气象站之间的关系强度。我们在学习的邻接矩阵上增加了一个自环连接,并对邻接矩阵进行了归一化。我们研究了两种自循环连接设置(两个单独的模型)。在第一种情况下,自环连接被强加为常数加法。在第二种情况下,包括一个可学习的参数,使网络能够决定自环连接强度。此外,我们将来自多个时间步长的数据与时间卷积结合,时间卷积与空间图卷积一起构成时空图卷积。我们在丹麦和荷兰的城市气象站收集的真实数据集上进行实验。数值实验表明,我们提出的模型优于以前开发的基准模型的参考数据集。我们通过可视化从模型的每一层学习的邻接矩阵来提供额外的见解。
2021-01-25 cs.LG
Scene Learning: Deep Convolutional Networks For Wind Power Prediction by Embedding Turbines into Grid Space
Tianjin University(天津大学)
风电功率预测在风电利用中具有重要意义。目前已有很多基于风功率或风速时间序列的研究,但实际上这些时间序列并不能表达风的时空变化,这从根本上阻碍了风功率预测的推进。本文提出了一种新的能够描述时空变化过程的特征,即时空特征。我们首先将风力发电机每一时刻采集的数据映射到平面上,根据相对位置形成状态图,即场景。在一段时间内的场景时间序列是多通道图像,即时空特征。基于时空特征,应用深度卷积网络预测风电功率,实现了远优于现有方法的准确性。与starge-of-the-art方法相比,该方法的均方误差(MSE)降低了49.83%,训练模型的平均时间成本可以缩短150倍以上。
2018-07-18 cs.LG stat.ML
VW-SDK: Efficient Convolutional Weight Mapping Using Variable Windows for Processing-In-Memory Architectures
Sungkyunkwan University(成均馆大学)
由于其高能效,内存处理(PIM)阵列越来越多地用于卷积神经网络(CNN)推理。在基于PIM的CNN推理中,计算延迟和能量取决于CNN权重如何映射到PIM阵列。最近的一项研究提出了移位和重复内核(SDK)映射,该映射以并行窗口为单位重用输入特征映射,该窗口与重复内核卷积以并行获得多个输出元素。然而,现有的基于SDK的映射算法并不总是导致最小的计算周期,因为它只映射一个方形的并行窗口与整个通道。在本文中,我们介绍了一种新的映射算法,称为可变窗口SDK(VW-SDK),它自适应地确定并行窗口的形状,导致最小的计算周期为一个给定的卷积层和PIM阵列。通过允许带有部分通道的矩形窗口,VW-SDK可以更有效地利用PIM阵列,从而进一步减少计算周期的数量。使用512 x512 PIM阵列和Resnet-18进行的仿真表明,与现有的基于SDK的算法相比,VW-SDK将推理速度提高了1.69倍。
2021-12-21 cs.LG cs.NE
Wind Power Scenario Generation Using Graph Convolutional Generative Adversarial Network
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Konkuk University(建国大学)
风力发电场景对于研究多个风电场与电网互联的影响非常重要。我们开发了一个图卷积生成对抗网络(GCGAN)的方法,利用GAN的能力,在不使用统计建模生成大量的现实场景。与现有的基于GAN的风电数据生成方法不同,我们设计了GAN的隐藏层,以匹配底层的空间和时间特征。我们提倡使用图过滤器来嵌入多个风电场之间的空间相关性,以及一维(1D)卷积层来表示时间特征过滤器。所提出的图和特征过滤器设计显著降低了GAN模型的复杂度,从而提高了训练效率和计算复杂度。使用来自澳大利亚的真实风电数据的数值结果表明,拟议的GCGAN产生的场景比其他基于GAN的输出表现出更真实的空间和时间统计。
2023-02-16 cs.AI cs.LG cs.SY
Hybrid Quantum Temporal Convolutional Networks
Seoul National University(首尔国立大学);Brookhaven National Laboratory(布鲁克海文国家实验室)
混合量子时序卷积网络通过结合经典时间窗口化与量子卷积神经网络,实现对多变量时间序列的高效处理,在数据有限条件下表现出优越的参数效率和性能。
2026-02-27 cs.LG
FPGA deep learning acceleration based on convolutional neural network
Chongqing University(重庆大学)
针对卷积神经网络(CNN)计算量大、计算时间长的问题,提出了一种基于现场可编程逻辑门阵列(FPGA)的卷积神经网络硬件加速器。首先,通过深入分析卷积层的前向运算原理,探索卷积层运算的并行性,设计了一种输入通道并行、输出通道并行、卷积窗口深度流水的硬件架构。然后在上述架构中,设计了一个完全并行的乘加树模块来加速卷积运算,设计了一个高效的窗口缓冲模块来实现卷积窗口的流水线运算。最终实验结果表明,本文提出的加速器能效比达到32.73 GOPS/W,比现有方案提高了34%,性能达到317.86 GOPS。
2020-11-17 cs.AR cs.LG
Multiscale Hierarchical Convolutional Networks
University of Amsterdam(阿姆斯特丹大学);Ecole Normale Supérieure(巴黎高等师范学院)
深度神经网络算法难以分析,因为它们缺乏允许理解底层变换和不变量的性质的结构。多尺度分层卷积网络是结构化深度卷积网络,其中层由从训练数据学习的逐渐更高维的属性索引。每个新层都是通过空间和属性变量的多维卷积计算的。我们介绍了一种有效的实现这种网络的维数是逐步减少平均沿属性索引的中间层。分层网络CIFAR图像数据库进行测试,他们获得了相当的精度,最先进的网络,少得多的参数。我们研究了从这些数据库中学习到的属性的一些属性。
2017-03-12 cs.LG stat.ML
Ultra-short-term multi-step wind speed prediction for wind farms based on adaptive noise reduction technology and temporal convolutional network
本研究提出一种结合自适应降噪算法P-SSA、TCN和GRU的新型风速预测模型,有效提升了风电场超短期多步风速预测的精度与稳定性。
2024-04-22 cs.CE cs.LG
Statistical post-processing of wind speed forecasts using convolutional neural networks
Royal Netherlands Meteorological Institute (KNMI)(荷兰皇家气象研究所(KNMI));Utrecht University(乌得勒支大学)
目前的概率天气预报统计后处理方法不能利用数值天气预报模式的全空间模式。在本文中,我们采用卷积神经网络(CNN)的空间风速信息,并获得概率风速预测在荷兰提前48小时,基于KNMI的确定性谐波Arome数值预报模型。从CNN的概率预测显示,具有较高的Brier技能得分为中等到较高的风速,以及更好的连续排名概率得分(CRPS)和对数得分,比完全连接的神经网络和分位数回归森林的预测。作为次要结果,我们比较了使用3种不同密度估计方法(量化softmax(QS),内核混合网络和拟合截断正态分布)的CNN,并发现基于QS方法的概率预测是最好的。
2021-01-08 cs.LG physics.ao-ph stat.AP
Seeing the Wind: Visual Wind Speed Prediction with a Coupled Convolutional and Recurrent Neural Network
Stanford University(斯坦福大学);California Institute of Technology(加州理工学院)
风能资源量化、空气污染监测和天气预报都依赖于对当地风况的快速、准确测量。对风的影响的视觉观察-例如树木的摇摆和旗帜的拍打-编码了关于当地风况的信息,这些信息可以潜在地用于廉价且无处不在的视觉风速测量。在这里,我们展示了一个耦合的卷积神经网络和循环神经网络架构,提取风速编码的可视化记录的流结构的相互作用的旗帜和树在自然发生的风。风速范围为0.75-11 m/s的预测与现场杯风速计的测量结果一致,根均方误差接近大气湍流引起的自然风速变化。该网络的通用性证明了成功的风速预测的基础上记录的其他旗帜在现场和受控风洞测试。此外,基于物理的缩放的扑动动力学准确地预测网络性能的视频帧速率和持续时间的依赖。
2019-10-28 cs.CV cs.LG physics.flu-dyn
Convolutional Neural Network Compression through Generalized Kronecker Product Decomposition
University of Waterloo(滑铁卢大学)
现代卷积神经网络(CNN)架构尽管在解决各种问题方面具有优势,但通常太大而不能部署在资源受限的边缘设备上。在本文中,我们减少了CNN中卷积层所需的内存使用和浮点运算。我们通过将Kronecker乘积分解推广到多维张量来压缩这些层,从而得到广义Kronecker乘积分解(GKPD)。我们的方法产生了一个即插即用的模块,可以用作任何卷积层的替代品。使用ResNet、MobileNetv 2和SeNet架构在CIFAR-10和ImageNet数据集上进行图像分类的实验结果证实了我们提出的方法的有效性。我们发现GKPD优于最先进的分解方法,包括Tensor-Train和Tensor-Ring以及其他相关的压缩方法,如修剪和知识蒸馏。
2022-01-14 cs.CV cs.LG
Localized convolutional neural networks for geospatial wind forecasting
Kaunas University of Technology(考纳斯理工大学)
卷积神经网络(CNN)在处理空间栅格数据时具有许多优点。平移不变性使CNN能够检测特征,而不管它们在场景中的位置。然而,在某些领域,如地理空间,并非所有位置都完全相等。在这项工作中,我们提出了本地化的卷积神经网络,使卷积架构能够学习局部特征,除了全局特征。我们调查他们的实例化的形式学习输入,本地权重,和一个更一般的形式。它们可以被添加到任何卷积层,很容易进行端到端训练,引入最小的额外复杂性,并让CNN在需要的程度上保留其大部分优点。在这项工作中,我们解决时空预测:测试我们的方法在合成基准数据集上的有效性,并处理三个真实世界的风预测数据集。对于其中之一,我们提出了一种方法来空间排序的无序数据。我们比较了最近的国家的最先进的时空预测模型相同的数据。使用卷积层的模型可以通过我们的本地化进行扩展。在所有这些情况下,我们的扩展改进了结果,因此通常是最先进的。我们在公共存储库中共享所有代码。
2020-07-10 cs.CV cs.LG cs.NE
Rubik's Cube Operator: A Plug And Play Permutation Module for Better Arranging High Dimensional Industrial Data in Deep Convolutional Processes
卷积神经网络(CNN)从空间、时间和系统动力学的角度集成了分布式工业系统的数据记录,已被广泛应用于基于张量输入的工业数据处理。然而,与图像不同,基于工业数据的张量中的信息不一定是空间有序的。因此,直接应用CNN无效。为了解决这个问题,我们提出了一个即插即用模块,即Rubik's Cube Operator(RCO),在CNN处理之前,自适应地将基于工业数据的张量的数据组织排列为最优或次优的属性顺序,这些属性可以通过基于梯度的优化器与后续CNN一起更新。建议的RCO维护K个二进制和右随机置换矩阵,以置换基于张量的输入工业数据的K个轴的属性。提出了一种新的学习方法,利用Gumbel-Softmax对置换矩阵的元素进行重新参数化,并在任务特定的损失中加入软正则化损失,以保证置换数据的特征多样性。我们通过考虑两个代表性的学习任务,通过CNN处理工业数据,风力发电预测(WPP)和风速预测(WSP)从可再生能源领域验证了所提出的RCO的有效性。基于不同风电场采集的4个数据集进行了计算实验,结果表明,该RCO能显著提高基于CNN网络的性能。
2022-03-24 cs.LG
Temporal convolutional and fusional transformer model with Bi-LSTM encoder-decoder for multi-time-window remaining useful life prediction
本文提出一种结合时序卷积网络和改进的时序融合变换器的模型,通过多时间窗口方法提升工业系统剩余寿命预测的准确性。
2025-11-06 cs.AI cs.LG
Fourier Series Guided Design of Quantum Convolutional Neural Networks for Enhanced Time Series Forecasting
CINVESTAV Unidad Guadalajara(墨西哥瓜达拉哈拉CINVESTAV分部);CINVESTAV Unidad Tamaulipas(墨西哥塔毛利帕斯CINVESTAV分部);CINVESTAV Unidad Querétaro(墨西哥奎蒂拉尔CINVESTAV分部)
本文利用傅里叶级数理论指导设计含数据重复上传的量子卷积神经网络,证明少量参数即可实现高阶傅里叶表达,从而提升时间序列预测性能并减少训练时间。
2025-07-02 cs.LG quant-ph
Statistical treatment of convolutional neural network super-resolution of inland surface wind for subgrid-scale variability quantification
Argonne National Laboratory(阿贡国家实验室);Virginia Tech(弗吉尼亚理工学院)
机器学习模型已被用于对气候数据进行无物理数据驱动或混合动态降尺度。由于从粗略数据恢复精细尺度信息的挑战,这些实现中的大多数在相对小的缩减因子上操作。这限制了它们与许多全球气候模式输出的兼容性,这些模式的分辨率通常在$\sim$ 50- 100公里之间,适用于感兴趣的尺度,如云分辨率或城市尺度。本研究系统地研究了卷积神经网络(CNN)的能力,以缩小尺度的地面风速数据在陆地表面从不同的粗分辨率(25公里,48公里,100公里的分辨率)到3公里。对于每个降尺度因子,我们考虑三个CNN配置,生成细尺度风速的超分辨预测,其中需要1到3个输入字段:粗风速,细尺度地形和昼夜周期。除了精细尺度的风速,概率密度函数参数的产生,通过它可以产生样本风速占的内在随机性的风速。对于可推广性评估,CNN模型在具有不同地形和气候的区域上进行测试,这些区域在训练期间不可见。超分辨预测的评估重点是亚网格尺度的变化和极端的恢复。与其他模式配置相比,以粗风和细地形作为输入的模式表现出最好的性能,在相同的降尺度因子下运行。与其他输入配置相比,我们的昼夜周期编码导致样本外泛化能力较低。
2023-02-23 cs.LG physics.ao-ph stat.AP
A Concurrent CNN-RNN Approach for Multi-Step Wind Power Forecasting
Toronto Metropolitan University(多伦多都会大学);University of Toronto(多伦多大学);Bogazici University(博阿齐奇大学)
风力发电预测有助于电力系统的规划,有助于在决策中具有更高的确定性。由于气象事件固有的随机性(例如,风速),对风力进行高度准确的长期预测可能极其困难。解决这一挑战的一种方法是利用来自地理网格上多个点的天气信息来获得风模式的整体视图,以及来自风电场先前功率输出的时间信息。我们提出的CNN-RNN架构结合了卷积神经网络(CNN)和递归神经网络(RNN),从多维输入数据中提取空间和时间信息,以进行提前一天的预测。在这方面,我们的方法结合了超宽的学习视图,结合了来自多个数值天气预测模型、风电场和地理位置的数据。此外,我们实验了全局预测方法,以了解在从多个不同风电场获得的数据集上训练相同模型的影响,并且我们采用了一种方法,其中从卷积层提取的空间信息被传递到树集合(例如,光梯度提升机(LGBM))而不是完全连接的层。结果表明,我们提出的CNN-RNN架构在全局训练时优于其他模型,如LGBM,Extra Tree回归和线性回归,但在每个农场单独训练时无法复制这种性能。我们还观察到,将空间信息从CNN传递到LGBM可以提高其性能,为CNN的空间特征提取能力提供了进一步的证据。
2023-01-02 cs.LG
Convolutional LSTM Neural Networks for Modeling Wildland Fire Dynamics
Google Research(谷歌研究院);Stanford University(斯坦福大学)
随着气候的变化,野火的严重程度预计将恶化。准确捕捉火灾传播动力学的模型极大地有助于理解、响应和减轻这些火灾造成的损失。机器学习技术为开发这样的模型提供了潜在的方法。本研究的目的是评估的可行性,使用卷积长短期记忆(ConvLSTM)递归神经网络模型的野火蔓延的动态。机器学习模型在由数学模拟模型生成的模拟野火数据上进行训练。分析了三个模拟数据集,每个数据集的复杂程度都在增加。最简单的数据集包括一个恒定的风向作为一个单一的混杂因素,而最复杂的数据集包括动态风,复杂的地形,空间变化的水分含量和异质植被密度分布。我们研究了ConvLSTM在连续时间步长上学习火灾蔓延动态的有效性。结果表明,ConvLSTM可以捕获局部火灾传输事件,以及整体火灾动态,如火灾蔓延的速度。最后,我们证明了ConvLSTM优于其他网络架构,以前被用来模拟类似的荒地火灾动态。
2021-04-08 cs.LG
Technical report: supervised training of convolutional spiking neural networks with PyTorch
CERCO UMR 5549, CNRS – Université Toulouse 3(法国国家科学研究中心CERCO UMR 5549——图卢兹第三大学);IRIT, Université de Toulouse(图卢兹大学IRIT研究所)
最近,已经表明,脉冲神经网络(SNN)可以有效地训练,以监督的方式,通过时间使用反向传播。事实上,最常用的尖峰神经元模型,即泄漏积分激发神经元,服从一个微分方程,该方程可以使用离散时间步长来近似,从而产生电势的循环关系。激发阈值会导致优化问题,但可以使用替代梯度来克服这些问题。在这里,我们以两种方式扩展了以前的方法。首先,我们证明了该方法可以用于训练卷积层。卷积可以在空间、时间(模拟传导延迟)或两者中完成。其次,我们包括快速水平连接:当神经元N激发时,我们将所有具有相同接收能力的神经元的电位减去它们的权重向量与神经元N的权重向量之间的点积。正如Denève等人所示,这对于在尖峰神经元群体中表示动态多维模拟信号是有用的。在这里,我们证明,此外,这样的连接也允许实现一个多维的三角洲上发送编码方案。我们在一个语音分类基准上验证了我们的方法:Google语音命令数据集。我们设法达到了接近最先进的精度(94%),同时保持低发射率(约5Hz)。我们的代码基于PyTorch,并在http://github.com/romainzimmer/s2net上以开源形式提供
2019-11-22 cs.LG cs.NE stat.ML
PISCES: Physics-Informed Solar-wind Convolutional autoEncoder for Space-weather Anomaly Detection and Early Warning
UCLA(加州大学洛杉矶分校);University of Colorado(科罗拉多大学);NASA Jet Propulsion Laboratory(美国国家航空航天局喷气推进实验室)
PISCES是一种物理信息卷积自编码器,在无标签的OMNI太阳风数据上训练,通过分解异常分数并利用物理约束,实现L1点太阳风瞬变的早期检测与预警,可提前于急始事件。
2026-09-24 astro-ph.SR cs.AI cs.LG
Quaternion Convolutional Neural Networks for Heterogeneous Image Processing
Université d’Avignon(阿维尼翁大学);Orkis
卷积神经网络(CNN)最近在各种应用中取得了最先进的成果。在图像识别的情况下,理想的模型必须独立于训练数据学习像素的三个分量(R,G,B)之间的局部依赖性以及描述边缘或形状的全局关系,从而使其在小的或异构的数据集上有效。四元数值卷积神经网络(QCNN)通过将多维代数引入CNN来解决这个问题。本文提出了探索的根本原因,QCNN的成功超过CNN,通过调查的影响,汉密尔顿产品的彩色图像重建任务执行的灰度只训练。通过独立学习内部和外部关系,并且使用比实值卷积编码器-解码器(CAE)更少的参数,四元数卷积编码器-解码器(QCAE)完美地重建了看不见的彩色图像,而CAE产生了最差的灰度版本。
2018-10-31 cs.CV cs.LG stat.ML
Multi Scale Graph Wavenet for Wind Speed Forecasting
TCS Research(塔塔咨询服务研究部)
几何深度学习由于其表示任意结构的固有能力而在学术界和工业界都获得了极大的关注。由于对可再生能源,特别是风能的兴趣呈指数增长,准确的风速预测变得非常重要。.在本文中,我们提出了一种新的深度学习架构,多尺度图Wavenet风速预测。它是基于图卷积神经网络,捕捉空间和时间的关系,在多变量时间序列的天气数据的风速预测。我们特别从扩张卷积、跳过连接和初始网络中汲取灵感,以捕获时间关系,并从用于捕获数据中空间关系的图卷积网络中汲取灵感。我们在丹麦不同城市测量的真实风速数据上进行了实验,并将我们的结果与最先进的基线模型进行了比较。我们的新架构在多个预测范围的风速预测方面优于最先进的方法4- 5%。
2021-10-01 cs.AI cs.LG
Do We Really Need Quantum Machine Learning?: A Multidimensional Empirical Study
Department of Computer Science, University of Alabama, AL 35487(1 计算机科学系,阿拉巴马大学,AL 35487)
通过在MNIST手写数字数据集上对经典和量子机器学习模型进行多维基准测试,发现量子模型在准确率、参数和内存效率上优于经典模型,但计算成本更高。
2026-07-21 cs.AI cs.CV cs.LG
Quaternion-Valued Convolutional Neural Network Applied for Acute Lymphoblastic Leukemia Diagnosis
Escuela Superior Politécnica del Litoral(滨海理工学院);Universidade Estadual de Campinas(坎皮纳斯州立大学)
近年来,随着深度神经网络和卷积神经网络的发展,神经网络领域已经取得了重大进展。虽然目前的许多工作都是针对实值模型,但最近的研究表明,具有超复值参数的神经网络可以更好地捕获,概括和表示多维数据的复杂性。本文探讨了四元数值卷积神经网络在医学模式识别任务中的应用,即急性淋巴细胞白血病的诊断。准确地说,我们比较了实值和四元数值卷积神经网络的性能,以分类淋巴母细胞从外周血涂片显微图像。四元数值卷积神经网络实现了更好或类似的性能比其相应的实值网络,但仅使用其参数的34%。这一结果证实,四元数代数允许捕获和提取信息的彩色图像与较少的参数。
2021-12-13 cs.CV cs.LG cs.NE
Grounding Psychological Shape Space in Convolutional Neural Networks
Osnabrück University(奥斯纳布吕克大学)
形状信息对于人类的感知和认知至关重要,因此也应该在认知AI系统中发挥作用。我们采用跨学科的概念空间框架,提出了一个几何表示的概念知识,通过低维可解释的相似性空间。这些相似性空间通常基于一小组刺激的心理相异性评级,然后通过称为多维缩放的技术将其转换为空间表示。不幸的是,这种方法无法推广到新的刺激。在本文中,我们使用卷积神经网络来学习感知输入(灰度线图的像素)和最近提出的形状域的心理相似性空间之间的可推广的映射。我们研究了不同的网络架构(分类网络与自动编码器)和不同的训练机制(迁移学习与多任务学习)。我们的研究结果表明,基于分类的多任务学习场景产生最好的结果,但其性能是相似性空间的维数相对敏感。
2021-11-16 cs.CV cs.LG
Automatic Remaining Useful Life Estimation Framework with Embedded Convolutional LSTM as the Backbone
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
预测性维修的一个重要任务是通过对多变量时间序列的分析来预测剩余使用寿命。使用滑动窗口方法,卷积神经网络(CNN)和传统的递归神经网络(RNN)方法已经在这个问题上产生了令人印象深刻的结果,因为它们能够学习优化的特征。然而,序列信息仅部分地由CNN方法建模。由于传统RNN中的扁平化机制,如长短期记忆(LSTM),窗口内的时间信息没有完全保留。为了利用多层次的时间信息,提出了许多结合CNN和RNN模型的方法。在这项工作中,我们提出了一种新的LSTM变体,称为嵌入式卷积LSTM(ECLSTM)。在ECLSTM中,一组不同的1D卷积被嵌入到LSTM结构中。通过这样,时间信息在窗口之间和窗口内被保留。由于模型的超参数需要仔细调整,我们还提出了一个自动预测框架的基础上贝叶斯优化与hyperband优化器,这使得网络架构的有效优化。最后,我们展示了我们提出的ECLSTM方法在几个广泛使用的基准数据集上的优越性。
2020-08-10 cs.LG stat.ML
Prediction of solar wind speed by applying convolutional neural network to potential field source surface (PFSS) magnetograms
Peking University(北京大学);Nanjing University(南京大学)
本研究构建了一个基于卷积神经网络和势场源面(PFSS)磁图的模型,利用目标时刻前4至7天的GONG光球磁图生成PFSS磁图作为输入,预测日地系统L1点处的太阳风速度,在八折交叉验证中实现了0.52的平均相关系数和80.8 km/s的均方根误差,并能预测高速流。
2023-04-03 astro-ph.EP astro-ph.SR cs.LG
A mathematical motivation for complex-valued convolutional networks
Facebook Artificial Intelligence Research(脸书人工智能研究院)
复值卷积网络(convnet)实现了以下三个操作的组合的重复应用,递归地将组合应用于非负实数的输入向量:(1)与复值向量的卷积,然后是(2)取结果向量的每个条目的绝对值,然后是(3)局部平均。对于处理实值随机向量,复值卷积网可以被视为“数据驱动的多尺度加窗功率谱”、“数据驱动的多尺度加窗绝对谱”、“数据驱动的多小波绝对值”或(在其最一般的配置中)“数据驱动的非线性多小波包”。“事实上,当convnet滤波器是窗口化复值指数时,复值convnet可以计算多尺度窗口化频谱。标准实值convnets,使用整流线性单元(ReLU),sigmoidal(例如,logistic或tanh)非线性,最大。汇集等,并没有明显地表现出与数据驱动小波相同的精确对应(而对于复值convnets,对应关系不仅仅是一个模糊的类比)。由于精确对应,小波的数学分析非常丰富和严格,直接适用于(复值)convnets。
2015-12-12 cs.LG cs.NE stat.ML
Time Series Forecasting via Semi-Asymmetric Convolutional Architecture with Global Atrous Sliding Window
Peking University(北京大学)
本文提出的方法是为了解决时间序列预测问题。虽然一些设计精巧的模型取得了很好的预测效果,但如何提取更多有用的信息并做出准确的预测仍然是一个悬而未决的问题。大多数现代模型只关注短期信息,这对于需要捕捉长期信息特征的时间序列预测等问题来说是致命的。因此,这项工作的主要关注点是进一步挖掘时间序列中包含的局部和全局信息之间的关系,以产生更精确的预测。在本文中,令人满意地实现这一目的,我们做了三个主要的贡献,实验验证具有性能优势。首先,原始时间序列被转换成差分序列作为输入到所提出的模型。其次,在预测模型中引入全局atrous滑动窗口,引入模糊时间序列的概念,将相关的全局信息与一定时间段内的时态数据相关联,并利用中心双向atrous算法捕获潜在的相关特征,保证捕获数据的有效性和一致性。第三,设计了广泛使用的非对称卷积的变体,称为半非对称卷积,以更灵活地提取相邻元素之间的关系以及相应的关联全局特征,并且在垂直和水平方向上具有可调的卷积范围。本文提出的模型在大多数时间序列数据集上与竞争对手的现代模型相比达到了最先进的水平。
2023-01-31 cs.AI cs.LG
Spatial-temporal wind field prediction by Artificial Neural Networks
Columbia University(哥伦比亚大学)
随着风力发电装机容量的增加,近地面风速的预测对于电网的运行变得越来越重要。大多数预测风速建模集中在基于点的时间序列预测。然而,在分布式风力涡轮机发电的情况下有效地平衡需求和供应,需要在空间和时间上预测风场。此外,全风场的预测对于未来的电力规划特别有用,例如电力供应系统的优化。本文提出了一种复合人工神经网络(ANN)预报大面积(~3.15 × 106 km ~ 2)6 h和24 h平均风速的模型。ANN模型由卷积输入层、长短期记忆(LSTM)隐藏层和作为输出层的转置卷积层组成。我们比较了人工神经网络模型与两个非参数模型,零持久性模型和平均值模型,并发现人工神经网络模型有实质上比这些模型的误差小。此外,人工神经网络模型通常也比集成自回归移动平均模型表现更好,集成自回归移动平均模型是为了在特定位置获得最佳性能而训练的。
2017-12-13 cs.LG stat.AP
STDHL: Spatio-Temporal Dynamic Hypergraph Learning for Wind Power Forecasting
Tsinghua University(清华大学);Shandong University(山东大学)
针对风电场间复杂动态时空相关性建模难题,提出STDHL模型,利用动态超图卷积和分组时间卷积捕获高阶时空特征,在GEFCom数据集上超越现有方法。
2024-12-16 cs.LG eess.SP
Optimizing Convolutional Neural Networks for Chronic Obstructive Pulmonary Disease Detection in Clinical Computed Tomography Imaging
Technical University of Munich(慕尼黑工业大学);Munich Institute of Biomedical Engineering(慕尼黑生物医学工程研究所);Klinikum rechts der Isar(伊萨尔河右岸医院);Institute for Advanced Study, Technical University of Munich(慕尼黑工业大学高等研究院)
本研究通过比较手动调整与自动化窗口设置优化(WSO),利用CNN优化基于CT图像的COPD检测,发现将CT数据调整至肺气肿窗口设置范围可提升DenseNet模型的检测性能。
2024-12-24 cs.CV cs.LG eess.IV
Convolutional Neural Networks for Image-based Corn Kernel Detection and Counting
Iowa State University(爱荷华州立大学);Syngenta(先正达)
精确的当季玉米产量估计使农民能够做出实时准确的收获和粮食营销决策,最大限度地减少可能的利润损失。一个发育良好的玉米穗可以有多达800粒玉米粒,但手动计算玉米穗上的玉米粒是劳动密集型的,耗时的,容易出现人为错误。从算法的角度来看,从单个玉米穗图像中检测籽粒是具有挑战性的,这是由于不同角度的大量籽粒以及籽粒之间的非常小的距离。在本文中,我们提出了一种基于滑动窗口方法的核检测和计数方法。所提出的方法检测和计数所有的玉米粒在一个单一的玉米穗图像在不受控制的照明条件。滑动窗口方法使用卷积神经网络(CNN)进行核检测。然后,应用非最大值抑制(NMS)来去除重叠检测。最后,被分类为内核的窗口被传递到另一个CNN回归模型,用于找到内核图像块的中心的(x,y)坐标。实验结果表明,该方法能够成功地检测出玉米粒,检测误差较小,并且能够检测出不同角度的玉米穗上的玉米粒。
2020-04-20 cs.CV cs.LG stat.ML
Transferability of Operational Status Classification Models Among Different Wind Turbine Typesq
DNV GL(DNV GL集团)
详细了解风力涡轮机性能状态分类可以改善风能行业的运营和维护。由于风力涡轮机的不同工程特性,用于分类的标准监督学习模型不能在从不同风场获得的数据集上进行推广。我们提出了两种方法来处理训练模型的可移植性:第一,以功率曲线对齐的形式进行数据归一化,第二,基于卷积神经网络和特征空间扩展的鲁棒方法。我们证明了我们的方法在现实世界的数据集与工业应用的成功。
2019-03-21 cs.LG stat.ML
Controlling the privacy loss with the input feature maps of the layers in convolutional neural networks
Samsung Electronics(三星电子)
我们提出了一种方法来净化输入特征映射(IFM)的隐私,这些IFM被馈送到CNN(卷积神经网络)的层。该方法引入了使使用CNN的应用能够控制隐私损失的净化程度,该隐私损失表示为原始IFM和净化后的IFM的概率准确度的比率。对于IFM的净化,设计了基于采样保持的近似方案以满足特定于应用的净化程度。该方案通过用最接近采样窗口均值的非零样本替换窗口中的所有样本来逼近IFM。它还通过将多维IFM张量展开为待近似的一维流来消除对CNN配置的依赖性。
2018-12-05 cs.CR cs.CV cs.LG
Fast and Fluent Diffusion Language Models via Convolutional Decoding and Rejective Fine-tuning
Department of Artificial Intelligence(人工智能系);Yonsei University(延世大学)
针对扩散语言模型的长解码窗口问题,提出卷积解码与拒绝式微调,在保持速度的同时提升生成质量,在AlpacaEval等基准上取得最优结果。
2025-10-24 cs.AI cs.CL cs.LG
V-EfficientNets: Vector-Valued Efficiently Scaled Convolutional Neural Network Models
Universidade Estadual de Campinas (UNICAMP)(圣保罗州立大学(UNICAMP))
本文提出向量值EfficientNets(V-EfficientNets),将EfficientNet扩展用于处理任意向量值数据,在ALL-IDB2白血病检测数据集上以99.46%的平均准确率超越现有最优模型,同时显著减少参数量。
2025-05-08 cs.CV cs.LG eess.IV
Remaining Useful Life Prediction: A Study on Multidimensional Industrial Signal Processing and Efficient Transfer Learning Based on Large Language Models
City University of Hong Kong(香港城市大学)
本研究针对传统RUL预测方法泛化性不足的问题,提出基于大语言模型的回归框架,在涡扇发动机数据集上取得优异表现,且少量目标域数据微调即可超越全数据训练的SOTA方法,为工业系统健康管理提供新方案。
2024-10-04 cs.AI cs.LG eess.SP
Unsupervised Sparse-view Backprojection via Convolutional and Spatial Transformer Networks
Columbia University(哥伦比亚大学)
许多成像技术依赖于断层重建,这需要在给定有限数量的投影的情况下求解多维逆问题。反投影是用于断层摄影重建的一类流行算法,然而,当投影角度稀疏和/或如果传感器特性不均匀时,反投影通常导致差的图像重建。已经开发了几种基于深度学习的算法来解决这个逆问题,并使用有限数量的投影重建图像。然而,这些算法通常需要地面实况的示例(即,重建图像的示例)来产生良好的性能。在本文中,我们介绍了一种无监督稀疏视图反投影算法,它不需要地面实况。该算法由两个模块组成的生成器投影框架;卷积神经网络和空间Transformer网络。我们评估我们的算法使用计算机断层扫描(CT)图像的人类胸部。我们表明,我们的算法显着优于过滤反投影时,投影角度非常稀疏,以及当传感器特性不同的角度。我们的方法具有实际应用的医学成像和其他成像方式(如雷达),稀疏和/或非均匀的投影可能会被收购由于时间或采样的限制。
2020-06-01 cs.LG eess.IV stat.ML
Polynomially Over-Parameterized Convolutional Neural Networks Contain Structured Strong Winning Lottery Tickets
本文提出多项式过参数化卷积神经网络中存在结构化强彩票彩票票,通过数学工具证明了结构化子网络能近似更小网络,为SLTH提供了亚指数界。
2026-03-10 cs.LG math.CO math.PR
A convolutional framework for detecting event-driven dynamics in energy price series
Shanghai University of Finance and Economics(上海财经大学);London School of Economics(伦敦政治经济学院)
本文提出一种CNN框架,可检测单变量时间序列的事件驱动动态,其性能优于或相当于基于单个统计量的分类器,还能区分能源价格序列中不同类型的事件驱动动态。
2026-09-09 cs.LG stat.ME stat.ML
ZNNi - Maximizing the Inference Throughput of 3D Convolutional Networks on Multi-Core CPUs and GPUs
Massachusetts Institute of Technology(麻省理工学院);Princeton University(普林斯顿大学)
滑动窗口卷积网络(ConvNets)已经成为解决诸如图像分割、目标检测和定位等计算机视觉问题的流行方法。在这里,我们考虑推理问题,即应用先前训练的ConvNet,重点是3D图像。我们的目标是最大限度地提高吞吐量,定义为每单位时间计算的输出体素的平均数量。在其他条件相同的情况下,处理较大的图像往往会增加吞吐量,因为在图像的边界上浪费的计算很少。因此,如果一个明显较慢的算法可以在可用RAM的约束范围内处理更大的图像,那么它最终可能具有更高的吞吐量。我们为卷积层和池化层引入了新颖的CPU和GPU原语,旨在最大限度地减少内存开销。基元包括基于高效修剪FFT的卷积。我们的理论分析和实证检验揭示了一些有趣的发现。对于某些ConvNet架构,cuDNN的性能优于我们基于FFT的GPU原语,而这些原语又可以优于我们的CPU原语。由于CPU可以快速访问更多的RAM,因此可以实现更高的吞吐量。GPU访问主机RAM的新原语可以显着提高GPU吞吐量。最后,CPU-GPU算法实现了所有算法中最大的吞吐量,是其他公开的滑动窗口3D ConvNets实现的10倍或更多。我们所有的代码都是开源项目。
2016-06-17 cs.DC cs.LG
Transferability of Convolutional Neural Networks in Stationary Learning Tasks
University of Pennsylvania(宾夕法尼亚大学);Lockheed Martin(洛克希德·马丁公司)
针对深度学习模型复杂度提升难以为继的问题,本文提出面向大规模平稳空间问题的CNN高效训练框架,通过理论与实验证明小窗口训练的CNN可迁移到大窗口场景,能以低计算成本处理超大规模智能体任务。
2023-07-21 cs.LG eess.SP
Phylogenetic Convolutional Neural Networks in Metagenomics
Fondazione Bruno Kessler (FBK)(布鲁诺·凯斯勒基金会);University of Edinburgh(爱丁堡大学);University of Trento(特伦托大学)
背景资料:卷积神经网络可以有效地使用,只有当数据被赋予一个内在的概念,在输入空间中的邻域,是在图像中的像素的情况下。我们在这里介绍Ph-CNN,这是一种基于卷积神经网络的用于宏基因组数据分类的新型深度学习架构,使用系统发育树上定义的patristic距离作为邻近度量。变量之间的教父距离与多维标度的稀疏化版本一起使用,以将系统发育树嵌入到欧几里得空间中。结果如下:Ph-CNN使用域适应方法对合成数据和38名健康受试者和222名炎症性肠病患者的肠道微生物群的宏基因组学集合进行测试,分为6个亚类。与支持向量机和随机森林等经典算法以及基线全连接神经网络(例如多层感知器)相比,分类性能很有前途。结论:Ph-CNN代表了一种用于宏基因组数据分类的新型深度学习方法。在操作上,该算法已被实现为自定义Keras层,负责将数据以及每个样本的邻域排名列表传递到后续卷积层,从而模仿图像数据的情况,对用户透明。关键词:宏基因组学;深度学习;卷积神经网络;系统发育树
2017-09-06 cs.LG cs.NE q-bio.GN
A Nonlinear Low-rank Representation Model with Convolutional Neural Network for Imputing Water Quality Data
College of Computer and Information Science(计算机与信息科学学院);Southwest University(西南大学);Chongqing Eco-Environment Monitoring Center(重庆生态环境监测中心)
针对水质数据高维稀疏与缺失问题,提出基于CNN的非线性低秩表示模型,融合时间特征与非线性交互,在三个真实数据集上显著优于现有填补方法。
2025-09-10 cs.AI cs.LG