Underwater Acoustic Communication Receiver Using Deep Belief Network
Singapore University of Technology and Design (SUTD)(新加坡科技设计大学);Thales Solutions Asia Pte Ltd(泰雷兹解决方案亚洲私人有限公司)
水下环境为通信创造了具有挑战性的信道。在本文中,我们设计了一种新的接收机系统,通过探索机器学习技术-深度信念网络(DBN)-来对抗多普勒效应和多径传播引起的信号失真。我们评估所提出的接收机系统在模拟实验和海上试验的性能。我们提出的接收机系统包括基于DBN的去噪和接收信号的分类。首先,接收到的信号被分割成帧,然后使用新颖的像素化算法对这些帧中的每一个进行单独的预处理。然后,使用基于DBN的去噪算法,从这些帧中提取特征并用于重建接收信号。最后,发生重构信号的基于DBN的分类。我们提出的基于DBN的接收机系统在受多普勒效应和多径传播影响的信道中确实表现出更好的性能,在$10^{-3}$误比特率(BER)下性能改善了13.2dB。
2021-02-26 cs.LG cs.SD eess.AS
Deep Belief Networks Based Feature Generation and Regression for Predicting Wind Power
Pakistan Institute of Engineering and Applied Sciences(巴基斯坦工程与应用科学学院)
风能预测有助于管理电力生产,从而降低能源成本。深度神经网络(DNN)模仿人脑中的分层学习,因此具有分层、分布式和多任务学习能力。基于上述特点,我们报告了基于深度信念网络(DBN)的预测引擎,用于风力发电预测,因为它具有良好的泛化能力和无监督的预训练属性。建议的DBN-WP预测引擎,它具有随机特征生成能力,是由多个限制玻尔兹曼机,生成合适的功能,使用大气特性作为输入的风力发电预测。DBN-WP由于其RBM层的无监督预训练和泛化能力,能够学习气象属性的波动,从而能够执行有效的风电映射。在深度网络中,在最后添加一个回归层来预测分类期的风电功率。实验表明,基于DBN的模型的深度学习和无监督预训练能力具有可比性,并且在某些情况下比针对风力发电预测提出的混合和复杂学习技术具有更好的结果。所提出的预测系统的基础上DBN,达到平均值的RMSE,MAE和平均值分别为0.124,0.083和0.122。对所提出的DBN-WP风电功率预测系统的几个独立执行的统计分析证明了该系统的稳定性。所提出的DBN-WP架构易于实现,并提供了关于风电场位置变化的一般化。
2018-07-31 cs.LG stat.ML
A Cost-Sensitive Deep Belief Network for Imbalanced Classification
National University of Singapore(新加坡国立大学);City University of Hong Kong(香港城市大学)
具有偏斜类分布的不平衡数据在许多实际应用中很常见。深度信念网络(DBN)是一种机器学习技术,在分类任务中是有效的。然而,传统的DBN并不适用于不平衡的数据分类,因为它假设每个类的成本相等。为了解决这个问题,成本敏感的方法分配不同的错误分类成本为不同的类,而不破坏真实的数据样本分布。然而,由于缺乏先验知识,误分类成本通常是未知的,在实践中很难选择。此外,还没有很好地研究如何成本敏感的学习可以提高DBN的性能不平衡的数据问题。提出了一种用于不平衡分类的进化代价敏感深度信念网络(ECS-DBN)。ECS-DBN采用自适应差分进化算法对基于训练数据的误分类代价进行优化,为在目标函数中引入评价指标(即G-均值)提供了一种有效的方法。我们首先优化错误分类成本,然后将其应用于深度信念网络。自适应差分进化优化算法是一种无需先验知识就能自动更新相应参数的优化算法。实验表明,该方法在基准数据集和真实数据集上的刀具状态监测故障诊断性能均优于现有技术。
2018-05-05 cs.LG stat.ML
p-Adic Statistical Field Theory and Deep Belief Networks
University of Texas Rio Grande Valley(德克萨斯大学里奥格兰德谷分校)
在这项工作中,我们开始研究p进统计场论(SFTs)和神经网络(NNs)之间的对应关系。一般来说,p进时空上的量子场论可以用严格的方式来表述。如今,这些理论被认为只是理解真正理论问题的数学玩具模型。在这项工作中,我们表明这些理论与深度信念网络(DBN)有着深刻的联系。Hinton等人通过堆叠几个限制玻尔兹曼机(RBM)来构造DBN。这种构造的目的是获得具有层次结构的网络(深度学习架构)。RBM对应于某种自旋玻璃,DBN对应于超度量自旋玻璃。这样的系统的模型可以很容易地通过使用p-adic数构造。在我们的方法中,p-adic SFT对应于p-adic连续DBN,并且该理论的离散化对应于p-adic离散DBN。我们表明,这些最后的机器是通用的逼近。在p-adic框架中,SFT和NN之间的对应关系没有完全发展。我们指出几个开放的问题。
2023-01-06 cs.LG math-ph math.MP
Deep Belief Network based representation learning for lncRNA-disease association prediction
National Institute of Technology Calicut(卡利卡特国家理工学院);Amrita School of Engineering(阿姆里塔工程学院);Amrita Vishwa Vidyapeetham(阿姆里塔大学)
背景:随着对长链非编码RNA(longnoncodingRNAs,lncRNAs)研究的不断深入,发现lncRNAs在多种复杂疾病中存在异常表达。准确鉴定lncRNA-疾病关联对于理解lncRNA功能和疾病机制至关重要。有许多机器学习技术参与预测lncRNA-疾病关联,其使用不同的生物相互作用网络和相关特征。从网络结构化数据中进行特征学习是机器学习方法的限制因素之一。基于图神经网络的技术通过无监督特征学习解决了这一限制。深度信念网络(DBN)最近被用于生物网络分析,以学习网络特征的潜在表示。方法:本文从lncRNA、疾病和miRNA的相互作用出发,提出了一个基于DBN的lncRNA-疾病关联预测模型(DBNLDA)。该结构包括三个主要模块:网络构造、基于DBN的特征学习和基于神经网络的预测。首先,我们构建了lncRNA-miRNA相似性(LMS)、疾病-miRNA相似性(DMS)和lncRNA-disease association(LDA)三个异质网络。从相似性网络的节点嵌入矩阵中,lncRNA-疾病表示分别由两个基于DBN的子网络学习。lncRNA疾病的联合表示由第三个DBN从上述两个子网络的输出中学习。该联合特征表示被用于通过ANN分类器来预测关联得分。结果:当与最先进方法使用的标准数据集进行测试时,所提出的方法获得AUC为0.96,AUPR为0.967。对乳腺癌、肺癌和胃癌…
2020-06-22 cs.LG q-bio.QM stat.ML
Polyphonic Music Generation by Modeling Temporal Dependencies Using a RNN-DBN
Birla Institute of Technology and Science, Pilani(皮拉尼比尔拉理工学院)
在本文中,我们提出了一种通用的技术,使用递归神经网络和深度信念网络的组合来建模时间依赖性和序列。我们的技术RNN-DBN是RNN的内存状态的融合,允许它提供时间信息和多层DBN,有助于数据的高级表示。这使得RNN-DBN成为序列生成的理想选择。此外,DBN与RNN的结合使用使得该模型能够比RBM更复杂地表示数据。我们将这种技术应用于复调音乐生成的任务。
2014-12-26 cs.AI cs.LG cs.NE
Explainable Deep Belief Network based Auto encoder using novel Extended Garson Algorithm
Institute for Development and Research in Banking Technology(银行业技术发展与研究所);University of Hyderabad(海得拉巴大学)
机器学习中最困难的任务是解释训练好的浅层神经网络。深度神经网络(DNN)在大量任务上提供了令人印象深刻的结果,但通常仍不清楚这种经过训练的深度神经网络如何做出决策。提供特征重要性是在浅层和深层神经网络中使用的最重要和最流行的解释技术。在本文中,我们开发了一种算法,扩展了Garson算法的思想来解释基于深度信念网络的自动编码器(DBNA)。它用于确定DBN中每个输入特征的贡献。它可以用于任何类型的神经网络与许多隐藏层。该方法的有效性进行了测试的分类和回归数据集取自文献。通过这种方法确定的重要功能进行比较,对Wald卡方(\c{hi} 2)。对于4个分类数据集中的2个和5个回归数据集中的2个,我们提出的方法导致识别出质量更好的特征,从而导致与Wald \c{hi} 2相比统计上更显著的结果。
2022-07-18 cs.AI cs.LG
F0 Modeling In Hmm-Based Speech Synthesis System Using Deep Belief Network
Yantra Software(Yantra软件公司);Indian Institute of Technology Kharagpur(印度理工学院卡哈拉格普尔分校)
近年来,具有多个隐藏层的多层感知器(MLP)和深度神经网络(DNN)在语音识别、说话人确认、语音合成等语音任务中取得了令人惊讶的成功。本文采用深度信念网络(Deep Belief Network,DBN)对基于隐马尔可夫模型(HMM)的语音合成系统生成的合成语音的F0轮廓进行建模。实验是在孟加拉语上进行的。提出并评估了几种DBN-DNN架构,从4到7个隐藏层,每个隐藏层多达200个隐藏单元。结果进行了比较,对聚类树技术流行的统计参数语音合成。我们表明,从文本输入DBN-DNN学习一个高层次的结构,这反过来又提高了F0轮廓的客观和主观的测试。
2015-02-18 cs.LG cs.NE
Affect-Aware Deep Belief Network Representations for Multimodal Unsupervised Deception Detection
University of Southern California(南加州大学)
检测欺骗行为的自动化系统可以在医疗、社会工作和法律领域提高人类福祉。用于训练监督式欺骗检测模型的标记数据集很少能被收集用于现实世界的高风险背景。为了应对这一挑战,我们提出了第一个无监督的方法来检测真实世界中的高风险欺骗视频,而不需要标签。本文提出了一种新的方法,用于情感感知的无监督深度信念网络(DBN)学习欺骗性和真实性行为的区分表示。利用心理学理论,链接影响和欺骗,我们实验了单模态和多模态DBN为基础的方法,面部效价,面部唤醒,音频和视觉特征的培训。除了使用面部影响作为训练DBN模型的特征之外,我们还引入了一个DBN训练过程,该过程使用面部影响作为视听表示的对齐器。我们进行了无监督高斯混合模型聚类的分类实验,以评估我们的方法。我们最好的无监督方法(在面部效价和视觉特征上进行训练)实现了80%的AUC,超过了人类的能力,并表现出完全监督模型的性能。我们的研究结果激励了未来在无监督的,感知影响的计算方法上的工作,用于检测野外的欺骗和其他社会行为。
2021-11-08 cs.CV cs.LG
A developmental approach for training deep belief networks
University of Padova(帕多瓦大学);IMT Atlantique(IMT大西洋高等矿业电信学校);IRCCS San Camillo Hospital(IRCCS圣卡米洛医院)
本文提出iDBN迭代学习算法,联合更新深度信念网络所有层权重,性能与贪婪方法相当,并支持分析内部表征发展,为神经认知发展建模铺路。
2022-08-02 cs.LG cs.NE
An Intrusion Detection System based on Deep Belief Networks
Toshiba Europe Ltd.(东芝欧洲有限公司);Cardiff University(卡迪夫大学)
互联设备的快速增长导致了被称为零日攻击的新型网络安全威胁的扩散。传统的基于行为的IDS依赖于DNN来检测这些攻击。用于训练DNN的数据集的质量在检测性能中起着关键作用,代表性不足的样本会导致性能低下。在本文中,我们开发并评估了DBN在连接设备网络中检测网络攻击的性能。CICIDS2017数据集用于训练和评估我们提出的DBN方法的性能。几类平衡技术的应用和评估。最后,我们将我们的方法与传统的MLP模型和现有的最先进的方法进行比较。我们提出的DBN方法显示出有竞争力和有前途的结果,在训练数据集中检测攻击的性能显着提高。
2022-07-05 cs.CR cs.LG
Classifying Directional Trajectories Near Criticality in the Three-State Majority-Vote Model with Deep Belief Networks and Bidirectional GRUs
本研究用DBN与Bi-GRU处理MV3轨迹分类问题,DBN编码静态快照,Bi-GRU实现四类轨迹近乎完美分离,可实时感知MV3动态 regime,为意见动力学模型临界转变检测提供分层架构。
2026-08-20 cs.LG
Learning Temporal Dependencies in Data Using a DBN-BLSTM
BITS Pilani(贝拉理工学院皮拉尼校区)
自从深度学习出现以来,它已经被用于使用许多不同的架构来解决各种问题。这种深度架构在听觉数据中的应用也并不罕见。然而,这些架构并不总是充分考虑数据的时间依赖性。因此,我们提出了一个新的通用架构称为深度信念网络-双向长短期记忆(DBN-BLSTM)网络,通过跟踪时间信息,同时使数据中的深度表示模型序列。我们证明了这种新的架构,将其应用到音乐生成的任务,并获得国家的最先进的结果。
2014-12-23 cs.LG cs.NE
Adaptive Learning Method of Recurrent Temporal Deep Belief Network to Analyze Time Series Data
Prefectural University of Hiroshima(广岛县立大学);Hiroshima City University(广岛市立大学)
深度学习具有分层网络架构来表示输入模式的复杂特征。这种结构是众所周知的,代表更高的学习能力相比,一些传统的模型,如果最佳的网络结构中的最佳参数集被发现。我们一直在开发的自适应学习方法,可以发现最佳的网络结构在深度信念网络(DBN)。该学习方法可以在学习阶段用每个受限玻尔兹曼机中的最优隐层神经元数目和DBN中的最优层数来构造网络结构。该学习方法的网络结构可以根据大数据集的给定输入模式自组织。在本文中,我们嵌入自适应学习方法的递归时态RBM和DBN的自生成层。为了验证该方法的有效性,实验结果表明,该方法的分类能力比传统方法有较大提高。
2018-07-11 cs.LG cs.NE stat.ML
Partitioning Large Scale Deep Belief Networks Using Dropout
University of Washington(华盛顿大学)
深度学习方法在许多实际应用中显示出巨大的潜力,从语音识别、视觉对象识别到文本处理。然而,目前大多数深度学习方法都存在大规模应用的可扩展性问题,迫使研究人员或用户专注于参数较少的小规模问题。在本文中,我们考虑了一个著名的机器学习模型,深度信念网络(DBN),在大量的基准机器学习任务上产生了令人印象深刻的分类性能。为了扩大DBN,我们提出了一种方法,可以使用计算集群在分布式环境中的训练大型模型,而在一台机器内的密集矩阵计算加速使用图形处理器(GPU)。在训练DBN时,对于每个训练案例,每个机器随机丢弃每个隐藏层中的一部分神经元,使得剩余的神经元只学习检测通常有助于产生正确答案的特征。在我们的方法中,我们开发了四种方法来结合每台机器的结果,形成一个统一的模型。我们在mnst手写数字数据库上的初步实验表明,我们的方法优于最先进的测试错误率。
2015-08-28 cs.LG cs.NE stat.ML
Automatic Extraction of Road Networks by using Teacher-Student Adaptive Structural Deep Belief Network and Its Application to Landslide Disaster
Hiroshima City University(广岛市立大学);Prefectural University of Hiroshima(县立广岛大学)
本文提出基于自适应深度信念网络的RoadTracer模型,通过改进的神经元生成-湮灭算法和层生成算法,提升道路网络自动识别的准确率,并应用于滑坡灾害中的道路检测。
2026-06-27 cs.AI cs.CV cs.LG
A Multi-State Diagnosis and Prognosis Framework with Feature Learning for Tool Condition Monitoring
National University of Singapore(新加坡国立大学);City University of Hong Kong(香港城市大学);Singapore Institute of Manufacturing Technology (SIMTech)(新加坡制造技术研究院);Agency of Science Technology and Research (A*STAR)(新加坡科技研究局)
本文提出了一种基于深度信念网络的多状态方法(DBNMS)的刀具状态监测多状态诊断和预测(MDP)框架。在故障诊断中,采用代价敏感的深度信念网络(ECS-DBN)来处理刀具状态估计中的数据不平衡问题。一个适当的预测退化模型,然后应用于刀具磨损估计的基础上,不同的刀具状态。该框架具有自动特征表示学习的优点,在准确性和鲁棒性方面表现出更好的性能。建议DBNMS的有效性进行了验证,使用真实世界的数据集从枪钻过程中获得。该数据集包含大量测量信号,涉及各种操作条件下的不同工具几何形状。针对刀具状态估计和刀具磨损估计任务检查DBNMS。在实验研究中,对预测结果进行了评估,并与流行的机器学习方法进行了比较,结果表明所提出的DBNMS方法具有优越的性能。
2018-04-30 cs.LG eess.SP
Deep Belief Nets for Topic Modeling
Technical University of Denmark(丹麦技术大学);Issuu
将传统的协同过滤应用于数字出版是具有挑战性的,因为用户数据由于相对于用户数量的大量文档而非常稀疏。另一方面,基于内容的方法很有吸引力,因为文本内容通常信息量很大。在本文中,我们描述了大规模的基于内容的协同过滤的数字出版。为了解决数字出版推荐问题,我们比较了两种方法:潜在狄利克雷分配(LDA)和深度信念网(DBN),这两种方法都能找到文档的低维潜在表示。有效的检索可以在潜在表示中进行。我们既致力于公共基准,也致力于在线出版平台Issuu提供的数字媒体内容。本文还提供了一个新开发的深度信念网工具箱,用于主题建模,专门针对DBN模型的性能评估以及与LDA模型的比较。
2015-01-18 cs.CL cs.LG stat.ML
A brief survey on deep belief networks and introducing a new object oriented toolbox (DeeBNet)
如今,在机器学习中使用深度架构非常流行。深度置信网络(DBN)是使用受限玻尔兹曼机(RBM)堆栈来使用训练数据创建强大的生成模型的深度架构。DBN具有特征提取和分类等多种功能,广泛应用于图像处理、语音处理等领域。本文介绍了一种新的面向对象的MATLAB工具箱,它具有实现DBN所需的大部分功能。在新版本中,工具箱可以在Octave中使用。根据在MNIST(图像)、ISOLET(语音)和20个新闻组(文本)数据集上进行的实验结果,表明该工具箱可以从未标记的数据中自动学习输入的良好表示,并在不同类别之间具有更好的区分。此外,在所有数据集上,所获得的分类误差与最先进的分类器的分类误差相当。此外,该工具箱支持不同的采样方法(例如Gibbs,CD,PCD和我们的新FEPCD方法),不同的稀疏方法(二次,率失真和我们的新正常方法),不同的RBM类型(生成和判别),使用GPU等。http://ceit.aut.ac.ir/~keyvanrad/DeeBNet%20Toolbox.html
2016-01-06 cs.CV cs.LG cs.MS
Doppler Invariant Demodulation for Shallow Water Acoustic Communications Using Deep Belief Networks
Singapore University of Technology and Design (SUTD)(新加坡科技设计大学);Thales Solutions Asia Pte Ltd(泰雷兹亚洲解决方案私人有限公司)
浅水环境为通信创造了具有挑战性的通道。在本文中,我们专注于所带来的挑战的频率选择性信号失真称为多普勒效应。本文研究了基于机器学习(ML)的浅海水声通信(SWAC)物理层解调方法--(1)深度置信网络-前馈神经网络(DBN-NN)和(2)深度置信网络-卷积神经网络(DBN-CNN)的设计和性能。所提出的方法包括基于ML的特征提取方法和分类技术。首先,特征提取将接收到的信号转换为特征图像。接下来,分类模型将图像与对应的二进制表示相关联。基于ML的解调分析表明,尽管存在瞬时频率,该算法的性能表现出一个小的误比特率(BER)方面的2dB的误差容限的不变性。
2019-09-05 cs.LG cs.SD eess.SP
Deep Learning for Signal Demodulation in Physical Layer Wireless Communications: Prototype Platform, Open Dataset, and Analytics
Information and Control Engineering, China University of Mining and Technology(中国矿业大学信息与控制工程学院);State Key Laboratory of Integrated Services Networks, Xidian University(西安电子科技大学综合业务网理论与关键技术国家重点实验室);Department of Electrical and Computer Engineering, University of Minnesota(明尼苏达大学电气与计算机工程系);Department of Electrical and Computer Engineering, University of California, Davis(加利福尼亚大学戴维斯分校电气与计算机工程系);College of Communications Engineering, Army Engineering University(陆军工程大学通信工程学院)
在本文中,我们研究了支持深度学习(DL)的信号解调方法,并为无线通信系统建立了第一个开放的真实调制信号数据集。具体来说,我们提出了一个灵活的通信原型平台,用于测量真实的调制数据集。然后,基于测量数据集,提出了两种基于DL的解调器,称为深度信念网络(DBN)-支持向量机(SVM)解调器和基于自适应增强(AdaBoost)的解调器。所提出的基于DBN-SVM的解调器利用DBN和SVM两者的优点,即,DBN作为特征提取器和SVM作为特征分类器的优点。在基于DBN-SVM的解调器中,接收信号在被馈送到DBN网络之前被归一化。在此基础上,设计了一种基于AdaBoost的解调器,该解调器采用$k$ -最近邻(KNN)作为弱分类器,形成强组合分类器。实验结果表明,基于DBN-SVM的解调器和基于AdaBoost的解调器优于基于DBN、SVM和最大似然(MLD)解调器的单一分类方法。
2019-03-08 cs.LG eess.SP stat.ML
Deep Belief Network Training Improvement Using Elite Samples Minimizing Free Energy
Amirkabir University of Technology(阿米卡比尔理工大学)
如今,在机器学习中使用深度架构非常流行。深度置信网络(DBN)是使用受限玻尔兹曼机(RBM)堆栈来使用训练数据创建强大的生成模型的深度架构。在本文中,我们提出了一个改进的一个共同的方法,通常用于培训的RBM。该方法以自由能为准则,从生成式模型中获取精英样本。我们认为,这些样本可以更准确地计算训练数据的对数概率梯度。根据结果,在MNIST测试集上实现了0.99%的出错率。这一结果表明,所提出的方法优于第一篇论文中提出的方法,引入DBN(1.25%出错率)和一般的分类方法,如SVM(1.4%出错率)和KNN(1.6%出错率)。在使用ISOLET数据集的另一个测试中,字母分类错误率下降到3.59%,而使用该数据集的论文中的出错率为5.59%。所实现的方法可在“http://ceit.aut.ac.ir/~keyvanrad/DeeBNet Toolbox.html”上在线获得。
2014-11-14 cs.CV cs.LG
Multi-pretrained Deep Neural Network
Science and Technology on Information Systems Engineering Laboratory, Nanjing Research Institute of Electronic and Engineering(信息系统工程重点实验室,南京电子工程研究所);CETC Research Institute of Smart City(中国电子科技集团公司智慧城市研究院)
预训练在深度神经网络中有着广泛的应用,其中最著名的预训练模型之一就是深度信念网络(DBN)。不同的预训练模型在预训练过程中所采用的优化公式是不同的。在本文中,我们通过不同的预训练模型对深度神经网络进行了预训练,从而研究了DBN和Stacked Denoising Autoencoder(SDA)在用作预训练模型时的差异。实验结果表明,DBN得到了较好的初始模型。然而,该模型收敛到一个相对较差的模型后,微调过程。然而,经过SDA的第二次预训练,如果微调,模型收敛到一个更好的模型。
2016-06-02 cs.LG cs.NE
Distinction between features extracted using deep belief networks
Amirkabir University of Technology(阿米尔卡比尔理工大学)
数据表示是许多机器学习算法中重要的预处理步骤。有许多方法用于此任务,例如深度置信网络(DBN)和离散傅立叶变换(DFT)。由于使用自动特征提取方法提取的一些特征可能并不总是与特定的机器学习任务相关,因此在本文中,我们提出了两种方法,以便根据其与任务的相关性来区分提取的特征。我们将这两种方法应用于为人脸识别任务训练的深度信念网络。
2014-01-02 cs.LG cs.NE
Improved Classification Based on Deep Belief Networks
Northwestern University(西北大学)
为了更好地分类,生成模型用于在训练分类器之前初始化模型和模型特征。通常需要解决单独的无监督和监督学习问题。生成限制玻尔兹曼机和深度信念网络被广泛用于无监督学习。为了改进这种两阶段策略,我们开发了几种基于DBN的监督模型。修改损失函数,以考虑到相对于底层生成模型的期望,引入权重界限,和多级编程应用在模型开发。所提出的模型有效地捕获了无监督和有监督的目标。计算研究验证了我们的模型比两阶段训练方法更好。
2019-08-12 cs.LG stat.ML
The Diagnosis of Asthma using Hilbert-Huang Transform and Deep Learning on Lung Sounds
肺听诊是利用听诊器在吸气和呼气时从气道发出的声音来诊断各种呼吸疾病的最有效和不可缺少的方法。在这项研究中,统计特征计算的内在模式函数,通过应用希尔伯特黄变换从胸部和背部的12个不同的听诊区域的肺音提取。使用深度信念网络(DBN)对来自哮喘和健康受试者的肺音进行分类。采用5折交叉验证方法对双隐层DBN分类器模型进行了测试。建议DBN分离肺音哮喘和健康受试者的高分类性能率为84.61%,85.83%,和77.11%的整体准确性,灵敏度和选择性,分别使用频率时间分析。
2021-01-20 cs.LG cs.SD eess.AS
Combining Generative and Discriminative Neural Networks for Sleep Stages Classification
Universitas Indonesia(印度尼西亚大学);Bogor Agricultural University(茂物农业大学)
睡眠阶段模式为诊断睡眠障碍提供了重要线索。通过分析睡眠阶段模式并从EEG、EOG和EMG信号中提取其特征,可以对睡眠阶段进行分类。该研究提出了一种新的分类模型,用于预测睡眠阶段,具有较高的准确性。其主要思想是将深度信念网络(DBN)的生成能力与长短期记忆(LSTM)的区分能力和序列模式识别能力相结合。我们使用的DBN被视为一个自动的更高层次的功能生成器。DBN的输入是先前睡眠阶段研究中使用的28个“手工制作”特征。我们比较了我们的方法与其他技术相结合的DBN和隐马尔可夫模型(HMM)。在这项研究中,我们利用睡眠数据集的序列或时间序列的特点。据我们所知,目前大多数来自多导睡眠图的睡眠分析仅依赖于用于分类的单实例标签(非序列)。在这项研究中,我们使用了两个数据集:一个开放的数据集被视为基准;另一个数据集是我们的睡眠阶段数据集(可供下载),以进一步验证结果。我们的实验表明,DBN与LSTM的组合对于基准数据集和MKG数据集的总体准确率分别为98.75%(Fscore=0.9875)和98.94%(Fscore=0.9894)。这一结果优于目前睡眠分期的91.31%。
2016-10-06 cs.LG cs.NE
SNRA: A Spintronic Neuromorphic Reconfigurable Array for In-Circuit Training and Evaluation of Deep Belief Networks
University of Central Florida(中佛罗里达大学)
在本文中,自旋电子神经形态可重构阵列(SNRA)的发展融合在一起的功率效率的概率和现场可编程确定性计算在训练和评估阶段的限制玻尔兹曼机(RBM)。首先,使用概率自旋逻辑器件来开发RBM实现,该RBM实现适于构造具有一个至三个隐藏层的深度置信网络(DBN),每个隐藏层的大小为10至800个神经元。其次,我们设计了一个硬件实现的对比发散(CD)算法,使用四状态有限状态机能够在N+3个时钟的无监督训练,其中N表示在每个RBM神经元的数量。我们提出的CD硬件实现的功能验证使用ModelSim模拟。我们综合开发的Verilog HDL实现我们提出的测试/训练控制电路的各种DBN拓扑结构的最大RBM尺寸产生的资源利用率范围从51到2,421查找表(LUT)。接下来,我们利用基于自旋霍尔效应(SHE)-磁性隧道结(MTJ)的非易失性LUT电路作为存储确定性逻辑配置的基于静态随机存取存储器(SRAM)的LUT的替代方案,以形成可重新配置的结构。最后,我们比较了我们提出的SNRA与基于SRAM的可配置结构的性能,重点是用于实现CD和评估模式的LUT所引起的面积和功耗。所获得的结果表明,超过80%的组合动态和静态功耗降低,同时实现至少50%的器件数量减少。
2019-01-08 cs.AR cs.ET cs.LG
Denoising Deep Neural Networks Based Voice Activity Detection
Tsinghua University(清华大学)
最近,已经提出了基于深度信念网络(DBN)的语音活动检测(VAD)。它是强大的融合多种功能的优势,并达到最先进的性能。然而,基于DBN的VAD的深层并没有显示出比浅层明显的优越性。在本文中,我们提出了一种基于去噪深度神经网络(DDNN)的VAD来解决上述问题。具体来说,我们以一种特殊的无监督去噪贪婪逐层模式对深度神经网络进行预训练,然后通过常用的反向传播算法对整个网络进行有监督的微调。在预训练阶段,我们把含噪语音信号作为可见层,并尝试提取一个新的特征,使含噪语音信号与其对应的干净语音信号之间的重建交叉熵损失最小化。实验结果表明,所提出的基于DDNN的VAD不仅优于基于DBN的VAD,但也表现出明显的性能改善的深层较浅的层。
2013-03-04 cs.LG cs.SD stat.ML
Restricted Boltzmann Machine and Deep Belief Network: Tutorial and Survey
University of Waterloo(滑铁卢大学)
这是一篇关于Boltzmann Machine(BM)、Restricted Boltzmann Machine(RBM)和Deep Belief Network(DBN)的教程和综述论文。我们从概率图模型,马尔可夫随机场,吉布斯抽样,统计物理,伊辛模型和Hopfield网络的必要背景开始。然后,我们介绍了BM和RBM的结构。解释了可见和隐藏变量的条件分布,RBM中用于生成变量的Gibbs抽样,通过最大似然估计训练BM和RBM,以及对比发散。然后,我们讨论变量的不同可能的离散和连续分布。我们介绍了条件RBM以及它是如何训练的。最后,我们将深度信念网络解释为RBM模型的堆栈。这篇关于玻尔兹曼机的论文在数据科学、统计学、神经计算和统计物理等各个领域都很有用。
2022-08-06 cs.LG cs.NE physics.data-an
DeepSign: Deep Learning for Automatic Malware Signature Generation and Classification
Bar-Ilan University(巴伊兰大学);Tel Aviv University(特拉维夫大学);Gonda Brain Research Center at Bar-Ilan University(巴伊兰大学贡达脑研究中心);Center for Automation Research, University of Maryland at College Park(马里兰大学帕克分校自动化研究中心)
提出了一种基于深度学习的恶意软件特征自动生成和分类方法。该方法使用深度信念网络(DBN),通过深度去噪自动编码器堆栈实现,生成恶意软件行为的不变紧凑表示。虽然传统的基于签名和令牌的恶意软件检测方法不能检测到现有恶意软件的大多数新变种,但本文中给出的结果表明,DBN生成的签名可以对新的恶意软件变种进行准确的分类。使用包含数百个主要恶意软件家族的变体的数据集,我们的方法使用DBN生成的签名实现了98.6%的分类准确率。所提出的方法对于所记录的恶意软件行为的类型是完全不可知的(例如,API调用及其参数、注册表项、访问的网站和端口等),并且可以使用来自沙箱的任何原始输入来成功地训练用于生成恶意软件签名的深度神经网络。
2017-11-23 cs.CR cs.LG cs.NE
Regularization for Unsupervised Deep Neural Nets
Northwestern University(西北大学)
无监督神经网络,如受限玻尔兹曼机(RBM)和深度信念网络(DBN),是特征选择和模式识别任务的强大工具。我们证明了过拟合发生在这样的模型,就像在深前馈神经网络,并讨论可能的正则化方法,以减少过拟合。我们还提出了一个“部分”的方法,以提高效率的Dropout/DropConnect在这种情况下,并讨论了这些方法的理论依据,从模型收敛性和似然界。最后,我们比较了这些方法的性能的基础上,他们的可能性和分类出错率为各种模式识别数据集。
2017-02-17 cs.LG cs.NE
Deep Learning for Single and Multi-Session i-Vector Speaker Recognition
Universitat Politecnica de Catalunya - BarcelonaTech(加泰罗尼亚理工大学)
深度学习(DL)在语音识别中的良好表现促使了DL在其他语音技术应用(如说话人识别)中的使用。以i向量为输入,在基于深度置信网络(DBN)和深度神经网络(DNN)的混合系统中,提出了一种冒名顶替者选择算法和通用模型自适应过程,对每个目标说话人进行区分建模。为了更深入地了解DL技术在单会话和多会话扬声器注册任务中的行为,本文在这两种情况下进行了一些实验。此外,被称为通用DBN(UDBN)的全局模型的参数在自适应之前被归一化。UDBN标准化有助于训练DNN,特别是具有多个隐藏层。实验在NIST SRE 2006语料库上进行。结果表明,所提出的冒名顶替者选择算法和UDBN自适应过程在单会话和多会话任务的EER方面分别将传统DNN的性能提高了8- 20%和16- 20%。在这两种情况下,所提出的架构优于基线系统获得高达17%的EER降低。
2015-12-08 cs.LG cs.SD
Understanding Deep Neural Networks via Linear Separability of Hidden Layers
Dalian University of Technology(大连理工大学);The University of Sydney(悉尼大学)
本文提出基于Minkowski差的线性可分性度量(MD-LSMs)评估隐藏层输出的线性可分性,发现其与网络训练性能同步,并验证了激活函数和网络规模对线性可分性的影响。
2023-07-26 cs.AI cs.LG
A Tutorial on Deep Neural Networks for Intelligent Systems
Tecnológico de Monterrey(蒙特雷理工学院);Engineering Faculty, UASLP(圣路易斯波托西自治大学工程学院)
开发智能系统涉及人工智能方法,包括人工神经网络。在这里,我们介绍了深度神经网络(DNN)的教程,以及关于术语“深度”起源的一些见解;还提供了深度学习的参考资料。详细讨论了DNN的核心--受限玻尔兹曼机。一个简单的两层网络的例子,执行无监督学习的未标记的数据,显示。还描述了用于构建具有两层以上的网络的深度置信网络(DBN)。此外,还介绍和解释了使用DNN执行简单预测和分类任务的监督学习示例。本教程包括两个智能模式识别应用程序:手写数字(基准称为MNIST)和语音识别。
2016-03-23 cs.LG cs.NE
Accelerating Deep Learning with Shrinkage and Recall
Pacific Northwest National Laboratory(太平洋西北国家实验室);University of Texas at Arlington(德克萨斯大学阿灵顿分校)
深度学习是一种非常强大的机器学习模型。深度学习需要为多个层训练大量参数,当数据规模大、架构规模大时,速度非常慢。受支持向量机(SVM)算法中用于加速计算的收缩技术和LASSO中用于筛选的技术的启发,提出了一种带召回的收缩深度学习(sDLr)方法来加速深度学习的计算。我们在4个数据集上使用深度神经网络(DNN)、深度信念网络(DBN)和卷积神经网络(CNN)进行了具有召回的深度学习(sDLr)收缩实验。结果表明,使用具有召回的收缩深度学习(sDLr)的加速比可以达到2.0以上,同时仍然提供有竞争力的分类性能。
2016-09-19 cs.CV cs.LG cs.NE
A Brief Survey of Machine Learning Methods for Emotion Prediction using Physiological Data
Rice University(莱斯大学)
情绪预测是一个关键的新兴研究领域,专注于从多种模态中识别和预测人类的情绪状态。在其他数据源中,生理数据可以作为情绪的指标,其附加优点是它不能被个人掩盖/篡改,并且可以容易地收集。本文调查了多种机器学习方法,这些方法使用智能手机和生理数据来实时预测情绪,使用自我报告的生态瞬时评估(EMA)分数作为地面实况。通过比较回归、长短期记忆(LSTM)网络、卷积神经网络(CNN)、强化在线学习(ROL)和深度信念网络(DBN),我们展示了用于实现准确情感预测的机器学习方法的可变性。我们比较了最先进的方法,并强调实验性能仍然不是很好。在未来的工作中,可以通过考虑以下问题来提高性能:提高可扩展性和可推广性,同步多模态数据,优化EMA采样,将适应性与序列预测相结合,收集无偏数据,并利用复杂的特征工程技术。
2022-01-17 cs.LG
Discriminative Robust Deep Dictionary Learning for Hyperspectral Image Classification
Indraprastha Institute of Information Technology, Delhi(因德拉普拉斯信息技术学院(德里))
这项工作提出了一个新的深度学习框架,特别适合高光谱图像分类。我们以一种健壮的方式学习多级字典。最后一层是判别式的,它学习线性分类器。训练过程是渐进式的,每次只学习一级字典,而系数用于训练下一级。最后一级的系数用于分类。鲁棒性通过最小化绝对偏差而不是更流行的欧几里德范数来实现。内置的鲁棒性有助于对抗高光谱图像中存在的混合噪声(高斯和稀疏)。结果表明,我们提出的技术优于所有其他深度学习方法深度信念网络(DBN),堆叠自动编码器(SAE)和卷积神经网络(CNN)。在基准高光谱成像数据集上进行了实验。
2019-12-11 cs.CV cs.LG eess.IV
Deep Learning and Its Applications to Machine Health Monitoring: A Survey
自2006年以来,深度学习(DL)已成为一个快速发展的研究方向,重新定义了对象识别、图像分割、语音识别和机器翻译等广泛领域的最新性能。在现代制造系统中,由于低成本传感器的广泛部署及其与互联网的连接,数据驱动的机器健康监测越来越受欢迎。同时,深度学习为处理和分析这些大机械数据提供了有用的工具。本文的主要目的是回顾和总结深度学习在机器健康监测方面的新兴研究工作。在简要介绍了深度学习技术的基础上,主要从以下几个方面综述了深度学习在机器健康监测系统中的应用:自动编码器(AE)及其变体、受限玻尔兹曼机及其变体(包括深度信念网络(DBN)和深度玻尔兹曼机(DBM))、卷积神经网络(CNN)和递归神经网络(RNN)。最后,讨论了基于动态联盟的机器健康监测方法的发展趋势。
2016-12-16 cs.LG stat.ML
Deep Learning-Based Prediction of Suspension Dynamics Performance in Multi-Axle Vehicles
Rose-Hulman Institute of Technology(罗斯-霍曼理工学院);National Taiwan University(台湾大学)
本文提出基于多任务深度信念网络深度神经网络(MTL-DBN-DNN)的多轴车辆悬架动力学性能预测框架,并引入悬架动态性能指数(SDPI)综合评价整体性能,验证了多任务学习相较传统DNN具有更高预测精度。
2024-10-03 cs.CE cs.LG cs.NA
How to Train Your Deep Neural Network with Dictionary Learning
IIIT Delhi(印度德里信息技术学院)
目前有两种主要的方法来训练深度神经网络。第一个使用限制玻尔兹曼机(RBM)和第二个自动编码器。RBM层层堆叠形成深度信念网络(DBN);最终的表示层附着在目标上,完成深度神经网络。自动编码器一个嵌套在另一个内部以形成堆叠的自动编码器;一旦堆叠的自动编码器被学习,解码器部分被分离,并且目标被附着到编码器的最深层以形成深度神经网络。这项工作提出了一种新的方法来训练深度神经网络使用字典学习作为基本的构建块;其思想是使用来自较浅层的特征作为训练下一个更深层的输入。可以使用任何类型的字典学习(无监督,监督,判别等)。作为基本单元直到最后一层。在最后一层,需要使用标签一致的字典学习公式进行分类。我们将我们提出的框架与现有的最先进的深度学习技术在基准问题上进行比较;我们总是在前10名的结果之内。在年龄和性别分类的实际问题中,我们比最好的已知技术更好。
2016-12-22 cs.LG stat.ML
An Uncertainty-Aware Dynamic Decision Framework for Progressive Multi-Omics Integration in Classification Tasks
Sichuan Normal University(四川师范大学);Kennesaw State University(肯尼索州立大学)
本文提出一种不确定性感知的多视图动态决策框架,利用主观逻辑与Dempster-Shafer理论融合多组学数据,在保证分类准确率的同时通过渐进式引入组学模态降低检测成本,并在多个基准数据集上验证了其有效性。
2025-06-20 cs.AI cs.LG q-bio.QM
On the Origin of Deep Learning
Carnegie Mellon University(卡内基梅隆大学)
本文回顾了深度学习模型的发展历史。它涵盖了从神经网络的起源,当研究大脑的联想主义建模时,到过去十年在深度学习研究中占主导地位的模型,如卷积神经网络,深度信念网络和递归神经网络。除了对这些模型进行回顾之外,本文还主要关注上述模型的先例,研究最初的想法是如何组合起来构建早期模型的,以及这些初步模型是如何发展到目前的形式的。这些进化路径中的许多持续了半个多世纪,并且具有多样性的方向。例如,CNN是建立在生物视觉系统的先验知识上的; DBN是从图形模型的建模能力和计算复杂性的权衡中演变而来的,并且现在许多模型是古代线性模型的神经对应物。本文回顾了这些进化路径,并提供了一个简明的思想流程,这些模型是如何开发的,旨在为深度学习提供一个全面的背景。更重要的是,本文沿着路径,总结了这些里程碑背后的要旨,并提出了许多指导深度学习未来研究的方向。
2017-03-03 cs.LG cs.NE stat.ML
Financial Time Series Forecasting with Deep Learning : A Systematic Literature Review: 2005-2019
TOBB University of Economics and Technology(TOBB经济与技术大学)
金融时间序列预测由于其广泛的应用领域和巨大的影响力,无疑是学术界和金融业金融研究人员的首选计算智能。机器学习(ML)研究人员提出了各种模型,并相应地发表了大量研究。因此,有大量的调查涵盖了ML的金融时间序列预测研究。最近,深度学习(DL)模型开始出现在该领域,其结果显着优于传统的ML同行。尽管人们对开发金融时间序列预测研究模型的兴趣越来越大,但缺乏专门针对金融DL的综述论文。因此,我们在本文中的动机是提供一个全面的文献综述DL研究的金融时间序列预测的实现。我们不仅根据预期的预测实施领域(如指数、外汇、商品预测)对研究进行分类,还根据DL模型选择(如卷积神经网络(CNN)、深度信念网络(DBN)、长短期记忆(LSTM))对研究进行分组。我们还试图通过强调可能的挫折和机遇来展望该领域的未来,以便感兴趣的研究人员能够受益。
2019-11-29 cs.LG q-fin.CP stat.ML
ProMUSE: Progressive Multi-modal Uncertainty-guided Staged Evidential Alzheimer Disease Classification
Kennesaw State University(肯尼索州立大学);Michigan Technological University(密歇根理工大学);University of Iowa(爱荷华大学)
提出ProMUSE,一种渐进式多模态不确定性引导的分阶段证据网络,通过自适应决定何时需要额外模态,在保持准确性的同时降低数据采集成本。
2026-06-19 cs.AI cs.CV cs.LG
Cross-Modal Navigation with Multi-Agent Reinforcement Learning
Khoury College of Computer Sciences(计算机科学学院)
本文提出CRONA框架,通过多智能体强化学习实现跨模态导航,利用辅助信念和集中式多模态批评者提升协作效率,实验表明多智能体方法在视觉-听觉导航中优于单智能体基线。
2026-05-07 cs.AI cs.LG cs.MA
Unsupervised Ensemble Based Deep Learning Approach for Attack Detection in IoT Network
National Institute of Technology Srinagar(斯利那加国家理工学院)
物联网(IoT)通过在互联网上控制设备/事物来改变生活。物联网为日常问题提供了许多智能解决方案,将网络物理系统(CPS)和其他经典领域转变为智能区域。构成物联网的大多数边缘设备都具有非常低的处理能力。为了破坏物联网网络,攻击者可以利用这些设备进行各种网络攻击。此外,随着越来越多的物联网设备的加入,新的和未知的威胁的可能性呈指数级增长。因此,必须为物联网网络开发一个能够识别此类威胁的智能安全框架。在本文中,我们开发了一种无监督集成学习模型,该模型能够从未标记的数据集中检测物联网网络中的新攻击或未知攻击。系统生成的标记数据集用于训练深度学习模型以检测IoT网络攻击。此外,该研究提出了一种特征选择机制,用于识别数据集中最相关的方面,以检测攻击。研究表明,该模型能够识别未标记的物联网网络数据集,并且DBN(深度信念网络)在使用该方法提供的标记数据集进行训练时,检测准确率为97.5%,误报率为2.3%,优于其他模型。
2022-07-16 cs.CR cs.IT cs.LG