Predicting Process Behaviour using Deep Learning
Memorial University of Newfoundland(纽芬兰纪念大学);German Research Center for Artificial Intelligence(德国人工智能研究中心);Saarland University(萨尔大学)
预测业务流程行为是业务流程管理的一个重要方面。受自然语言处理研究的启发,本文描述了深度学习与递归神经网络在预测业务流程中的下一个事件问题中的应用。这既是过程预测中的一种新方法,它在很大程度上依赖于显式过程模型,也是深度学习方法的一种新应用。在两个真实数据集上对该方法进行了评估,我们的结果在预测精度上超过了最先进的水平。
2017-03-22 cs.LG stat.ML
Scalable Voltage Control using Structure-Driven Hierarchical Deep Reinforcement Learning
Pacific Northwest National Laboratory(太平洋西北国家实验室)
本文提出了一种新的分层深度强化学习(DRL)的设计用于电网电压控制。DRL代理被训练用于控制动作的快速和自适应选择,使得在扰动之后可以满足电压恢复标准。现有的电压控制技术受到操作速度、不同位置之间的最佳协调和可扩展性的问题的困扰。我们利用区域明智的分工结构的电力系统,提出了一个分层的日间行车灯设计,可以扩展到更大的网格模型。我们采用了一种增强的增广随机搜索算法,是专为电压控制问题的两级架构。我们训练区域分散的RL代理计算较低级别的政策,为个别地区,并同时训练一个更高级别的DRL代理,使用更新的较低级别的政策,以有效地协调控制行动所采取的较低级别的代理。IEEE基准39节点模型的3个区域的数值实验表明,所提出的分层方法的优点和各种复杂性。
2021-01-29 cs.LG cs.SY eess.SY
Predicting Electricity Consumption using Deep Recurrent Neural Networks
Murdoch University(莫道克大学)
在过去几十年中,电力消耗呈指数级增长。这一增长给电力分销商带来了沉重的负担。因此,预测未来的电力消费需求将为电力分销商提供优势。预测电力消耗需要许多参数。本文提出了两种方法,一种是使用递归神经网络(RNN),另一种是使用长短期记忆(LSTM)网络,它只考虑以前的用电量来预测未来的用电量。这些模型在公开的伦敦智能电表数据集上进行了测试。为了评估RNN和LSTM网络预测电力消耗的适用性,我们对它们进行了测试,以预测给定时间段内的单个房屋和一组房屋。这些预测是针对每日、三个月和13个月进行的,涵盖了短期、中期和长期预测。RNN和LSTM网络的平均均方根误差都达到了0.1。
2019-09-18 cs.LG eess.SP stat.ML
Predicting Generalization in Deep Learning via Metric Learning -- PGDL Shared task
Jožef Stefan Institute(约瑟夫·斯特凡研究所);Jožef Stefan International Postgraduate School(约瑟夫·斯特凡国际研究生院)
“预测深度学习的泛化(PGDL)”竞赛旨在为严格研究深度学习模型的泛化提供一个平台,并深入了解理解和解释这些模型的进展。本报告介绍了用户\emph{smeznar}提交的解决方案,该解决方案在竞赛中获得了第八名。在所提出的方法中,我们创建简单的度量,并在所提供的数据集上自动测试,找到它们的最佳组合,探索如何将输入神经网络架构的各种属性的组合用于预测其泛化。
2020-12-16 cs.LG stat.ML
Coordination of PV Smart Inverters Using Deep Reinforcement Learning for Grid Voltage Regulation
University of California San Diego(加州大学圣地亚哥分校);NEC Laboratories America(NEC美国实验室)
太阳能光伏发电(PV)由于其多变性和间歇性的特点,对现代电网提出了新的挑战。光伏发电的输出波动可能导致电网违反电压运行限制。光伏智能逆变器(SI)提供了一种快速响应的方法,通过调制连接点的有功和/或无功功率来调节电压。然而,现有的本地自主控制方案的SI是基于本地信息没有协调,这可能会导致次优性能。本文开发并实现了一种基于深度强化学习(DRL)的算法,用于协调多个SI。DRL的奖励方案经过精心设计,以确保满足电网的电压运行限制,同时更有效地利用SI无功功率。建议的DRL电压控制代理可以通过与大量离线仿真的交互来学习其策略,并适应负载和太阳能的变化。DRL代理的性能进行了比较,对IEEE 37节点系统上的本地自主控制与成千上万的情况。结果表明,经过适当训练的DRL代理可以智能地协调不同的SI,以维持电网电压在允许的范围内,实现减少光伏生产削减,并降低系统损耗。
2019-10-14 cs.LG cs.SY eess.SY
ThUnderVolt: Enabling Aggressive Voltage Underscaling and Timing Error Resilience for Energy Efficient Deep Neural Network Accelerators
New York University(纽约大学)
越来越多地部署硬件加速器来提高深度神经网络(DNN)推理的性能和能效。在本文中,我们提出了Thundervolt,一个新的框架,使积极的电压降阶的高性能DNN加速器,而不影响分类精度,即使在存在高定时出错率。使用基于Google TPU建模的DNN加速器的合成后时序模拟,我们表明Thundervolt可以在最先进的语音和图像识别基准上节省34%-57%的能源,分类准确性损失不到1%,并且没有性能损失。此外,我们还证明了Thundervolt与常用的运行时DNN修剪技术(如Zero-Skip)具有协同作用,并可以进一步提高其能效。
2018-03-13 cs.AR cs.LG cs.NE
DeepCrysTet: A Deep Learning Approach Using Tetrahedral Mesh for Predicting Properties of Crystalline Materials
SAKURA internet Inc.(樱花互联网公司);National Institute for Materials Science (NIMS)(国立材料科学研究所);The University of Tokyo(东京大学);RIKEN(理化学研究所);Kyoto University(京都大学)
针对图表示丢失晶体三维信息的问题,提出基于Delaunay四面体网格的深度学习框架DeepCrysTet,在分类和弹性属性预测上超越现有GNN模型。
2023-09-07 cond-mat.mtrl-sci cs.LG
Predicting intubation support requirement of patients using Chest X-ray with Deep Representation Learning
深度学习医学成像的最新发展提供了自动诊断和预后的证据。它也可以作为现有诊断方法的补充。深度学习可以用于诊断、严重程度预测、插管支持预测和许多类似的任务。我们提出了使用深度表示学习从胸部X射线预测患者的插管支持需求。我们在https://github.com/aniketmaurya/covid-research公开发布我们的源代码。
2020-10-28 cs.CV cs.LG eess.IV
Predicting Generalization in Deep Learning via Local Measures of Distortion
University of California, San Francisco(加州大学旧金山分校);University of California, Santa Barbara(加州大学圣巴巴拉分校)
我们通过诉诸最初在近似和信息论中开发的复杂性度量来研究深度学习中的泛化。虽然这些概念受到深度学习的高维和数据定义性质的挑战,但我们表明,简单的矢量量化方法(如PCA,GARCH和SVM)在逐层应用于深度提取的特征时捕捉到了它们的精神,从而产生了相对廉价的复杂性度量,与泛化性能密切相关。我们在2020年NeurIPS PGDL挑战中讨论了我们的结果。
2020-12-16 cs.LG stat.ML
Predicting online user behaviour using deep learning algorithms
Redzebra Analytics(红斑马分析公司)
我们提出了一个强大的分类器来预测购买意图的基础上,在一个大型电子商务网站的用户行为。在这项工作中,我们将传统的机器学习技术与最先进的深度学习方法进行了比较。我们表明,深度信念网络和堆叠去噪自动编码器都通过在预训练阶段从高维数据中提取特征来实现实质性的改进。事实证明,它们也更便于处理严重的阶级不平衡问题。
2016-05-26 cs.LG stat.ML
DeepECMP: Predicting Extracellular Matrix Proteins using Deep Learning
细胞外基质(extracellular matrix,ECM)是由蛋白质和碳水化合物组成的具有结构和生化功能的网络。ECM在分化、迁移和信号传导中起重要作用。一些研究已经使用机器学习算法预测ECM蛋白,如随机森林,K-最近邻和支持向量机,但尚未使用深度学习进行探索。方法:DeepECMP是使用几个以前使用的ECM数据集,不对称欠采样和11个前馈神经网络的集成开发的。结果:DeepECMP的性能为83.6%,优于几种算法。此外,DeepECMP的管道已被证明是高效的。结论:本文是第一篇专注于利用深度学习进行ECM预测的论文。DeepECMP克服了一些限制,例如计算费用,对公众的可用性和人类物种之外的可用性
2022-02-16 cs.LG q-bio.QM
Carbontracker: Tracking and Predicting the Carbon Footprint of Training Deep Learning Models
University of Copenhagen(哥本哈根大学)
深度学习(DL)可以在各种任务中取得令人印象深刻的结果,但这通常是以在专用硬件加速器上长时间训练模型为代价的。近年来,这种能源密集型工作量大幅增长。如果这种指数趋势继续下去,机器学习(ML)可能会成为气候变化的重要贡献者。如果从业者意识到他们的能源和碳足迹,那么他们可能会积极采取措施,尽可能减少它。在这项工作中,我们提出了Carbontracker,用于跟踪和预测训练DL模型的能源和碳足迹的工具。我们建议使用Carbontracker等工具报告模型开发和培训的能源和碳足迹以及性能指标。我们希望这将促进ML中的负责任计算,并鼓励对节能深度神经网络的研究。
2020-07-06 cs.CY cs.LG eess.SP
Predicting Future Mosquito Larval Habitats Using Time Series Climate Forecasting and Deep Learning
Monta Vista High School(蒙塔维斯塔高中);Green Hope High School(格林霍普高中);Bronx High School of Science(布朗克斯科学高中)
由于气候变化,苔藓虫的栖息地范围预计将扩大。本次调查的目的是通过分析蚊子幼虫的首选生态条件来确定未来的蚊子栖息地。在组装一个数据集与大气记录和幼虫观测,一个神经网络的训练,从生态输入预测幼虫计数。对这些变量进行时间序列预测,并将气候预测传递到初始深度学习模型中,以生成特定位置的幼虫丰度预测。研究结果支持了区域生态系统驱动的蚊子传播变化的概念,特别是高海拔地区对蚊子感染的敏感性增加。
2022-10-08 cs.LG
Predicting Adversary Lateral Movement Patterns with Deep Learning
Data Machines
本文提出了一个预测模型,主机,在企业网,对手很可能会妥协的过程中的一场运动。这样的模型可以支持动态监控或防御。我们使用模拟网络生成此模型的数据,主机,用户和对手作为第一类实体。我们证明了模型对样本外模拟数据的预测准确性,并验证了从现场企业网上的红队事件捕获的数据的结果
2021-04-23 cs.CR cs.LG
Cascade-LSTM: Predicting Information Cascades using Deep Neural Networks
University of South Florida(南佛罗里达大学)
预测动态社会环境中的信息流与当代社会的许多领域相关,从传播医疗保健信息到模因跟踪。虽然预测信息级联的增长已经在不同的社交平台上成功地解决了,但预测信息级联的时间和拓扑结构的探索有限。然而,准确预测有多少用户将发送特定用户的消息以及何时发送对于设计实用的干预技术至关重要。本文利用长短期记忆(LSTM)神经网络技术来预测信息级联的两个时空特性,即个体级信息传输的大小和速度。我们将这些预测算法与级联树的概率生成结合到一个生成测试模型中,该模型能够在Reddit和Github两个不同的平台上准确地生成级联树。我们的方法导致信息传递者的分类准确率超过73%,各种社交平台中的早期传递者的分类准确率为83%。
2020-04-26 cs.LG cs.SI
Representation Based Complexity Measures for Predicting Generalization in Deep Learning
Indian Institute of Technology, Madras(马德拉斯印度理工学院)
深度神经网络可以泛化,尽管被显著过度参数化。最近的研究试图从各种观点来研究这种现象,并提供基于这些观点的泛化误差或泛化差距的预测措施的泛化误差的界限,例如基于范数的,基于PAC贝叶斯的,和基于边缘的分析。在这项工作中,我们从深层神经网络内部表示的质量角度对泛化进行了解释,基于人类视觉系统如何创建不变和未纠缠的对象表示的神经科学理论。我们没有提供理论上的界限,而是展示了实际的复杂性度量,这些度量可以通过临时计算来揭示深度模型中的泛化行为。我们还提供了我们的解决方案的详细描述,该解决方案赢得了在NeurIPS 2020举行的NeurIPS竞赛中关于深度学习中预测泛化的竞赛。我们的解决方案的实现可在https://github.com/parthnatekar/pgdl上获得。
2020-12-04 cs.CV cs.LG
Predicting Critical Heat Flux with Uncertainty Quantification and Domain Generalization Using Conditional Variational Autoencoders and Deep Neural Networks
North Carolina State University(北卡罗来纳州立大学)
本研究利用条件变分自编码器扩充临界热流密度数据,并与深度神经网络比较,CVAE在预测精度和不确定性量化上表现更优。
2025-02-24 cs.LG
Model-Free Voltage Regulation of Unbalanced Distribution Network Based on Surrogate Model and Deep Reinforcement Learning
要实现良好的电压控制,需要准确了解配电系统的拓扑结构和参数,但这在实践中很难获得。本文提出了一种基于代理模型和深度强化学习(DRL)的无模型方法。我们还将其扩展到处理不平衡的三阶段情景。其核心思想是学习一个代理模型,从历史数据中捕获每个节点的功率注入和电压波动之间的关系,而不是使用受误差和不确定性影响的原始不准确模型。这使我们能够将DRL与学习的代理模型集成在一起。特别是,DRL被应用到学习的最优控制策略,从连续的互动与代理模型获得的经验。综合框架包含三个培训网络,即,代理模型,演员和评论家网络,充分利用深度学习和DRL的强大非线性拟合能力进行在线决策。几个单相的方法也被扩展到处理三相不平衡的情况下,IEEE 123节点系统的仿真结果表明,我们提出的方法可以实现类似的性能,使用准确的物理模型。
2020-06-24 cs.LG cs.SY eess.SY
Predicting Parameters in Deep Learning
University of Oxford(牛津大学);University of British Columbia(不列颠哥伦比亚大学);Université de Montréal(蒙特利尔大学);Facebook Inc.(脸书公司)
我们证明了在几个深度学习模型的参数化中存在显著的冗余。对于每个特征,仅给定几个权重值,就可以准确地预测剩余的值。此外,我们表明,不仅可以预测的参数值,但他们中的许多人根本不需要学习。我们训练几种不同的架构,只学习一小部分权重,并预测其余的权重。在最好的情况下,我们能够预测超过95%的网络权重,而不会降低准确性。
2014-10-27 cs.LG cs.NE stat.ML
Deep Learning for Predicting Asset Returns
City University of Hong Kong(香港城市大学);University of Chicago(芝加哥大学)
深度学习搜索用于预测资产回报的非线性因素。可预测性是通过多层复合因素而不是相加因素来实现的。从这个角度来看,可以使用多层深度学习器重新审视资产定价研究,例如用于时间序列效应的校正线性单元(ReLU)或长短期记忆(LSTM)。包括随机梯度下降(SGD)、TensorFlow和dropout设计在内的最先进算法提供了实现和高效的因子探索。为了说明我们的方法,我们重新审视了Welch和Goyal(2008)的股票市场风险溢价数据集。我们发现存在的非线性因素,解释的可预测性的回报,特别是在极端的特征空间。最后,我们总结了未来研究的方向。
2018-04-26 cs.LG econ.EM stat.ML
Modeling and Predicting Popularity Dynamics via Deep Learning Attention Mechanism
在一个复杂的进化系统中预测单个项目的流行动态的能力在广泛的领域中具有重要的意义。在这里,我们提出了一种深度学习注意力机制来模拟单个项目获得流行度的过程。我们分析了该模型的解释性与四个关键现象独立确认在长期流行动态量化的研究,包括内在质量,老化效应,近因效应和马太效应。分析了在流行度动态预测中引入注意力模型的有效性。在一个真实的大型引文数据集上进行的大量实验表明,所设计的深度学习注意力机制在预测长期流行动态方面具有显着的能力。它始终优于现有的方法,并实现了显着的性能改善。
2022-04-21 cs.LG cs.SI
Predicting Yelp Star Reviews Based on Network Structure with Deep Learning
Stanford University(斯坦福大学)
在本文中,我们解决了基于业务特征(如图像,描述),用户特征(平均以前的评级),以及特别感兴趣的网络属性(企业之前有用户评级)预测Yelp星级评价评级的现实问题。我们比较了不同特征集的多个模型-从仅针对网络特征的简单线性回归到针对网络和项目特征的深度学习模型。近年来,深度学习的突破提高了常见监督学习任务的准确性,例如图像分类、字幕和语言理解。然而,将深度学习与网络特征和结构相结合的想法似乎是新颖的。虽然预测网络中未来交互的问题已经被详细研究过,但这些方法往往忽略了特定于节点的数据或全局结构。我们证明,采取混合的方法结合节点级功能和网络信息可以有效地用于预测Yelp评论星级。我们在Yelp数据集上进行评估,方法是沿着时间维度分割我们的数据(在现实世界中自然会发生),并将我们的模型与其他没有利用网络结构和/或深度学习的模型进行比较。
2017-12-11 cs.LG stat.ML
DeepSetNet: Predicting Sets with Deep Neural Networks
School of Computer Science, The University of Adelaide(阿德莱德大学计算机科学学院)
本文讨论了使用深度学习进行集合预测的任务。这一点很重要,因为许多计算机视觉任务的输出,包括图像标记和目标检测,都自然地表示为实体集而不是向量。与向量相反,集合的大小不是预先固定的,并且它对其中实体的排序是不变的。我们定义了集合分布的可能性,并使用深度神经网络学习其参数。我们还推导出一个损失预测的离散分布对应的集基数。集合预测在多类图像分类问题上得到了证明。此外,我们表明,建议的基数损失也可以平凡地应用到对象计数和行人检测的任务。在标准数据集上,我们的方法在所有三种情况下都优于现有方法。
2017-08-11 cs.AI cs.CV cs.LG
Predicting Consumer Default: A Deep Learning Approach
University of Pittsburgh(匹兹堡大学);NBER(美国国家经济研究局);CEPR(欧洲经济政策研究中心)
我们开发了一个基于深度学习的消费者违约预测模型。我们表明,该模型始终优于标准的信用评分模型,即使它使用相同的数据。我们的模型是可解释的,能够提供一个分数,以更大的一类借款人相对于标准的信用评分模型,同时准确地跟踪系统性风险的变化。我们认为,这些属性可以提供有价值的见解,旨在减少消费者违约,减轻其对借款人和贷款人的负担,以及宏观审慎监管的政策设计。
2019-10-03 cs.LG econ.GN q-fin.EC
Predicting Weather Uncertainty with Deep Convnets
ETH Zürich(苏黎世联邦理工学院);ECMWF(欧洲中期天气预报中心)
现代天气预报模型使用集合预报系统进行不确定性量化,集合预报系统收集基于多个扰动模拟的非参数统计。为了提供准确的估计,必须运行数十个这样的计算密集型模拟。我们表明,深度神经网络可以用于一小组数值天气模拟,以估计天气预报的传播,显着降低计算成本。为了训练系统,我们修改了3D U-Net架构并探索了包含时态数据的模型。我们的模型是改善当前实时天气预报系统中不确定性量化的起点,这对于预测极端事件至关重要。
2019-12-04 cs.LG physics.ao-ph stat.ML
Predicting Traffic Accident Severity with Deep Neural Networks
School of Engineering and Computer Science(工程与计算机科学学院);Department of Computer Science(计算机科学系);Baylor University(贝勒大学)
本研究针对交通事故严重程度分类任务,结合自编码器特征降维与全连接网络构建深度模型,在不平衡事故数据上实现了最高92%的交叉验证分类准确率。
2025-09-04 cs.LG
CAN-LOC: Spoofing Detection and Physical Intrusion Localization on an In-Vehicle CAN Bus Based on Deep Features of Voltage Signals
Ben-Gurion University of the Negev(内盖夫本-古里安大学);Politehnica University of Timisoara(蒂米什瓦拉理工大学)
控制器局域网(CAN)用于车载设备之间的通信。CAN总线已被证明容易受到远程攻击。为了增强车辆抵御此类攻击的能力,车辆制造商将车载网络划分为子网络,在逻辑上隔离关键设备。但是,攻击者仍然可以物理访问各种子网,在这些子网中他们可以连接恶意设备。这一威胁尚未得到充分解决,因为为确定实际入侵点而提出的方法效果不佳,因此需要开发更先进的技术。为了解决这种类型的威胁,我们提出了一个车载网络的安全加固系统。所提出的系统包括两个机制,处理从CAN总线上测量的电压信号中提取的深度特征。第一种机制使用数据增强和深度学习来检测和定位车辆启动时的物理入侵;这种机制可以检测和定位入侵,即使在连接的恶意设备静默时也是如此。这种机制的有效性(100%的准确性)证明了在各种各样的插入情况下的CAN总线原型。第二种机制是一种连续的设备认证机制,也是基于深度学习的;这种机制的鲁棒性(99.8%的准确率)在真实的移动车辆上得到了证明。
2021-06-15 cs.CR cs.LG
A Deep-Learning Intelligent System Incorporating Data Augmentation for Short-Term Voltage Stability Assessment of Power Systems
Northeast Electric Power University(东北电力大学);National Key Laboratory of Science and Technology on Vessel Integrated Power System, Naval University of Engineering(海军工程大学舰船综合电力系统国家重点实验室)
面对昂贵而繁琐的数据汇集和标注的困难,如何使基于深度学习的短期电压稳定评估(STVSA)模型在较小的训练数据集上良好工作是一个具有挑战性和紧迫性的问题。虽然通过应急模拟可以直接生成足够大的数据集,但这种数据生成过程通常是繁琐和低效的;而数据增强提供了一种低成本和有效的方法,通过标签保持转换来人为地膨胀具有代表性和多样化的训练数据集。在这方面,本文提出了一种新的深度学习智能系统,结合数据增强的STVSA的电力系统。首先,由于缺乏可靠的定量标准来判断特定电力系统的稳定状态,半监督聚类学习被用来获得原始小数据集的标记样本。其次,为了使深度学习适用于小数据集,引入了基于条件最小二乘生成对抗网络(LSGAN)的数据增强,通过人工创建额外的有效样本来扩展原始数据集。第三,为了从系统扰动后的动态轨迹中提取时间依赖关系,建立了一种基于注意力机制的双向门控递归单元评估模型,该模型能够双向学习重要的时间依赖关系并自动分配注意力权重。测试结果表明,该方法能够在原始小数据集上获得更好的精度和更快的响应时间。除了分类准确性,这项工作采用统计措施,全面检查的性能的建议。
2021-12-05 cs.LG cs.SY eess.SP
Predicting Visual Improvement after Macular Hole Surgery: a Cautionary Tale on Deep Learning with Very Limited Data
Université Laval(拉瓦尔大学);Centre Hospitalier Universitaire de Montréal(蒙特利尔大学医学中心)
我们研究了机器学习模型从术前数据(视网膜图像和临床特征)预测黄斑裂孔手术后视力改善的潜力。收集我们自己的数据,我们最终只有121个样本,使我们的工作在非常有限的数据制度。我们探索了各种针对有限数据的深度学习方法来训练深度计算机视觉模型,发现所有测试的深度视觉模型在临床特征上都优于简单的回归模型。我们认为这是一个令人信服的证据,证明了在非常有限的数据上使用深度学习的极端困难。
2021-11-15 cs.CV cs.LG eess.IV
PMU measurements based short-term voltage stability assessment of power systems via deep transfer learning
State Grid Chengde Power Supply Company(国网承德供电公司)
本文提出一种基于PMU量测和深度迁移学习的短期电压稳定评估方法,利用时序集成标注样本、LSGAN增强数据,并通过Transformer自注意力机制提升对拓扑变化的适应能力,在IEEE 39节点系统上精度提升约20%。
2023-08-27 cs.LG cs.SY eess.SY
Black box behavioural modelling: Predicting human activity schedules with a deep conditional generative approach
Department of Civil, Environmental and Geomatic Engineering, University College London(土木、环境与地理工程系,伦敦大学学院)
研究旨在用深度条件生成方法预测人类活动日程,提出ActVAE方法,将日程建模为依赖多种信息的条件模型,能快速生成多样日程,经评估与基线模型比较,为现有方法提供替代,凸显建模人类行为随机性的价值。
2026-07-24 cs.LG
A Deep Learning Approach to Predicting Ventilator Parameters for Mechanically Ventilated Septic Patients
Nankai University(南开大学);Sichuan Provincial People’s Hospital(四川省人民医院);University of Electronic Science and Technology of China(电子科技大学);Beijing Computational Science Research Center(北京计算科学研究中心);University of Glasgow(格拉斯哥大学);Tianjin Normal University(天津师范大学);University of South Carolina(南卡罗来纳大学)
我们开发了一种深度学习方法,使用长短期记忆(LSTM)递归神经网络(RNN)模型来预测机械通气脓毒症患者的一组呼吸机参数。我们专注于短期预测的一组呼吸机参数的脓毒症患者在急诊重症监护病房(EICU)。该模型的短期可预测性为主治医生提供了早期预警,以便及时调整EICU中患者的治疗。患者特定的深度学习模型可以在任何给定的重症患者上进行训练,使其成为医生在紧急医疗情况下使用的智能助手。
2022-02-21 cs.LG q-bio.QM
Predicting extreme events from data using deep machine learning: when and where
Xi’an Jiaotong University(西安交通大学);Arizona State University(亚利桑那州立大学);University of Aberdeen(阿伯丁大学)
我们开发了一个基于深度卷积神经网络(DCNN)的框架,用于无模型预测空间维度为2的非线性物理系统中极端事件在时间(“何时”)和空间(“何处”)上的发生。测量或数据是一组二维快照或图像。对于期望的预测时间范围,可以指定适当的标记方案以使得能够成功训练DCNN和随后及时预测极端事件。假设已经预测极端事件将在时间范围内发生,则可以应用基于空间的标记方案来在一定分辨率内预测事件将发生的位置。我们使用来自2D复杂Ginzburg-Landau方程的合成数据和北大西洋的经验风速数据来演示和验证我们基于机器学习的预测框架。讨论了极端事件发生的空间偏差对预报精度的不利影响。深度学习框架对于预测现实世界中的极端事件是可行的。
2022-03-31 cs.LG eess.SP math.DS
Predicting the spread of COVID-19 in Delhi, India using Deep Residual Recurrent Neural Networks
Louisiana Tech University(路易斯安那理工大学)
检测冠状病毒的传播将大大有助于减少人类和经济损失。不幸的是,用于COVID-19预测模型的现有流行病学模型太慢,无法详细捕捉COVID-19的发展。本研究使用偏微分方程来提高SEIRD模型方程所支配的COVID 19预测的处理速度和准确性。使用卷积神经网络和深度残差循环神经网络从使用偏微分方程模拟的数据中提取COVID 19的动态。DRRNN的准确性是使用均方误差来测量的。DRRNN COVID-19预测模型已被证明具有准确的COVID-19预测。此外,我们得出结论,DR-RNN可以显著提高实时的COVID-19预测中支持决策的能力。
2021-10-09 cs.LG
Autonomous Voltage Control for Grid Operation Using Deep Reinforcement Learning
GEIRI North America(GEIRI北美中心);State Grid Corporation of China(国家电网公司)
本文提出Grid Mind框架,通过深度强化学习实现自主电网控制,解决传统方法在处理可再生能源和需求响应动态性带来的挑战,提升电网运行的安全性和经济性。
2019-04-24 cs.LG cs.SY eess.SY
DeepGO: Predicting protein functions from sequence and interactions using a deep ontology-aware classifier
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
大量的蛋白质序列通过应用新的高通量测序技术而变得可用。这些蛋白质的实验功能表征是耗时和昂贵的,并且通常仅对少数选定的模式生物进行严格的测试。计算功能预测方法已被建议来填补这一空白。蛋白质的功能使用基因本体(GO)进行分类,其中包含40,000多个类。此外,蛋白质具有多种功能,这使得功能预测成为一个大规模、多类别、多标签的问题。我们已经开发了一种新的方法来预测蛋白质的功能从序列。我们使用深度学习从蛋白质序列以及跨物种蛋白质相互作用网络中学习特征。我们的方法专门输出GO结构中的信息,并利用GO类之间的依赖关系作为背景信息来构建深度学习模型。我们使用功能注释计算评估(CAFA)建立的标准评估我们的方法,并证明了与基线方法(如BLAST)相比的显着改进,预测细胞位置的显着改进。
2017-05-15 cs.LG q-bio.GN q-bio.QM
Deep Convolutional Neural Networks for predicting highest priority functional group in organic molecules
Dhirubhai Ambani Institute of Information & Communication Technology(迪鲁巴希·阿姆巴尼信息与通信技术研究所)
本文提出利用深度卷积神经网络预测有机分子中最高优先级的功能基团,通过对比支持向量机等方法,验证了CNN的优越性。
2026-03-25 cs.AI cs.LG
Deep Learning Models for Predicting Wildfires from Historical Remote-Sensing Data
Google(谷歌);Stanford(斯坦福大学)
确定发生野火的可能性高的地区是土地和林业管理以及备灾的一个关键组成部分。我们通过汇总近十年的遥感数据和历史火灾记录来创建一个数据集,以预测野火。这个预测问题被构造为三个机器学习任务。比较和分析了四种不同的深度学习模型的结果,以估计野火的可能性。结果表明,深度学习模型可以使用有关植被、天气和地形的汇总数据成功识别高火灾可能性区域,AUC为83%。
2021-02-10 cs.CV cs.LG
DeepRetinotopy: Predicting the Functional Organization of Human Visual Cortex from Structural MRI Data using Geometric Deep Learning
School of Psychology, The University of Queensland(昆士兰大学心理学院);Queensland Brain Institute, The University of Queensland(昆士兰大学昆士兰脑研究所);Centre for Advanced Imaging, The University of Queensland(昆士兰大学高级成像中心)
无论是在人造机器还是生物系统中,形式和功能往往直接相关。然而,在后者中,由于生物学的复杂性质,这种特殊的关系往往不清楚。在这里,我们开发了一个几何深度学习模型,能够利用大脑皮层的实际结构,从结构和功能MRI数据中学习大脑功能和解剖结构之间的复杂关系。我们的模型不仅能够仅从解剖学特性预测人类视觉皮层的功能组织,而且还能够预测个体之间的细微变化。
2020-05-26 cs.CV cs.LG q-bio.NC
On the Resilience of Deep Learning for Reduced-voltage FPGAs
University of Tehran(德黑兰大学);Barcelona Supercomputing Center(巴塞罗那超级计算中心);Institute for Research in Fundamental Sciences (IPM)(基础科学研究所(IPM));Iranian Research Organization for Science and Technology (IROST)(伊朗科学技术研究组织(IROST));Universitat Politecnica de Catalunya(加泰罗尼亚理工大学)
深度神经网络(DNN)本质上是计算密集型的,也是耗电的。硬件加速器,如现场可编程门阵列(FPGA)是一个有前途的解决方案,可以满足这些要求的嵌入式和高性能计算(HPC)系统。在FPGA以及CPU和GPU中,将电压调整到标称电平以下是一种有效的功耗最小化技术。不幸的是,位翻转故障开始出现,因为电压由于时序问题而缩小到更接近晶体管阈值,从而产生弹性问题。本文通过实验评估了DNN的训练阶段的弹性在FPGA的电压失调相关的故障的存在下,特别是在片上存储器。为了实现这一目标,我们通过实验评估了LeNet-5的弹性,以及一个专门为CIFAR-10数据集设计的网络,该网络具有不同的激活函数,即整流线性单元(Relu)和双曲正切(Tanh)。我们发现,现代FPGA在极低电压水平下足够强大,并且可以在训练迭代中自动屏蔽低电压相关故障,因此不需要昂贵的面向软件或硬件的故障缓解技术,如ECC。大约需要10%的训练迭代来填补准确性的差距。这一观察结果是欠转故障率相对较低的结果,即,<0.1\%,在实际FPGA结构上测量。我们还通过随机生成的故障注入活动显着增加了LeNet-5网络的故障率,并观察到训练精度开始下降。当故障率增加时,具有Tanh激活函数的网络在精度方面优于具有Relu的网络,例如,当故障率为30%时,准确度差为4.92%。
2019-12-26 cs.LG cs.NE
Predicting Lattice Phonon Vibrational Frequencies Using Deep Graph Neural Networks
University of South Carolina(南卡罗来纳大学);National Institute of Standards and Technology(国家标准与技术研究所);Theiss Research
晶格振动频率与许多重要的材料性质有关,例如导热性、导电性以及超导性。然而,使用密度泛函理论(DFT)方法计算振动频率对于材料筛选中的大量样本来说计算量太大。在这里,我们提出了一种基于深度图神经网络的算法,用于高精度地从晶体结构预测晶体振动频率。我们的算法使用零填充方案来解决振动频谱的可变维度。对15,000和35,552个样本的两个数据集的基准研究表明,预测的聚合$R^2$得分分别达到0.554和0.724。我们的工作证明了深度图神经网络除了预测声子态密度(DOS)和电子态密度之外,还能够学习预测晶体结构的声子谱特性,其中输出维度是恒定的。
2021-11-10 cond-mat.mtrl-sci cs.LG
Predicting Blood Glucose with an LSTM and Bi-LSTM Based Deep Neural Network
Bern University Hospital “Inselspital”(伯尔尼大学医院“Inselspital”)
使用深度学习网络来预测未来的血糖水平,因为这可以允许糖尿病患者在即将发生高血糖和低血糖之前采取行动。使用具有一个长短期记忆(LSTM)层、一个双向LSTM层和多个完全连接层的序列模型来预测不同预测时域的血糖水平。该方法在来自20名真实患者的26个数据集上进行了训练和测试。建议的网络优于基线方法的所有评价标准。
2018-09-11 cs.LG q-bio.QM stat.ML
Predicting Weekly Fishing Concentration Zones through Deep Learning Integration of Heterogeneous Environmental Spatial Datasets
Fr. Conceicao Rodrigues college of Engineering(弗·康塞伊欧·罗德里格斯工程学院)
本文提出一个AI辅助框架,通过深度学习融合海面温度、叶绿素浓度等异构环境空间数据,预测北印度洋每周潜在渔区,以减少渔民搜索时间、降低燃料消耗并提升资源利用效率。
2025-11-04 cs.AI cs.LG
A Comprehensive and Versatile Multimodal Deep Learning Approach for Predicting Diverse Properties of Advanced Materials
National Institute of Advanced Industrial Science and Technology(国立先进工业科学技术研究院)
本文提出一种融合物理与化学数据的多模态深度学习框架,通过三个生成模型和一个预测模型处理十维输入与八维输出,实现大规模材料性质预测并支持逆向设计。
2023-03-29 cond-mat.mtrl-sci cond-mat.soft cs.AI
Predicting star formation properties of galaxies using deep learning
ThoughtWorks Technologies(思特沃克科技公司);National Centre for Radio Astrophysics, TIFR(塔塔基础研究所国家射电天体物理中心);Centre for Modeling and Simulation, Savitribai Phule Pune University(萨维特里拜·普利大学建模与仿真中心)
了解星系的恒星形成特性作为宇宙时代的函数是星系演化研究中的一项关键工作。传统上,恒星星族合成模型一直被用来获得最佳拟合参数,在星系中的恒星形成。随着多波段通量测量可用于数千个星系,一种使用机器学习来表征恒星形成的替代方法变得可行。在这项工作中,我们提出了使用深度学习技术来预测三个重要的恒星形成属性-恒星质量,恒星形成率和尘埃光度。我们通过与标准恒星星族合成代码的输出进行比较来验证我们的深度学习模型的性能。
2020-02-10 astro-ph.GA cs.LG
Predicting the Performance of a Computing System with Deep Networks
Newcastle University(纽卡斯尔大学);Durham University(杜伦大学)
预测计算硬件的性能和能耗对于许多现代应用至关重要。这将为采购决策、部署决策和自主扩展提供信息。了解硬件性能的现有方法主要集中在基准测试上-利用标准化的工作负载,这些工作负载试图代表最终用户的需求。目前存在两个关键挑战:基准测试工作负载可能无法代表最终用户的工作负载,并且无法轻松获得所有硬件的基准测试分数。在本文中,我们展示了构建深度学习模型来预测未知硬件的基准测试分数的潜力。我们使用公开的SPEC 2017基准结果进行评估。我们评估了三个不同的网络,一个完全连接的网络和两个卷积神经网络(一个是定制的,一个是ResNet启发的),并展示了令人印象深刻的$R^2$分数分别为0.96,0.98和0.94。
2023-02-27 cs.LG cs.NE
Feature versus Raw Sequence: Deep Learning Comparative Study on Predicting Pre-miRNA
SUNY Korea(韩国纽约州立大学);Stony Brook University(石溪大学)
我们应该在深度学习框架中输入已知的基因组序列特征还是输入序列本身?随着深度学习在各种应用中越来越受欢迎,研究人员经常质疑是否要生成特征或使用原始序列进行深度学习。为了回答这个问题,我们研究了基于特征的深度信念网络和基于序列的卷积神经网络预测前体miRNA的预测精度。在六层卷积神经网络和三层深度信念网络的变体上进行测试,我们发现基于原始序列输入的卷积神经网络模型的性能与基于特征的深度信念网络相似或略好,最佳准确度分别为0.995和0.990。这两个模型都优于现有的基准模型。结果表明,如果提供足够大的数据,精心设计的基于原始序列的深度学习模型可以取代基于特征的深度学习模型。然而,构建行为良好的深度学习模型可能非常具有挑战性。在特征可以很容易地提取的情况下,基于特征的深度学习模型可能是更好的选择。
2017-10-17 cs.LG q-bio.GN
Deep-dust: Predicting concentrations of fine dust in Seoul using LSTM
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);Korea Institute of Science and Technology(韩国科学技术研究院)
韩国的粉尘污染是一个严重的问题,其主要成分是生物质燃烧和粉尘带的扬尘。由于首尔的细粉尘颗粒是气态污染物之间复杂化学反应的产物,同时也受到污染物与多种气候变量之间动力学相互作用的影响,因此预测首尔的细粉尘颗粒浓度具有挑战性。通过使用深度学习来阐述最先进的时间序列分析技术,可以捕获多个变量之间的非线性相互作用,并用于预测未来的粉尘浓度。在这项工作中,我们提出了基于LSTM的模型,根据以前的污染物浓度,粉尘浓度和周围地区的气候变量来预测首尔目标位置的细粉尘小时浓度。我们的研究结果表明,该模型成功地预测了未来的灰尘浓度在25个目标区(顾)在首尔。
2019-01-29 cs.LG stat.ML
Predicting Succinylation Sites in Proteins with Improved Deep Learning Architecture
Department of Electrical Engineering and Computer Science Wichita State University(威奇托州立大学电气工程与计算机科学系);Wichita State University(威奇托州立大学(注:此处按机构粒度要求,提取到大学级别,原部门属于该大学内的部门,故保留完整部门+大学结构))
蛋白质翻译后修饰(PTMs)发生在翻译过程之后。PTM负责许多细胞过程,例如脱氧核糖核酸(DNA)修复、细胞信号转导和细胞死亡。最近的PTM之一是琥珀酰化。琥珀酰化将赖氨酸残基从$-1$修饰为$+1$。使用实验方法如质谱法定位琥珀酰化位点是非常费力的。因此,使用机器学习技术的计算方法是有利的。本文提出了一种深度学习架构来预测琥珀酰化位点。将所提出的架构的性能与最先进的深度学习架构和用于琥珀酰化的其他传统机器学习技术进行比较。它示出的性能指标,所提出的架构提供了一个很好的权衡之间的计算速度和分类精度。
2021-12-27 cs.LG q-bio.BM
Predicting Quantum Potentials by Deep Neural Network and Metropolis Sampling
Capital Normal University(首都师范大学);Yangzhou University(扬州大学)
机器学习和量子物理的杂交对这两个领域的方法论都产生了重要的影响。受量子势神经网络的启发,我们在这里提出通过将Metropolis采样与深度神经网络相结合来求解由本征态提供的薛定谔方程中的势,我们称之为Metropolis势神经网络(MPNN)。提出了一个损失函数,明确涉及的能量在优化其准确的评估。以谐振子和氢原子为基准,MPNN不仅在预测满足薛定谔方程的势能,而且在预测本征能量方面表现出优异的准确性和稳定性。我们的建议可以潜在地应用于从头算模拟,并逆求解物理学及其他领域的偏微分方程。
2021-08-08 cond-mat.str-el cs.LG quant-ph
MEDIRL: Predicting the Visual Attention of Drivers via Maximum Entropy Deep Inverse Reinforcement Learning
University of Virginia(弗吉尼亚大学);University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);Rice University(莱斯大学)
受人类视觉注意力的启发,我们提出了一种新的逆强化学习公式,使用最大熵深度逆强化学习(MEDIRL)来预测事故多发情况下驾驶员的视觉注意力。MEDIRL通过从专注的司机记录的眼睛注视模式中学习任务敏感的奖励函数来预测导致最大奖励的注视位置。此外,我们还介绍了EyeCar,这是一种新的驾驶员注意力数据集,适用于事故多发情况。我们进行了全面的实验,以评估我们提出的模型在三个常见的基准:(DR(眼)VE,BDD-A,DADA-2000),和我们的EyeCar数据集。结果表明,MEDIRL在预测注意力方面优于现有模型,并达到了最先进的性能。我们提出了广泛的消融研究,以提供更多的见解,我们提出的模型的不同功能。
2021-10-06 cs.CV cs.HC cs.LG
Predicting Mergers and Acquisitions using Graph-based Deep Learning
Northwestern University(西北大学)
图数据结构是数学中的主要内容,但基于图的机器学习是数据科学领域中相对较新的领域。基于图的ML和相关算法的开源实现的最新进展使研究人员能够将学术界创建的方法应用于现实世界的数据集。该项目的目标是利用流行的图形机器学习框架GraphSAGE来预测企业公司的合并和收购(M&A)。结果是有希望的,因为该模型在验证数据集上的预测准确率为81.79%。鉴于金融数据科学中丰富的数据源和算法决策,基于图的机器学习提供了一种高性能但非传统的方法来生成alpha。
2021-04-05 cs.AI cs.LG
Explainable Deep Relational Networks for Predicting Compound-Protein Affinities and Contacts
Department of Electrical;Computer Engineering, Texas A\&M University, College Station, TX 77843, United States;Department of Computer Science;Engineering, Texas A\&M University, College Station, TX 77843, United States
预测化合物与蛋白质的亲和力对于加速药物发现至关重要。机器学习最近取得的进展主要集中在准确性上,但在可解释性方面还有很多需要改进的地方。通过分子联系的基础亲和力,我们的大规模的可解释性评估发现常用的注意力机制不足。因此,我们制定了一个层次化的多目标学习问题,其预测的接触形成的基础上预测的亲和力。我们进一步设计了一个物理启发的深度关系网络,DeepRelations,具有内在可解释的架构。具体来说,各种原子级接触或“关系”导致分子级亲和力预测。嵌入式注意与预测的结构上下文和监督部分可用的训练接触。DeepRelations表现出了卓越的可解释性:在不影响亲和力预测的情况下,它分别将测试、化合物独特、蛋白质独特和两者都独特的接触预测的AUPRC提高了9.5、16.9、19.3和5.7倍。我们的研究代表了第一个专门的模型开发和系统的模型评估,可解释的机器学习的化合物-蛋白质亲和力。
2019-12-29 cs.LG q-bio.BM
Predicting Landsat Reflectance with Deep Generative Fusion
Cervest Ltd.(Cervest有限公司)
公共卫星任务通常必须在空间分辨率和时间分辨率之间进行权衡,因为没有一个传感器能够提供频繁覆盖的细粒度采集。这就妨碍了它们协助植被监测或人道主义行动的潜力,因为这需要探测快速和详细的地表变化。在这项工作中,我们探索了深度生成模型通过融合具有不同空间和时间特征的产品来生成高分辨率光学图像的潜力。我们介绍了一个数据集的共同注册的中分辨率成像光谱仪(MODIS)和陆地卫星表面反射率的时间序列,并证明了我们的生成模型的能力,将粗糙的日常反射率信息融合到低节奏的更精细的收购。我们基准我们提出的模型对国家的最先进的反射率融合算法。
2020-11-09 cs.CV cs.LG eess.IV