Predicting Clinical Diagnosis from Patients Electronic Health Records Using BERT-based Neural Networks
Sberbank Artificial Intelligence Laboratory（俄罗斯联邦储蓄银行人工智能实验室）；New York University（纽约大学）
在本文中，我们研究的问题，预测的文本电子健康记录（EHR）数据的临床诊断。我们显示了这个问题在医学界的重要性，并提出了全面的历史回顾的问题和建议的方法。作为主要的科学贡献，我们提出了一个修改的双向编码器表示从Transformers（BERT）模型的序列分类，实现了一种新的方式的全连接（FC）层组成和BERT模型预训练只在域数据。为了从经验上验证我们的模型，我们使用了一个大规模的俄罗斯EHR数据集，其中包括大约400万次独特的患者访问。这是对俄语最大的研究，也是全球最大的研究之一。我们进行了一些比较实验，与其他文本表示模型的多类分类的ICD-10的265个疾病子集的任务。实验表明，与其他基线相比，我们的模型的性能有所改善，包括微调的俄罗斯BERT（RuBERT）变体。我们还展示了我们的模型与经验丰富的医学专家小组的可比性能。这使我们希望该系统的实施将减少误诊。
2020-07-15 cs.AI cs.CL cs.LG
MFCC-based Recurrent Neural Network for Automatic Clinical Depression Recognition and Assessment from Speech
Université Paris-Est（巴黎东部大学）；INSAT Institut National des Sciences Appliquées et de Technologie（突尼斯应用科学与技术学院）；Yobitrust（优比特信托公司）；University of Sciences and Arts in Lebanon（黎巴嫩科学与艺术大学）；Université de Bourgogne Franche Comté（勃艮第-弗朗什-孔泰大学）
临床抑郁症或重度抑郁症（MDD）是一种常见的严重医学疾病。本文提出了一种基于深度递归神经网络的框架来检测抑郁症并从语音中预测其严重程度。从音频记录中提取低级别和高级别音频特征，以预测患者健康问卷的24个分数和抑郁症诊断的二元分类。为了克服语音抑郁识别（SDR）数据集规模小的问题，考虑扩展训练标签和转移特征。该方法优于DAIC-WOZ数据库上的最新方法，在评估抑郁症时的总体准确率为76.27%，均方根误差为0.4，而在预测抑郁症严重程度时的均方根误差为0.168。该框架具有快速、非侵入性和非入侵性等优点，便于实时应用。在多模态和多特征的实验中，对所提出的方法的性能进行了评估。基于MFCC的高级特征包含与抑郁症相关的信息。然而，添加视觉动作单元和不同的其他声学特征进一步将分类结果提高了20%和10%，分别达到95.6%和86%的准确率。考虑到视觉-面部模态需要仔细研究，因为它会引发患者隐私问题，同时添加更多的声学特征会增加计算时间。
2020-03-12 cs.AI cs.HC cs.LG
Predicting High-Flow Nasal Cannula Failure in an ICU Using a Recurrent Neural Network with Transfer Learning and Input Data Perseveration: A Retrospective Analysis
Children’s Hospital Los Angeles（洛杉矶儿童医院）
高流量鼻插管（HFNC）为重症儿童提供非侵入性呼吸支持，这些儿童可能比其他非侵入性（NIV）技术更容易耐受。及时预测HFNC失败可以提供增加呼吸支持的指示。这项工作开发并比较了预测HFNC故障的机器学习模型。使用EMR对2010年1月至2020年2月入住三级儿科ICU的患者进行了一项回顾性研究。训练长短期记忆（LSTM）模型以生成HFNC故障的连续预测。在HFNC开始后的不同时间，使用受试者工作曲线下面积（AUROC）评估性能。评估HFNC开始后2小时预测的敏感性、特异性、阳性和阴性预测值（PPV、NPV）。还在主要诊断为呼吸系统疾病的队列中计算这些指标。834项HFNC试验[455项培训，173项验证，206项测试]符合入选标准，其中175项[103，30，42]（21.0%）升级为NIV或插管。使用迁移学习训练的LSTM模型通常比LR模型表现更好，最好的LSTM模型在启动后两小时达到了0.78的AUROC，而LR为0.66。使用EMR数据训练的机器学习模型能够在开始后24小时内识别出HFNC失败的儿童。结合了迁移学习、输入数据持久化和集成的LSTM模型表现出比LR和标准LSTM模型更好的性能。
2021-11-20 cs.AI cs.LG
GDGRU-DTA: Predicting Drug-Target Binding Affinity Based on GNN and Double GRU
Hunan Normal University（湖南师范大学）
预测药物和靶点亲和力（DTA）的工作对于药物开发和再利用至关重要。在这项工作中，我们提出了一种称为GDGRU-DTA的新方法来预测药物与靶标之间的结合亲和力，该方法基于GraphDTA，但我们认为蛋白质序列是长序列，因此简单的CNN不能很好地捕获蛋白质序列中的上下文依赖性。因此，我们通过将蛋白质序列解释为时间序列并使用门递归单元（GRU）和双向门递归单元（BiGRU）提取其特征来改进它。对于药物，我们的处理方法与GraphDTA类似，但使用了两种不同的图形卷积方法。随后，药物和蛋白质的表示被连接起来用于最终预测。我们在两个基准数据集上评估了所提出的模型。我们的模型优于一些最先进的深度学习方法，结果证明了我们模型的可行性和出色的特征捕获能力。
2022-04-25 cs.AI cs.LG q-bio.QM
Driver Action Prediction Using Deep (Bidirectional) Recurrent Neural Network
Toyota InfoTechnology Center USA（美国丰田信息技术中心）
通过有效的驾驶员动作预测（DAP），可以显著改善高级驾驶员辅助系统（ADAS）。早期准确地预测驾驶员的行为可以帮助减轻潜在的不安全驾驶行为的影响，避免可能发生的事故。在本文中，我们制定了驾驶员行为预测作为一个时间序列异常预测问题。虽然异常（感兴趣的驾驶员动作）检测在这种情况下可能是微不足道的，但是找到始终先于异常的模式需要跨多模态感觉输入搜索或提取特征。我们提出了这样的驾驶员动作预测系统，包括用于预测未来或即将发生的驾驶员动作的实时数据采集、处理和学习框架。除了传统的车辆动力学，该系统还结合了基于摄像头的驾驶环境和驾驶员自身的知识。然后，它使用深度双向循环神经网络（DBRNN）来学习感官输入与即将发生的驾驶员行为之间的相关性，从而实现准确和高水平的动作预测。所提出的系统在驾驶员动作预测任务上比其他现有系统表现更好，并且可以在驾驶员执行动作之前5秒的持续时间内准确地预测关键驾驶员动作，包括加速、制动、变道和转弯。
2017-06-07 cs.AI cs.CV cs.LG
Predicting Responses to a Robot's Future Motion using Generative Recurrent Neural Networks
Australian Centre for Field Robotics（澳大利亚野外机器人中心；悉尼大学）；University of Sydney
机器人在人群或牛群中导航需要能够预测附近个体的未来运动，并了解这些预测如何响应机器人的未来行动。使用循环神经网络（RNNs）的最先进的轨迹预测模型目前不考虑机器人的计划未来的行动，因此不能预测一个人将如何移动，以响应机器人的计划路径。我们提出了一种方法，适应RNNs使用机器人的下一个计划行动作为输入旁边的当前位置附近的个人。这允许模型从真实世界的观察中学习个体对机器人运动的反应。通过将机器人的动作与训练中周围人的反应联系起来，我们表明，我们不仅能够提高近距离互动的预测准确性，而且还能够预测周围人对模拟动作的可能反应。这允许使用模型来模拟状态转换，而不需要对代理交互进行任何假设。我们将此模型应用于不同的数据集，包括与车辆和自行车交互的行人人群，以及与机器人车辆交互的牲畜。
2020-01-28 cs.AI cs.CV cs.RO
Anticipation in Human-Robot Cooperation: A Recurrent Neural Network Approach for Multiple Action Sequences Prediction
Institute for Systems and Robotics（系统与机器人研究所）；Instituto Superior Técnico（高等技术研究所）；University Lisbon（里斯本大学）；Faculty of Technical Sciences（技术科学学院）；University of Novi Sad（诺维萨德大学）；Queen Mary University（伦敦玛丽女王大学）
密切的人机合作是先进制造和辅助应用新发展的关键推动力。密切合作需要机器人能够预测人类的行为和意图，并理解人类的非语言暗示。最近基于神经网络的方法已经在连续和离散空间中的人类行为预测问题中取得了令人鼓舞的结果。我们的方法扩展了这个方向的研究。我们的贡献是三方面的。首先，我们验证使用的凝视和身体姿势线索作为一种手段，通过特征选择方法预测人类的行动。接下来，我们解决现有文献的两个缺点：预测多个和可变长度的动作序列。这是通过在离散动作预测问题中引入编码器-解码器循环神经网络拓扑来实现的。此外，我们从理论上证明了预测多个动作序列的重要性，作为一种手段，估计在人类机器人合作的情况下的随机奖励。最后，我们展示了在动作预测数据集上有效地训练预测模型的能力，包括人体运动数据，并探索模型参数对其性能的影响。源代码库：https://github.com/pschydlo/ActionAnticipation
2019-02-18 cs.AI cs.HC cs.RO
NovoMol: Recurrent Neural Network for Orally Bioavailable Drug Design and Validation on PDGFRα Receptor
Chatham High School（查塔姆高中）
NovoMol利用循环神经网络大规模生成高口服生物利用度药物分子，通过QED筛选和迭代重训练优化分子，并在PDGFRα受体上生成优于伊马替尼的结合候选物，提升临床试验效率。
2023-12-03 cs.AI q-bio.BM q-bio.QM
Phenotyping of Clinical Time Series with LSTM Recurrent Neural Networks
UC San Diego（加州大学圣地亚哥分校）；USC（南加州大学）；Children’s Hospital LA（洛杉矶儿童医院）
我们提出了一种新的应用LSTM循环神经网络的多标签分类的诊断给定的可变长度的时间序列的临床测量。我们的方法在各种指标上都优于强基线。
2017-03-21 cs.LG
Interpretable Additive Recurrent Neural Networks For Multivariate Clinical Time Series
Philips Research North America（飞利浦北美研究）
具有循环神经网络（RNN）的时间序列模型可以具有很高的准确性，但不幸的是，由于特征相互作用，时间相互作用和非线性变换，很难解释。可解释性在医疗保健等领域非常重要，在这些领域中，需要构建模型来深入了解他们所了解的关系，以验证和信任模型预测。我们需要精确的时间序列模型，用户可以了解各个输入特征的贡献。我们提出了可解释RNN（I-RNN），通过强制模型中变量之间的关系是可加性的，来平衡模型的复杂性和准确性。RNN的隐藏状态之间的相互作用受到限制，并在最后一步进行相加组合。I-RNN专门捕获临床时间序列的独特特征，这些特征在时间上不均匀采样，异步获取，并且具有缺失数据。重要的是，隐藏状态激活表示与预测目标相关的特征系数，并且可以被可视化为风险曲线，该风险曲线捕获个体输入特征与结果之间的全局关系。我们在Physionet 2012 Challenge数据集上评估了I-RNN模型，以预测院内死亡率，并在现实世界的临床决策支持任务中评估了I-RNN模型：预测重症监护室中的血流动力学干预。I-RNN以全局和局部特征重要性的形式提供解释，与高度可理解的模型（如在手工设计的特征上训练的决策树）相当，同时显著优于它们。I-RNN保持可理解性，同时提供与最先进的基于衰减和基于插值的递归时间序列模型相当的准确性。在真实世界的临床数据集上的实验结果驳斥了准确性和可解释性之间存在权衡的神话。
2021-09-15 cs.AI cs.LG
Predicting Patient State-of-Health using Sliding Window and Recurrent Classifiers
University of Edinburgh（爱丁堡大学）；University of Oxford（牛津大学）；Alan Turing Institute（艾伦·图灵研究所）
重症监护室（ICU）中的床边监护仪经常发出错误的声音，减慢响应时间并使护士对警报不敏感（Chambery，2001），导致错过真正的警报（Hug等人，2011年）。我们比较滑动窗口预测与复发预测分类ICU多变量时间序列患者的健康状况，我们报告了四个目标中三个的RNN性能略有改善。
2016-12-02 cs.LG stat.ML
Predicting Blossom Date of Cherry Tree With Support Vector Machine and Recurrent Neural Network
我们的项目探讨了温度和樱花开花日期之间的关系。通过建模，未来的开花将变得可预测，帮助公众计划旅行并避免花粉季节。为了准确预测樱花的开花日期，可以被视为一个多类分类问题，所以我们应用多类支持向量分类器（SVC）和循环神经网络（RNN），特别是长短期记忆（LSTM），制定问题。最后，我们评估和比较这些方法的性能，找出哪一个可能更适用于现实。
2022-10-10 cs.LG
Convolutional Mixture Density Recurrent Neural Network for Predicting User Location with WiFi Fingerprints
使用WiFi指纹预测智能手机用户活动是近年来室内定位的流行方法。然而，这样的高维时间序列预测问题可能非常棘手。为了解决这个问题，我们提出了一种新的深度学习模型，卷积混合密度循环神经网络（CMDRNN），它结合了卷积神经网络，递归神经网络和混合密度网络的优势。在我们的模型中，CNN子模型用于检测高维输入的特征，RNN子模型用于捕获时间依赖性，MDN子模型用于预测最终输出。为了验证该方法的有效性，我们在真实数据集上进行了实验，实验结果表明了该方法的有效性。
2019-11-21 cs.LG eess.SP stat.ML
Designing A Clinically Applicable Deep Recurrent Model to Identify Neuropsychiatric Symptoms in People Living with Dementia Using In-Home Monitoring Data
Imperial College of London（伦敦帝国理工学院）；Imperial College London（伦敦帝国理工学院）；University of Surrey（萨里大学）
激越是痴呆患者常见的神经精神症状之一，对患者的日常生活活动能力和独立性有不良影响。检测躁动发作可以帮助为痴呆症患者（PLWD）提供早期和及时的干预措施。分析躁动发作也将有助于确定可改变的因素，如环境温度和睡眠，作为可能导致个体躁动的因素。这项初步研究提出了一个监督学习模型来分析在家里监测数据的激越在PLWD的风险。家庭监测数据包括2019年4月至2021年6月期间来自46个PLWD家庭的运动传感器，生理测量和厨房电器的使用。我们应用一个循环的深度学习模型来识别由临床监测团队验证和记录的激动发作。我们提出的实验来评估所提出的模型的有效性。当采用最优参数时，该模型的平均召回率为79.78%，准确率为27.66%，F1分数为37.64%，表明具有良好的识别激动事件的能力。我们还讨论了使用机器学习模型来分析使用连续监测数据的行为模式，并探索临床适用性以及灵敏度和特异性之间的选择在家庭监测应用程序。
2021-12-02 cs.AI cs.LG
ClinicalBERT: Modeling Clinical Notes and Predicting Hospital Readmission
Harvard T.H. Chan School of Public Health（哈佛大学陈曾熙公共卫生学院）；Princeton University（普林斯顿大学）；New York University（纽约大学）
临床记录包含有关患者的信息，这些信息超出了实验室值和药物等结构化数据。然而，相对于结构化数据，临床笔记没有得到充分的使用，因为笔记是高维和稀疏的。这项工作的发展和评估表示的临床笔记使用双向Transformers（ClinicalBERT）。ClinicalBERT揭示了人类判断的医学概念之间的高质量关系。ClinicalBert在使用出院总结和重症监护室最初几天的记录预测30天再入院方面优于基线。代码和模型参数可用。
2020-11-29 cs.CL cs.LG
Bayesian Recurrent Framework for Missing Data Imputation and Prediction with Clinical Time Series
Institute for Infocomm Research（资讯通信研究院）；Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局（A*STAR））
真实世界的临床时间序列数据集显示缺失值的发生率很高。因此，人们对缺失数据插补越来越感兴趣。传统的统计方法对数据生成过程施加约束，并将估算与预测解耦。最近的工作提出了基于递归神经网络的方法缺失数据填补和预测的时间序列数据。然而，它们产生确定性的输出，而忽略了固有的不确定性。在这项工作中，我们介绍了一个统一的贝叶斯经常性框架，同时填补和预测的时间序列数据集。我们使用MIMIC-III和PhysioNet基准数据集对两个现实世界的死亡率预测任务进行了评估。我们展示了强大的性能增益超过国家的最先进的（SOTA）的方法，并提供策略，使用由此产生的概率分布，以更好地评估的估算和预测的可靠性。
2020-01-10 cs.LG stat.ML
Clinical XLNet: Modeling Sequential Clinical Notes and Predicting Prolonged Mechanical Ventilation
Harvard T.H. Chan School of Public Health（哈佛陈曾熙公共卫生学院）；Massachusetts Institute of Technology（麻省理工学院）；Harvard Medical School（哈佛医学院）；Dana-Farber Cancer Institute（丹娜-法伯癌症研究所）；Brigham and Women’s Hospital（布莱根妇女医院）
临床笔记包含丰富的数据，与结构化数据相比，这些数据在预测建模中未被利用。在这项工作中，我们开发了一个新的文本表示临床XLNet的临床笔记，也利用了时间信息的顺序说明。我们评估了我们的模型在长期机械通气预测问题上的表现，我们的实验表明，临床XLNet始终优于最佳基线。
2019-12-27 cs.CL cs.LG
Comparing recurrent and convolutional neural networks for predicting wave propagation
Imperial College London（帝国理工学院）；The University of Edinburgh（爱丁堡大学）
动力系统可以用偏微分方程来建模，数值计算在科学和工程中无处不在。在这项工作中，我们研究了递归和卷积深度神经网络架构预测表面波的性能。该系统由圣维南方程控制。我们改进了以前的方法的长期预测，同时保持推理时间在一小部分的数值模拟。我们还表明，卷积网络在这项任务中的表现至少与递归网络一样好。最后，我们通过在较长的时间范围内和不同的物理环境中进行外推来评估每个网络的泛化能力。
2020-04-20 cs.CV cs.LG stat.ML
Predicting Rigid Body Dynamics using Dual Quaternion Recurrent Neural Networks with Quaternion Attention
South Westfalia University of Applied Science（西南威斯特伐利亚应用科学大学）
我们提出了一种新的神经网络架构的基础上，双四元数，它允许一个紧凑的表示信息的主要重点是描述刚体运动。为了涵盖刚体运动固有的动态行为，我们提出了神经网络中的递归架构。为了进一步有效地模拟各个刚体之间的相互作用以及外部输入，我们采用了一种新的注意力机制，采用对偶四元数代数。所介绍的架构是可训练的梯度为基础的算法。我们将我们的方法应用到包裹预测问题，其中具有初始位置，方向，速度和角速度的刚体通过固定的模拟环境移动，该环境表现出包裹和边界之间的丰富相互作用。
2020-11-17 cs.LG
The Impact of Extraneous Variables on the Performance of Recurrent Neural Network Models in Clinical Tasks
Children’s Hospital Los Angeles（洛杉矶儿童医院）
电子病历（EMR）是患者信息的丰富来源，包括反映生理体征和管理治疗的测量结果。确定哪些变量对预测临床结果有用可能具有挑战性。深度神经网络等高级算法被设计用于处理包含测量形式变量的高维输入，从而绕过单独的特征选择或工程步骤。我们通过在输入向量中包含从理论和经验分布中随机抽取的外部变量，研究了外部输入变量对循环神经网络（RNN）预测性能的影响。使用不同输入向量（EMR变量; EMR和外来变量;仅外来变量）的RNN模型被训练来预测三种临床结局：ICU死亡率，72小时ICU再入院和30天无ICU天数。测量到的RNN的预测性能与EMR变量的额外变量的退化是可以忽略不计的。
2019-04-01 cs.LG stat.ML
Predicting purchasing intent: Automatic Feature Learning using Recurrent Neural Networks
Cardiff University（卡迪夫大学）；Maynooth University（梅努斯大学）
我们提出了一个神经网络，用于预测在电子商务环境中的购买意图。我们的主要贡献是解决特征工程的重大投资，这通常与最先进的方法，如梯度提升机。我们使用可训练的向量空间来建模变化的、半结构化的输入数据，包括类别、数量和独特的实例。多层循环神经网络捕获任何长度的用户会话的会话-本地和队列-全局事件依赖性和关系。包括参数共享和跳过连接的模型设计决策的探索进一步提高了模型的准确性。在基准数据集上的结果提供了98%的最先进的分类精度，并超过了最先进的第二个，而不需要任何领域/特定于短和长事件序列的特征工程。
2018-07-21 cs.LG stat.ML
Predicting Customer Lifetime Value Using Recurrent Neural Net
Meta Platforms, Inc.（元平台公司）；Amazon.com, Inc.（亚马逊公司）；Uber Technologies, Inc.（优步科技公司）
本文提出一种考虑用户群组、系统年龄和日历日期的多单元 LSTM 式循环神经网络，用于预测 SaaS 新老用户在多时间跨度下的生命周期价值，并显著降低中位绝对百分比误差。
2025-01-05 cs.LG stat.AP stat.ML
Predicting Clinical Outcomes with Waveform LSTMs
Microsoft（微软公司）
本文提出利用临床波形数据训练 Waveform LSTM，以预测重症监护室患者死亡风险，并在该基准任务上超越逻辑回归与现有深度学习基线。
2025-03-13 cs.AI cs.LG
Predicting Electricity Consumption using Deep Recurrent Neural Networks
Murdoch University（莫道克大学）
在过去几十年中，电力消耗呈指数级增长。这一增长给电力分销商带来了沉重的负担。因此，预测未来的电力消费需求将为电力分销商提供优势。预测电力消耗需要许多参数。本文提出了两种方法，一种是使用递归神经网络（RNN），另一种是使用长短期记忆（LSTM）网络，它只考虑以前的用电量来预测未来的用电量。这些模型在公开的伦敦智能电表数据集上进行了测试。为了评估RNN和LSTM网络预测电力消耗的适用性，我们对它们进行了测试，以预测给定时间段内的单个房屋和一组房屋。这些预测是针对每日、三个月和13个月进行的，涵盖了短期、中期和长期预测。RNN和LSTM网络的平均均方根误差都达到了0.1。
2019-09-18 cs.LG eess.SP stat.ML
Uncertainty-Aware Variational-Recurrent Imputation Network for Clinical Time Series
Korea University（高丽大学）
电子健康记录（EHR）由纵向临床观察组成，具有稀疏性，不规则性和高维性，这成为绘制可靠的下游临床结果的主要障碍。虽然存在大量的填补方法来解决这些问题，其中大多数忽略了相关的功能，时间动态和完全搁置的不确定性。由于缺失值估计涉及不准确的风险，因此该方法适合以不同于可靠数据的方式处理不太确定的信息。在这方面，我们可以使用估计缺失值的不确定性作为保真度分数，以进一步用于减轻有偏缺失值估计的风险。在这项工作中，我们提出了一种新的变分-递归插补网络，它通过考虑相关特征，时间动态以及不确定性来统一插补和预测网络。具体而言，我们利用基于变量之间分布的深生成模型和一个循环插补网络来利用时间关系，并结合利用不确定性。我们在两个公开的真实世界EHR数据集上验证了我们提出的模型的有效性：PhysioNet Challenge 2012和MIMIC-III，并将结果与文献中其他竞争的最先进方法进行了比较。
2020-11-14 cs.LG stat.ML
Predicting the spread of COVID-19 in Delhi, India using Deep Residual Recurrent Neural Networks
Louisiana Tech University（路易斯安那理工大学）
检测冠状病毒的传播将大大有助于减少人类和经济损失。不幸的是，用于COVID-19预测模型的现有流行病学模型太慢，无法详细捕捉COVID-19的发展。本研究使用偏微分方程来提高SEIRD模型方程所支配的COVID 19预测的处理速度和准确性。使用卷积神经网络和深度残差循环神经网络从使用偏微分方程模拟的数据中提取COVID 19的动态。DRRNN的准确性是使用均方误差来测量的。DRRNN COVID-19预测模型已被证明具有准确的COVID-19预测。此外，我们得出结论，DR-RNN可以显著提高实时的COVID-19预测中支持决策的能力。
2021-10-09 cs.LG
Predicting the Binding of SARS-CoV-2 Peptides to the Major Histocompatibility Complex with Recurrent Neural Networks
Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所）
用机器学习预测病毒肽与主要组织相容性复合体的结合可能会扩展疫苗开发的计算免疫学工具包，并作为对抗大流行病的关键组成部分。在这项工作中，我们适应和扩展USMPep，最近提出的，概念上简单的预测算法的基础上循环神经网络。最值得注意的是，我们结合回归（结合亲和力数据）和分类器（质谱数据）从定性不同的数据源，以获得更全面的预测工具。我们在最近发布的SARS-CoV-2数据集上评估了结合稳定性测量的性能。USMPep不仅为选定的单个等位基因设定了新的基准，而且一直是性能最好的方法之一，或者对于某些指标，甚至是这项任务的整体性能最好的方法。
2021-04-16 cs.LG q-bio.QM
Variable-sized input, character-level recurrent neural networks in lead generation: predicting close rates from raw user inputs
预测铅关闭率是铅代行业中最有问题的任务之一.在大多数情况下，关于前景的唯一可用数据是用户在潜在客户表单上输入的自我报告信息以及通过社交媒体和搜索引擎使用公开可用的其他一些数据点。所有主要的市场利基为铅一代[1]，如保险，健康&医疗和房地产，处理改变生活的决策，没有任何数量的数据将永远无法描述或预测。本文阐述了如何字符级，深度长短期记忆网络可以应用于原始用户输入，以帮助预测关闭率。然后，模型的输出被用作一个额外的、高度预测的功能，以显著提高潜在客户评分模型的性能。
2019-01-16 cs.CL cs.LG
Doctor AI: Predicting Clinical Events via Recurrent Neural Networks
Georgia Institute of Technology（佐治亚理工学院）；Sutter Health（萨特医疗系统）
利用电子健康记录（EHR）中的大量历史数据，我们开发了Doctor AI，这是一种通用预测模型，涵盖了观察到的医疗状况和药物使用。Doctor AI是一个使用循环神经网络（RNN）的时间模型，它被开发并应用于来自26万名患者8年多的纵向时间戳EHR数据。将遭遇记录（例如诊断代码、药物代码或程序代码）输入RNN，以预测后续访视的（所有）诊断和药物类别。AI医生评估患者的病史，以进行多标签预测（每个诊断或药物类别一个标签）。基于单独的盲测集评估，Doctor AI可以进行鉴别诊断，召回率高达79%@30，显著高于几个基线。此外，我们通过将结果模型从一个机构调整到另一个机构而不会失去实质性的准确性，证明了Doctor AI的高度普遍性。
2016-09-28 cs.LG
Clinical Recommender System: Predicting Medical Specialty Diagnostic Choices with Neural Network Ensembles
Stanford Center for Biomedical Informatics Research, Stanford University（斯坦福大学生物医学信息学研究中心）；Division of Endocrinology, Stanford University School of Medicine（斯坦福大学医学院内分泌科）；Division of Hospital Medicine, Stanford University（斯坦福大学医院医学部）
对关键医疗资源（如临床专业知识和设施）的需求不断增长，促使基于人工智能（AI）的决策支持系统的出现。我们解决的问题，预测专业转诊的临床检查。作为手动创建的临床检查表的替代方案，我们提出了一个数据驱动的模型，该模型根据从电子健康记录（EHR）中提取的患者最近的临床记录推荐必要的诊断程序。这有可能使卫生系统扩大及时获得初步医疗专业诊断检查的病人。所提出的方法是基于一个合奏的前馈神经网络，并实现了显着更高的准确性相比，传统的临床检查表。
2020-07-23 cs.IR cs.LG stat.ML
Medi-Care AI: Predicting Medications From Billing Codes via Robust Recurrent Neural Networks
Zhengzhou University（郑州大学）；Hefei University of Technology（合肥工业大学）；Dalian Neusoft University of Information（大连东软信息学院）
在本文中，我们提出了一个基于鲁棒循环神经网络（RNN）的有效深度预测框架，以预测患者正在服用的药物的可能治疗类别，给定其记录中的诊断计费代码序列。由于未定义的错误和遗漏，准确捕获给定患者当前服用的药物列表极具挑战性。我们提出了一个通用的强大的框架，明确地模拟可能的污染，通过超时衰减机制的输入计费代码和噪声注入到经常性的隐藏状态，分别。通过这样做，计费代码被重新公式化为每个医疗变量上具有衰减率的时间模式，并且RNN的隐藏状态通过随机噪声进行正则化，这些随机噪声作为丢弃，以提高RNN对缺失值和多个错误方面的数据变化的鲁棒性。所提出的方法进行了广泛的评估，真实的医疗保健数据，以证明其有效性，建议从污染值的药物订单。
2019-11-14 cs.LG stat.ML
Ambiguity in Sequential Data: Predicting Uncertain Futures with Recurrent Models
Università di Bologna（博洛尼亚大学）；BMW Group（宝马集团）；Technische Universität München（慕尼黑工业大学）；Google（谷歌）
模糊性在许多机器学习任务中固有地存在，但特别是对于很少考虑的顺序模型，因为大多数只输出单个预测。在这项工作中，我们提出了一个扩展的多假设预测（MHP）模型来处理模糊的预测与连续的数据，这是特别重要的，因为往往多个未来是同样可能的。我们的方法可以应用于最常见的递归架构，并可以与任何损失函数一起使用。此外，我们引入了一种新的度量模糊的问题，这是更好地适合占的不确定性，并符合我们的直观理解的正确性，在存在多个标签。我们测试我们的方法在几个实验和跨不同的任务处理时间序列数据，如轨迹预测和机动预测，取得了可喜的成果。
2020-03-10 cs.CV cs.LG stat.ML
Patient-centered data science: an integrative framework for evaluating and predicting clinical outcomes in the digital health era
McGill University Health Center Research Institute（麦吉尔大学健康中心研究所）
本研究提出数字健康时代以患者为中心的数据科学整合框架，结合多类数据构建数字患者表征，采用多智能体AI方法优化患者结局，助力构建学习型医疗系统，提升数字健康创新的临床转化效果。
2026-08-05 cs.AI cs.CY cs.LG
Enhancing Personalized Bladder Cancer Treatment Through Reinforcement Learning: A Recurrent Patient State Transition Decision Support Framework
研究针对膀胱癌复发性疾病治疗需个性化决策的问题，提出集成预测状态转换建模、马尔可夫决策过程和深度Q网络强化学习环境的框架，能动态制定治疗计划，经评估效果良好，凸显其作为个性化膀胱癌治疗规划决策支持框架的潜力。
2026-07-21 cs.LG
Improving Recurrent Neural Network Responsiveness to Acute Clinical Events
Laura P. and Leland K. Whittier Virtual Pediatric Intensive Care Unit, Children’s Hospital Los Angeles（洛杉矶儿童医院劳拉·P·和利兰·K·惠蒂尔虚拟儿科重症监护室）
急性护理环境中的预测模型必须能够在呈现反映这种变化的数据时立即识别患者状态的急剧变化。递归神经网络（RNN）已经成为训练和部署临床决策支持模型的常用工具。他们经常表现出对急性事件的延迟反应。新的信息必须通过RNN的细胞状态记忆传播，然后才能在模型的预测中反映出总的影响。这项工作提出了输入数据持久化作为一种训练和部署RNN模型的方法，使其预测更能响应新获取的信息：输入数据在训练和部署过程中被复制。数据输入的每次复制都会影响RNN的单元状态和输出，但只有最终复制时的输出才会被维护和广播，作为评估和部署目的的预测。当呈现反映急性事件的数据时，使用输入持续训练和部署的模型会在预测中立即做出更明显的变化，并保持全局稳健的性能。这样的特征在重症监护病房的预测模型中是至关重要的。
2020-07-28 cs.LG stat.AP
Multimodal Doctor-in-the-Loop: A Clinically-Guided Explainable Framework for Predicting Pathological Response in Non-Small Cell Lung Cancer
Research Unit of Computer Systems and Bioinformatics, Department of Engineering（计算机系统与生物信息学研究单位，工程系）；Research Unit of Radiation Oncology, Department of Medicine and Surgery（放射肿瘤学研究单位，医学与外科系）；Research Unit of Anatomical Pathology, Department of Medicine and Surgery（病理学研究单位，医学与外科系）
本研究提出多模态医生在环框架，结合影像与临床数据，通过嵌入医生知识提升肺癌病理反应预测的准确性和可解释性。
2025-05-02 cs.AI cs.CV cs.LG
A Semi-Supervised Method for Predicting Cancer Survival Using Incomplete Clinical Data
Georgia Institute of Technology（佐治亚理工学院）；Emory University（埃默里大学）
预测癌症患者的存活率是一个开放的研究领域。然而，这些研究中的许多都集中在具有大量患者的数据集上。我们提出了一种新的方法，专门用于解决数据稀缺的挑战，这通常是癌症数据集的情况。我们的方法是能够使用未标记的数据，通过采用半监督训练方法来学习集成分类器，以提高分类。将我们的方法应用于三个癌症数据集的结果显示了半监督学习预测癌症生存率的前景。
2015-09-29 cs.LG
Predicting the Stay Length of Patients in Hospitals using Convolutional Gated Recurrent Deep Learning Model
Canberra Health Services（堪培拉卫生服务局）；Canberra Hospital（堪培拉医院）；Torrens University Australia（澳大利亚托伦斯大学）；The Australian National University（澳大利亚国立大学）；Australian National University（澳大利亚国立大学）
本研究提出结合CNN、GRU和全连接网络的混合深度学习模型预测住院时长，在10折交叉验证中准确率达89%，优于11种机器学习方法，助力医院优化资源配置。
2024-09-26 cs.LG cs.NE
Leveraging Recurrent Neural Networks for Predicting Motor Movements from Primate Motor Cortex Neural Recordings
本研究针对非人灵长类神经记录的运动解码问题，提出采用AEGRU模型（训练阶段用自编码器提升泛化），结合预处理在Neurobench基准及IEEE BioCAS 2024神经解码挑战赛中取得最优$R^2$成绩，且剪枝后可大幅降低运算量且性能损失极小。
2024-11-01 cs.LG eess.SP q-bio.NC
Predicting Liquidity Coverage Ratio with Gated Recurrent Units: A Deep Learning Model for Risk Management
University of Pennsylvania（宾夕法尼亚大学）；Columbia University（哥伦比亚大学）；Rice University（莱斯大学）；New York University（纽约大学）
本文提出基于GRU网络的流动性覆盖率预测模型，利用历史数据学习复杂模式，实验显示其MAE显著优于传统方法，可提升流动性风险管理与金融监管决策的可靠性。
2024-10-24 cs.LG
Multi-Modal Machine Learning Framework for Predicting Early Recurrence of Brain Tumors Using MRI and Clinical Biomarkers
Department of Encephalopathy, Chengdu Pidu District Hospital of Traditional Chinese Medicine（脑病科，成都_pidu区中医医院）；Department of Tuina, Chengdu Pidu District Hospital of Traditional Chinese Medicine（推拿科，成都_pidu区中医医院）；Wuhan Hospital of Integrated Traditional Chinese and Western Medicine, Affiliated to Hubei University of Chinese Medicine（中西医结合医院，湖北中医药大学附属医院）；Department of Electrical and Computer Engineering, Carnegie Mellon University（电气与计算机工程系，卡内基梅隆大学）
针对脑肿瘤术后早期复发预测的临床难题，提出整合结构MRI与临床生物标志物的多模态机器学习框架，采用四种算法并经多指标验证，为风险分层和个性化随访提供工具。
2025-09-01 cs.LG
Predicting clinical outcomes from patient care pathways represented with temporal knowledge graphs
Inria, Inserm, Université Paris Cité, HeKA, UMR 1346（Inria、Inserm、巴黎城市大学、HeKA、UMR 1346）；CNRS, Inserm, Université de Nantes, Institut du Thorax, UMR 1087（CNRS、Inserm、南特大学、胸科研究所、UMR 1087）；Université de Nantes, CHU Nantes（南特大学、南特大学医院）；Inserm, Clinique des données, CIC 1413（Inserm、数据诊所、CIC 1413）
本研究探讨了在颅内动脉瘤患者临床结局预测任务中，图表征与图卷积网络（GCN）嵌入相比表格数据的优势，并强调了数据模式与字面值的重要性。
2025-04-30 cs.AI cs.LG
Learning to Diagnose with LSTM Recurrent Neural Networks
University of California, San Diego（加州大学圣地亚哥分校）；University of Southern California（南加州大学）；Children’s Hospital Los Angeles（洛杉矶儿童医院）
临床医学数据，特别是在重症监护病房（ICU），由多变量时间序列的观察。对于每次患者访视（或发作），传感器数据和实验室测试结果记录在患者的电子健康记录（EHR）中。虽然这些数据可能包含丰富的见解，但由于长度不一、抽样不规则和数据缺失，很难有效挖掘。循环神经网络（RNN），特别是那些使用长短期记忆（LSTM）隐藏单元的网络，是从序列数据中学习的强大且日益流行的模型。它们有效地对不同长度的序列进行建模，并捕获长范围的依赖性。我们提出的第一项研究，经验性地评估LSTM识别模式的临床测量的多变量时间序列的能力。具体来说，我们考虑诊断的多标签分类，训练一个模型来对128个诊断进行分类，给出13个频繁但不规则采样的临床测量结果。首先，我们建立了一个简单的LSTM网络对临床数据建模的有效性。然后，我们展示了一种简单有效的训练策略，在该策略中，我们在每个序列步骤复制目标。仅在原始时间序列上训练，我们的模型优于几个强大的基线，包括在手工设计的特征上训练的多层感知器。
2017-03-21 cs.LG
A Recurrent Neural Network Survival Model: Predicting Web User Return Time
Imperial College London（帝国理工学院）；Vodafone Research（沃达丰研究院）；ISR, IST, Universidade de Lisboa（里斯本大学高等技术学院系统与机器人研究所）
一个网站的活跃用户群的大小直接影响其价值。因此，监控和影响用户返回站点的可能性是重要的。关键是预测用户何时返回。解决该问题的现有技术方法有两种：（1）基于循环神经网络（RNN）的解决方案和（2）生存分析方法。我们观察到，这两种技术是严重限制时，适用于这个问题。生存模型只能合并用户的聚合表示，而不是直接从用户操作的原始时间序列自动学习表示。RNN可以自动学习特征，但不能直接用没有返回时间目标值的非返回用户的例子进行训练。我们开发了一种新的RNN生存模型，消除了现有方法的局限性。我们证明，该模型可以成功地应用于返回时间预测的大型电子商务数据集具有优越的能力，区分返回和非返回的用户比任何一种方法单独应用。
2018-07-11 cs.CY cs.IR cs.LG
Predicting non-linear dynamics by stable local learning in a recurrent spiking neural network
本文提出了一种监督学习方案，用于循环脉冲神经网络中前馈和循环连接的权重学习，通过反馈误差和局部学习规则实现稳定学习，展示了线性、非线性及混沌动力学的学习能力。
2017-04-26 cs.LG cs.NE cs.SY
Bayesian tensor factorization for predicting clinical outcomes using integrated human genetics evidence
Global Blood Therapeutics（Global Blood Therapeutics（全球血液治疗公司））
候选药物的批准成功率非常低，大多数失败是由于安全性和有效性。越来越多的关于靶点、药物分子和适应症的高维信息为ML方法提供了整合多种数据模式并更好地预测临床上有前景的药物靶点的机会。值得注意的是，具有人类遗传学证据的药物靶点被证明有更好的成功几率。然而，最近的一种基于张量因子分解的方法发现，关于目标和适应症的额外信息可能不一定会提高预测准确性。在这里，我们通过整合从公开来源整理的不同类型的人类遗传学证据来重新审视这种方法，以支持每个目标-适应症对。我们使用贝叶斯张量因子分解来表明，与使用单线遗传学证据的模型相比，结合所有可用的人类遗传学证据（罕见疾病，基因负担，常见疾病）的模型适度改善了临床结果预测。我们对不同类型的人类遗传学证据的相对预测能力提供了额外的见解，以预测临床结果的成功。
2022-07-25 cs.LG q-bio.GN stat.AP
Predicting Auction Price of Vehicle License Plate with Deep Recurrent Neural Network
Department of Economics, The Chinese University of Hong Kong, Shatin, Hong Kong（香港中文大学经济系，沙田，香港）
本文提出将车辆车牌价格预测视为自然语言处理任务，通过构建深度循环神经网络来预测香港车牌拍卖价格，并展示了模型在解释价格变化和扩展为车牌搜索引擎方面的贡献。
2019-10-08 cs.CL cs.LG econ.GN
Transfer Learning for Clinical Time Series Analysis using Recurrent Neural Networks
TCS Research（塔塔咨询服务研究院）
深度神经网络在诊断、死亡率预测、住院时间预测等各种临床预测任务中表现出了良好的效果。然而，训练深度网络（例如基于循环神经网络（RNN）的网络）需要大量标记数据、高计算资源和显著的超参数调整工作。在这项工作中，我们研究了当使用深度RNN对多变量临床时间序列进行建模时，迁移学习可以在多大程度上解决这些问题。我们考虑使用大型标记数据集同时传输在多个源任务上训练的RNN中捕获的知识，以构建具有有限标记数据的目标任务的模型。在几个任务上预先训练的RNN提供了通用特征，然后用于为新的目标任务构建更简单的线性模型，而无需训练特定于任务的RNN。为了进行评估，我们训练了一个深度RNN来识别MIMIC-III数据库中时间序列上的几种患者表型，然后使用RNN提取的特征来构建分类器，以识别以前看不见的表型，以及看似无关的住院死亡率任务。我们证明了：（i）使用预训练的RNN提取的特征训练的模型优于或在最坏的情况下，执行特定于任务的RNN;（ii）使用预训练模型的特征的模型比特定于任务的RNN对标记数据的大小更鲁棒;（iii）使用预训练的RNN提取的特征足够通用，并且比典型的统计手工特征表现得更好。
2018-07-04 cs.LG stat.ML
Predicting Clinical Outcome of Stroke Patients with Tractographic Feature
University of California, Santa Barbara（加州大学圣巴巴拉分校）；University of California, Irvine（加州大学欧文分校）
脑卒中病灶体积是预测脑卒中患者临床预后的金标准。然而，中风病变的存在可能会导致其他脑区的神经中断，这些潜在的受损区域可能会影响中风患者的临床结局。在本文中，我们引入了纤维束成像功能来捕获这些潜在的受损区域，并预测修改后的Rankin量表（mRS），这是中风临床试验中广泛使用的结局指标。纤维束成像特征是从一组正常受试者的中风病变和平均连接体信息构建的。纤维束描记特征考虑了可能受中风影响的不同功能区域，从而补充了常用的每搏输出量特征。在公共卒中基准缺血性卒中病变分割2017上测试了拟议的纤维束成像功能，并在预测卒中患者的mRS等级方面实现了比每搏输出量和最先进功能更高的准确性。此外，纤维束描记特征还产生比常用的每搏输出量特征更低的平均绝对误差。
2019-09-19 cs.LG eess.IV q-bio.QM
Predicting Coronal Mass Ejections Using SDO/HMI Vector Magnetic Data Products and Recurrent Neural Networks
New Jersey Institute of Technology（新泽西理工学院）；Big Bear Solar Observatory（大熊太阳观测台）
我们提出了两个循环神经网络（RNN），一个基于门控递归单元，另一个基于长短期记忆，用于预测产生M级或X级耀斑的活动区（AR）是否也会产生日冕物质抛射（CME）。我们将AR中的数据样本建模为时间序列，并使用RNN来捕获数据样本的时间信息。每个数据样本都有18个物理参数或特征，这些参数或特征来自太阳动力学天文台（SDO）上的日震和磁成像仪（HMI）拍摄的光球矢量磁场数据。我们使用美国国家环境信息中心（NCEI）提供的地球同步运行环境卫星的X射线耀斑目录调查了2010年5月至2019年5月发生的M级和X级耀斑，并选择了NCEI目录中具有识别AR的耀斑。此外，我们还从空间天气知识、信息数据库（DONKI）中提取了耀斑与日冕物质抛射的关联。我们使用上面收集的信息来构建手头数据样本的标签（正面与负面）。实验结果表明，我们的RNN在预测数据样本的标签方面优于密切相关的机器学习方法。我们还讨论了扩展我们的方法来预测的概率估计如何可能M-或X-级耀斑将启动CME，具有良好的性能结果。据我们所知，这是RNN首次用于CME预测。
2020-02-22 astro-ph.SR cs.LG
Predicting Clinical Trial Results by Implicit Evidence Integration
School of Medicine, Tsinghua University（清华大学医学院）；Alibaba DAMO Academy（阿里巴巴达摩院）；Alibaba Group（阿里巴巴集团）；Indiana University Bloomington（印第安纳大学伯明顿分校）
临床试验为循证医学实践提供了重要的指导，但往往伴随着难以承受的成本和风险。为了优化临床试验的设计，我们引入了一个新的临床试验结果预测（CTRP）任务。在CTRP框架中，模型将PICO格式的临床试验提案及其背景作为输入，并预测结果，即干预组与比较组在研究人群中测量的结局方面的比较情况。虽然结构化的临床证据对于手动收集来说过于昂贵，但我们从医学文献中利用大规模的非结构化句子，这些句子隐含地包含PICO和结果作为证据。具体来说，我们预先训练了一个模型，以预测从这些隐含证据中分离出来的结果，并利用下游数据集上的有限数据对模型进行微调。在Evidence Integration基准数据集上的实验表明，该模型的性能大大优于基线，例如，在macro-F1中相对于BioBERT具有10.7%的相对增益。此外，性能改善也在另一个由COVID-19相关临床试验组成的数据集上得到验证。
2020-10-12 cs.CL cs.LG
Predicting Confusion from Eye-Tracking Data with Recurrent Neural Networks
The University of British Columbia（不列颠哥伦比亚大学）
受到深度学习在各个领域的成功的鼓舞，我们研究了循环神经网络（RNN）在尚未使用深度学习的领域的适用性和有效性;即从眼动追踪数据中检测混淆。通过对用户与ValueChart（一种交互式可视化工具）交互的数据集进行实验，我们发现RNN从原始数据中学习特征表示，这使得分类器比以前使用工程特征的方法更强大。这通过RNN（0.74/0.71灵敏度/特异性）的更强性能来证明，与随机森林分类器（0.51/0.70灵敏度/特异性）相比，当两者都在未增强的数据集上训练时。然而，使用工程特征允许使用简单的数据增强方法。这些相同的方法在增强从原始数据中学习的特征表示方面并不有效，这可能是由于无法匹配数据的时间动态。
2019-06-19 cs.CV cs.HC cs.LG
Physics-Guided Recurrent Graph Networks for Predicting Flow and Temperature in River Networks
University of Pittsburgh（匹兹堡大学）；U.S. Geological Survey（美国地质调查局）；University of Minnesota（明尼苏达大学）
本文提出了一种物理引导的机器学习方法，将先进的机器学习模型和基于物理的模型相结合，以提高对河流网络中的水流和温度的预测。我们首先建立一个递归图网络模型来捕捉河流网络中多个段之间的相互作用。然后，我们提出了一种预训练技术，该技术从基于物理的模型中转移知识，以初始化机器学习模型并学习水流和热力学的物理学。我们还提出了一个新的损失函数，平衡不同河段的性能。我们证明了所提出的方法在预测温度和流量在特拉华河流域的一个子集的有效性。特别是，我们表明，所提出的方法比最先进的基于物理的模型提高了33%/14%，比传统的机器学习模型提高了24%/14%（例如，长短期记忆神经网络）在温度/流量预测中使用非常稀疏（0.1\%）的观测数据进行训练。所提出的方法也已被证明，以产生更好的性能时，推广到不同的季节或不同的流量范围的河流段。
2020-12-08 cs.CV cs.LG physics.geo-ph
Predicting Aircraft Trajectories: A Deep Generative Convolutional Recurrent Neural Networks Approach
University of California, Berkeley（加州大学伯克利分校）
可靠的4D飞行器轨迹预测，无论是在实时环境中还是用于反事实分析，对航空系统的效率都很重要。为此，我们首先提出了一个高度概括的高效的基于树的匹配算法，从高保真气象数据集-风，温度和对流天气构造图像般的特征地图。然后，我们将轨迹上的轨迹点建模为条件高斯混合，其中参数将从我们提出的深度生成模型中学习，该模型是一个端到端卷积递归神经网络，由长短期记忆（LSTM）编码器网络和混合密度LSTM解码器网络组成。编码器网络将最后一个字段的飞行计划信息嵌入到固定大小的隐藏状态变量中，并馈送给解码器网络，解码器网络进一步从历史飞行轨迹中学习时空相关性，并输出高斯混合的参数。卷积层被集成到管道中，以从高维天气特征中学习表示。在推理过程中，束搜索，自适应卡尔曼滤波器，和Rauch-Tung-Striebel平滑算法被用来修剪生成的轨迹的方差。
2018-12-31 cs.LG stat.ML
