Text-to-ECG: 12-Lead Electrocardiogram Synthesis conditioned on Clinical Text Reports
Medical AI Inc.（医疗人工智能公司）
心电图（ECG）合成是一个研究领域，专注于生成逼真的合成ECG信号用于医疗用途，而无需担心注释成本或临床数据隐私限制。传统的ECG生成模型考虑单个ECG导联并利用基于GAN的生成模型。这些模型只能生成单个导联样本，并且需要为每个诊断类进行单独的训练。ECG的诊断类别不足以根据各种特征（例如，患者人口统计学详细信息、共存的诊断类别等）捕获ECG之间的复杂差异。为了缓解这些挑战，我们提出了一个文本到心电图的任务，其中文本输入用于产生心电图输出。然后，我们提出了Auto-TTE，一个以临床文本报告为条件的自回归生成模型来合成12导联ECG，这是我们所知的第一次。我们比较了我们的模型与其他代表性的模型在文本到语音和文本到图像的性能。实验结果表明，我们的模型在各种定量评价和定性分析的优越性。最后，我们进行了用户研究与三个委员会认证的心脏病专家，以确认所生成的样本的保真度和语义对齐。我们的代码将在https://github.com/TClife/text_to_ecg上提供
2023-03-09 cs.CL cs.LG eess.SP
ME-GAN: Learning Panoptic Electrocardio Representations for Multi-view ECG Synthesis Conditioned on Heart Diseases
Zhejiang University（浙江大学）；Xidian University（西安电子科技大学）；University of Notre Dame（圣母大学）
本文提出疾病感知生成对抗网络ME-GAN，通过全景心电表征、mixup normalization和视图判别器实现以心脏病为条件的多视图心电图合成，并引入rFID指标评估合成质量。
2023-05-29 cs.AI cs.LG eess.SP
Hierarchical Deep Learning with Generative Adversarial Network for Automatic Cardiac Diagnosis from ECG Signals
The University of Tennessee（田纳西大学）；University of Oklahoma Health Sciences Center（俄克拉荷马大学健康科学中心）
心脏病是美国人死亡的主要原因。准确的心脏病检测对于及时治疗以挽救患者的生命至关重要。常规使用心电图（ECG）是医生评估心脏电活动和检测可能的异常心脏状况的最常用方法。充分利用ECG数据进行可靠的心脏病检测取决于开发有效的分析模型。在本文中，我们提出了一个两级分层深度学习框架与生成对抗网络（GAN）的ECG信号的自动诊断。第一级模型由带GAN的内存增强深度自动编码器（MadeGAN）组成，旨在区分异常信号和正常ECG，以进行异常检测。第二级学习的目标是针对不同心律失常识别的鲁棒多类分类，这是通过将迁移学习技术与多分支结构相结合来实现的，以处理数据缺乏和不平衡的数据问题。我们使用来自MIT-BIH心律失常数据库的真实医疗数据来评估所提出的框架的性能。实验结果表明，我们提出的模型优于现有的方法，通常在当前的实践中使用。
2022-10-19 cs.LG eess.SP
DiffECG: A Versatile Probabilistic Diffusion Model for ECG Signals Synthesis
University of Sfax（斯法克斯大学）；ENIS（斯法克斯工程学院）；Digital Research Center of Sfax（斯法克斯数字研究中心）
本文提出DiffECG，一种基于去噪扩散概率模型的通用心电信号合成方法，支持心跳生成、部分插补和完整预测，性能优于现有生成模型并能增强分类器效果。
2024-05-03 cs.CV cs.LG
Leveraging Statistical Shape Priors in GAN-based ECG Synthesis
University of Sfax（斯法克斯大学）；ENIS（斯法克斯国立工程师学院）；Centre de Recherche en Numérique de Sfax（斯法克斯数字研究中心）；Philipps-Universität Marburg（马尔堡菲利普斯大学）
本文提出结合 GAN 与统计形状先验的 ECG 信号生成方法，将时间与幅度变化建模为二维形状，并在 MIT-BIH 上验证其优于现有 GAN 基线。
2023-06-03 cs.AI cs.LG eess.SP
ECGNet: A generative adversarial network (GAN) approach to the synthesis of 12-lead ECG signals from single lead inputs
Emory University（埃默里大学）
针对现有GAN仅支持多导联输入且保留特征不明的问题，提出带双向LSTM生成器和CNN判别器的ECGNet，可从任意单导联生成12导联ECG，明确保留的CVD相关特征，在胸导联上FD得分达SOTA，且助力多CVD靶点预测。
2023-09-23 cs.AI cs.LG eess.SP
ECGAN: Self-supervised generative adversarial network for electrocardiography
University of Pisa（比萨大学）
高质量的合成数据可以支持为生物医学任务开发有效的预测模型，特别是在罕见疾病或受到强制性隐私限制时。例如，这些限制对关于心律失常的心电图数据集的开放获取产生负面影响。这项工作介绍了一种自我监督的方法来生成合成心电图时间序列，这被证明是促进形态学的可扩展性。我们的模型（ECGAN）允许调节特定节律异常的生成过程，增强样本之间的同步性和多样性。还定义了专用样本质量评估框架，利用心律失常分类器。实证结果突出了对国家的最先进的生成模型的序列和音频合成的实质性改善。
2023-01-23 cs.LG
Complementarity-Preserving Generative Theory for Multimodal ECG Synthesis: A Quantum-Inspired Approach
Morgan State University（摩根州立大学）
本文提出保持互补性的生成理论，通过量子启发框架Q-CFD-GAN生成多模态ECG数据，减少潜在嵌入方差并恢复三领域互补性，提升临床应用的生理意义。
2026-03-16 cs.AI cs.LG eess.IV
ODE-Constrained Generative Modeling of Cardiac Dynamics for 12-Lead ECG Synthesis
本文提出利用微分方程建模12导联ECG生成，通过Euler Loss提升数据真实性，实验证明在多个心脏异常中提升特异性。
2026-03-19 cs.LG
ECG synthesis with Neural ODE and GAN models
Maynooth University（梅努斯大学）；Dublin City University（都柏林城市大学）
连续的医学时间序列数据，如心电图，由于其动态和高维的特性，是最复杂的时间序列之一。此外，由于其敏感性，隐私问题和法律限制，使用实际数据进行不同的医学研究往往甚至很复杂。因此，产生连续的医疗时间序列是一个非常关键的研究领域。一些研究工作已经表明，生成对抗网络（GANs）在连续医疗时间序列生成的情况下的能力是有前途的。大多数医学数据生成工作，如ECG合成，主要由GAN模型及其变体驱动。另一方面，神经元常微分方程（Neural ODE）的一些最新研究表明，它具有很强的抗信息缺失、高维以及连续时间序列动态特性的能力。神经常微分方程不把连续时间序列看作离散时间序列，而是能够连续地、实时地对连续时间序列进行训练。在这项工作中，我们使用基于神经ODE的模型来生成合成正弦波和合成ECG。介绍了一种新的基于神经元常微分方程的生成器和鉴别器的生成对抗网络的设计方法。我们开发了三种新模型来合成连续的医疗数据。然后使用不同的评估度量来定量地评估所生成的合成数据的质量，以用于真实世界的应用和数据分析。这项工作的另一个目标是结合GAN和神经ODE的优势来生成合成的连续医疗时间序列数据，如ECG。我们还评估了GAN模型和神经ODE模型，以了解GAN和神经ODE家族模型在医疗数据合成中的比较效率。
2022-06-06 cs.LG
Generating Realistic Multi-Beat ECG Signals
Department of Bioengineering, Imperial College London（帝国理工学院生物工程系）；Imperial Global Singapore, Imperial College London（帝国理工学院全球新加坡分校）；Department of Computer Science, University of Manchester（曼彻斯特大学计算机科学系）
本文提出一种三层合成框架，利用扩散模型生成高保真单拍并组装长序列，在心律失常分类中优于端到端方法，可生成多分钟心电图。
2025-05-19 cs.LG eess.SP
CLEP-GAN: An Innovative Approach to Subject-Independent ECG Reconstruction from PPG Signals
University of Toronto（多伦多大学）；York University（约克大学）；Duke Kunshan University（昆山杜克大学）；Fields Institute for Research in Mathematical Sciences（数学科学领域研究所）
提出CLEP-GAN，结合ODE合成数据、对比学习、对抗学习与注意力门控，实现受试者无关的PPG到ECG重建，并探讨人口统计因素对准确性的影响。
2025-02-24 cs.LG eess.SP
The Effect of Data Augmentation on Classification of Atrial Fibrillation in Short Single-Lead ECG Signals Using Deep Neural Networks
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所）；Friedrich-Alexander University Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；University of Leeds（利兹大学）
心血管疾病是全世界最常见的死亡原因。在无症状阶段检测心房颤动（AF）有助于预防中风。它还通过及时提供适当的治疗（如抗凝治疗）来改善临床决策。近年来，心电图（ECG）信号中AF的早期检测的临床意义激发了许多研究，其中许多研究旨在通过利用机器学习算法来解决这一任务。然而，包含AF样本的ECG数据集通常遭受严重的类不平衡，如果不考虑，会影响分类算法的性能。数据增强是解决这个问题的一个流行的解决方案。在这项研究中，我们调查了各种数据增强算法的影响，例如，过采样，高斯混合模型（GANs）和生成对抗网络（GANs），解决类不平衡问题。这些算法进行了定量和定性的评价，比较和详细讨论。结果表明，基于深度学习的AF信号分类方法比过采样更受益于使用GANs和GARCH的数据增强。此外，GAN导致平均约$3\%$更好的AF分类准确度，同时在f1分数方面执行GMM的验证。
2020-02-13 cs.LG eess.SP stat.ML
Fully Automatic Electrocardiogram Classification System based on Generative Adversarial Network with Auxiliary Classifier
City University of Hong Kong（香港城市大学）
提出了一种基于生成对抗网络（GAN）的高性能全自动心电图（ECG）心律失常分类系统。我们的GAN中的发生器（G）设计用于生成以不同心律失常类别为条件的各种耦合矩阵输入，以用于数据增强。我们设计的ECG（D）在真实和生成的ECG耦合矩阵输入上进行训练，并且在完成我们的GAN的训练后被提取作为心律失常分类器。在通过包括使用无监督算法估计的患者特定正常搏动来微调D并通过G生成通常很少获得的异常搏动之后，我们的全自动系统在MIT-BIH心律失常数据库上显示出室上性异位搏动（SVEB或S搏动）和室性异位搏动（VEB或V搏动）的总体分类性能优越。它超越了几个最先进的自动分类器，可以在类似的水平上执行一些专家辅助方法。特别是，SVEB的F1分数比性能最好的自动系统提高了13%。此外，SVEB（87%）和VEB（93%）的检测灵敏度均达到较高水平，这对实际诊断具有重要价值。因此，我们建议我们的ACE-GAN（生成对抗网络与心电图辅助分类器）为基础的自动系统可以是一个有前途的和可靠的工具，高通量的临床筛选实践，而不需要任何人工干预或专家辅助标记。
2021-03-04 cs.LG eess.SP stat.ML
Blind ECG Restoration by Operational Cycle-GANs
心电图（ECG）信号的连续长期监测对于早期检测心律失常等心脏异常至关重要。由Holter和可穿戴ECG传感器采集的非临床ECG记录经常遭受严重的伪影，诸如基线漂移、信号切割、运动伪影、QRS幅度的变化、噪声和其他干扰。通常，一组这样的伪影以不同的严重性和持续时间出现在同一ECG信号上，这使得机器或医生的准确诊断非常困难。尽管有许多研究尝试了ECG去噪，但由于其简单和幼稚的噪声模型，它们自然无法恢复被这种伪影破坏的实际ECG信号。在这项研究中，我们提出了一种使用周期一致的生成对抗网络（Cycle-GAN）进行盲ECG恢复的新方法，无论破坏信号的伪影的类型和严重程度如何，信号的质量都可以提高到临床水平ECG。为了进一步提高恢复性能，我们提出了具有生成神经元模型的1D操作Cycle-GAN。所提出的方法已经使用来自中国生理信号挑战赛（CPSC-2020）的最大的基准ECG数据集之一进行了广泛的评估，超过一百万次心跳。除了定量和定性评估外，一组心脏病专家还进行了医学评估，以验证恢复的ECG的质量和可用性，特别是对于准确的心律失常诊断。
2022-01-29 cs.AI cs.LG eess.SP
A Usable GAN-Based Tool for Synthetic ECG Generation in Cardiac Amyloidosis Research
Affiliation, address, email.（所属机构、地址、邮箱）
本文提出了一种基于GAN的可使用工具，用于生成合成ECG波形，以支持心肌脂肪变的早期诊断和患者分层。
2026-01-13 cs.LG
Arrhythmia Classification using CGAN-augmented ECG Signals
University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；Clemson University（克莱姆森大学）
ECG数据库通常是高度不平衡的，由于正常ECG的丰富和异常情况下的稀缺。因此，在不平衡数据集上训练的深度学习分类器通常表现不佳，尤其是在小类上。一种解决方案是使用生成对抗网络（GAN）来生成真实的合成ECG信号以增强不平衡的数据集。在这项研究中，我们将条件GAN与WGAN-GP相结合，首次开发了一维形式的AC-WGAN-GP，并将其应用于MIT-BIH心律失常数据集。我们研究了数据增强对心律失常分类的影响。我们采用两种模型用于ECG生成：（i）无条件GAN;具有梯度惩罚的Wasserstein GAN（WGAN-GP）在每个类上单独训练;（ii）有条件GAN;一个辅助分类器WGAN-GP（AC-WGAN-GP）模型在所有类上训练，然后用于生成所有类中的合成搏动。针对每种情况定义两种场景：（a）未筛选;使用所有生成的合成搏动，以及（b）筛选;基于生成的搏动与指定模板的动态时间规整（DTW）距离，仅选择和使用生成的搏动的一部分。在每个增强数据集上训练最先进的ResNet分类器（EcgResNet 34），并将性能指标（精度/召回率/F1-分数微观和宏观平均，混淆矩阵，多类精度-召回率曲线）与未增强的不平衡情况进行比较。我们还使用了一个简单的指标Net Improvement。所有这三个指标一致表明，净改善（总的和小类），无条件的GAN与原始生成的数据（未筛选）创造了最好的改善。
2022-11-17 cs.LG eess.SP
ECGrecover: a Deep Learning Approach for Electrocardiogram Signal Completion
IRD（法国发展研究院）；Sorbonne Université（索邦大学）；University Paris-Saclay（巴黎-萨克雷大学）；INSERM（法国国家健康与医学研究院）；Pitié-Salpêtrière University Hospital（皮蒂-萨尔皮特里大学医院）；Vanderbilt University Medical Center（范德堡大学医学中心）；AP-HP（巴黎公共医疗集团）；Hôpital Pitié-Salpêtrière（皮蒂-萨尔皮特里医院）
提出ECGrecover，一种基于U-Net和复合目标函数的深度学习方法，用于从缺失或不完整信号中重建完整12导联心电图，并在真实数据集上优于现有方法。
2025-01-20 cs.CV cs.LG eess.SP
ECGTwin: Personalized ECG Generation Using Controllable Diffusion Model
State Key Laboratory of General Artificial Intelligence, Beijing, China（一般人工智能国家重点实验室）；School of Intelligence Science and Technology, Peking University, Beijing, China（智能科学与技术学院）；National Institute of Health Data Science, Peking University, Beijing, China（健康数据科学国家研究院）；Department of Cardiology, Peking University People’s Hospital, Beijing, China（心血管内科）
ECGTwin通过可控扩散模型实现个性化ECG生成，解决个体特征提取与条件注入难题，提升医疗诊断的精准性。
2026-02-02 cs.AI cs.LG
ECGadv: Generating Adversarial Electrocardiogram to Misguide Arrhythmia Classification System
The Hong Kong University of Science and Technology（香港科技大学）；Southern University of Science and Technology, Peng Cheng Laboratory（南方科技大学鹏城实验室）；Huazhong University of Science and Technology（华中科技大学）
本文针对基于深度神经网络的心电图诊断系统，分析心电图特性并设计两种攻击模型下的对抗攻击方案，揭示系统盲点，呼吁采取对策。
2020-01-14 cs.LG eess.SP stat.ML
eCommerceGAN : A Generative Adversarial Network for E-commerce
Indian Institute of Science（印度科学理工学院）；Amazon India Machine Learning（亚马逊印度机器学习）
亚马逊、阿里巴巴和Flipkart等电子商业公司每年处理数十亿订单。然而，这些命令只代表所有合理命令的一小部分。探索所有合理订单的空间可以帮助我们更好地理解电子商业生态系统中各种实体之间的关系，即客户和他们购买的产品。在本文中，我们提出了一个生成对抗网络（GAN）的订单在电子商业网站。一旦经过训练，GAN中的生成器就可以生成任意数量的合理订单。我们的贡献包括：（a）创建电子商务订单的密集和低维表示，（b）用真实订单训练电子商务GAN（ecGAN）以显示所提出的范例的可行性，以及（c）训练电子商务条件GAN（ec^2 GAN）以生成涉及特定产品的合理订单。我们提出了几种定性的方法来评估ecGAN，并证明其有效性。ec^2GAN用于对涉及刚被引入到电子商业系统中的产品的可能订单进行各种表征。在大多数情况下，所提出的方法ec^2GAN的性能明显优于基线。
2018-01-10 cs.LG
Synthetic ECG Signal Generation Using Generative Neural Networks
University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；Clemson University（克莱姆森大学）
心电图（ECG）数据集往往是高度不平衡的，由于异常情况的稀缺性。此外，由于隐私问题，使用真实患者的ECG受到高度管制。因此，总是需要更多的ECG数据，特别是用于自动诊断机器学习模型的训练，这些模型在平衡数据集上训练时表现更好。我们研究了生成对抗网络（GAN）家族中5种不同模型的合成ECG生成能力，并比较了它们的性能，重点是正常心动周期。动态时间规整（DTW），Fréchet和欧几里得距离函数被用来定量测量性能。提出并应用了五种不同的生成节拍的评价方法。我们还提出了三个新的概念（阈值，接受节拍和生产率），并采用它们与上述方法作为一个系统的方式进行比较模型。结果表明，所有测试模型都可以在一定程度上成功地批量生成具有高度相似性的形态特征的可接受心跳，并且所有这些模型都可以用于增强不平衡数据集。然而，对生成的心搏进行目视检查有利于BiLSTM-DC GAN和WGAN，因为它们产生的心搏在统计学上更可接受。此外，关于生产率，经典GAN是优越的72%的生产率。我们还设计了一个简单的实验与国家的最先进的分类器（ECGResNet 34）经验表明，合成ECG信号的不平衡数据集的增强可以显着提高分类的性能。
2022-08-24 cs.AI cs.LG
Simultaneous 12-Lead Electrocardiogram Synthesis using a Single-Lead ECG Signal: Application to Handheld ECG Devices
Texas A&M University（得克萨斯农工大学）；Dell Inc.（戴尔公司）；Heart Artery and Vein Center of Fresno（弗雷斯诺心脏动脉与静脉中心）
最近推出的各种配置的可穿戴单导联ECG设备引起了医学界的兴趣。虽然这些设备为护理人员提供了非常实惠的支持工具，用于连续监测和检测急性状况，例如心律失常，但它们用于心脏诊断的实用性仍然有限。这是因为许多心脏病的临床诊断植根于同步12导联ECG的收集模式。如果可以从这些单导联设备合成具有临床质量的同步12导联信号，则可以通过大幅降低成本和增强心脏诊断的可及性来改变心脏护理。然而，合成同步12导联ECG的先前尝试尚未成功。心电向量描记术（VCG）分析表明，从早期尝试合成的心轴明显偏离12导联和/或Frank导联测量的估计值。这一工作可能是首次成功地从单导联ECG合成临床等效的同步12导联ECG。我们的方法采用随机森林机器学习模型，该模型使用受试者的历史12导联记录来估计受试者的所有11个缺失导联的形态，包括各种ECG事件的实际定时（相对于测量的单导联ECG）。我们的方法在两个基准数据集以及从加利福尼亚州弗雷斯诺的心脏，动脉和静脉中心获得的纸质ECG和AliveCor-Kardia数据上进行了验证。结果表明，该方法可以合成同步心电图的准确率（R2）超过90%。从单导联设备精确合成12导联ECG最终可以实现其更广泛的应用和改进的床旁（POC）诊断。
2018-11-20 cs.LG eess.SP stat.ML
Conditional Electrocardiogram Generation Using Hierarchical Variational Autoencoders
Sber AI Lab（Sber AI实验室）
本文提出cNVAE-ECG模型，通过生成多病理心电图提升诊断准确性，在迁移学习中实现AUROC提升2%。
2025-04-28 cs.CV cs.LG eess.SP
ECG-ATK-GAN: Robustness against Adversarial Attacks on ECGs using Conditional Generative Adversarial Networks
University of Nevada, Reno（内华达大学里诺分校）；Fudan University（复旦大学）
从ECG自动检测心律失常需要一个强大且可靠的系统，该系统在电气干扰下保持高精度。许多机器学习方法在分类ECG心律失常方面已经达到了人类水平的性能。然而，这些架构容易受到对抗性攻击，这可能会通过降低模型的准确性来错误分类ECG信号。对抗性攻击是在原始数据中注入的精心制作的小扰动，它表现出信号中的分布偏移，从而对正确的类进行错误分类。因此，出现了安全问题的虚假住院和保险欺诈滥用这些扰动。为了解决这个问题，我们引入了第一个新的条件生成对抗网络（GAN），对对抗攻击的ECG信号具有鲁棒性，并保持高精度。我们的架构集成了一个新的类加权目标函数，用于对抗性扰动识别和新的块，用于识别和组合学习过程中信号的分布偏移，以准确分类各种心律失常类型。此外，我们基准我们的架构上六个不同的白盒和黑盒攻击，并将它们与其他最近提出的心律失常分类模型在两个公开的ECG心律失常数据集。实验证实，我们的模型是更强大的对抗这种对抗性攻击分类心律失常的准确性高。
2022-08-25 cs.AI cs.LG eess.SP
Bayesian Generative Adversarial Networks via Gaussian Approximation for Tabular Data Synthesis
Department of Social Statistics, The University of Manchester（社会统计系，曼彻斯特大学）；Alliance Manchester Business School, The University of Manchester（曼彻斯特商业联盟学院，曼彻斯特大学）
本文提出GACTGAN，通过高斯近似技术在CTGAN中整合贝叶斯后验近似，以更高效地生成表格数据，提升数据结构和统计信息的保真度并降低隐私风险。
2026-02-25 cs.LG stat.ML
User-Controllable Multi-Texture Synthesis with Generative Adversarial Networks
Samsung AI Center Moscow（三星莫斯科人工智能中心）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；National Research University Higher School of Economics（高等经济大学）
提出了一种基于生成对抗网络（GANs）的多纹理合成模型，该模型具有用户可控机制。用户控制功能允许明确指定应该由模型生成的纹理。该属性来自于使用编码器部分，该编码器部分从数据集中学习每个纹理的潜在表示。为了确保数据集的覆盖率，我们使用了一个对抗性的损失函数，该函数对给定纹理的不正确再现进行惩罚。在实验中，我们证明了我们的模型可以学习大型数据集和原始数据（如高分辨率照片）的描述性纹理流形。此外，我们应用我们的方法来产生3D纹理，并表明它优于现有的基线。
2019-04-24 cs.CV cs.LG stat.ML
Defending Against Adversarial Attack in ECG Classification with Adversarial Distillation Training
Tsinghua University（清华大学）；HeartVoice Medical Technology（心之声医疗科技）；University of Science and Technology of China（中国科学技术大学）；HeartRhythm Medical（心律医疗）；Tianjin Institute of Cardiology（天津心脏病学研究所）；Second Hospital of Tianjin Medical University（天津医科大学第二医院）；Peking University（北京大学）
在诊所，医生依靠心电图（ECG）来评估严重的心脏疾病。由于技术的发展和健康意识的提高，目前通过使用医疗和商业设备来获得ECG信号。深度神经网络（DNN）可以用来分析这些信号，因为它们的准确率很高。然而，研究人员发现，对抗性攻击会显著降低DNN的准确性。已经进行了一些研究来保护基于ECG的DNN免受传统的对抗性攻击，例如投影梯度下降（PGD）和针对ECG分类的平滑对抗性扰动（SAP）;然而，据我们所知，还没有研究完全探索针对ECG分类的对抗性攻击的防御。因此，我们做了不同的实验，以探讨针对ECG分类的白盒对抗性攻击和黑盒对抗性攻击的防御方法的效果，我们发现一些常见的防御方法对这些攻击表现良好。此外，我们提出了一种新的防御方法，称为对抗蒸馏训练（ADT），它来自防御蒸馏，可以有效地提高DNN的泛化性能。结果表明，我们的方法比其他基线方法，即对抗性训练，防御性蒸馏，雅各布正则化和信噪比正则化，更有效地对抗针对ECG分类的对抗性攻击。此外，我们发现，我们的方法表现出更好的PGD攻击与低噪声水平，这意味着我们的方法具有更强的鲁棒性。
2022-03-14 cs.CR cs.LG eess.SP
Application of Adversarial Examples to Physical ECG Signals
Waseda University（早稻田大学）；The University of Electro-Communications（电气通信大学）；University of Tsukuba（筑波大学）；RIKEN AIP（理化学研究所革新智能统合研究中心）
本研究旨在评估机器学习算法对心脏诊断系统进行对抗攻击的现实性和可行性。为此，我们引入对抗性搏动，这是专门针对心电图（ECG）逐搏分类系统定制的对抗性扰动。首先，我们制定了一个算法来产生对抗的例子的心电图分类神经网络模型，并研究其攻击成功率。接下来，为了评估其在物理环境中的可行性，我们通过设计一个恶意信号发生器来进行硬件攻击，该信号发生器将对抗性搏动注入ECG传感器读数。据我们所知，我们的工作是第一个在物理设置中评估ECG对抗性示例的熟练程度。我们的真实世界实验表明，在2分钟的过程中，对抗性心跳在40次尝试中成功地操纵了3-5次诊断结果。最后，我们讨论了整体的可行性和影响的攻击，通过明确定义的动机和约束的预期攻击者以及我们的实验结果。
2021-08-20 cs.CR cs.LG eess.SP
Generative Adversarial Network Architectures For Image Synthesis Using Capsule Networks
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
在本文中，我们提出了生成对抗网络（GAN）架构，使用胶囊网络进行图像合成。基于特征的位置等方差原理，胶囊网络对图像特征之间的空间关系进行编码的能力有助于它成为比当前图像合成架构中使用的卷积神经网络（CNN）更强大的批评者。我们提出的GAN架构学习数据流形的速度要快得多，因此，与使用CNN的GANs及其变体相比，可以在更少的训练样本和训练时间内合成视觉上准确的图像。除了分析不同架构生成的图像对应的定量结果外，我们还探索了使用CNN批评的GAN架构所探索的覆盖率和多样性较低的原因。
2018-11-20 cs.CV cs.LG cs.NE
Data Augmentation with GAN increases the Performance of Arrhythmia Classification for an Unbalanced Dataset
由于数据短缺问题，这是机器学习领域的主要问题之一，许多应用程序的准确性水平仍然远低于预期。它阻止研究人员利用现有数据开发新的基于人工智能的系统。这个问题可以通过用增强方法生成新的合成数据来解决。在这项研究中，新的心电图信号产生使用MIT-BIH心律失常数据库通过使用生成对抗神经网络（GAN），这是一种现代的数据增强方法。这些生成的数据被用于训练机器学习系统和真实的ECG数据用于测试它。所得到的结果表明，这种方式的机器学习系统的性能提高。
2023-02-24 cs.AI cs.LG eess.SP
Evolving SimGANs to Improve Abnormal Electrocardiogram Classification
Georgia Tech Research Institute（佐治亚理工研究院）
机器学习模型被广泛应用于各种领域。然而，机器学习方法通常需要大量的数据才能成功。在收集真实世界数据困难和/或昂贵的领域中，这尤其麻烦。数据模拟器确实存在于这些领域中的许多领域，但由于缺乏真实世界的噪声等因素，它们不能充分反映真实世界的数据。最近，生成对抗网络（GANs）已被修改，以使用SimGAN方法将模拟图像数据细化为更好地拟合真实世界分布的数据。虽然进化计算已经用于GAN进化，但是目前没有可以进化SimGAN的框架。在本文中，我们（1）扩展SimGAN方法来细化一维数据，（2）修改易笛卡尔遗传编程（ezCGP），一个进化计算框架，创建SimGAN，更准确地细化模拟数据，（3）创建新的基于特征的定量指标来评估细化数据。我们还使用我们的框架来增强心电图（ECG）数据集，这是一个受到前面提到的问题困扰的领域。特别是，虽然可以模拟健康的ECG，但目前还没有异常ECG的模拟器。我们表明，通过使用进化的SimGAN来改进模拟的健康ECG数据，以模仿真实世界的异常ECG，我们可以提高异常ECG分类器的准确性。
2022-05-12 cs.AI cs.LG cs.NE
HARDC : A novel ECG-based heartbeat classification method to detect arrhythmia using hierarchical attention based dual structured RNN with dilated CNN
Universiti Malaysia Pahang（马来西亚彭亨大学）；Queensland University of Technology（昆士兰科技大学）；Islamic University（伊斯兰大学）；The University of Sydney（悉尼大学）；University of Cambridge（剑桥大学）；The Garvan Institute of Medical Research（加文医学研究所）；The University of Queensland（昆士兰大学）
本文提出HARDC混合模型，融合扩张CNN、BiGRU-BiLSTM与分层注意力，并借助CGAN增强数据，实现高精度心律失常分类并降低运行时间。
2023-03-06 cs.AI cs.LG eess.SP
Composite Travel Generative Adversarial Networks for Tabular and Sequential Population Synthesis
Concordia University（康考迪亚大学）；Ryerson University（瑞尔森大学）
基于代理人的交通建模已成为标准，以模拟旅行行为，流动性选择和活动偏好，使用整个人口的分类旅行需求数据，这些数据通常不易获得。为此目的提出了各种方法来综合人口数据。我们提出了一种复合旅行生成对抗网络（CTGAN），这是一种新型的深度生成模型，用于估计人口的潜在联合分布，能够重建具有表格（例如年龄和性别）以及连续移动数据（例如行程轨迹和序列）的复合合成代理。CTGAN模型与其他最近提出的方法，如变分自编码器（VAE）的方法，这表明在高维表格人口合成的成功。我们根据分布相似性、多变量相关性和时空度量来评估合成输出的性能。结果表明，一致和准确的生成合成人口和他们的表格和空间顺序的属性，在不同的空间尺度和尺寸。
2020-04-15 cs.LG cs.MA stat.ML
GANSynth: Adversarial Neural Audio Synthesis
Google AI（谷歌AI）
高效的音频合成是一项固有的困难的机器学习任务，因为人类感知对全局结构和精细尺度波形相干性都很敏感。自回归模型，如WaveNet，以全局潜在结构和缓慢的迭代采样为代价对局部结构进行建模，而生成对抗网络（GANs）具有全局潜在条件和高效的并行采样，但难以生成局部相干的音频波形。在本文中，我们证明了GANs实际上可以通过在谱域中以足够的频率分辨率对对数幅度和瞬时频率进行建模来生成高保真和局部相干的音频。通过对NSynth数据集的广泛实证研究，我们证明了GANs能够在自动和人工评估指标上超越强大的WaveNet基线，并有效地生成比自回归对应物快几个数量级的音频。
2019-04-15 cs.LG cs.SD eess.AS
Neural Synthesis of Footsteps Sound Effects with Generative Adversarial Networks
Queen Mary University of London（伦敦玛丽女王大学）
脚步声是多媒体应用中最普遍的声音效果之一。有大量的研究了解的声学特性和发展的合成模型的脚步声效果。在本文中，我们提出了第一次尝试采用神经合成这项任务。我们实现了两种基于GAN的架构，并将结果与真实录音以及六种传统的声音合成方法进行了比较。我们的架构达到了与记录样本一样高的真实感分数，为手头的任务显示了令人鼓舞的结果。
2021-12-10 cs.AI cs.LG cs.SD
Adversarial Generation of Time-Frequency Features with application in audio synthesis
Acoustics Research Institute, Austrian Academy of Sciences（奥地利科学院声学研究所）；Swiss Data Science Center, ETH Zürich（苏黎世联邦理工学院瑞士数据科学中心）
时频（TF）表示为时间序列（如音频）的分析提供了强大而直观的功能。但是，TF域中音频的生成建模仍然是一个微妙的问题。因此，神经音频合成广泛地依赖于直接对波形进行建模，并且先前从神经生成的可逆TF特征无条件地合成音频的尝试仍然难以以令人满意的质量产生音频。在这篇文章中，我们将重点关注短时傅里叶变换，讨论基于生成的可逆TF特征的音频合成中出现的挑战以及如何克服这些挑战。我们通过在短时傅立叶特征上训练生成对抗网络（GAN）来展示故意生成TF建模的潜力。我们表明，通过应用我们的指导方针，我们基于TF的网络能够超越直接生成波形的最先进的GAN，尽管这两个网络的架构相似。
2019-05-16 cs.LG cs.SD eess.AS
MemeFaceGenerator: Adversarial Synthesis of Chinese Meme-face from Natural Sentences
Peking University, Beijing, China（北京大学，中国北京）
中国模因脸是广泛存在于中国社区网络中的一种特殊的网络亚文化。它通常包括一个模板图像修改了一些有趣的细节和文字说明。在本文中，我们提出了MemeFaceGenerator，生成对抗网络的注意力模块和模板信息作为补充信号，自动生成模因脸从文本输入。我们还开发了一个Web服务作为模因人脸合成的系统演示。MemeFaceGenerator已经被证明能够从随机文本输入中生成高质量的meme-faces。
2019-08-14 cs.CL cs.LG
Single-level Adversarial Data Synthesis based on Neural Tangent Kernels
National Tsing Hua University（国立清华大学）
摘要生成对抗网络（GANs）在数据合成方面取得了令人印象深刻的性能，并推动了许多应用的发展。然而，GANs由于其双层目标而难以训练，这导致了收敛、模式坍塌和梯度消失的问题。在本文中，我们提出了一个新的生成模型称为生成对抗NTK（GA-NTK），有一个单级目标。GA-NTK保持了对抗学习的精神（这有助于生成合理的数据），同时避免了GANs的训练困难。这是通过用神经切线核（NTK-GP）将神经网络建模为高斯过程来完成的，NTK-GP的训练动态可以完全由封闭形式的公式来描述。我们分析了用梯度下降训练的GA-NTK的收敛性，并给出了收敛的充分条件。我们还进行了大量的实验来研究GA-NTK的优点和局限性，并提出了一些技术，使GA-NTK更实用。
2022-11-20 cs.LG
GT-GAN: General Purpose Time Series Synthesis with Generative Adversarial Networks
Yonsei University（延世大学）；Kakao Corp.（Kakao公司）；Linger Studio Corp.（Linger工作室公司）
时间序列合成是深度学习领域的一个重要研究课题，可用于数据增强。时间序列数据类型可以大致分为规则或不规则。然而，没有现有的生成模型在没有任何模型变化的情况下对这两种类型都表现出良好的性能。因此，我们提出了一个通用的模型，能够合成规则和不规则的时间序列数据。据我们所知，我们是第一个设计一个通用的时间序列合成模型，这是时间序列合成最具挑战性的设置之一。为此，我们设计了一种基于生成对抗网络的方法，其中许多相关技术被精心集成到一个单一的框架中，从神经常/控制微分方程到连续时间流过程。我们的方法优于所有现有的方法。
2022-10-11 cs.AI cs.LG
Parallel waveform synthesis based on generative adversarial networks with voicing-aware conditional discriminators
1 LINE Corp., Tokyo, Japan 2 NAVER Corp., Seongnam, Korea 3 Search Solutions Inc., Seongnam, Korea
本文提出了基于并行WaveGAN的波形合成系统中的感知条件鉴别器。在这个框架中，我们采用了一种基于投影的条件反射方法，可以显着提高神经网络的性能。此外，传统的波形鉴别器被分成两个波形鉴别器，用于建模有声和无声语音。随着每个训练器分别学习谐波和噪声分量的独特特征，对抗训练过程变得更加有效，使生成器能够产生更逼真的语音波形。主观测试结果表明，该方法优于传统的并行Wavegan和WaveNet系统。特别是，我们在基于FastSpeech 2的文本到语音框架内独立于说话者训练的模型分别为四名日语发言者获得了4.20，4.18，4.21和4.31的平均意见得分。
2021-04-26 cs.LG cs.SD eess.AS
Pretraining ECG Data with Adversarial Masking Improves Model Generalizability for Data-Scarce Tasks
Harvard Medical School（哈佛医学院）；Massachusetts Institute of Technology（麻省理工学院）
医疗数据集通常面临数据稀缺的问题，因为地面真实标签必须由医疗专业人员生成。一种缓解策略是使用自监督学习（SSL）在大型未标记数据集上预训练深度学习模型。数据增强对于提高SSL训练模型的泛化能力至关重要，但它们通常是手工制作和手动调整的。我们使用对抗模型来生成掩码作为12导联心电图（ECG）数据的增强，其中掩码学习遮挡ECG的诊断相关区域。与随机增强相比，对抗性掩蔽在转移到两个不同的下游目标时达到更好的准确性：心律失常分类和性别分类。与最先进的ECG增强方法3KG相比，对抗性掩蔽在数据稀缺的情况下表现更好，证明了我们模型的普遍性。
2022-11-15 cs.AI cs.LG eess.SP
Expediting TTS Synthesis with Adversarial Vocoding
UC San Diego（加州大学圣地亚哥分校）
最近的文本到语音（TTS）合成方法采用神经网络策略，直接将感知到的声谱图表示声码为可识别的波形。这样的声码过程在现代TTS流水线中产生了计算瓶颈。我们提出了一种替代方法，该方法利用生成对抗网络（GANs）来学习从感知信息频谱图到简单幅度频谱图的映射，该频谱图可以进行语音编码。通过用户研究，我们表明，我们的方法显着优于天真的语音编码策略，同时是数百倍的速度比神经网络声码器在国家的最先进的TTS系统。我们还表明，我们的方法可以用来实现国家的最先进的结果，在无监督合成的个别字的语音。
2019-07-26 cs.LG cs.SD eess.AS
Novel Blood Pressure Waveform Reconstruction from Photoplethysmography using Cycle Generative Adversarial Networks
University of California Irvine（加利福尼亚大学尔湾分校）；Department of Electrical Engineering and Computer Science, University of California Irvine（加利福尼亚大学尔湾分校电气工程与计算机科学系）；Department of Computer Science, University of California, Irvine（加利福尼亚大学尔湾分校计算机科学系）；Institute for Future Health, University of California, Irvine（加利福尼亚大学尔湾分校未来健康研究所）
血压（BP）的连续监测可以帮助个人管理他们的慢性疾病，如高血压，需要在自由生活条件下的非侵入性测量方法。最近的方法使用不同的机器和深度学习方法来融合光电容积描记器（PPG）和心电图（ECG）信号，以非侵入性地估计BP;然而，它们无法重建完整的信号，导致模型不太准确。在本文中，我们提出了一种基于循环生成对抗网络（CycleGAN）的方法，从干净的PPG信号中提取BP信号，称为动态血压（ABP）。我们的方法使用了一个循环生成对抗网络，扩展了GAN架构的域转换，并在BP估计中超过了最先进的方法高达2倍。
2022-01-24 cs.LG
Factor Decomposed Generative Adversarial Networks for Text-to-Image Synthesis
Fudan University（复旦大学）
关于文本到图像合成的现有工作通常将句子嵌入与噪声向量连接在一起，而句子嵌入和噪声向量是两个不同的因素，它们控制生成的不同方面。简单地将它们连接起来会使潜在因素纠缠在一起，阻碍生成模型。在本文中，我们尝试分解这两个因素，并提出了因素分解生成对抗网络~（FDGAN）。为了实现这一点，我们首先从噪声向量生成图像，然后在生成器和鉴别器的归一化层中应用句子嵌入。我们还设计了一个附加的范数层来对齐和融合文本图像特征。实验结果表明，噪声分解和句子嵌入能有效地消除文本到图像合成中的潜在因素，提高生成模型的效率。与基线相比，FDGAN可以获得更好的性能，而使用的参数较少。
2023-03-24 cs.LG cs.MM
A Regularization Method to Improve Adversarial Robustness of Neural Networks for ECG Signal Classification
University of Miami（迈阿密大学）
心电图（ECG）是最广泛使用的监测人类心脏状况的诊断工具。通过使用深度神经网络（DNN），ECG信号的解释可以完全自动化，以便在几分之一秒内识别患者心脏中的潜在异常。研究表明，给定足够大的训练数据量，用于ECG分类的DNN准确性可以达到人类专家心脏病专家水平。然而，尽管DNN在分类准确性方面表现出色，但DNN非常容易受到对抗性噪声的影响，这些噪声是DNN输入中的细微变化，并可能导致错误的类别标签预测。提高DNN对对抗性噪声的鲁棒性是具有挑战性和必要性的，对抗性噪声对生命至关重要的应用构成威胁。在这项工作中，我们提出了一种正则化方法，以提高DNN的鲁棒性的噪声信号比（NSR）的角度为ECG信号分类的应用。我们在PhysioNet MIT-BIH数据集和CPSC 2018 ECG数据集上评估了我们的方法，结果表明，我们的方法可以大大增强DNN对对抗攻击产生的对抗性噪声的鲁棒性，并且在干净数据上的准确性变化最小。
2022-03-15 cs.AI cs.CV cs.LG
Skin Lesion Synthesis with Generative Adversarial Networks
University of Campinas (Unicamp)（坎皮纳斯大学）
皮肤癌是迄今为止最常见的癌症类型。早期发现是显著增加成功治疗机会的关键。目前，深度神经网络是自动皮肤癌分类的最新成果。为了进一步推动结果，我们需要解决缺乏注释数据的问题，这是昂贵的，需要专家的大量努力。为了绕过这个问题，我们建议使用生成对抗网络来生成逼真的合成皮肤病变图像。据我们所知，我们的结果是第一个显示视觉上吸引人的合成图像，包括临床意义的信息。
2019-02-08 cs.CV cs.LG
Generative Adversarial Graph Convolutional Networks for Human Action Synthesis
Instituto de Telecomunicações（电信研究所）；Universidade da Beira Interior（贝拉内陆大学）；DeepNeuronic；NOVA LINCS（新里斯本大学计算机科学实验室）；C4-Cloud Computing Competence Center（C4云计算能力中心）
合成人体骨架的空间和时间动态仍然是一项具有挑战性的任务，不仅在所生成的形状的质量方面，而且在它们的多样性方面，特别是合成特定动作（动作调节）的逼真身体运动。在本文中，我们提出了Kinetic-GAN，这是一种新的架构，它利用生成对抗网络和图卷积网络的优势来合成人体的动力学。所提出的对抗架构可以在局部和全局身体运动中调节多达120种不同的动作，同时通过潜在的空间解纠缠和随机变化来提高样本质量和多样性。我们的实验是在三个著名的数据集上进行的，其中Kinetic-GAN在分布质量指标方面明显优于最先进的方法，同时能够合成超过一个数量级的不同动作。我们的代码和模型可在https://github.com/DegardinBruno/Kinetic-GAN上公开获取。
2021-10-25 cs.AI cs.CV cs.LG
Adversarial Audio Synthesis
UC San Diego（加利福尼亚大学圣地亚哥分校）
音频信号以高时间分辨率进行采样，学习合成音频需要在一系列时间尺度上捕获结构。生成对抗网络（GANs）在生成局部和全局一致的图像方面取得了广泛的成功，但它们几乎没有应用于音频生成。在本文中，我们介绍了WaveGAN，这是首次尝试将GANs应用于原始波形音频的无监督合成。WaveGAN能够合成具有全局相干性的音频波形的一秒切片，适用于音效生成。我们的实验表明，在没有标签的情况下，WaveGAN在小词汇量语音数据集上训练时可以学习产生可理解的单词，并且还可以合成来自其他领域的音频，如鼓，鸟叫声和钢琴。我们将WaveGAN与一种方法进行了比较，该方法将为图像生成而设计的GANs应用于类似图像的音频特征表示，发现这两种方法都很有前途。
2019-02-09 cs.LG cs.SD
Unsupervised Text Embedding Space Generation Using Generative Adversarial Networks for Text Synthesis
Korea Advanced Institute of Science Technology（韩国科学技术院）；I-BRICKS
本文提出TESGAN，通过GAN生成连续文本嵌入空间并进行无监督学习，解决文本生成中的梯度反向传播与训练数据记忆问题。
2023-10-17 cs.CL cs.LG
You Only Need Adversarial Supervision for Semantic Image Synthesis
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Bonn（波恩大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
尽管最近取得了成功，但用于语义图像合成的GAN模型在仅使用对抗监督进行训练时仍然存在图像质量差的问题。从历史上看，另外采用基于VGG的感知损失有助于克服这个问题，显著提高合成质量，但同时限制了GAN模型用于语义图像合成的进展。在这项工作中，我们提出了一种新的，简化的GAN模型，它只需要对抗监督，以实现高质量的结果。我们重新设计了一个语义分割网络，直接使用给定的语义标签映射作为训练的基础事实。通过提供更强的监督，以及生成器通过空间和语义感知反馈，我们能够合成更高保真的图像，更好地对齐到他们的输入标签地图，使使用的感知损失多余的。此外，我们通过对注入到生成器中的3D噪声张量进行全局和局部采样来实现高质量的多模态图像合成，这允许完全或部分图像变化。我们表明，我们的模型合成的图像更加多样化，并遵循真实图像的颜色和纹理分布更密切。我们实现了$6$ FID和$5$ mIoU点的平均改进，超过了仅使用对抗监督的不同数据集的最新技术水平。
2021-03-19 cs.CV cs.LG eess.IV
Relational Data Synthesis using Generative Adversarial Networks: A Design Space Exploration
Renmin University of China（中国人民大学）；Tsinghua University（清华大学）
大数据的激增带来了对隐私保护数据发布的迫切需求。针对这一需求的传统解决方案在有效平衡所发布数据的隐私性和实用性之间的权衡方面存在局限性。因此，数据库社区和机器学习社区最近研究了使用生成对抗网络（GAN）的关系数据合成的新问题，并提出了各种算法。然而，这些算法没有在同一框架下进行比较，因此从业者很难理解GAN的优点和局限性。为了弥补这一差距，我们进行了迄今为止最全面的实验研究，研究将GAN应用于关系数据合成。我们引入了一个统一的基于GAN的框架，并为框架中的每个组件定义了一个设计解决方案空间，包括神经网络架构和训练策略。我们进行了广泛的实验，探索设计空间，并与传统的数据合成方法进行比较。通过大量的实验，我们发现GAN是非常有前途的关系数据综合，并提供指导，选择合适的设计方案。我们还指出了GAN的局限性，并确定未来的研究方向。
2020-08-28 cs.AI cs.DB cs.LG
Bidirectional Mapping Generative Adversarial Networks for Brain MR to PET Synthesis
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Shenzhen University（深圳大学）；Central South University（中南大学）；Harbin Engineering University（哈尔滨工程大学）
融合多模态医学图像，如MR和PET，可以提供有关人体的各种解剖或功能信息。但由于成本、辐射或其他限制等不同原因，PET数据总是不可用。在本文中，我们提出了一个3D端到端合成网络，称为双向映射生成对抗网络（BMGAN），其中图像上下文和潜在向量被有效地使用并联合优化用于大脑MR到PET合成。具体而言，设计了一种双向映射机制，将PET图像的语义信息嵌入到高维潜空间中。并进一步利用3D DenseU-Net生成器结构和扩展目标函数来提高合成结果的视觉质量。最吸引人的部分是，所提出的方法可以合成的感知逼真的PET图像，同时保留不同的大脑结构的不同主题。实验结果表明，该方法的性能优于其他竞争力的跨模态合成方法的定量措施，定性显示，分类评价。
2020-08-08 cs.LG eess.IV
Generative Adversarial Networks for Brain Images Synthesis: A Review
University of Washington（华盛顿大学）；Institute of Systems Biology（系统生物学研究所）；Islamic Azad University（伊斯兰阿扎德大学）
本文综述了生成对抗网络（GAN）在脑图像跨模态合成中的最新进展，涵盖CT、PET和MRI之间的相互转换，以解决多模态影像获取成本高、耗时的问题。
2023-05-16 cs.CV cs.LG eess.IV
