Comparision Of Adversarial And Non-Adversarial LSTM Music Generative Models
University Of Pretoria（比勒陀利亚大学）
音乐创作是一种在最少或没有人为干预的情况下创作音乐作品的方式。虽然递归神经网络传统上被应用于许多序列到序列的预测任务，包括音乐创作的成功实现，但其基于输入到输出映射的标准监督学习方法导致缺乏音符多样性。因此，这些模型可能被视为不适合诸如音乐生成之类的任务。生成对抗网络学习数据的生成分布，并产生不同的样本。这项工作实现并比较了递归神经网络音乐作曲家在数据库上的对抗性和非对抗性训练。由此产生的音乐样本由人类听众评估，他们的偏好被记录下来。评估表明，对抗性训练产生更美观的音乐。
2022-11-01 cs.LG cs.SC cs.SD
GANs & Reels: Creating Irish Music using a Generative Adversarial Network
Memorial University of Newfoundland（纽芬兰纪念大学）；University of Waterloo（滑铁卢大学）
在本文中，我们提出了一种算法的旋律生成方法，使用生成对抗网络没有经常性的组件。音乐生成已经成功地使用递归神经网络完成，其中模型学习序列信息，可以帮助创建真实的声音旋律。在这里，我们使用具有扩张卷积和塔的DC-GAN架构来捕获序列信息作为空间图像信息，并学习固定长度旋律形式（如爱尔兰传统卷轴）的长程依赖关系。
2020-10-29 cs.LG cs.SD eess.AS
Time-Series Regeneration with Convolutional Recurrent Generative Adversarial Network for Remaining Useful Life Estimation
Peking University（北京大学）；Singapore University of Technology and Design（新加坡科技设计大学）
对于健康预测任务，越来越多的努力集中在基于机器学习的方法上，这些方法能够在不探索退化机制的情况下为工业设备或部件产生准确的剩余使用寿命（RUL）估计。确保这些方法成功的先决条件取决于大量的运行至故障数据，然而，运行至故障数据在实践中可能是不够的。也就是说，进行大量的破坏性实验不仅成本高昂，而且可能造成灾难性的后果。基于这种考虑，本文首次提出了一种针对非循环和循环退化模式的数据自生成的增强型RUL框架。它旨在以数据驱动的方式丰富数据，生成逼真的时间序列以增强当前的RUL方法。首先，通过所提出的卷积递归生成对抗网络（CR-GAN）确保高质量的数据生成，该网络采用双通道融合卷积递归神经网络。接下来，提出了一个分层框架，将生成的数据结合到当前的RUL估计方法中。最后，通过非循环和循环退化系统验证了所提出的方法的有效性。利用改进的RUL框架，采用三种典型的RUL模型对航空发动机系统进行了非循环退化试验。最先进的RUL估计结果是通过用生成的时间序列增强胶囊网络来实现的。具体而言，估计误差的指标评分函数已分别减少了21.77%，和32.67%的两个工作条件，分别。此外，估计误差降低到零的锂离子电池系统，这是周期性退化。
2021-01-11 cs.AI cs.LG
Recurrent Generative Adversarial Networks for Proximal Learning and Automated Compressive Image Recovery
Stanford University（斯坦福大学）
从欠采样线性测量恢复图像通常会导致不适定的线性逆问题，这需要适当的统计先验。然而，建立有效的先验是由实时任务所规定的低训练和测试开销的挑战;以及需要检索视觉上“合理的”和物理上“可行的”图像以最小的幻觉。为了应对这些挑战，我们设计了一个级联网络架构，通过渗透生成残差网络（ResNet）的好处来对邻近算子进行建模，从而展开邻近梯度迭代。然后，部署逐像素成本和感知成本的混合物来训练近端。整体架构类似于在可行和合理图像的交叉点上的来回投影。广泛的计算实验检查重建儿科患者的MR图像的全局任务，和superresolving CelebA面临的更本地的任务，这是有见地的设计高效的架构。我们的观察表明，对于MRI重建，具有单个残留块的复发ResNet有效地学习了近端。这种简单的架构似乎明显优于替代的深度ResNet架构2dB SNR，以及传统的压缩感知MRI 4dB SNR，推理速度快100倍。对于图像超分辨率，我们的初步结果表明，建模去噪最近端需要深度ResNet。
2017-11-27 cs.AI cs.IR cs.LG
Generative adversarial networks for generation and classification of physical rehabilitation movement episodes
University of Idaho（爱达荷大学）
本文提出了一种方法，通过使用人工神经网络的物理治疗过程中进行的患者运动情节相关的人体运动的数学建模。采用生成对抗网络结构，由此以对抗方式同时训练判别模型和生成模型。不同的网络架构进行了检查，与歧视性和生成模型结构的深层子网络的隐藏层组成的卷积或循环计算单元。该模型进行了验证的数据集上的人体运动记录与光学运动跟踪器。结果表明，新的运动实例的分类的网络的能力，并生成类似于所记录的运动序列的运动示例。
2018-12-15 cs.LG stat.ML
Synthetic Data Generation for Residential Load Patterns via Recurrent GAN and Ensemble Method
Monash University（莫纳什大学）
本文提出集成循环生成对抗网络ERGAN，通过集成多个循环GAN并结合对抗损失与统计差异损失，生成高保真、多样化的住宅负荷合成数据，并在多项指标上优于现有基准。
2024-10-20 cs.AI cs.LG
Generative Modeling of Bach-Style Symbolic Music: A Comparative Study of Autoregressive, Latent-Variable, and Adversarial Approaches
Stanford University（斯坦福大学）
比较自回归LSTM、潜变量模型和生成对抗网络在巴赫风格钢琴音乐生成中的表现，发现带注意力的自回归LSTM生成音乐最连贯，向量量化缓解后验塌陷，对抗方法捕捉局部音高但训练困难。
2026-06-15 cs.LG cs.SD
Generative Adversarial Networks for Bitcoin Data Augmentation
Vicomtech Foundation, Basque Research and Technology Alliance (BRTA)（巴斯克研究与技术联盟（BRTA）维康特克基金会）；Institute of Smart Cities, Public University of Navarre（纳瓦拉公立大学智慧城市学院）
在比特币实体分类中，结果受到地面实况数据集的强烈影响，特别是在应用监督机器学习方法时。然而，这些地面实况数据集经常受到严重的类别不平衡的影响，因为它们通常包含更多关于法律服务（交易所，赌博）的信息，而不是可能与非法活动有关的服务（混合器，服务）。类别不平衡增加了应用机器学习技术的复杂性，并降低了分类结果的质量，特别是对于代表性不足但关键的类别。在本文中，我们建议通过使用生成对抗网络（GANs）来解决这个问题，因为GANs最近在图像分类领域显示出了有希望的结果。然而，没有适用于每种场景的“一刀切”GAN解决方案。事实上，设置GAN训练参数是不平凡的，并且严重影响所生成的合成数据的质量。因此，我们评估了GAN参数，如优化函数，数据集的大小和所选的批量大小如何影响GAN实现一个代表性不足的实体类（矿池），并演示了如何获得一个“好”的GAN配置，实现合成生成的和真实的比特币地址数据之间的高相似性。据我们所知，这是第一项将GANs作为有效工具的研究，用于生成比特币实体分类中数据增强的合成地址数据。
2020-05-27 cs.LG stat.ML
Rare Disease Detection by Sequence Modeling with Generative Adversarial Networks
IQVIA Inc.（IQVIA公司）；Georgia Institute of Technology（佐治亚理工学院）
影响3.5亿人的罕见疾病通常与诊断延误或误诊有关。为了改善这些患者的结局，罕见病检测是基于纵向医疗索赔识别罕见病患者的重要任务。在本文中，我们提出了一种深度学习方法，用于检测胰腺外分泌功能不全（EPI）（一种罕见疾病）患者。该贡献包括1）一项大型纵向研究，使用来自180万名患者（包括29，149名EPI患者）的7年医疗索赔，2）一种新的深度学习模型，使用生成对抗网络（GANs）来提高罕见疾病类别，并利用递归神经网络对患者序列数据进行建模，3）具有0.56 PR-AUC的准确预测，在精确度和召回率方面优于基准模型。
2019-07-01 cs.LG stat.ML
Anomaly-Flow: A Multi-domain Federated Generative Adversarial Network for Distributed Denial-of-Service Detection
Aeronautics Institute of Technology (ITA)（航空技术学院）；Federal University of Minas Gerais（米纳斯吉拉斯联邦大学）
针对多域环境下现有机器学习DDoS检测方案部署受限的问题，提出结合联邦学习与生成对抗网络的Anomaly-Flow框架，在保护数据隐私的同时实现跨域协同检测，性能优于基线模型，为协同网络防御研究奠定基础。
2025-03-18 cs.CR cs.LG
iSeeBetter: Spatio-temporal video super-resolution using recurrent generative back-projection networks
Stanford University（斯坦福大学）；University of Mumbai（孟买大学）
最近，基于学习的模型已经增强了单图像超分辨率（SISR）的性能。然而，连续地将SISR应用于每个视频帧导致缺乏时间相干性。卷积神经网络（CNN）在峰值信噪比（PSNR）和结构相似性（SSIM）等图像质量指标方面优于传统方法。然而，生成对抗网络（GANs）提供了一个竞争优势，因为它能够缓解缺乏更精细纹理细节的问题，这种问题通常在CNN以大的放大因子进行超分辨率时出现。我们提出了iSeeBetter，一种新的基于GAN的时空视频超分辨率（VSR）方法，可以呈现时间一致的超分辨率视频。iSeeBetter使用循环反投影网络的概念作为其生成器，从当前和相邻帧中提取空间和时间信息。此外，为了提高超分辨率图像的“自然度”，同时消除传统算法中的伪影，我们利用了来自超分辨率生成对抗网络（SRGAN）的伪影。虽然均方误差（MSE）作为主要损失最小化目标提高了PSNR/SSIM，但是这些度量可能无法捕获图像中的细节，从而导致感知质量的错误表示。为了解决这个问题，我们使用四重（MSE，感知，对抗和总变差（TV））损失函数。我们的研究结果表明，iSeeBetter提供卓越的VSR保真度和超越国家的最先进的性能。
2020-09-30 cs.AI cs.CV cs.LG
Introducing a Generative Adversarial Network Model for Lagrangian Trajectory Simulation
Illinois Institute of Technology（伊利诺伊理工学院）；Washington University in St. Louis（圣路易斯华盛顿大学）
我们引入了一个生成对抗网络（GAN）模型来模拟浮力对抗火焰回流区中粒子的三维拉格朗日运动。GAN模型包括用作生成器的随机递归神经网络和用作卷积器的卷积神经网络。对抗性训练进行到这样的程度，即最好的训练生成器无法区分地面真相和最好的训练生成器产生的轨迹。然后，根据对模拟轨迹和地面实况进行的统计分析，对模型性能进行基准测试，以确定准确性和泛化标准。
2019-01-13 cs.CV cs.LG physics.data-an
Federated Traffic Synthesizing and Classification Using Generative Adversarial Networks
Xidian University（西安电子科技大学）；Pazhou Lab（琶洲实验室）；University of South Florida（南佛罗里达大学）
随着对新业务和应用需求的快速增长以及人们对数据保护意识的提高，传统的集中式流量分类方法面临着前所未有的挑战。本文介绍了一种新的框架，联邦生成对抗网络和自动分类（FGAN-AC），它集成了分散的数据合成与流量分类。FGAN-AC能够从分散的本地数据集中合成和分类多种类型的服务数据流量，而不需要大量的手动标记数据集或导致任何数据泄漏。提出并比较了两种类型的数据合成方法：计算高效的FGAN（\uppercase \expandafter{\romannumeral1}）和通信高效的FGAN（\uppercase \expandafter{\romannumeral2}）。前者仅实现单个CNN模型来处理每个局部数据集，而后者仅需要协调中间模型训练参数。提出了一种自动数据分类和模型更新框架，用于从合成的数据样本中自动识别未知流量，并为模型训练创建新的伪标签。数值结果表明，我们提出的框架有能力合成高度混合的服务数据流量，可以显着提高流量分类性能相比，现有的解决方案。
2021-04-21 cs.AI cs.LG
Distributed Generative Adversarial Net
近年来，生成对抗网络成为研究的热点。考虑到GAN在多用户环境中的应用，本文提出了分布式GAN。它使多个用户能够在本地使用自己的数据进行训练，并生成更多样化的样本。用户不需要相互分享数据，以避免隐私泄露。近年来，商业公司纷纷推出基于人工智能的云平台，为缺乏计算能力的用户提供模型。我们希望我们的工作能够激励这些公司提供更强大的人工智能服务。
2019-11-19 cs.LG
Adversarial and Contrastive Variational Autoencoder for Sequential Recommendation
Shanghai Jiao Tong University（上海交通大学）；University of Michigan-Shanghai Jiao Tong University Joint Institute（密歇根大学-上海交通大学联合学院）；School of Cyber Science and Engineering（网络空间科学与工程学院）；School of Software（软件学院）
序贯推荐作为一个新兴的研究课题，由于其重要的现实意义而受到越来越多的关注。基于深度学习和注意力机制的模型在顺序推荐中取得了良好的性能。近年来，基于变分自编码器（VAE）的生成式模型在协同过滤中显示出独特的优势。特别地，序列VAE模型作为VAE的递归版本，可以有效地捕获用户序列中项目之间的时间依赖性并执行序列推荐。然而，基于VAE的模型遭受一个共同的限制，即所获得的近似后验分布的代表性能力是有限的，从而导致生成的样本的质量较低。对于生成序列尤其如此。为了解决上述问题，在这项工作中，我们提出了一种新的方法称为对抗和对比变分自编码器（ACVAE）的顺序推荐。具体来说，我们首先介绍了在对抗变分贝叶斯（AVB）框架下用于序列生成的对抗训练，这使得我们的模型能够生成高质量的潜变量。然后，我们使用对比损失。潜变量将能够通过最小化对比损失来学习更多个性化和显著的特征。此外，在对序列进行编码时，我们采用了递归和卷积结构来捕获序列中的全局和局部关系。最后，我们在四个真实世界的数据集上进行了广泛的实验。实验结果表明，我们提出的ACVAE模型优于其他国家的最先进的方法。
2021-03-19 cs.IR cs.LG
Unrolled Creative Adversarial Network For Generating Novel Musical Pieces
KAUST（卡塔尔科技大学）
本文提出基于对抗网络的音乐生成系统，通过扩展CAN框架解决模式崩溃问题，提升音乐创作的创新性和多样性。
2025-12-28 cs.LG cs.SD eess.AS
Generative Adversarial Network for Handwritten Text
Zhejiang University（浙江大学）；Microsoft Cloud & AI（微软云与AI）
生成对抗网络（GANs）在图像处理的各种应用中已经证明是非常成功的。然而，由于卷积神经网络（CNN）难以处理连续的手写数据，手写生成对抗网络相对较少。在本文中，我们提出了一个手写生成对抗网络框架（HWGANs）合成手写笔画数据。新框架的主要特征包括：（i）一个由集成的CNN-长短期记忆（LSTM）为基础的特征提取与路径签名特征（PSF）作为输入和前馈神经网络（FNN）为基础的二进制分类器组成的分类器;（ii）一个循环潜在变量模型作为生成器，用于合成顺序手写数据。数值试验表明了新模型的有效性。与单一手写体生成器相比，HWGAN生成的手写体文本更加自然逼真。
2020-02-27 cs.CV cs.LG
Adversarial Dropout for Recurrent Neural Networks
Clova AI Research, NAVER Corp.（NAVER公司Clova AI研究中心）；KAIST（韩国科学技术院）；AI Center, SK Telecom（SK电讯AI中心）
成功的应用程序处理序列数据，如文本和语音，需要提高循环神经网络（RNN）的泛化性能。RNN的丢弃技术被引入以响应这些需求，但我们推测RNN的丢弃可以通过采用对抗概念来改进。本文研究了通过利用有意生成的丢弃掩码来改善RNN的丢弃的方法。具体来说，本研究中使用的引导性退出被称为对抗性退出，它会随着时间的推移对抗性地断开主要用于预测正确目标的神经元。我们的分析表明，我们的正则化器由原始和重新配置的RNN之间的间隙组成，是随机丢弃的训练和推理阶段之间间隙的上界。我们证明了最小化正则化器可以提高RNN在顺序MNIST任务，半监督文本分类任务和语言建模任务中的dropout的有效性。
2019-04-22 cs.LG stat.ML
Channel-Recurrent Autoencoding for Image Modeling
UvA-Bosch-Deltalab（阿姆斯特丹大学-博世-德尔塔实验室）；NEC Labs（日本电气实验室）；Facebook AI Research（脸书人工智能研究院）
尽管最近在合成人脸和卧室方面取得了成功，但现有的生成模型很难捕捉到更复杂的图像类型，这可能是由于其潜在空间结构的过度简化。为了解决这个问题，基于变分自编码器（VAE），我们将跨通道的循环连接集成到推理和生成步骤中，允许以全局到局部，粗到细的方式捕获高级特征。结合对抗性损失，我们的通道递归VAE-GAN（crVAE-GAN）在生成不同光谱的高分辨率图像方面优于VAE-GAN，同时保持相同的计算效率水平。我们的模型产生可解释和表达的潜在表示，以利于下游任务，如图像完成。此外，我们提出了两个新的正则化，即KL目标加权方案的时间步长和互信息最大化之间的转换的潜变量和输出，以加强训练。
2018-03-11 cs.CV cs.LG
Inference-Layer Security: Defending Against Adversarial Inference and Infrastructure Abuse
New York Machine Learning Research Guild（纽约机器学习研究协会）
本文提出在推理层防御LLM服务的对抗性攻击，通过结构因果模型生成标记数据集，训练梯度提升检测器，并发现检测器精度高于评估标签，同时改进攻击类型归因方法。
2026-10-01 cs.CR cs.LG
Generative Adversarial Network-Driven Detection of Adversarial Tasks in Mobile Crowdsensing
University of Ottawa（渥太华大学）
移动人群感知系统是脆弱的，因为它们建立在非专用和无处不在的属性，各种攻击。基于机器学习（ML）的方法被广泛研究以构建攻击检测系统并确保MCS系统安全。然而，旨在阻塞传感前端和MCS后端的攻击者利用智能技术，这对MCS平台和服务提供商来说是一个挑战，需要开发适当的检测框架来应对这些攻击。生成对抗网络（GANs）已被应用于生成与真实样本极其相似的合成样本，欺骗分类器，使合成样本与原始样本无法区分。以前的工作表明，基于GAN的攻击比经验设计的攻击样本表现出更严重的破坏性，并导致MCS平台的检测率较低。考虑到这一点，本文旨在通过集成基于GAN的模型来检测智能设计的非法传感服务请求。为此，我们提出了一个两级级联分类器，它将GAN级联与二进制分类器相结合，以防止对抗性的假任务。仿真结果表明，该方法提高了对抗攻击检测率（AADR），通过KNN/NB从$0\%$提高到$97.5\%$，通过决策树从$45.9\%$提高到$100\%$.同时，两级分类器，原始攻击检测率（OADR）提高了三个二进制分类器，与比较，如NB从$26.1\%$到$61.5\%$。
2022-02-16 cs.AI cs.CR cs.LG
Multi-turn Dialogue Response Generation in an Adversarial Learning Framework
Capital One Conversation Research（第一资本对话研究部）
我们提出了一种对抗性学习方法来生成多回合对话响应。我们提出的框架hredGAN基于条件生成对抗网络（GANs）。GAN的生成器是一个改进的分层递归编码器-解码器网络（HRED），而RNN是一个与生成器共享上下文和词嵌入的词级双向RNN。在推理过程中，以对话历史为条件的噪声样本用于扰动生成器的潜在空间以生成几种可能的响应。最后一个答案是最好的一个排名的。hredGAN显示出比现有方法更好的性能：（1）它比仅使用对数似然标准训练的网络更好地泛化，（2）即使在有限的训练数据下，它也能生成更长、更丰富、更多样化的响应，具有高的话语和主题相关性。这种改进在Movie三元组和Ubuntu对话数据集上使用自动和人工评估进行了演示。
2019-06-26 cs.AI cs.CL cs.LG
A GAN-Based Framework for Robust DDoS Attack Detection
Islamic University of Lebanon（黎巴嫩伊斯兰大学）；Lebanese University（黎巴嫩大学）；Polytechnic Institute of Paris（巴黎综合理工学院）；Télécom Paris（巴黎电信学院）
提出一种结合WGAN-GP生成对抗网络与多种机器学习模型的DDoS检测框架，通过生成对抗流量增强模型鲁棒性，实验证明能显著提升对未知对抗攻击的检测能力。
2026-09-17 cs.CR cs.LG
Generative Adversarial Network for Probabilistic Forecast of Random Dynamical System
IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
我们提出了一个深度学习模型，用于在没有分布假设的情况下对随机动力系统进行数据驱动的模拟。深度学习模型由一个递归神经网络和一个生成对抗网络（GAN）组成，前者旨在学习时间推进结构，后者用于从随机动力系统的概率分布中学习和采样。虽然GANs提供了一个强大的工具来模拟复杂的概率分布，但如果没有适当的正则化，训练往往会失败。在这里，我们提出了一个正则化策略的GAN的一致性条件的顺序推理问题的基础上。首先，利用最大平均差异（MMD）来保证随机过程的条件分布和边际分布的一致性。然后，通过使用MMD或从多个鉴别器来正则化多步预测的边缘分布。利用三个具有复杂噪声结构的随机过程研究了该模型的行为。
2022-04-11 cs.AI cs.LG math.DS
MemeFaceGenerator: Adversarial Synthesis of Chinese Meme-face from Natural Sentences
Peking University, Beijing, China（北京大学，中国北京）
中国模因脸是广泛存在于中国社区网络中的一种特殊的网络亚文化。它通常包括一个模板图像修改了一些有趣的细节和文字说明。在本文中，我们提出了MemeFaceGenerator，生成对抗网络的注意力模块和模板信息作为补充信号，自动生成模因脸从文本输入。我们还开发了一个Web服务作为模因人脸合成的系统演示。MemeFaceGenerator已经被证明能够从随机文本输入中生成高质量的meme-faces。
2019-08-14 cs.CL cs.LG
Verification of Recurrent Neural Networks Through Rule Extraction
McGill University（麦吉尔大学）；Pennsylvania State University（宾夕法尼亚州立大学）
神经网络的验证问题是验证一个神经网络是否会受到对抗性样本的影响，或者近似可以忍受的最大允许对抗性扰动规模。虽然大多数以前的工作有助于验证前馈网络，很少有探索验证经常性网络。这是由于存在一个更严格的约束的扰动空间的顺序数据，并缺乏一个适当的度量测量的扰动。在这项工作中，我们通过提出一个度量标准来解决这些挑战，该度量标准测量字符串之间的距离，并使用确定性有限自动机（DFA）来表示一个严格的oracle，该oracle检查生成的对抗样本是否违反了对扰动的某些约束。更具体地说，我们的经验表明，某些经常性的网络允许相对稳定的DFA提取。因此，从这些递归网络中提取的DFA可以作为地面真实DFA未知时的代理预言。我们将我们的验证机制应用到几个广泛使用的递归网络上的一组富田文法。结果表明，只有少数模型对对抗性样本保持稳健。此外，我们表明，对于不同复杂程度的语法，这些语法的鲁棒学习的难度也有差异。
2018-11-14 cs.LG stat.ML
Modified Query Expansion Through Generative Adversarial Networks for Information Extraction in E-Commerce
Istanbul Technical University（伊斯坦布尔理工大学）；Insider
本文提出了一种基于生成对抗网络（GAN）的查询扩展方法，以提高电子商业中信息搜索的有效性。我们提出了一种改进的QE条件GAN（mQE-CGAN）框架，它通过使用综合生成的查询扩展查询来解决关键字，该查询提出了来自文本输入的语义信息。我们训练一个序列到序列的Transformer模型作为生成器来产生关键字，并使用一个递归神经网络模型作为训练器来对生成器的对抗输出进行分类。通过修改后的CGAN框架，从查询文档语料库中收集的各种形式的语义见解被引入到生成过程中。我们利用这些见解作为条件的生成器模型，并讨论其有效性的查询扩展任务。我们的实验表明，在mQE-CGAN框架内利用条件结构可以将生成的序列和参考文档之间的语义相似度提高近10
2022-12-30 cs.CR cs.IR cs.LG
Robust and Subject-Independent Driving Manoeuvre Anticipation through Domain-Adversarial Recurrent Neural Networks
Pacmed；Medical Micro Instruments（医疗微仪器公司）；Teoresi Group（Teoresi集团）；Scuola Superiore Sant’Anna（圣安娜高等学校）
通过深度学习和计算机视觉技术，可以提前几秒钟准确预测驾驶操作。尽管使学习模型适应新驾驶员和不同车辆是强大的驾驶员辅助系统的关键，但到目前为止，这个问题几乎没有受到关注。这项工作提出通过领域自适应，一种与迁移学习密切相关的技术来应对这一挑战。提出了将域对抗递归神经网络（DA-RNN）应用于多模态时间序列驱动数据的概念证明，其中通过最大化辅助域分类器的损失来学习域不变特征。我们的实现使用Brain 4Cars数据集的单个驱动程序的leave-one-driver-out方法进行评估，以及使用通过驾驶模拟获得的新数据集，与没有适应相比，性能分别平均提高了30%和114%。我们还展示了微调网络部分以优化域独立特征提取的重要性。结果表明，该方法的适用性，驾驶辅助系统以及培训和仿真环境。
2019-02-26 cs.LG stat.ML
Lead Sheet Generation and Arrangement by Conditional Generative Adversarial Network
Research Center for IT Innovation Academia Sinica Taipei, Taiwan
由于深度神经网络的发展，自动音乐生成的研究取得了很大进展。然而，任意流派的多乐器音乐的生成仍然是一个挑战。现有的研究要么在MIDI中发现的铅片或多轨道钢琴卷上工作，但这两种乐谱都有其局限性。在这项工作中，我们提出了一个新的任务，称为铅片安排，以避免这种限制。提出了一个新的递归卷积生成模型，以及三个新的符号域谐波特征，以促进从不成对的铅片和MIDI中学习。我们的模型可以产生铅片和他们的安排，八酒吧长。生成结果的音频样本可以在https://drive.google.com/open?上找到ID=1c0FfODTpudmLvuKBbc23VBCgQizY6-Rk
2018-07-30 cs.AI cs.LG cs.SD
Dynamically Computing Adversarial Perturbations for Recurrent Neural Networks
University of California, Berkeley（加利福尼亚大学伯克利分校）；University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
卷积和循环神经网络已被广泛用于实现分类任务的最新性能。然而，人们也注意到，这些网络可以相对容易地通过精心设计的输入加性扰动进行逆向操纵。虽然有几个实验建立的先前的工作存在的制作和防御攻击，它也是可取的理论保证对抗性的例子和网络的鲁棒性裕度的存在，这样的例子。我们在本文中提供了这两个。我们特别关注递归架构，并从动力系统理论中汲取灵感，将其自然地转换为控制问题，使我们能够在输入序列的每个时间步动态计算对抗性扰动，从而类似于反馈控制器。说明性的例子提供补充的理论讨论。
2020-09-07 cs.LG cs.SY eess.SY
Short-term Demand Forecasting for Online Car-hailing Services using Recurrent Neural Networks
University of Tehran（德黑兰大学）
短时交通流预测是智能交通系统的关键问题之一，是智慧城市的重要组成部分。准确的预测可以使驾驶员和乘客更好地决定他们的出行路线，出发时间和出行起点的选择，这可以有助于交通管理。基于时间序列预测和机器学习的多种模型和算法被应用于该问题，并取得了令人满意的结果。最近，充足的数据和计算能力的可用性促使我们通过深度学习方法来提高预测精度。循环神经网络已成为时间序列预测中最流行的方法之一，然而，由于这些网络的多样性，哪种类型的网络是最适合这一任务的问题仍然没有得到解决。本文采用简单RNN单元、GRU和LSTM神经网络三种递归神经网络进行短时交通流预测。来自TAP30 Corporation的数据集用于构建模型，并将RNN与几个知名模型（如DEMA，LASSO和XGBoost）进行比较。结果表明，所有三种类型的RNN都优于其他RNN，但是，更简单的RNN，如简单的递归单元和GRU，在准确性和训练时间方面比LSTM表现得更好。
2019-01-29 cs.LG stat.ML
Predicting Customer Lifetime Value Using Recurrent Neural Net
Meta Platforms, Inc.（元平台公司）；Amazon.com, Inc.（亚马逊公司）；Uber Technologies, Inc.（优步科技公司）
本文提出一种考虑用户群组、系统年龄和日历日期的多单元 LSTM 式循环神经网络，用于预测 SaaS 新老用户在多时间跨度下的生命周期价值，并显著降低中位绝对百分比误差。
2025-01-05 cs.LG stat.AP stat.ML
Neural Networks with Recurrent Generative Feedback
California Institute of Technology（加州理工学院）；NVIDIA（英伟达）；Rice University（莱斯大学）
神经网络易受输入扰动的影响，如加性噪声和对抗攻击。相比之下，人类的感知对这种扰动的鲁棒性要强得多。贝叶斯大脑假说指出，人类大脑使用内部生成模型来更新感官输入的后验信念。这种机制可以解释为内部生成模型的最大后验概率（MAP）估计与外部环境之间的自一致性。受这一假设的启发，我们通过引入生成循环反馈来增强神经网络的自一致性。我们在卷积神经网络（CNN）上实例化这种设计。所提出的框架，被称为卷积神经网络与反馈（CNN-F），引入了一个生成反馈与潜在变量现有的CNN架构，其中一致的预测是通过交替MAP推理贝叶斯框架下。在实验中，CNN-F在标准基准测试中显示出比传统前馈CNN显著提高的对抗鲁棒性。
2020-11-10 cs.CV cs.LG cs.NE
Evaluation of Adversarial Training on Different Types of Neural Networks in Deep Learning-based IDSs
Carleton University（卡尔顿大学）
包括深度神经网络的入侵检测系统在内的网络安全应用正在迅速增加，使得异常活动的检测任务更加准确和鲁棒。随着DNN的使用和系统中传输的数据量的快速增长，不同类型的对抗攻击对击败它们构成了严峻的挑战。在本文中，我们重点研究了不同规避攻击的有效性，以及如何使用不同的神经网络来训练一个弹性的基于深度学习的IDS，例如，卷积神经网络（CNN）和递归神经网络（RNN）。我们使用最小-最大的方法来制定的问题，训练鲁棒的IDS对抗对抗的例子，使用两个基准数据集。我们在不同的深度学习算法和不同的基准数据集上的实验表明，使用基于对抗训练的最小-最大方法进行防御可以提高对五种著名的对抗攻击方法的鲁棒性。
2020-07-08 cs.LG stat.ML
Professor Forcing: A New Algorithm for Training Recurrent Networks
MILA（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）
Teacher Forcing算法通过在训练期间提供观测序列值作为输入来训练递归网络，并使用网络自己的一步预测来进行多步采样。我们介绍了Professor Forcing算法，该算法使用对抗域自适应来鼓励递归网络的动态在训练网络时和在多个时间步长上从网络采样时保持相同。我们将教授强迫语言建模，语音合成的原始波形，手写生成，图像生成。从经验上讲，我们发现，教授强迫作为一个正则化，提高测试的可能性字符水平宾州树库和顺序MNIST。我们还发现，该模型定性地提高了样本，特别是当采样大量的时间步长。这得到了对样品质量的人工评价的支持。教授强迫和预定采样之间的权衡进行了讨论。我们制作的T-SNE表明，Forcing教授成功地使网络在训练和采样过程中的动态更加相似。
2016-10-27 cs.LG stat.ML
Better accuracy with quantified privacy: representations learned via reconstructive adversarial network
Rice University（莱斯大学）；Xidian University（西安电子科技大学）
机器学习，特别是深度学习的巨大成功，为移动用户提供了各种基于云的服务。此类服务要求最终用户向服务提供商发送数据，这对最终用户隐私提出了严重挑战。为了解决这个问题，以前的作品要么向数据中添加噪声，要么发送从原始数据中提取的特征。他们努力在实用性和隐私性之间取得平衡，因为增加的噪声会降低实用性，而原始数据可以从提取的特征中重建。这项工作代表了与先前工作的有条不紊的背离：我们通过利用对抗性学习来找到一个更甜蜜的权衡，从而在隐私和另一种实用性之间取得平衡。我们设计了一个编码器，对重建误差（隐私的措施），adversarially由解码器，和推理精度（实用程序的措施）的分类器进行优化。其结果是RAN，这是一种新型的深度模型，具有新的训练算法，可以自动提取既私密又有用的分类特征。事实证明，相反地迫使提取的特征仅传达分类所需的预期信息会导致隐式正则化，从而导致比完全忽略隐私的原始模型更好的分类精度。因此，我们实现了更好的隐私和更好的实用性，这在机器学习中是一个令人惊讶的可能性！我们对五个流行的数据集进行了广泛的实验，超过四个训练方案，并证明了RAN与现有的替代品相比的优越性。
2019-01-25 cs.CR cs.LG stat.ML
Automatic Music Highlight Extraction using Convolutional Recurrent Attention Networks
Clova AI Research（Clova人工智能研究院）；NAVER Corp.（NAVER公司）；Hong Kong University of Science and Technology（香港科技大学）
音乐集锦是音乐服务的宝贵内容。大多数方法集中在低电平信号特征。我们提出了一种使用卷积递归注意力网络（CRAN）的高级特征提取高光的方法。CRAN利用卷积和递归层进行顺序学习，并具有注意力机制。注意力允许CRAN捕获重要的片段以区分流派，从而被用作高级功能。CRAN在两个月内对韩国32，000多首流行曲目进行了评估。实验结果表明，通过定量和定性评估，我们的方法优于三种基线方法。此外，我们还分析了注意和序列信息对绩效的影响。
2017-12-16 cs.LG cs.MM cs.SD
POPQORN: Quantifying Robustness of Recurrent Neural Networks
The University of Hong Kong（香港大学）；The Chinese University of Hong Kong（香港中文大学）；Massachusetts Institute of Technology（麻省理工学院）
对抗攻击的脆弱性一直是深度神经网络的关键问题。解决这个问题需要一种可靠的方法来评估网络的鲁棒性。最近，已经开发了几种方法来计算神经网络的$\textit{robustness quantification}$，即最小对抗扰动的认证下界。然而，这种方法是为前馈网络设计的，例如多层感知器或卷积网络。量化递归网络的鲁棒性仍然是一个悬而未决的问题，特别是LSTM和GRU。对于这样的网络，在计算鲁棒性量化方面存在额外的挑战，例如处理多个步骤的输入以及门和状态之间的相互作用。在这项工作中，我们提出了$\textit{POPQORN}$（$\textbf{P}$ ropagated- $\textbf{o}$ ut $\textbf{p}$ ut $\textbf{Q}$ utified R $\textbf{o}$ bustness for $\textbf{RN}$ Ns），一个通用的算法来量化RNN的鲁棒性，包括香草RNN，LSTM和GRU。我们证明了它在不同网络架构上的有效性，并表明对各个步骤的鲁棒性量化可以带来新的见解。
2019-05-17 cs.CR cs.CV cs.LG
The Dilemma Between Data Transformations and Adversarial Robustness for Time Series Application Systems
School of Computing and Information Sciences, Florida International University（佛罗里达国际大学计算与信息科学学院）
对抗性示例，或者攻击者创建的几乎无法区分的输入，会显著降低机器学习的准确性。理论证据表明，数据集的高内在维度有助于对手在分类模型中开发有效的对抗性示例的能力。另外，数据向学习模型的呈现会影响其性能。例如，我们已经通过降维技术看到了这一点，降维技术用于帮助机器学习应用程序中的特征泛化。因此，数据转换技术与智能医疗或军事系统等决策应用中最先进的学习模型密切相关。通过这项工作，我们探索了数据转换技术，如特征选择、降维或趋势提取技术如何影响对手在循环神经网络上创建有效对抗样本的能力。具体而言，我们分析它的角度来看，数据流形和其内在的功能的呈现。我们的评估经验表明，特征选择和趋势提取技术可能会增加RNN的脆弱性。数据转换技术只有在近似数据集的内在维度、最小化余维并保持更高的流形覆盖率时，才能减少对抗性示例的脆弱性。
2021-12-09 cs.LG stat.ML
ChOracle: A Unified Statistical Framework for Churn Prediction
Sharif University of Technology（谢里夫理工大学）
用户流失是在线服务中的一个重要问题，它威胁着服务的健康和盈利能力。以前的大多数流失预测工作将问题转化为二进制分类任务，其中用户被标记为流失和非流失。最近，一些作品试图将用户流失预测问题转化为用户返回时间的预测。在这种方法中，这是更现实的现实世界中的在线服务，在每个时间步的模型预测用户返回时间，而不是预测流失标签。然而，在这一类别中的以前的作品遭受缺乏通用性和需要高的计算复杂性。在本文中，我们介绍了\emph{ChOracle}，一个预言机，预测用户流失建模的用户返回服务的时间，利用时间点过程和递归神经网络的组合。此外，我们将潜在的变量到建议的递归神经网络模型的潜在用户忠诚度的系统。我们还开发了一个有效的近似变分算法的学习参数的建议RNN通过使用反向传播通过时间。最后，我们展示了ChOracle在各种真实世界数据集上的卓越性能。
2019-09-15 cs.LG cs.SI stat.ML
Robust Classification of Financial Risk
Harvard University（哈佛大学）
算法越来越成为高影响力决策的常见组成部分，越来越多关于实验室环境中对抗性示例的文献表明，标准的机器学习模型并不稳健。这表明现实世界的系统也容易受到操纵或错误分类的影响，这对金融服务中使用的机器学习模型构成了挑战。我们使用贷款等级分类问题来探索机器学习模型如何对用户报告数据的微小变化敏感，使用文献中记录的对抗性攻击和原始的特定于域的攻击。我们的工作表明，一个强大的优化算法可以建立模型的金融服务，是抗误分类扰动。据我们所知，这是针对金融服务中深度学习的对抗性攻击和防御的首次研究。
2018-11-27 cs.CR cs.LG q-fin.RM
Targeted Adversarial Examples for Black Box Audio Systems
UC Berkeley（加州大学伯克利分校）
深度递归网络在音频转录中的应用已经在自动语音识别（ASR）系统中取得了令人印象深刻的进展。许多人已经证明，小的对抗性扰动可以欺骗深度神经网络，使其以高置信度错误地预测特定目标。目前关于愚弄ASR系统的工作主要集中在白盒攻击上，其中模型架构和参数是已知的。在本文中，我们采用了一个黑箱的方法来对抗生成，结合遗传算法和梯度估计的方法来解决这个问题。我们在3000代后实现了89.25%的目标攻击相似性，同时保持了94.6%的音频文件相似性。
2019-08-20 cs.CR cs.LG cs.SD
Statistical Analysis on E-Commerce Reviews, with Sentiment Classification using Bidirectional Recurrent Neural Network (RNN)
了解客户的情绪是至关重要的营销策略今天。它不仅可以让公司了解客户如何看待他们的产品和/或服务，还可以让他们了解如何改进他们的产品和服务。本文试图了解女性服装电子商业的客户评论中不同变量的相关性，并对每个评论进行分类，是否推荐被评论的产品，以及它是否包含积极，消极或中性的情绪。为了实现这些目标，我们对除评论标题和评论文本之外的数据集特征进行了单变量和多变量分析，并实现了一个具有长短期记忆单元（LSTM）的双向循环神经网络（RNN）用于推荐和情感分类。结果表明，推荐是积极情绪得分的有力指标，反之亦然。另一方面，产品评论中的评级是情感得分的模糊指标。我们还发现，双向LSTM能够达到F1分数0.88的推荐分类和0.93的情感分类。
2020-06-16 cs.CL cs.LG stat.ML
Explainability and Adversarial Robustness for RNNs
Technische Universität Wien（维也纳工业大学）
递归神经网络（RNN）为构建网络数据的入侵检测系统（IDS）提供了有吸引力的特性。随着无处不在的机器学习（ML）系统的兴起，恶意行为者一直在迅速追赶，寻找利用ML漏洞获利的新方法。最近开发的对抗性ML技术专注于计算机视觉，它们对网络流量的适用性并不简单：网络数据包比图像暴露更少的特征，是连续的，并对其特征施加了几个约束。我们表明，尽管有这些完全不同的特征，但RNN可以可靠地生成对抗样本。为了了解分类器的潜在误分类，我们扩展了现有的可解释性技术，并提出了新的，特别适合于序列数据。应用它们表明，通信流的第一个数据包已经非常重要，很可能成为攻击者的目标。特征重要性方法表明，即使是相对不重要的特征也可以被有效地滥用来生成对抗样本。由于传统的评估指标（如准确性）不足以量化对抗性威胁，我们提出了对抗性鲁棒性得分（ARS）来比较IDS，捕捉对抗性鲁棒性的共同概念，并表明对抗性训练过程可以显着并成功地减少攻击面。
2020-02-19 cs.CR cs.LG cs.NI
Learning to infer in recurrent biological networks
一个流行的知觉处理理论认为，大脑学习世界的生成模型和使用变分贝叶斯推断的配对识别模型。关于大脑如何学习这些模型的大多数假设都假设群体中的神经元在给定其共同输入的情况下是条件独立的。这种简化可能与脑中观察到的局部复发类型不一致。寻找一种与复杂的相互依赖性兼容但又与已知生物学一致的替代方案，我们在这里认为，大脑皮层可能会使用对抗算法进行学习。这种方法的许多可观察到的症状类似于已知的神经现象，包括觉醒/睡眠周期和幅度随惊喜而变化的振荡，我们描述了如何进一步测试预测。我们在训练用于对图像和视频数据集进行建模的递归神经网络上说明了这一想法。这种学习框架使变分推理更接近神经科学，并产生多个可检验的假设。
2021-05-31 cs.NE q-bio.NC stat.ML
Speech waveform synthesis from MFCC sequences with generative adversarial networks
Aalto University（阿尔托大学）；National Institute of Informatics（国立信息学研究所）；NTT Communication Science Laboratories, NTT Corporation（NTT公司NTT通信科学实验室）
本文提出了一种从滤波器组梅尔频率倒谱系数（MFCC）生成语音的方法，MFCC被广泛用于语音应用，如ASR，但通常被认为不能用于语音合成。首先，我们预测基频和浊音信息的MFCC与自回归递归神经网络。其次，包含在MFCC的频谱包络信息被转换为全极点滤波器，并与这些滤波器匹配的桨距同步励磁模型的训练。最后，我们引入了一个基于生成对抗网络的噪声模型，以向建模的激励信号添加一个真实的高频随机分量。实验结果表明，在测试时只需要MFCC信息，就可以得到高质量的语音重建。
2018-04-03 cs.CL cs.SD eess.AS
