EIM-TRNG: Obfuscating Deep Neural Network Weights with Encoding-in-Memory True Random Number Generator via RowHammer
Department of Electrical and Computer Engineering, New Jersey Institute of Technology, Newark, NJ, USA（电气与计算机工程系，新泽西理工学院，新泽西州诺威克）；Department of Computer Science, State University of New York at Binghamton, NY, USA（计算机科学系，纽约州立大学布法罗分校）
本文首次提出EIM-TRNG，利用RowHammer引起的DRAM位翻转作为熵源，通过固定与不可预测位翻转组合编码保护DNN权重，实现低成本硬件级模型安全。
2025-07-03 cs.AI cs.CR
Deep Learning Meets Software Engineering: A Survey on Pre-Trained Models of Source Code
近年来，深度学习在软件工程（SE）中得到了成功的应用。特别是，开发和使用源代码的预训练模型，使各种SE任务都能实现最先进的结果。本文概述了这一快速发展的研究领域，并对未来的研究方向进行了思考。
2022-05-24 cs.AI cs.SE
On Approximating the Dynamic Response of Synchronous Generators via Operator Learning: A Step Towards Building Deep Operator-based Power Grid Simulators
Purdue University（普渡大学）
提出基于算子学习的框架，利用DeepONet逼近同步发电机的动态响应，并设计递归模拟方案及残差DeepONet方案，结合数据聚合策略实现与电网交互的模拟。
2026-06-12 cs.AI cs.LG math.DS
A Survey of AI Text-to-Image and AI Text-to-Video Generators
Kent State University（肯特州立大学）
本文综述了AI文生图与文生视频生成模型，涵盖数据预处理、神经网络类型、评估指标，并讨论挑战与未来方向，指出其在视频制作、内容创作和数字营销中的广阔应用前景。
2023-11-10 cs.AI cs.CL cs.CV
A survey of machine learning-based physics event generation
Old Dominion University（欧道明大学）；Jefferson Lab（杰斐逊实验室）；Shandong University（山东大学）
高能核与粒子物理中的事件发生器在促进粒子反应的研究中起着重要作用。我们调查了机器学习（ML）在构建物理事件生成器方面的最新成果。我们回顾了基于ML的事件生成器中使用的ML生成模型及其特定挑战，并讨论了将物理学纳入ML模型设计以克服这些挑战的各种方法。最后，我们探讨了基于ML技术的物理事件生成的超分辨率，保真度和外推相关的一些公开问题。
2021-06-01 cs.LG hep-ph nucl-ex
Using Deep Reinforcement Learning to solve Optimal Power Flow problem with generator failures
National University of Computer and Emerging Science（国立计算机与新兴科学大学）
深度强化学习（Deep Reinforcement Learning，DRL）被广泛应用于各个领域。DRL的最大优点之一是它能够持续改进学习代理。其次，DRL框架是强大的和灵活的，足以适用于不同性质和领域的问题。所提出的工作是使用DRL技术来解决最优潮流（OPF）问题的证据。两个经典的算法已经被提出来解决最优潮流问题。讨论了普通DRL应用的缺点，并提出了一种改进算法。其次，提出了一种用于最优潮流问题的奖励函数，该函数能够解决DRL中的固有问题。分析了DRL发散和退化的原因，并提出了在最优潮流控制下的正确处理策略。
2022-05-04 cs.AI cs.LG
Sample-Efficient Generation of Novel Photo-acid Generator Molecules using a Deep Generative Model
IBM Research（IBM研究院）
光酸产生剂（PAG）是当暴露于光时释放酸（$H^+$离子）的化合物。这些化合物是用于制造半导体逻辑和内存芯片的光刻工艺的关键组分。对半导体需求的指数增长突出了发现新型光酸产生剂的必要性。虽然使用深度生成模型的从头分子设计已被广泛用于药物发现和材料设计，但将其应用于创建新型光酸产生剂带来了一些独特的挑战，例如缺乏属性标签。在本文中，我们强调了这些挑战，并提出了一种生成式建模方法，该方法利用预训练的深度自动编码器和专家在环技术的条件生成。在主题专家的帮助下评估了所提出的方法的有效性，表明这种方法在创建新型光酸发生器之外的应用前景。
2021-12-02 cs.LG physics.chem-ph
DeepGG: a Deep Graph Generator
University of Passau（帕绍大学）
图的学习分布可以用于自动药物发现，分子设计，复杂网络分析等等。我们提出了一个改进的框架，用于学习生成模型的图形的基础上的思想的深度状态机。为了学习状态转换决策，我们使用一组图和节点嵌入技术作为状态机的存储器。我们的分析是基于学习随机图生成器的分布，我们提供统计测试来确定可以学习哪些属性以及图的原始分布的表现。我们表明，状态机的设计有利于特定的分布。学习最多150个顶点的图的模型。代码和参数是公开的，可以复制我们的结果。
2020-11-25 cs.LG stat.ML
Goal-Conditioned Generators of Deep Policies
The Swiss AI Lab IDSIA（瑞士人工智能实验室IDSIA）；USI（意大利语区大学（瑞士提契诺大学））；SUPSI（瑞士南部应用科学与艺术大学）；KAUST（阿卜杜拉国王科技大学）；NNAISENSE（NNAISENSE公司）
目标条件强化学习（RL）的目的是学习最优策略，给定的目标编码在特殊的命令输入。在这里，我们研究了目标条件神经网络（NN），它学习以特定于上下文的权重矩阵的形式生成深度NN策略，类似于快速权重编程器和20世纪90年代的其他方法。使用“生成实现期望预期回报的策略”形式的上下文命令，我们的NN生成器将参数空间的强大探索与命令间的泛化相结合，以迭代地找到越来越好的策略。一种形式的权重共享超网络和策略嵌入扩展了我们的方法来生成深度NN。实验展示了单个学习策略生成器如何生成实现训练期间看到的任何返回的策略。最后，我们评估我们的算法在一组连续控制任务，它表现出竞争力的性能。代码是公开的。
2022-07-04 cs.LG stat.ML
Boltzmann Generators -- Sampling Equilibrium States of Many-Body Systems with Deep Learning
FU Berlin（柏林自由大学）；Rice University（莱斯大学）；Tongji University（同济大学）
计算凝聚态多体系统（如溶剂化蛋白质）的平衡态是一个长期存在的挑战。由于缺乏用于在“一次性”中生成统计上独立的平衡样本的方法，大量的计算工作被投入用于在小步骤中模拟这些系统，例如，使用分子动力学。结合深度学习和统计力学，我们在这里开发了玻尔兹曼发生器，它被证明可以生成代表性凝聚态系统和蛋白质的无偏一次性平衡样本。玻尔兹曼发生器使用神经网络来学习复杂构型平衡分布到可以容易地采样的分布的坐标变换。自由能差的精确计算和新的配置的发现被证明，提供了一个统计力学工具，可以避免罕见的事件在采样过程中没有反应坐标的先验知识。
2019-07-12 cond-mat.stat-mech cs.LG physics.chem-ph
Top-Down Deep Clustering with Multi-generator GANs
Department of Computer Science, Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学计算机科学系）；ESRI Inc.（环境系统研究所公司）
深度聚类（DC）利用深度架构的表示能力来学习最适合聚类分析的嵌入空间。这种方法过滤掉了与聚类无关的低级信息，并已被证明在高维数据空间中非常成功。一些DC方法采用生成对抗网络（GANs），其动机是这些模型能够隐式学习的强大潜在表示。在这项工作中，我们提出了HC-MGAN，这是一种基于具有多个生成器（MGANs）的GANs的新技术，尚未探索用于聚类。我们的方法的灵感来自于观察，每个生成器的MGAN往往生成的数据，与子区域的真实数据分布。我们使用这个集群生成训练分类器，用于推断给定图像来自哪个生成器，从而为真实分布提供语义上有意义的聚类。此外，据我们所知，我们设计了我们的方法，以便在自上而下的分层聚类树中执行，从而提出了第一个分层DC方法。我们进行了几个实验，以评估所提出的方法对最近的DC方法，获得竞争力的结果。最后，我们进行了探索性分析的层次聚类树，突出如何准确地组织数据的层次结构的语义连贯的模式。
2021-12-24 cs.CV cs.LG
A Data-Driven Approach to Full-Field Damage and Failure Pattern Prediction in Microstructure-Dependent Composites using Deep Learning
Virginia Tech（弗吉尼亚理工学院）
本文提出了一种基于图像的深度学习框架，用于预测微结构相关复合材料的损伤和失效。这项工作的动机是这种材料的高保真模拟的复杂性和计算成本。所提出的深度学习框架基于微观结构的几何形状预测复合材料的二维表示中的失效后全场应力分布和裂纹模式。感兴趣的材料被选择为高性能单向碳纤维增强聚合物复合材料。深度学习框架包含两个堆叠的全卷积网络，即Generator 1和Generator 2，按顺序训练。首先，发生器1学习将微观结构几何形状转换为全场失效后应力分布。然后，发电机2学会将发电机1的输出转换为故障模式。一个物理信息的损失函数也被设计和纳入，以进一步提高所提出的框架的性能，并促进验证过程。为了提供用于训练和验证深度学习框架的足够大的数据集，在高效的有限元框架中综合生成并模拟4500个微结构表示。结果表明，所提出的深度学习方法可以有效地预测复合材料的失效后全场应力分布和失效模式，这是计算固体力学中模拟的两个最复杂的现象。
2021-04-09 cs.LG
RadField3D: A Data Generator and Data Format for Deep Learning in Radiation-Protection Dosimetry for Medical Applications
Physikalisch-Technische Bundesanstalt (PTB)（物理技术联邦机构）；Belgian Nuclear Research Centre (SCK CEN)（比利时核研究中心）；Institute for Computer Graphics, Technische Universität Braunschweig（计算机图形学研究所，汉堡工业大学）；Physics and Astronomy, University of New Mexico（新墨西哥大学物理与天文学系）；Cluster of Excellence PhoenixD, Leibniz University Hannover（卓越中心PhoenixD，莱比锡大学汉诺威分校）
RadField3D通过Geant4基于的蒙特卡罗模拟生成三维辐射场数据集，提供快速可解释的数据格式和Python API，用于研究深度学习在辐射模拟中的应用。
2026-03-13 cs.LG physics.comp-ph
Is It Certainly a Deepfake? Reliability Analysis in Detection & Generation Ecosystem
Intel Labs（英特尔实验室）；Binghamton University（宾夕法尼亚州立大学）；Cauth AI（Cauth人工智能）
该研究首次对深度伪造检测器开展全面不确定性分析，结合生成器与检测器的不确定性，利用贝叶斯神经网络等量化两类不确定性，通过多组实验验证其在来源检测等任务的作用，为可靠检测系统部署提供关键依据。
2025-10-28 cs.AI cs.CV cs.LG
Deep Linear Probe Generators for Weight Space Learning
School of Computer Science and Engineering（计算机科学与工程学院）
针对权重空间学习中现有探针学习策略效果不佳的问题，提出添加深度线性架构共享生成器的ProbeGen方法，以结构化探针归纳偏置减少过拟合，性能超SOTA且FLOPs降低30至1000倍。
2025-10-22 cs.CV cs.LG
Towards a Deep Improviser: a prototype deep learning post-tonal free music generator
MARCS Institute for Brain, Behaviour and Development, Western Sydney University（西悉尼大学MARCS脑、行为与发展研究所）；austraLYSIS；Department of Computing, Goldsmiths, University of London（伦敦大学金史密斯学院计算机系）
两个中等规模的符号语料库后音调和后公制键盘音乐已经建成，一个算法，其他即兴。每一个的深度学习模型都经过了训练，并在很大程度上得到了优化。我们的目的是获得一个模型，具有足够的泛化能力，在响应少量的单独的新鲜输入种子材料，它可以产生的输出是独特的，而不是再生的学习语料库或种子材料。这一目标已首先进行了统计评估，并通过k样本Anderson-Darling和Cramer检验判断，已经实现。音乐是使用这种方法生成的，非正式的判断将其与相关形式的算法音乐和作曲音乐大致等同。未来的工作将致力于增强该模型，使其可以在实时性能的表达，意义和效用方面进行评估。
2017-12-21 cs.LG cs.SD eess.AS
Generative Model Adversarial Training for Deep Compressed Sensing
University of Central Florida（中佛罗里达大学）
深度压缩感知假设数据在潜在空间中具有稀疏表示，即，它本质上是低维。原始数据被假设为通过低维到高维的生成器从低维空间映射。在这项工作中，我们提出了如何设计这样一个低到高维的基于深度学习的生成器适合压缩感知，同时满足鲁棒性普遍对抗扰动的潜在域。我们还证明了为什么噪音被认为是在潜在的空间。这项工作也支持与理论分析的鲁棒性训练的发电机对抗扰动。在真实数据集上的实验证实了所提出的\emph{generative model adversarial training for deep compressed sensing.}的有效性
2021-06-20 cs.LG eess.IV
Deep Unsupervised Clustering with Clustered Generator Model
Shanghai Jiao Tong University（上海交通大学）；Stevens Institute of Technology（史蒂文斯理工学院）；University of California, Los Angeles（加州大学洛杉矶分校）
无监督聚类是机器学习和人工智能领域最基本的问题之一。我们提出了聚类生成器模型的聚类，其中包含连续和离散的潜变量。离散潜变量对聚类标签进行建模，而连续潜变量对每个聚类内的变化进行建模。模型的学习在统一的概率框架中进行，并将无监督聚类作为内部步骤，而不需要像现有的基于变分的模型那样需要额外的推理模型。学习的潜变量既可以作为观察到的数据嵌入，也可以作为数据分布的潜在表示。实验结果表明，该模型可以达到有竞争力的无监督聚类精度，并可以学习解开潜在的表示，以产生现实的样本。此外，该模型可以自然地扩展到每像素无监督聚类，这在很大程度上尚未探索。
2019-11-19 cs.LG stat.ML
Compact and Optimal Deep Learning with Recurrent Parameter Generators
UC Berkeley（加州大学伯克利分校）；ICSI（国际计算机科学研究所）；University of Michigan（密歇根大学）；Meta AI；New York University（纽约大学）；MIT（麻省理工学院）
深度学习通过训练越来越大的模型取得了巨大的成功，然后将其压缩以供实际部署。我们提出了一种完全不同的紧凑和优化深度学习的方法：我们解耦了模型的自由度（DoF）和实际参数数量，在一个阶段的端到端学习中，针对任意架构的大型模型，使用预定义的随机线性约束优化小DoF。具体来说，我们创建了一个循环参数生成器（RPG），它重复地从环中获取参数，并将它们解压缩到一个具有随机排列和符号翻转的大型模型中，以促进参数去相关。我们表明，梯度下降可以自动找到最好的模型下的约束，收敛速度更快。我们广泛的实验揭示了模型DoF和精度之间的对数线性关系。我们的RPG演示了显着的自由度减少，可以进一步修剪和量化额外的运行时性能增益。例如，在ImageNet上的前1精度方面，RPG仅使用$18\%$ DoF（相当于一个卷积层）实现了ResNet 18性能的$96\%$，并且仅使用$0.25\%$ DoF实现了ResNet 34性能的$52\%$！我们的工作显示了约束神经优化在紧凑和优化深度学习中的巨大潜力。
2022-10-26 cs.CV cs.LG
A Survey on Training Challenges in Generative Adversarial Networks for Biomedical Image Analysis
Munster Technological University（芒斯特理工大学）
本文综述了生物医学图像分析中GAN训练面临的核心挑战，包括模式崩溃、不收敛和梯度消失，并提出解决方案分类体系及未来研究方向。
2023-08-11 cs.CV cs.LG
BagNet: Berkeley Analog Generator with Layout Optimizer Boosted with Deep Neural Networks
University of California Berkeley（加州大学伯克利分校）
在模拟设计中，由于布局寄生效应的影响，布局后仿真结果和原理图仿真结果之间的差异不断扩大。这种范式转变迫使设计师采用设计方法，将布局效果无缝集成到标准设计流程中。因此，任何基于仿真的优化框架都应该考虑耗时的布局后仿真结果。这项工作提出了一个学习框架，该框架在运行模拟之前，使用区分生成样本的DNN来学习减少基于进化的组合优化器的模拟次数。使用这种方法，对于包括光链路接收器布局的几个大型电路示例，该方法实现了采样效率的至少两个数量级的改进。
2019-07-23 cs.LG cs.NE eess.SP
Designing Counterfactual Generators using Deep Model Inversion
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；Arizona State University（亚利桑那州立大学）；IBM Research AI（IBM研究院人工智能部门）；Stanford University（斯坦福大学）
解释技术将小的、可解释的变化合成到给定的图像，同时在模型预测中产生所需的变化，这种解释技术已经成为内省黑盒模型的流行方法。通常被称为反事实，合成的解释需要包含可辨别的变化（为了易于解释），同时也是现实的（与数据流形的一致性）。在本文中，我们关注的情况是，我们只能访问经过训练的深度分类器，而不能访问实际的训练数据。虽然已经探索了从训练分布中反演深度模型以合成图像的问题，但我们的目标是开发一种深度反演方法来为给定的查询图像生成反事实解释。尽管它们在条件图像合成中是有效的，但我们表明现有的深度反演方法不足以产生有意义的反事实。我们提出了DISC（Deep Inversion for Synthesizing Counterfactuals），它通过利用（a）更强的图像先验，（b）结合新的流形一致性目标和（c）采用渐进式优化策略来改进深度反演。我们发现，除了产生视觉上有意义的解释外，来自DISC的反事实在学习分类器决策边界方面也很有效，并且对未知的测试时损坏具有鲁棒性。
2021-10-05 cs.CV cs.LG
A comparative study of stochastic and deep generative models for multisite precipitation synthesis
IBM Research（IBM研究院）
未来的气候变化情景通常是使用天气发生器的模拟来假设的。然而，只有少数作品比较和评估有前途的深度学习模型与经典方法的天气生成。这项研究显示了初步的结果，使这样的评价多点沉淀合成任务。我们比较了两个开源天气生成器：IBMWeathergen（Weathergen库的扩展）和RGeneratePrec，以及两个深度生成模型：GAN和VAE。我们的初步结果可以作为改进多位点沉淀合成任务的深度学习架构和算法设计的指导。
2021-07-16 cs.AI cs.LG physics.ao-ph
Data-driven Intra-Autonomous Systems Graph Generator
Institute of Computing, UNICAMP – University of Campinas（坎皮纳斯大学计算研究所）；NTNU – Norwegian University of Science and Technologies（挪威科技大学）；Wageningen Data Competence Center（瓦赫宁根数据能力中心）
本文提出基于深度学习的自治系统内部图生成器DGGI及大规模真实数据集IGraphs，通过准确再现中心性、聚类、同配性和节点度等属性，显著优于现有互联网拓扑生成器。
2024-02-26 cs.LG cs.NI
When and Why Test Generators for Deep Learning Produce Invalid Inputs: an Empirical Study
Università della Svizzera italiana（瑞士意大利语区大学）
测试基于深度学习（DL）的系统本质上需要大型且具有代表性的测试集，以评估DL系统是否能够泛化其训练数据集。已经提出了多种测试输入生成器（TIG）来产生人工输入，这些人工输入通过触发不当行为来暴露DL系统的问题。不幸的是，这样生成的输入可能是无效的，即，不可识别为输入域的一部分，因此提供不可靠的质量评估。自动验证器可以减轻人工检查输入有效性的负担，尽管输入有效性是一个难以形式化的概念，因此，自动化。在本文中，我们调查在何种程度上TIG可以生成有效的输入，根据自动化和人类验证。我们进行了一项大型的实证研究，涉及2种不同的自动验证器，220名人类评估员，5种不同的TIG和3个分类任务。我们的结果表明，根据自动验证器，84%的人工生成输入是有效的，但它们的预期标签并不总是保留。自动验证器与人类达成了很好的共识（78%的准确率），但在处理功能丰富的数据集时仍然存在局限性。
2022-12-21 cs.LG cs.SE
Tutorial and Survey on Probabilistic Graphical Model and Variational Inference in Deep Reinforcement Learning
Ludwig Maximillian University of Munich（慕尼黑大学）
为了提供一个全面而简洁的教程综述，本文对概率图模型的变分推理和强化学习进行了回顾，并给出了详细的推导。从多个方面对深度强化学习的最新研究进展进行了综述和比较。我们为深度强化学习中的概率图模型和变分推理方法的分类提供了详细的推导，作为原始贡献的补充材料。
2019-12-08 cs.AI cs.LG stat.ML
Detecting Overfitting of Deep Generative Networks via Latent Recovery
Normandie Univ（诺曼底大学）；UNICAEN（卡昂大学）；ENSICAEN（卡昂高等工程师学院）；CNRS — UMR GREYC（法国国家科学研究中心 — 灰谐实验室联合研究单位（注：CNRS为法国国家科学研究中心，UMR为联合研究单位缩写，GREYC为实验室名，此处按原文提取机构部分））
最先进的深度生成网络能够生成具有令人难以置信的真实感的图像，以至于它们可以被怀疑记忆训练图像。这就是为什么包含训练集最近邻的可视化并不罕见，这表明生成的图像不仅仅是记忆。我们证明这是不够的，并激发了需要研究记忆/过拟合的深发电机更多的审查。本文通过以下方式解决了这个问题：i）展示简单损失在为深度生成器重建图像时是如何高效的; ii）分析重建训练和验证图像时重建误差的统计数据，这是机器学习中分析过拟合的标准方法。使用这种方法，本文表明，过度拟合是不可检测的纯GAN模型在文献中提出的，与那些使用混合对抗损失，这是最广泛应用的生成方法之一。该论文还表明，标准的GAN评估指标无法捕捉记忆的一些深发电机。最后，本文还展示了如何现成的GAN发电机可以成功地应用于人脸修复和人脸超分辨率使用所提出的重建方法，没有混合对抗损失。
2019-01-09 cs.LG stat.ML
Generator and Critic: A Deep Reinforcement Learning Approach for Slate Re-ranking in E-commerce
Alibaba Group（阿里巴巴集团）
与逐点排序相比，石板重排序问题考虑了项目之间的相互影响，以提高电子商业中的用户满意度。以前的作品要么直接排名项目的端到端的模型，或排名项目的评分功能，权衡点的分数和项目之间的差异。然而，有两个主要的现有挑战没有得到很好的研究：（1）由于一个石板中的项目之间的复杂的相互影响，石板的评估是困难的;（2）即使给出最优评估，搜索最优石板也是具有挑战性的，因为动作空间是指数级的。在本文中，我们提出了一种新的生成器和评论家石板重新排名的方法，其中的评论家评估石板和生成器排名的项目通过强化学习的方法。我们提出了一个完整的石板批评（FSC）模型，认为真正的印象深刻的项目，并避免了现有模型的印象偏见。对于Generator，为了解决大动作空间的问题，我们提出了一种新的探索强化学习算法，称为PPO-Exploration。实验结果表明，FSC模型的性能明显优于现有的评价方法，PPO-Exploration算法的性能明显优于现有的强化学习方法。Generator和Critic方法在世界上最大的电子商业网站之一的现场实验中提高了石板效率（4%的gmv和5%的订单数）和多样性。
2020-05-25 cs.IR cs.LG stat.ML
TextMage: The Automated Bangla Caption Generator Based On Deep Learning
Universität Potsdam（波茨坦大学）；Technische Universität Dortmund（多特蒙德工业大学）；University of Liberal Arts Bangladesh（孟加拉国文科大学）
神经网络和深度学习在过去十年中由于改进的结果而出现了研究热潮。从给定的图像中生成文本是一项至关重要的任务，需要结合计算机视觉和自然语言处理这两个部门，以理解图像并使用自然语言表示它。然而，现有的工作都是在一个特定的语言领域和同一组数据上完成的。这导致正在开发的系统在属于特定地点地理环境的图像上表现不佳。TextMage是一个能够理解属于孟加拉国地理背景的视觉场景的系统，并使用其知识来表示它在孟加拉语中所理解的内容。因此，我们在之前开发和发布的名为BanglaLekhaImageCaptions的数据集上训练了一个模型。该数据集包含9，154张图像以及每张图像的两个注释。为了访问性能，所提出的模型已经实施和评估。
2020-10-15 cs.CV cs.LG
Towards Assessing Deep Learning Test Input Generators
Polytechnique Montreal（蒙特利尔理工学院）；Concordia University（康考迪亚大学）
本文系统评估了DeepHunter、DeepFault、AdvGAN和SinVAD四种深度学习测试输入生成器在故障揭示能力、自然性、多样性和效率上的表现，揭示了其在不同复杂度数据集上的权衡，并为实际选择提供指导。
2025-04-07 cs.CV cs.LG cs.SE
Generator Reversal
ETH Zurich（苏黎世联邦理工学院）
我们考虑用深度神经网络作为生成器来训练生成模型的问题，即将潜在代码映射到数据点。而占主导地位的范例结合了简单的先验代码与复杂的确定性模型，我们建议，而不是使用更灵活的代码分布。这些分布是通过在训练期间反转生成器映射来非参数化地估计的。好处包括：更强大的生成模型，更好的潜在结构建模和显式控制的泛化程度。
2017-07-28 cs.LG stat.ML
Deep Clustering: A Comprehensive Survey
University of Electronic Science and Technology of China（电子科技大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Lehigh University（理海大学）
聚类分析在机器学习和数据采掘中起着不可或缺的作用。学习一个好的数据表示是聚类算法的关键。最近，可以使用深度神经网络学习聚类友好表示的深度聚类已经广泛应用于各种聚类任务中。现有的深度聚类研究主要集中在单视图领域和网络架构上，忽略了聚类的复杂应用场景。为了解决这个问题，在本文中，我们提供了一个全面的调查数据源的视图中的深度聚类。对于不同的数据源和初始条件，我们系统地区分聚类方法的方法，先验知识和架构。具体地，根据四个类别介绍了深度聚类方法，即，传统的单视图深度聚类、半监督深度聚类、深度多视图聚类和深度转移聚类。最后，我们讨论了开放的挑战和潜在的未来机会，在不同领域的深度集群。
2022-10-09 cs.LG
A Brief Survey of Deep Reinforcement Learning
深度强化学习有望彻底改变人工智能领域，并代表着构建对视觉世界有更高理解的自主系统的一步。目前，深度学习使强化学习能够扩展到以前难以解决的问题，例如直接从像素学习玩视频游戏。深度强化学习算法也被应用于机器人技术，允许机器人的控制策略直接从现实世界中的摄像机输入中学习。在本调查中，我们首先介绍强化学习的一般领域，然后介绍基于价值观和基于政策的方法的主流。我们的调查将涵盖深度强化学习中的核心算法，包括深度$Q$网络，信任区域策略优化和异步优势演员-评论家。同时，我们强调了深度神经网络的独特优势，重点是通过强化学习进行视觉理解。最后，我们描述了该领域内的几个当前研究领域。
2017-09-28 cs.AI cs.CV cs.LG
Benchmarking Contemporary Deep Learning Hardware and Frameworks:A Survey of Qualitative Metrics
Southeast Missouri State University（东南密苏里州立大学）；University of Arkansas at Little Rock（阿肯色大学小石城分校）
本文概述了基准测试原则、机器学习设备（包括GPU、FPGA和ASIC）以及深度学习软件框架。它还从框架的6度量方法和硬件平台的11度量方法的角度审查了这些技术的基准测试。由于MLPerf是一个与工业界和学术界合作的基准测试组织，并提供评估深度学习硬件设备上的训练和推理的深度学习基准测试，因此调查还提到了MLPerf基准测试结果、基准测试指标、数据集、深度学习框架和算法。我们总结了七个基准测试原则，主流AI设备的差异化特征，以及深度学习硬件和框架的定性比较。
2019-11-23 cs.DC cs.LG cs.PF
Revealing the Distributional Vulnerability of Discriminators by Implicit Generators
University of Technology Sydney（悉尼科技大学）；Sun Yat-sen University（中山大学）
针对OOD样本缺失时判别器易对OOD样本给出高置信预测的问题，提出基于信息论的FIG方法，通过隐式生成OOD样本并加正则微调，实现SOTA的OOD检测性能。
2023-08-27 cs.LG
Deep Learning for Sentiment Analysis : A Survey
LinkedIn Corporation（领英公司）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
深度学习已经成为一种强大的机器学习技术，它学习数据的多层表示或特征，并产生最先进的预测结果。随着深度学习在许多其他应用领域的成功，深度学习近年来也被广泛用于情感分析。本文首先概述了深度学习，然后对其当前在情感分析中的应用进行了全面的调查。
2018-01-30 cs.CL cs.IR cs.LG
Large-Scale Deep Learning Optimizations: A Comprehensive Survey
National University of Singapore（新加坡国立大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
深度学习在广泛的人工智能应用中取得了可喜的成果。更大的数据集和模型始终会产生更好的性能。然而，我们通常会在更多的计算和通信上花费更长的训练时间。在本次调查中，我们的目标是提供一个关于大规模深度学习在模型准确性和模型效率方面的优化的清晰草图。我们研究了最常用于优化的算法，阐述了大批量训练中出现的泛化差距这一有争议的话题，并回顾了SOTA在解决通信开销和减少内存占用方面的策略。
2021-11-02 cs.LG
A Survey on Deep Learning Toolkits and Libraries for Intelligent User Interfaces
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
本文概述了著名的深度学习工具包，特别是报告了最近的出版物，这些出版物为实现智能用户界面（IUI）中常见的任务贡献了开源软件。我们为计划在IUI研究和开发项目中使用深度学习技术的研究人员和软件工程师提供科学参考。
2018-03-14 cs.HC cs.LG
Time Series Forecasting With Deep Learning: A Survey
University of Oxford（牛津大学）
已经开发了许多深度学习架构来适应跨不同域的时间序列数据集的多样性。在这篇文章中，我们调查了在一步前进和多水平时间序列预测中使用的常见编码器和解码器设计-描述了时间信息如何被纳入每个模型的预测。接下来，我们将重点介绍混合深度学习模型的最新发展，该模型将经过充分研究的统计模型与神经网络组件相结合，以改进任一类别的纯方法。最后，我们概述了深度学习也可以通过时间序列数据促进决策支持的一些方法。
2020-09-27 cs.LG stat.ML
Efficient low-thrust trajectory data generation based on generative adversarial network
University of New South Wales（新南威尔士大学）
近年来，基于深度学习的技术已被引入轨迹优化领域。深度神经网络（DNN）被训练并用作常规优化过程的代理。它们可以提供低推力（LT）转移成本估计，并使更复杂的初步任务设计。然而，有效地获得用于训练的所需量的轨迹数据是一个挑战。生成对抗网络（GAN）适用于有效地生成可行的LT轨迹数据。GAN由生成器和生成器组成，两者都是深度网络。生成器使用随机噪声作为输入来生成伪LT传递特征，而鉴别器将生成器的伪LT传递特征与真实LT传递特征区分开。GAN被训练，直到生成器生成伪LT传输，而伪LT传输无法识别。这表明发电机产生的低推力传递特征具有与实际传递特征相同的分布。生成的低推力传递数据具有高收敛速率，并且它们可以用于有效地产生用于深度学习模型的训练数据。通过在近地小行星（NEA）任务场景中生成可行的LT传输，验证了所提出的方法。GAN生成的样本的收敛率为84.3%。
2022-09-14 cs.LG cs.SY eess.SY
Deep learning-based virtual refocusing of images using an engineered point-spread function
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们提出了一种虚拟图像重聚焦方法在一个扩展的景深（DOF）的级联神经网络和双螺旋点扩散函数（DH-PSF）。该网络模型由两个级联的发电机和无功补偿网络对组成。第一生成器网络学习将输入图像虚拟地重新聚焦到用户定义的平面上，而第二生成器学习执行跨模态图像变换，从而提高输出图像的横向分辨率。使用这种带有DH-PSF工程的W-Net模型，我们将荧光显微镜的DOF扩展了约20倍。这种方法可以应用于开发用于定位显微技术的支持深度学习的图像重建方法，这些方法利用工程化的PSF来提高其成像性能，包括空间分辨率和体积成像吞吐量。
2020-12-22 cs.CV cs.LG eess.IV
Image Captioning based on Deep Learning Methods: A Survey
University of Chinese Academy of Sciences（中国科学院大学）
图像描述是人工智能领域的一项具有挑战性的研究课题，在高效图像检索、智能导盲、人机交互等方面有着广泛的应用前景。本文综述了基于深度学习方法的图像描述的研究进展，包括编码器-解码器结构、编码器改进方法、解码器改进方法、和其他改进。最后，我们讨论了未来的研究方向。
2019-05-20 cs.CL cs.CV cs.LG
Improving Disease Classification Performance and Explainability of Deep Learning Models in Radiology with Heatmap Generators
University of Toronto（多伦多大学）；The Hospital for Sick Children (SickKids)（病童医院（SickKids））；Vector Institute（向量研究所）
随着深度学习在放射学领域的广泛应用，这种模型的可解释性对于在使用模型进行诊断时获得临床医生的信任越来越重要。在这项研究中，使用U-Net架构进行了三个实验集，以提高分类性能，同时通过在训练期间结合热图生成器来增强与模型焦点对应的热图。所有实验都使用了包含胸部X光照片的数据集，来自三种条件之一的相关标签（“正常”，“充血性心力衰竭（CHF）”和“肺炎”），以及关于放射科医生在图像上的眼睛注视坐标的数字信息。论文（A。Karargyris和Moradi，2021）介绍了该数据集，开发了一个U-Net模型，该模型被视为本研究的基线模型，以展示如何将眼睛注视数据用于多模态训练以提高可解释性。为了比较分类性能，测量了受试者工作特征曲线下面积（AUC）的95%置信区间（CI）。最佳方法的AUC为0.913（CI：0.860-0.966）。改善最大的是“肺炎”和“CHF”类别，基线模型最难对其进行分类，AUC分别为0.859（CI：0.732-0.957）和0.962（CI：0.933-0.989）。所提出的方法的解码器也能够产生概率掩模，突出模型分类中的决定性图像部分，类似于放射科医生的眼睛凝视数据。因此，这项工作表明，将热图生成器和眼睛注视信息纳入训练可以同时改善疾病分类，并提供可解释的视觉效果，这些视觉效果与放射科医生在诊断时如何查看胸部X光片保持一致。
2022-06-28 cs.CV cs.LG eess.IV
Towards generalizing deep-audio fake detection networks
University of Bonn（波恩大学）
针对深度分类器难以泛化到未知音频生成器的问题，该研究利用当前生成器的频域指纹训练轻量级检测器，并通过纳入 Avocodo 与 BigVGAN 样本扩展 WaveFake，实现了更好的跨生成器检测效果。
2024-04-09 cs.LG cs.SD eess.AS
No Peek: A Survey of private distributed deep learning
Massachusetts Institute of Technology（麻省理工学院）
我们调查分布式深度学习模型，以进行训练或推理，而无需访问来自客户端的原始数据。这些方法旨在保护数据中的机密模式，同时仍然允许服务器训练模型。比较了联邦学习、分裂学习和大批量随机梯度下降的分布式深度学习方法，以及神经网络背景下的差分隐私、同态加密、不经意传输和乱码电路的隐私和安全方法。我们研究了它们在计算资源、数据泄漏和通信效率方面的优势、局限性和权衡，并分享了我们预期的未来趋势。
2018-12-08 cs.DC cs.LG stat.ML
A Comprehensive Survey of Deep Learning for Image Captioning
Murdoch University（莫道克大学）
生成图像的描述被称为图像描述。图像描述需要识别图像中的重要对象及其属性和关系。它还需要生成语法和语义正确的句子。基于深度学习的技术能够处理图像描述的复杂性和挑战。在这篇调查论文中，我们旨在对现有的基于深度学习的图像描述技术进行全面回顾。我们讨论了技术的基础，分析其性能，优势和局限性。我们还讨论了基于深度学习的自动图像描述中常用的数据集和评估指标。
2018-10-14 cs.CV cs.LG stat.ML
Rate-Optimal Denoising with Deep Neural Networks
Rice University（莱斯大学）
深度神经网络为图像去噪提供了最先进的性能，其目标是从嘈杂的观察中恢复接近无噪声的图像。其基本原理是，在大型数据集上训练的神经网络已经被经验证明能够从图像的低维潜在表示很好地生成自然图像。给定这样的生成器网络，可以通过i）在生成器的范围内找到最接近的图像或ii）将其通过编码器-生成器架构（称为自动编码器）来对噪声图像进行降噪。然而，几乎没有理论来证明这一成功，更不用说预测作为网络参数的函数的去噪性能了。在本文中，我们考虑的问题，从加性高斯噪声的图像去噪使用两个发电机为基础的方法。在这两种情况下，我们假设图像由具有ReLU激活函数的深度神经网络很好地描述，将$k$维代码映射到$n$维图像。在自动编码器的情况下，我们表明，前馈网络降低噪声能量的一个因素的$O(k/n)$。在生成模型的范围内进行优化的情况下，我们陈述并分析了一个简单的梯度算法，该算法使非凸损失函数最小化，并可证明地将噪声能量降低了$O(k/n)$的因子。我们还在数值实验中证明，这种去噪性能确实是通过从数据中学习的生成先验来实现的。
2019-04-06 cs.IT cs.LG eess.SP
Deep Reinforcement Learning for Intelligent Transportation Systems: A Survey
最新的技术改进提高了运输质量。新的数据驱动方法为所有基于控制的系统带来了新的研究方向，例如，在交通、机器人、物联网和电力系统中。将数据驱动的应用程序与交通系统相结合在最近的交通应用中起着关键作用。在本文中，最新的深度强化学习（RL）为基础的交通控制应用进行了调查。具体而言，交通信号控制（TSC）的应用程序的基础上（深）RL，这已被广泛研究的文献中，详细讨论。不同的问题配方，RL参数，和仿真环境的TSC进行了全面讨论。在文献中，也有一些使用深度RL模型研究的自动驾驶应用。我们的调查广泛总结了现有的作品在这一领域进行分类，它们与应用类型，控制模型和研究算法。最后，我们讨论了基于深度RL的交通应用的挑战和开放性问题。
2020-05-02 cs.LG cs.MA cs.SY
