Proactive Load-Shaping Strategies with Privacy-Cost Trade-offs in Residential Households based on Deep Reinforcement Learning
The University of Manchester（曼彻斯特大学）；KU Leuven（鲁汶大学）；COSIC（计算机与安全集成中心）
针对智能电表隐私泄露问题，提出基于深度强化学习的主动负荷整形算法PLS-DQN，通过制造虚假负荷特征误导攻击者，在保护隐私的同时兼顾成本，优于现有方法。
2024-05-29 cs.LG cs.SY eess.SY
Shaping Advice in Deep Multi-Agent Reinforcement Learning
University of Washington（华盛顿大学）
多智能体强化学习涉及多个智能体相互交互和共享环境来完成任务。当环境提供的奖励是稀疏的，代理可能不会收到即时反馈的质量，他们采取的行动，从而影响学习的政策。在本文中，我们提出了一种称为深度多智能体强化学习（SAM）中的整形建议的方法，以通过称为整形建议的额外奖励来增强来自环境的奖励信号。成形建议由连续时间步长处的势函数的差给出。每个潜在的功能是一个功能的观察和行动的代理。成形建议只需要在训练开始时指定一次，并且可以很容易地由非专家提供。我们通过理论分析和实验验证表明，SAM提供的成形建议不会分散代理完成环境奖励指定的任务。理论上，我们证明了使用SAM时的策略梯度和价值函数的收敛意味着在没有SAM的情况下这些量的收敛。在实验中，我们评估SAM在多智能体粒子世界环境中的三个任务，有稀疏的奖励。我们观察到，使用SAM导致代理学习策略更快地完成任务，并获得更高的奖励：i）单独使用稀疏奖励; ii）最先进的奖励再分配方法。
2021-03-29 cs.AI cs.LG cs.SY
Towards Opinion Shaping: A Deep Reinforcement Learning Approach in Bot-User Interactions
本文聚焦随机有界置信模型，探索智能体控制机器人部署与预算约束下定向广告两种方法，结合深度确定性策略梯度算法及变体开展深度强化学习实验，验证了方法可高效实现观点塑造，为社交平台广告资源配置提供参考。
2024-09-12 cs.AI cs.LG cs.SI
Shaping Advice in Deep Reinforcement Learning
University of Washington（华盛顿大学）；Western Washington University（西华盛顿大学）
强化学习涉及代理与环境交互以完成任务。当环境提供的奖励是稀疏的，代理可能不会收到即时反馈的质量，他们采取的行动，从而影响学习的政策。在本文中，我们提出的方法，以增加奖励信号的环境与额外的奖励称为成形的意见，在单和多智能体强化学习。成形建议被指定为连续时间步长处的势函数的差。每个潜在的功能是一个功能的观察和行动的代理。势函数的使用是基于这样一种认识，即从任何状态开始并返回到相同状态时的总势总是等于零。我们通过理论分析和实验验证表明，成形的建议不会分散代理完成指定的任务的环境奖励。理论上，我们证明了策略梯度和价值函数的收敛时，使用整形建议意味着这些数量的收敛，在没有整形建议。我们设计了两个算法-单智能体强化学习（SAS）中的Shaping Advice和多智能体强化学习（SAM）中的Shaping Advice。SAS和SAM中的成形建议只需在培训开始时指定一次，并且可以由非专家轻松提供。在实验中，我们评估SAS和SAM的两个任务在单智能体环境和三个任务在多智能体环境中，有稀疏的奖励。我们观察到，使用整形建议导致代理学习策略，以更快地完成任务，并获得比不使用整形建议的算法更高的奖励。
2022-02-19 cs.AI cs.LG cs.MA
Rapid training of deep neural networks without skip connections or normalization layers using Deep Kernel Shaping
DeepMind（深度思维）；Google（谷歌）
使用Poole等人（2016）的Q/C图分析的扩展和形式化版本，以及神经切线核理论，我们确定了深度网络中存在的主要病理，这些病理阻止了它们快速训练和泛化到看不见的数据，并展示了如何通过仔细控制网络初始化时核函数的“形状”来避免这些病理。然后，我们开发了一种称为深度内核整形（DKS）的方法，该方法使用精确的参数初始化，激活函数转换和小的架构调整的组合来实现这一点，所有这些都保留了模型类。在我们的实验中，我们证明了DKS能够在Imagenet和CIFAR-10分类任务上对没有归一化层的残差网络进行SGD训练，其速度与标准ResNetV 2和Wide-ResNet模型相当，而泛化性能只有小幅下降。当使用K-FAC作为优化器时，我们在没有跳过连接的网络中获得了类似的结果。我们的结果适用于各种各样的激活函数，包括那些传统上表现非常差，如logistic sigmoid。除了DKS之外，我们还对跳过连接、规范化层、特殊激活函数（如SELU）以及各种初始化方案进行了详细分析，解释了它们作为“塑造”网络初始化时间内核的替代（最终不完整）方式的有效性。
2021-10-05 cs.AI cs.LG cs.NE
A Multi-class Ride-hailing Service Subsidy System Utilizing Deep Causal Networks
DiDi Chuxing（滴滴出行）
针对网约车补贴中混杂因素导致提升效应难以无偏估计的问题，本文提出一种基于深度因果网络的多类别消费者补贴系统，以建模补贴倾向与处理效应关系，并在轻量在线环境中实现有效应用。
2024-08-04 cs.LG stat.ML
DeepCO: Offline Combinatorial Optimization Framework Utilizing Deep Learning
Hitachi, Ltd.（株式会社日立）
组合优化在许多现代工业应用中起着重要作用。由于安全和/或成本问题，大量的问题是离线设置。虽然基于模拟的方法似乎很难实现复杂的系统，在这项研究中，我们提出了DeepCO，一个利用深度学习的离线组合优化框架。我们也设计了旅行商问题（TSP）的离线变化模型仓库操作序列优化问题进行评估。在历史数据有限的情况下，本文提出的分布正则化优化方法在离线TSP实验中的性能优于现有的基线方法，平均减少路径长度5.7%，在现实问题中显示出巨大的潜力。
2020-07-20 cs.LG math.OC stat.ML
Deep TAMER: Interactive Agent Shaping in High-Dimensional State Spaces
U.S. Army Research Laboratory（美国陆军研究实验室）；Columbia University（哥伦比亚大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
虽然深度强化学习的最新进展已经允许自主学习代理成功完成各种复杂任务，但现有算法通常需要大量训练数据。提高代理能够学习执行任务的速度的一种方法是利用人类培训师的输入。虽然这种输入可以采取多种形式，但实时的标量值反馈在人类难以或不可能提供专家演示的情况下特别有用。先前的方法已经显示了以这种方式提供的人类输入的有用性（例如，TAMER框架），但他们迄今尚未考虑高维状态空间或采用深度学习的使用。在本文中，我们两个都做：我们提出了Deep TAMER，这是TAMER框架的扩展，它利用了深度神经网络的表征能力，以便在很短的时间内与人类训练师一起学习复杂的任务。我们通过使用它和仅仅15分钟的人类提供的反馈来展示Deep TAMER的成功，以训练一个在Atari保龄球游戏中表现得比人类更好的代理-即使是最先进的强化学习方法也很难完成这项任务。
2018-01-19 cs.AI cs.LG
Understanding and Utilizing Deep Neural Networks Trained with Noisy Labels
The Chinese University of Hong Kong（香港中文大学）；Tencent Technology（腾讯科技）
噪声标签在现实世界的数据集中无处不在，这对鲁棒训练深度神经网络（DNN）提出了挑战，因为DNN通常具有高容量来记住噪声标签。在本文中，我们发现，测试精度可以定量表征的数据集的噪声比。特别是，在对称噪声的情况下，测试精度是噪声比的二次函数，这解释了先前发表的实验结果。基于我们的分析，我们将交叉验证应用于随机分割的噪声数据集，从而识别出具有正确标签的大多数样本。然后，我们采用协同教学策略，充分利用已识别的样本来针对有噪标签鲁棒地训练DNN。与广泛的最先进的方法相比，我们的策略始终提高了DNN在合成和真实世界训练噪声下的泛化性能。
2019-05-13 cs.LG stat.ML
Predictive Coding for Boosting Deep Reinforcement Learning with Sparse Rewards
UC Berkeley（加州大学伯克利分校）
虽然深度强化学习的最新进展使机器人能够学习复杂的行为，但具有长期视野和稀疏奖励的任务仍然是一个持续的挑战。在这项工作中，我们提出了一个有效的奖励塑造方法，通过预测编码来解决稀疏奖励问题。通过离线学习预测表示并将这些表示用于奖励塑造，我们可以获得了解环境结构和动态的奖励信号。特别是，我们的方法通过提供奖励信号来实现更好的学习，这些奖励信号1）理解环境动态2）强调对学习最有用的特征3）通过奖励累积来抵抗学习表示中的噪声。我们证明了这种方法在从机器人操作到导航的不同领域中的有用性，并且我们表明，通过预测编码产生的奖励信号对于学习和手工制作的奖励一样有效。
2020-08-03 cs.AI cs.LG stat.ML
A Deep Learning Density Shaping Model Predictive Gust Load Alleviation Control of a Compliant Wing Subjected to Atmospheric Turbulence
Sharif University of Technology（谢里夫理工大学）
针对大气湍流作用下的柔性机翼，本文提出结合定制PINN与自动微分的深度学习概率密度整形MPC方法，可有效减缓随机阵风载荷、降低翼尖挠度。
2025-11-13 cs.LG cs.SY eess.SY
Improving cosmological reach of a gravitational wave observatory using Deep Loop Shaping
Google DeepMind（谷歌DeepMind）；Gran Sasso Science Institute (GSSI)（格拉斯索科学研究所）；Laboratori Nazionali del Gran Sasso（格拉斯索国家实验室）；LIGO Laboratory, Division of Physics, Math, and Astronomy, California Institute of Technology（LIGO实验室，物理、数学和天文学系，加州理工学院）；LIGO Instrument Team（LIGO仪器团队）
针对引力波天文镜面稳定控制注入有害噪声阻碍灵敏度提升的问题，提出基于频域奖励的强化学习方法 Deep Loop Shaping，在 LIGO Livingston Observatory 验证中将 10--30Hz 频段控制噪声降低超 30 倍，显著提升了观测能力。
2025-10-11 astro-ph.IM cs.LG cs.SY
Mitigation of Adversarial Examples in RF Deep Classifiers Utilizing AutoEncoder Pre-training
Perspecta Labs Inc.
图像机器学习中的对抗性示例被广泛宣传和探索。由轻微扰动的输入引起的错误分类的示例是丰富的并且是众所周知的（例如，一张熊猫的照片被不知不觉地扰乱，以欺骗分类器将其错误地标记为熊猫）。对射频（RF）信号深度学习（DL）的类似攻击及其缓解策略在已发表的工作中几乎没有涉及。然而，具有最小波形扰动的RF对抗性示例（AdEx）可能导致严重的、有针对性的误分类结果，特别是针对频谱感测/调查应用（例如，BPSK被误认为8-PSK）。我们对深度学习AdEx和拟议防御机制的研究是以RF为中心的，并结合了物理世界，空中（OTA）效应。我们在这里提出的防御机制的基础上预训练的目标分类器使用自动编码器。我们的研究结果验证了这种方法是一种可行的缓解方法，可以颠覆针对基于深度学习的通信和雷达传感系统的对抗性攻击。
2019-02-16 cs.LG eess.SP stat.ML
Generalization in Deep Reinforcement Learning for Robotic Navigation by Reward Shaping
Universidade Federal de Minas Gerais (UFMG)（米纳斯吉拉斯联邦大学）
针对DRL机器人局部导航易陷局部极小值、泛化性不足的问题，提出融入训练阶段地图信息的新型奖励函数，结合SAC算法训练，经仿真和实机实验验证在避障和规避局部极小值上性能更优。
2023-08-26 cs.LG cs.RO
Batch-Shaping for Learning Conditional Channel Gated Networks
Qualcomm AI Research（高通人工智能研究院）
我们提出了一种训练大容量神经网络的方法，具有显着提高的精度和较低的动态计算成本。我们通过在细粒度级别上门控深度学习架构来实现这一点。单个卷积映射根据网络中的特征有条件地打开/关闭。为了实现这一点，我们引入了一种新的残差块架构，以细粒度的方式对卷积通道进行门控。我们还介绍了一个普遍适用的工具$batch$ - $shaping$，匹配的边缘聚合后验的功能在神经网络预先指定的先验分布。我们使用这种新技术来迫使门对数据有更多的条件。我们在CIFAR-10和ImageNet数据集上进行图像分类，并在Cityscapes上进行语义分割。我们的结果表明，我们的方法可以有条件地精简大型架构，使数据的平均计算成本与较小的架构相当，但精度更高。特别是，在ImageNet上，我们的ResNet 50和ResNet 34门控网络获得了74.60%和72.55%的top-1准确率，而基线ResNet 18模型的准确率为69.76%，具有类似的复杂性。我们还表明，由此产生的网络自动学习使用更多的功能，困难的例子和简单的例子较少的功能。
2020-04-03 cs.CV cs.LG stat.ML
Reward Shaping for Happier Autonomous Cyber Security Agents
The Alan Turing Institute（艾伦·图灵研究所）
本研究探讨了计算机网络防御任务中奖励信号对深度强化学习智能体的影响，提出结合正向外部奖励等奖励塑造技术以提升样本效率和收敛性能，并分析了内在好奇心在高级网络监控任务中的局限性。
2023-10-20 cs.AI cs.LG
Reward Shaping for User Satisfaction in a REINFORCE Recommender
Google, Inc（谷歌公司）
我们如何设计基于强化学习（RL）的决策器，以鼓励将用户轨迹与潜在的用户满意度保持一致？三个研究问题是关键：（1）测量用户满意度，（2）打击满意度信号的稀疏性，（3）调整推荐代理的训练，以最大限度地提高满意度。对于测量，已经发现，明确地要求用户对他们对消费物品的体验进行评级的调查可以向参与/交互数据提供有价值的正交信息，充当潜在用户满意度的代理。对于稀疏性，即只能观察用户对一小部分用户-项目交互的满意度，插补模型可以用于预测用户消费的所有项目的满意度。对于学习满意的推荐策略，我们假设RL推荐代理中的奖励塑造对于驱动满意的用户体验是强大的。把所有的东西放在一起，我们建议联合学习一个策略网络和一个满意度归因网络：归因网络的作用是学习哪些行为是令用户满意的;而建立在REINFORCE之上的策略网络决定推荐哪些项目，并利用归因的满意度进行奖励。我们在一个工业化的大规模推荐平台上使用离线分析和现场实验来证明我们的方法满足用户体验的承诺。
2022-09-30 cs.AI cs.IR cs.LG
DeepCSHAP: Utilizing Shapley Values to Explain Deep Complex-Valued Neural Networks
University of Münster（明斯特大学）
本文提出DeepCSHAP，将Shapley值解释方法扩展到复值神经网络，并给出四种梯度解释方法，评估质量并开源。
2024-03-13 cs.LG
Unveiling the frontiers of deep learning: innovations shaping diverse domains
Sunway University（双威大学）；North South University（北南大学）；University of Information Technology and Sciences（信息技术与科学大学）；Asian University for Women（亚洲女子大学）；Georgia Institute of Technology（佐治亚理工学院）；University of Technology Sydney（悉尼科技大学）；Óbuda University（布达佩斯奥布达大学）；Khazar University（哈扎尔大学）
本文综述了深度学习在四个广泛领域的最新应用、框架及优势与挑战，展示了其在交通预测和植物病害分类等任务中的高精度表现，并指出数据规模与质量等限制及未来研究方向。
2025-04-05 cs.AI cs.LG cs.NE
Adversarial Conversational Shaping for Intelligent Agents
University College London（伦敦大学学院）
针对当前对话系统不稳定、准确性不足的问题，研究了两种基于对抗式对话塑造的智能对话增强模型，并在强化学习框架下结合不同训练细节探讨其性能。
2023-07-20 cs.CL cs.LG
Hybrid Deepfake Detection Utilizing MLP and LSTM
针对深度伪造内容传播虚假信息的问题，提出结合LSTM和MLP的混合深度伪造检测方案，在140k Real and Fake Faces数据集上最高准确率达74.7%。
2023-04-21 cs.CV cs.LG
Utilizing Lyapunov Exponents in designing deep neural networks
University of Colorado（科罗拉多大学）
本研究探讨Lyapunov指数在深度神经网络训练中的应用，发现其可反映学习率对权重的混沌影响、关联激活函数收敛性，还能用于选择有效初始权重以加速训练优化。
2024-10-08 cs.AI cs.LG
Utilizing Deep Learning Towards Multi-modal Bio-sensing and Vision-based Affective Computing
University of California San Diego（加州大学圣地亚哥分校）
近年来，诸如脑电图（EEG）、心电图（ECG）等的生物感测信号的使用已经引起了对情感计算中的应用的兴趣。深度学习的并行趋势导致性能在解决各种基于视觉的研究问题（如目标检测）方面取得了巨大的飞跃。然而，深度学习的这些进展并没有充分转化为生物传感研究。这项工作将基于深度学习的新方法应用于四个公开的多模态情感数据集的各种生物传感和视频数据。对于每个数据集，我们首先单独评估每个模态获得的情感分类性能。然后，我们评估通过融合这些模式的功能所获得的性能。我们表明，我们的算法优于其他研究报告的结果DEAP和MAHNOB-HCI数据集上的情绪/效价/唤醒/喜欢分类，并为较新的AMIGOS和DREAMER数据集建立了基准。我们还通过结合数据集和使用迁移学习来评估我们的算法的性能，以表明所提出的方法克服了数据集之间的不一致性。因此，我们对来自120多名受试者和2,800次试验的多模态情感数据进行了全面分析。最后，利用卷积-去卷积网络，我们提出了一种新的技术，以确定显着的大脑区域对应于各种情感状态。
2019-05-16 cs.HC cs.LG eess.SP
Utilizing Deep Learning to Optimize Software Development Processes
AMA University（AMA大学）；Carnegie Mellon University（卡内基梅隆大学）；Microsoft（微软）；Boston University（波士顿大学）；Northeastern University（东北大学）
本研究通过实证对比验证了深度学习在代码审查、错误预测和测试生成中的应用能显著降低代码错误率并缩短项目完成时间，从而有效优化软件开发流程。
2024-05-03 cs.AI cs.CL cs.LG
A Deep Learning Approach Utilizing Covariance Matrix Analysis for the ISBI Edited MRS Reconstruction Challenge
Eindhoven University of Technology（埃因霍温理工大学）；Maastricht University Medical Center（马斯特里赫特大学医学中心）；Philips Healthcare（飞利浦医疗）；Philips Research（飞利浦研究院）
针对ISBI编辑MRS重建挑战赛，本文提出以样本协方差矩阵为输入的机器学习方法，以加速高质量编辑MRS采集，并在合成和在体含噪场景下保持鲁棒。
2023-06-05 cs.LG eess.IV physics.med-ph
Automatic Pronunciation Generation by Utilizing a Semi-supervised Deep Neural Networks
Sony Corporation（索尼公司）；ETH Zurich（苏黎世联邦理工学院）
音素或语音子词单元是现代自动语音识别系统中最常用的表示语音信号的原子单元。然而，由于以下几个原因，它们不是最佳选择：手工制作发音词典需要大量的努力，发音变化，人为错误以及方言和语言资源不足。本文提出了一种数据驱动的发音估计和声学建模方法，该方法仅利用正字法来联合估计一组子词单元和一个可靠的词典。实验结果表明，该方法基于半监督训练的深度神经网络，在TIMIT数据集上的识别性能大大优于基于音素的连续语音识别。
2016-06-15 cs.CL cs.LG cs.SD
Controlling Steering Angle for Cooperative Self-driving Vehicles utilizing CNN and LSTM-based Deep Networks
Center for Research in Electric Autonomous Transport (CREAT)（电动自主交通研究中心（CREAT））；University of Central Florida（中佛罗里达大学）
本文提出利用CNN和LSTM深度网络，通过考虑图像帧之间的时序依赖性，提高协作自动驾驶车辆转向角控制的准确性。
2019-05-12 cs.CV cs.LG
Deep Learning for Polycystic Kidney Disease: Utilizing Neural Networks for Accurate and Early Detection through Gene Expression Analysis
University of North Texas（北德克萨斯大学）
本研究提出基于深度学习的基因表达分析方法，用于多囊肾病的准确早期检测，并通过基因本体论分析揭示PKD可能影响的关键基因过程与功能。
2023-09-23 cs.LG q-bio.QM
ARiA: Utilizing Richard's Curve for Controlling the Non-monotonicity of the Activation Function in Deep Neural Nets
Michigan Technological University（密歇根理工大学）；Symbiosis Centre for Medical Image Analysis（共生医学图像分析中心）；Symbiosis Institute of Technology（共生技术学院）
这项工作引入了一种新的激活单元，可以有效地用于深度神经网络（DNN），并且比传统的整流线性单元（ReLU）表现得更好。开发的函数是专门的理查德曲线的两个参数版本，我们称之为自适应理查德曲线加权激活（ARiA）。该函数是非单调的，类似于新引入的Swish，但是允许通过改变超参数来精确控制其非单调凸性。我们首先展示了两个参数ARiA的数学意义，然后将其应用于MNIST、CIFAR-10和CIFAR-100等基准问题，并将其与ReLU和Swish单元进行了性能比较。我们的研究结果表明，ARiA在所有这些数据集上都具有显著的优越性能，使其成为DNN中ReLU和其他激活的潜在替代品。
2018-05-22 cs.LG cs.NE
Difficulty Classification of Mountainbike Downhill Trails utilizing Deep Neural Networks
LMU Munich（慕尼黑大学）
山地自行车下坡道的难度是一种主观感受。然而，体育协会和山地自行车公园运营商试图将路径分组为不同难度级别，如Singletrail-Skala（S 0-S5）或彩色尺度（蓝色，红色，黑色，...）。国际山地自行车协会（International Mountain Bicycling Association）。难度分级的增加是由于各种尺度、不同的人对小径进行分级、地形的差异等等。我们提出了一种端到端的深度学习方法，通过使用传感器数据将踪迹分为三个难度：容易，中等和困难。使用mbientlab Meta Motion r0.2传感器单元，我们可以记录一名骑手在多个赛道段上的加速度计和陀螺仪数据。用上述数据的堆叠和级联表示作为其输入来训练2D卷积神经网络。我们使用五种不同的样本和五种不同的内核大小进行实验，并实现了0.9097的最大稀疏分类精度。据我们所知，这是第一个针对计算难度分类的山地自行车下坡道的工作。
2019-08-05 cs.CV cs.LG
Image compression optimized for 3D reconstruction by utilizing deep neural networks
Rafael Advanced Defense Systems LTD.（拉斐尔先进防御系统有限公司）；Technion - Israel Institute of Technology（以色列理工学院）
计算机视觉任务通常期望在压缩图像上执行。像JPEG 2000这样的经典图像压缩标准被广泛使用。然而，它们并没有考虑到手头的具体最终任务。受基于递归神经网络（RNN）的图像压缩和三维（3D）重建工作的启发，我们提出了统一的网络架构来共同解决这两个任务。这些关节模型提供针对3D重建的特定任务定制的图像压缩。我们提出的模型压缩的图像，产生三维重建性能优于使用JPEG 2000压缩。我们的模型显着扩展了3D重建可能的压缩率范围。我们还表明，这可以高效地完成，几乎没有额外的成本，以获得压缩的计算已经需要执行的3D重建任务。
2021-07-24 cs.CV cs.LG eess.IV
Utilizing Explainable AI for Quantization and Pruning of Deep Neural Networks
Friedrich-Alexander University Erlangen-Nürnberg (FAU)（埃尔朗根-纽伦堡大学）
对于许多应用，利用DNN（深度神经网络）需要以关于能耗、存储器要求、吞吐量等的优化方式在目标架构上实现。DNN压缩用于在硬件上部署DNN之前减少DNN的存储器占用和复杂性。近年来，人们对人工智能（人工智能）方法的理解和解释产生了一个新的研究领域，称为可解释人工智能。可解释的人工智能方法使我们能够更好地理解DNN的内部工作，例如不同神经元和特征的重要性。可解释人工智能的概念提供了一个机会来改进DNN压缩方法，例如量化和修剪，这些方法到目前为止还没有得到充分的探索。在本文中，我们使用可解释的AI方法：主要是DeepLIFT方法。我们将这些方法用于（1）DNN的修剪;这包括\ac{CNN}过滤器的结构化和非结构化修剪以及全连接层的修剪权重，（2）使用聚类算法的DNN权重的非均匀量化;这也被称为权重共享，以及（3）基于整数的混合精度量化;这是DNN的每一层可以使用不同数目的整数比特的地方。我们使用典型的图像分类数据集和常见的深度学习图像分类模型进行评估。在所有这三种情况下，我们展示了在DNN压缩中使用可解释AI的显着改进以及新的见解和机会。
2020-08-20 cs.AI cs.CV cs.LG
An Intrusion Response System utilizing Deep Q-Networks and System Partitions
University of Rome Tor Vergata（罗马第二大学）；Sapienza University of Rome（罗马第一大学）；Roma Tre University（罗马第三大学）；Mississippi State University（密西西比州立大学）
入侵响应是一个相对较新的研究领域。最近创建入侵响应系统（IRS）的方法使用强化学习（RL）作为主要技术，用于选择最佳或接近最佳的适当对策，以阻止或减轻正在进行的攻击。然而，他们中的大多数没有考虑到系统可以随时间变化的事实，或者换句话说，系统表现出非平稳行为。此外，有状态的方法，如基于RL的方法，由于状态空间随受保护系统的大小呈指数增长而遭受维数灾难。在本文中，我们介绍和开发了一个IRS软件原型，命名为IRS分区。它利用受保护系统和Deep Q-Networks的分区，通过支持多代理制定来解决维度灾难。此外，它利用迁移学习来跟踪非平稳系统的演化。
2022-02-16 cs.AI cs.CR cs.LG
Packet2Vec: Utilizing Word2Vec for Feature Extraction in Packet Data
Sandia National Laboratories（桑迪亚国家实验室）
深度学习的一个有吸引力的好处是能够从大部分原始数据中自动提取目标问题的相关特征，而不是利用人工工程和容易出错的手工特征。虽然深度学习在图像分类和自然语言处理等领域取得了成功，但其在原始网络数据包数据的特征提取以进行入侵检测方面的应用在很大程度上尚未开发。在本文中，我们修改了Word 2 Vec的方法，用于文本处理，并将其应用到数据包的自动特征提取。我们称这种方法为Packet 2 Vec。对于2009年DARPA网络数据集上的良性流量与恶意流量的分类任务，我们获得了0.988-0.996之间的受试者工作特征（ROC）的曲线下面积（AUC）和0.604-0.667之间的精确度/召回率曲线的AUC。
2020-04-29 cs.CR cs.LG
The Role of Regularization in Shaping Weight and Node Pruning Dependency and Dynamics
Ben-Gurion University（本-古里安大学）；Bar-Ilan University（巴伊兰大学）
降低深度神经网络容量的迫切需求刺激了网络稀释方法及其分析的发展。虽然经常提到$L_1$和$L_0$正则化鼓励稀疏性的能力，但在此上下文中很少讨论$L_2$正则化。我们提出了一个新的框架，重量修剪采样的概率函数，有利于零较小的权重。此外，我们研究的贡献，$L_1$和$L_2$正则化的动态节点修剪，同时优化权重修剪。然后，我们证明了所提出的随机框架的有效性，当与流行的分类模型上的权重衰减正则化器一起使用时，在MNIST分类的MLP中去除50%的节点，在VGG-16中去除60%的过滤器用于CIFAR 10分类，以及在医学图像模型上，在U-Net中去除60%的通道，例如分割，在CNN模型中去除50%的通道，用于COVID-19检测。对于这些节点修剪的网络，我们还提出了具有竞争力的权重修剪结果，其准确性仅略低于原始的密集网络。
2020-12-07 cs.CV cs.LG eess.IV
Position Aware 60 GHz mmWave Beamforming for V2V Communications Utilizing Deep Learning
University of Massachusetts Dartmouth（马萨诸塞大学达特茅斯分校）；Yeshiva University（叶史瓦大学）
针对传统毫米波波束成形方法在高动态V2V场景中延迟和计算开销大的问题，提出基于深度学习、利用车辆位置信息预测最优波束的方案，在真实数据集上平均可达链路接收功率的84.58%。
2024-02-02 cs.AI cs.LG cs.NI
Explainable Lung Disease Classification from Chest X-Ray Images Utilizing Deep Learning and XAI
Ahsanullah University Of Science and Technology (AUST)（阿hsanullah科技大学（AUST））
本研究针对胸部X光片肺部疾病分类问题，采用多种深度学习模型及相关优化方法，经5折交叉验证微调的Xception模型取得96.21%的最高准确率，并结合XAI方法增强模型决策可解释性以提升临床应用可信度。
2024-04-17 cs.CV cs.LG eess.IV
Grounding Natural Language Commands to StarCraft II Game States for Narration-Guided Reinforcement Learning
U.S. Army Research Laboratory（美国陆军研究实验室）
虽然深度强化学习技术已经使智能体能够成功地学习执行许多以前无法学习的任务，但这些技术仍然容易受到长期存在的{ \em奖励稀疏}问题的影响。这对于训练智能体玩星际争霸II这样的任务来说尤其如此，星际争霸II是一款实时战略游戏，只有在游戏结束时才会给予奖励，而游戏通常很长。虽然这个问题可以通过奖励塑造来解决，但这种方法通常需要具有专业知识的人类专家。通过自然语言叙事的更容易接近的范式，使奖励塑造的愿景的启发下，我们调查在多大程度上，我们可以通过接地这些叙事的具体目标的状态。我们提出了一种使用多输入深度神经网络的相互嵌入模型，该模型将一系列自然语言命令投影到与相应目标状态相同的高维表示空间中。我们表明，使用这个模型，我们可以学习一个嵌入空间与可分离的和不同的集群，准确地映射自然语言命令到相应的游戏状态。我们还讨论了这个模型如何允许使用叙述作为一个强大的形式的奖励塑造，以提高RL的性能和效率。
2019-04-24 cs.CL cs.LG cs.MM
