Automated Blood Cell Detection and Counting via Deep Learning for Microfluidic Point-of-Care Medical Devices
School of Computing & Communication, Lancaster University(兰卡斯特大学计算与通信学院);Computer and Information Sciences, Northumbria University(诺森比亚大学计算机与信息科学系)
自动化的体外细胞检测和计数已成为活体组织检查、药物分析和疾病诊断等人工智能生物分析的一个重要课题。随着微流控和芯片实验室技术的快速发展,体外活细胞分析已成为研究和工业界的关键任务之一。然而,从大量的显微视频和图像中获取并预测活细胞的精确信息是一个巨大的挑战。在本文中,我们研究了使用深度神经网络进行白细胞体外检测,并讨论了最先进的机器学习技术如何满足医疗诊断的需求。我们在这项研究中使用的方法是基于更快的基于区域的卷积神经网络(更快的RCNN),和一个迁移学习过程中应用该技术的显微检测血细胞。我们的实验结果表明,通过自动显微成像快速有效地分析血细胞可以实现比传统应用方法更好的准确性和更快的速度,这意味着该技术应用于微流体即时医疗设备的前景广阔。
2019-09-11 cs.AI cs.CV cs.ET
Connection Pruning for Deep Spiking Neural Networks with On-Chip Learning
National University of Singapore(新加坡国立大学)
长的训练时间阻碍了具有片上学习能力的深度、大规模脉冲神经网络(SNN)在嵌入式系统硬件上实现的潜力。我们的工作提出了一种新的连接修剪方法,可以应用在片上尖峰定时依赖可塑性(STDP)为基础的学习,以优化学习时间和深度SNN的网络连接。我们将我们的方法应用于具有首次尖峰时间(TTFS)编码的深度SNN,并在片上学习中成功实现了2.1倍的加速和64%的节能,并将网络连接减少了92.83%,而不会导致任何准确性损失。此外,连接减少导致推理速度提高2.83倍,节省78.24%的能量。在现场可编程门阵列(FPGA)平台上对我们提出的方法进行了评估,结果显示实现修剪算法所需的功耗开销为0.56%。
2021-07-31 cs.AI cs.NE
Towards End-to-End Deep Learning for Autonomous Racing: On Data Collection and a Unified Architecture for Steering and Throttle Prediction
Purdue University(普渡大学);United States Military Academy(美国军事学院)
端到端训练的深度神经网络(DNN)已成功应用于解决我们在过去几十年中无法解决的复杂问题。自动驾驶是尚未完全解决的最复杂的问题之一,而自动赛车则为这个问题增加了更多的复杂性和令人兴奋的挑战。针对将端到端学习应用于自动驾驶赛车的挑战,本文展示了两个方面的结果:(1)分析用于训练的驾驶数据与DNN可以成功应用于预测转向角的最大速度之间的关系,(2)神经网络架构和训练方法,用于学习转向和油门,而无需任何反馈或循环连接。
2021-05-04 cs.AI cs.RO
Deep Learning with a Classifier System: Initial Results
University of the West of England(西英格兰大学)
本文介绍了使用能够通过深度神经网络执行自适应计算的学习分类器系统的第一个结果。群体中的个体分类器由两个神经网络组成。第一个充当门控或保护组件,其使得能够在每个实例的基础上对相关联的深度神经网络进行条件计算。在再生时应用自适应变异,在寿命学习期间使用随机梯度下降来改进预测网络。在手写数字识别任务上评估全连接层和卷积层的使用,其中进化适应(i)应用于每个层的梯度下降学习率(ii)每个层内的单元数量,即,全连接神经元的数量和卷积核滤波器的数量(iii)每层的连接性,即,每个权重是否是活动的(iv)权重大小,使得能够从局部最优值逃脱。系统自动减少权重和单位的数量,同时在达到最大预测误差后保持性能。
2021-03-01 cs.AI cs.NE
Multimodal Fusion Using Deep Learning Applied to Driver's Referencing of Outside-Vehicle Objects
BMW Group(宝马集团);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI))
人们对更智能的自然用户与汽车的交互越来越感兴趣。手势和语音已经被应用于驾驶员与汽车的互动。此外,多模式方法在汽车行业也显示出希望。在本文中,我们将深度学习用于多模态融合网络,以参考车辆外部的对象。我们同时使用来自凝视、头部姿势和手指指向的特征来精确地预测不同汽车姿势中的参考对象。我们展示了每种模态在用于自然形式的参考时的实际限制,特别是在车内。从我们的结果中可以看出,我们在很大程度上通过添加其他模式来克服模式特定的限制。这项工作突出了多模态传感的重要性,特别是在走向自然的用户交互。此外,我们基于用户的分析显示,根据车辆姿态识别用户行为的显着差异。
2021-07-26 cs.CV cs.HC cs.LG
Recent advances in deep learning applied to skin cancer detection
Federal University of Espírito Santo, UFES(圣埃斯皮里图联邦大学(UFES))
皮肤癌是世界范围内的一个主要公共卫生问题。早期发现对提高患者的生存率具有重要意义。然而,缺乏合格的专业人员和医疗器械是这一领域的重大问题。在这种背景下,过去几年,深度学习模型应用于皮肤癌自动检测已经成为一种趋势。在本文中,我们提出了一个概述,在这一领域的最新进展报告,以及讨论的挑战和机遇,以改善目前的模型。此外,我们还介绍了在智能手机中使用这些模型的一些重要方面,并指出了我们认为该领域未来的发展方向。
2019-12-06 cs.CV cs.LG eess.IV
Deep Learning Framework Applied for Predicting Anomaly of Respiratory Sounds
Ho Chi Minh City University of Technology(胡志明市理工大学);Da Nang University of Science and Technology(岘港科技大学)
本文提出了一种用于分类呼吸周期异常的鲁棒深度学习框架。最初,我们的框架从前端特征提取步骤开始。该步骤旨在将呼吸输入声音转换成频谱和时间特征都很好地呈现的二维频谱图。接下来,然后应用C-DNN和Autoencoder网络的集合来将呼吸异常周期分类为四个类别。在这项工作中,我们对2017年生物医学健康信息学内部会议(ICBHI)基准数据集进行了实验。结果,我们取得了有竞争力的表现与ICBHI平均得分为0.49,ICBHI谐波得分为0.42。
2020-12-26 cs.CV cs.LG cs.SD
DeepXML: A Deep Extreme Multi-Label Learning Framework Applied to Short Text Documents
IIT Delhi(印度理工学院德里分校);Microsoft Research(微软研究院);Microsoft(微软)
可扩展性和准确性是深度极端多标签学习中公认的挑战,其目标是训练架构,以便从极大的标签集合中自动注释具有最相关标签子集的数据点。本文开发了DeepXML框架,通过将深度极端多标签任务分解为四个更简单的子任务来解决这些挑战,每个子任务都可以准确有效地训练。为四个子任务选择不同的组件,使DeepXML能够生成一系列算法,在准确性和可扩展性之间进行不同的权衡。特别是,DeepXML产生的Astec算法可以比现有短文本数据集上的领先深度极端分类器准确2-12%,训练速度快5- 30倍。Astec还可以在包含多达6200万个标签的Bing短文本数据集上进行有效的训练,同时每天在商品硬件上对数十亿用户和数据点进行预测。这使得Astec能够部署在Bing搜索引擎上,用于许多短文本应用程序,从匹配用户查询到广告商出价短语,到显示个性化广告,与目前生产的最先进技术相比,它在点击率,覆盖率,收入和其他在线指标方面取得了显着的进步。DeepXML的代码可以在https://github.com/Extreme-classification/deepxml上找到
2021-11-12 cs.IR cs.LG
Algorithmic Improvements for Deep Reinforcement Learning applied to Interactive Fiction
Mila(米拉研究所);McGill University(麦吉尔大学);Google Brain(谷歌大脑);DeepMind(深度思维)
基于文本的游戏是深度强化学习算法的自然挑战领域。它们的状态和动作空间组合起来很大,它们的奖励函数是稀疏的,并且它们是部分可观察的:智能体通过文本反馈被告知其动作的后果。在本文中,我们强调后一点,并考虑设计一个深度强化学习代理,可以单独从反馈中发挥作用。我们的设计认识到并利用了基于文本的游戏的结构特征。我们首先提出了一个上下文机制,基于累积奖励,这简化了学习问题,减轻了部分可观察性。然后,我们研究不同的方法,依赖于大多数行动是无效的,在任何给定的情况下,以下Zahavy等人的概念。的可采纳行为的概念。我们评估这些技术在一系列基于文本的游戏越来越困难的基础上的TextWorld框架,以及标志性的游戏佐克。从经验上讲,我们发现这些技术提高了应用于基于文本的游戏的基线深度强化学习代理的性能。
2019-11-28 cs.AI cs.LG
Deep Convolutional Neural Network Applied to Electroencephalography: Raw Data vs Spectral Features
Child Mind Institute(儿童心智研究所);Electrical Geodesics Inc.(电气测地公司)
深度学习在计算机视觉中的成功启发了科学界探索新的分析方法。在神经科学领域,特别是在电生理神经成像领域,研究人员开始探索利用深度学习来预测他们的数据,而无需广泛的特征工程。本文比较了使用最小处理的EEG原始数据的深度学习与使用两种不同深度卷积神经架构的EEG频谱特征的深度学习。其中一个来自Putten等人(2018),专门用于处理原始数据;另一个来自VGG 16视觉网络(Simonyan和Zisserman,2015),旨在处理EEG频谱特征。我们应用它们对来自1,574名参与者的大型语料库的24通道EEG进行性别分类。我们不仅提高了这种类型的分类问题的最先进的分类性能,但我们也表明,在所有情况下,原始数据分类导致优越的性能相比,频谱EEG功能。有趣的是,我们表明,神经网络量身定制的处理EEG频谱特征时,应用于原始数据分类的性能有所提高。我们的方法表明,用于处理EEG频谱特征的相同卷积网络在应用于EEG原始数据时会产生更好的性能。
2021-05-11 cs.LG
Deep Network Ensemble Learning applied to Image Classification using CNN Trees
Institute of Technology, University of Kashmir(克什米尔大学理工学院)
传统的机器学习方法在处理复杂数据时可能无法令人满意地执行。在这种背景下,数据采掘的重要性演变w.r.t.构建高效的知识发现和挖掘框架。包围学习的目标是将数据的融合、建模和挖掘集成到一个统一的模型中。然而,传统的集成学习方法是复杂的,有优化或调整问题。在本文中,我们提出了一种使用多个深度网络的简单,顺序,高效的集成学习方法。集成中使用的深度网络是ResNet 50。该模型的灵感来自二叉决策/分类树。将所提出的方法与基线进行比较,即单分类器方法,即在ImageNet和Natural Images数据集上使用单个多类ResNet 50。我们的方法在ImageNet数据集上的所有实验中都优于基线。代码可在https://github.com/mueedhafiz1982/CNNTreeEnsemble.git上获得
2020-07-23 cs.CV cs.LG cs.NE
Deep Learning applied to Road Traffic Speed forecasting
Mediamobile(Mediamobile 公司);Institut de Mathématiques de Toulouse(图卢兹数学研究所);INSA(法国国立应用科学学院)
在本文中,我们提出了深度学习架构(FNN,CNN和LSTM)来预测时间相关数据的回归模型。这些算法的目的是处理浮动车数据(FCD)的历史速度预测道路交通数据。为此,我们以创新的方式将速度聚合到网络输入中。我们比较了一个简单的物理模型的结果,从而获得的RMSE,并表明,后者达到更好的RMSE精度。我们还提出了一个新的指标,它评估算法的改进相比,基准预测。最后,我们质疑使用深度学习方法来完成这个特定的回归任务的兴趣。
2017-10-02 cs.LG cs.NE stat.AP
Deep Learning: An Introduction for Applied Mathematicians
School of Computing Science, University of Glasgow, UK(格拉斯哥大学计算机科学学院,英国);Department of Mathematics and Statistics, University of Strathclyde, UK(斯特拉斯克莱德大学数学与统计学系,英国)
本文从应用数学角度介绍深度学习基本概念,面向数学专业研究生及本科生,通过MATLAB代码和图像分类实例展示神经网络原理与训练方法。
2018-01-17 cs.LG cs.NA math.HO
LucidDream: Controlled Temporally-Consistent DeepDream on Videos
Carnegie Mellon University(卡内基梅隆大学)
在这项工作中,我们的目标是提出一套技术,以提高可控性和美学吸引力时,DeepDream,它使用一个预先训练的神经网络,以修改图像的幻觉对象到他们,应用于视频。特别是,我们展示了一个简单的修改,提高了对DeepDream被诱导产生幻觉的对象类的控制。我们还表明,当DeepDream应用于视频时经常出现的闪烁伪影可以通过使用额外的时间一致性损失项来减轻。
2019-11-27 cs.CV cs.LG
Deep Classification Network for Monocular Depth Estimation
Carnegie Mellon University Africa(卡内基梅隆大学非洲分校);Carnegie Mellon University(卡内基梅隆大学)
单目深度估计通常被视为一个监督和回归问题时,它实际上是非常相似的语义分割任务,因为它们都是基本上像素级的分类任务。我们在离散化深度值时应用随深度增加的深度增量,然后应用Deeplab v2,结果精度更高。我们能够在KITTI数据集上实现最先进的结果,并以8%的优势优于现有架构。
2019-10-23 cs.CV cs.LG
Extraction of digital wavefront sets using applied harmonic analysis and deep neural networks
Technische Universität Berlin(柏林工业大学);KTH - Royal Institute of Technology(KTH皇家理工学院);University of Oxford(牛津大学)
微局部分析提供了对奇异结构的深入洞察,并且对于解决成像科学中的反问题通常至关重要。特别重要的是波前集的分析和正确的提取。在本文中,我们介绍了第一个算法的方法来提取波前集的图像,它结合了基于数据和基于模型的方法。基于剪切波变换的一个著名属性来解开波前集上的信息,我们首先应用离散剪切波变换来提取图像的波前集,然后将该变换的局部补丁馈送到在标记数据上训练的深度卷积神经网络。由此产生的算法优于所有竞争的算法在边缘方向和斜坡方向检测。
2019-07-10 cs.LG eess.IV eess.SP
GAN pretraining for deep convolutional autoencoders applied to Software-based Fingerprint Presentation Attack Detection
University of Applied Sciences Darmstadt(达姆施塔特应用科学大学)
随着越来越多地使用指纹进行认证,对确定指纹呈现攻击的可靠系统的需求也在增长。这项工作提出了一种新的方法,单类分类的基于软件的指纹呈现附着检测。所描述的方法利用Wasserstein GAN来将迁移学习应用于深度卷积自动编码器。通过这样做,自动编码器可以在LivDet2021 Dermatitis传感器数据集上进行预训练和微调,只有1122个真正的训练样本。在不使用任何表示攻击样本的情况下,该模型的平均分类错误率出错率为16.79%。实现用于预训练自动编码器权重的Wasserstein GAN还可以用于生成逼真的人工指纹补丁。对不同的自动编码器架构和超参数进行了广泛的测试,得出了粗略的架构指南以及可用于未来工作的多种实现。
2021-05-21 cs.LG
Assessing learned features of Deep Learning applied to EEG
SCCN, INC, UCSD(加州大学圣迭戈分校斯沃茨计算神经科学中心);CerCo CNRS, Paul Sabatier University(法国国家科学研究中心大脑与认知研究中心,保罗·萨巴捷大学)
卷积神经网络(Convolutional Neural Network,CNN)在目标检测、图像识别、图像检索等计算机视觉领域取得了令人瞩目的成就。这些成就得益于CNN在深层神经元结构和迭代训练过程中学习判别特征的出色能力。这激发了EEG研究界采用CNN来执行EEG分类任务。然而,CNN学习的特征并不能立即解释,导致人们对CNN的内部工作机制缺乏了解。为了提高CNN的可解释性,应用CNN可视化方法将内部特征转换为视觉上可感知的模式,用于CNN层的定性分析。在计算机视觉文献中已经提出了许多CNN可视化方法来解释CNN网络的结构、操作和语义概念,但在EEG数据分析中的应用受到限制。在这项工作中,我们使用3种不同的方法从原始EEG数据训练的CNN中提取EEG相关特征:每个分类类别的最佳样本,激活最大化和反向卷积。我们将这些方法应用于一个高性能的深度学习模型,该模型具有EEG性别分类任务的最新性能,并表明该模型具有θ频带的差异。我们表明,可视化的CNN模型可以揭示有趣的EEG结果。使用这些工具,使用深度学习的EEG研究人员可以更好地识别学习的EEG特征,可能识别新的类别相关生物标志物。
2021-11-08 cs.LG eess.SP
Learning to Become an Expert: Deep Networks Applied To Super-Resolution Microscopy
LVSN, Université Laval(拉瓦尔大学LVSN);CERVO, Université Laval(拉瓦尔大学CERVO)
利用超分辨率光学显微镜,现在可以观察活细胞中的分子相互作用。所获得的图像具有非常高的空间精度,但是其总体质量可以根据感兴趣的结构和成像参数而变化很大。此外,评估这种质量对于非专家用户来说通常是困难的。在这项工作中,我们解决了从专家提供的分数中学习超分辨率图像质量函数的问题。更具体地说,我们提出了一种基于深度神经网络的系统,该系统可以提供作为输入的神经元结构的STED图像的定量质量测量。我们进行用户研究,以评估质量的预测的神经网络对人类专家。结果显示的潜力,同时突出了所提出的方法的一些限制。
2018-03-28 cs.CV cs.LG stat.ML
Training Deep Neural Networks with Joint Quantization and Pruning of Weights and Activations
University of California, San Diego(加州大学圣地亚哥分校)
量化和修剪是用于降低深度神经网络推理成本的核心技术。最先进的量化技术目前应用于权重和激活;然而,修剪通常仅应用于网络的权重。在这项工作中,我们联合应用新的均匀量化和非结构化修剪方法,在训练过程中对深度神经网络的权重和激活进行调整。使用我们的方法,我们在广泛的计算机视觉任务中经验性地评估了目前公认的修剪然后重新修剪的范例,并观察到当应用于深度神经网络的权重和激活时的非交换性质。根据这些观察,我们提出了非交换性假设:对于一个为特定任务训练的给定深度神经网络,存在一个精确的训练时间表,其中可以引入量化和修剪来优化网络性能。我们确定,这种最佳顺序不仅存在,而且在不同的歧视和生成任务。在我们的培训框架中使用最佳培训计划,我们证明了比现有解决方案更高的每内存占用性能。
2021-11-01 cs.CV cs.LG
Site-specific Deep Learning Path Loss Models based on the Method of Moments
Dublin City University(都柏林城市大学)
本文描述了基于卷积神经网络的深度学习模型,用于预测农村地形上的电磁波传播。一个表面积分方程公式,解决了与矩量法和加速使用快速远场近似,用于生成合成训练数据,其中包括路径损耗计算随机生成的一维地形剖面。这些用于训练两个网络,一个基于分形轮廓,一个基于使用高斯过程生成的轮廓。当应用于使用用于创建训练数据的相同统计过程生成的测试配置文件时,模型显示出极好的一致性,并且当应用于现实生活问题时具有非常好的准确性。
2023-02-02 cs.LG
PCA-Initialized Deep Neural Networks Applied To Document Image Analysis
University of Fribourg(弗里堡大学);University of Kaiserslautern(凯泽斯劳滕大学)
在本文中,我们提出了一种用于初始化深度神经网络的新方法,即,把PCA变成神经层通常,深度神经网络的权重的初始化是通过以下三种方式之一完成的:1)使用随机值,2)逐层,通常作为深度信念网络或自动编码器,以及3)重用来自另一个网络的层(迁移学习)。因此,通常,在学习有意义的权重之前需要许多训练时期,或者需要相当类似的数据集来播种迁移学习的微调。在本文中,我们描述了如何将PCA转换为自动编码器,通过生成PCA参数的编码器层并进一步添加解码层。我们分析了真实文档的初始化技术。首先,我们表明,基于PCA的初始化是快速的,并导致一个非常稳定的初始化。此外,布局分析的任务,我们调查的有效性PCA为基础的初始化,并表明它优于国家的最先进的随机权重初始化方法。
2017-02-01 cs.LG stat.ML
A Deep CNN Architecture with Novel Pooling Layer Applied to Two Sudanese Arabic Sentiment Datasets
Northwest University(西北大学);University of Essex(埃塞克斯大学)
阿拉伯语情感分析近年来已成为一个重要的研究领域。最初,工作集中在现代标准阿拉伯语(MSA),这是最广泛使用的形式。从那时起,工作已经进行了几个不同的方言,包括埃及,黎凡特和摩洛哥。此外,还创建了一些数据集来支持这一工作。然而,到目前为止,对苏丹阿拉伯语的研究较少,这是一种有3200万人使用的方言。本文介绍了两个新的公开可用的数据集,2类苏丹情绪数据集(SudSenti2)和3类苏丹情绪数据集(SudSenti3)。此外,提出了一种CNN架构SCM,包括五个CNN层以及一个新的池化层MMA,以提取最佳特征。将该SCM + MMA模型应用于SudSenti2和SudSenti3,准确率分别为92.75%和84.39%。接下来,将该模型与其他深度学习分类器进行比较,并显示出在这些新数据集上的优越性。最后,该模型被应用到现有的沙特情绪数据集和MSA酒店阿拉伯语评论数据集的准确率为85.55%和90.01%。
2022-01-29 cs.CL cs.LG
Deep operator neural network applied to efficient computation of asteroid surface temperature and the Yarkovsky effect
School of Astronomy and Space Science, Nanjing University(南京大学天文与空间科学学院);Key Laboratory of Modern Astronomy and Astrophysics in Ministry of Education, Nanjing University(南京大学现代天文与天体物理教育部重点实验室);Shanghai Astronomical Observatory, Chinese Academy of Sciences(中国科学院上海天文台)
本研究将深度算子神经网络(DeepONet)应用于小行星表面温度建模,实现约1%精度和五个数量级的计算加速,并嵌入N体模拟分析雅科夫斯基效应,验证了方法的有效性。
2024-11-04 astro-ph.EP astro-ph.IM cs.LG
When does gradient descent with logistic loss interpolate using deep networks with smoothed ReLU activations?
University of California, Berkeley(加州大学伯克利分校);Google(谷歌)
我们建立了应用于固定宽度深度网络的梯度下降将逻辑损失驱动为零的条件,并证明了收敛速度的界限。我们的分析适用于ReLU的平滑近似,例如在以前的应用工作中提出的Swish和Huberized ReLU。我们提供了两个收敛的充分条件。第一个是初始化时损失的一个界限。第二个是先前分析中使用的数据分离条件。
2021-07-01 cs.AI cs.LG math.OC
Interpretable Deep Learning applied to Plant Stress Phenotyping
Iowa State University(爱荷华州立大学)
可解释的深度学习模型的可用性,可应用于实际的现实世界场景,反过来,可以一致,快速和准确地识别生物科学适用领域中的特定和微小特征,是稀缺的。在这里,我们考虑一个这样的现实世界的例子,即,作物研究和生产中生物和非生物胁迫的准确识别、分类和量化。到目前为止,这主要是通过目视检查手动完成的,需要专门的培训。然而,这种技术受到主观性的阻碍,主观性来自评价者之间和评价者内部的认知差异。在这里,我们展示了一个机器学习框架的能力,以识别和分类一组不同的叶面应力在大豆植物具有显着的准确性。我们还提出了一个解释机制,使用梯度加权类激活映射,隔离模型所使用的视觉症状进行预测。这种对每种压力的独特视觉症状的无监督识别提供了压力严重程度的定量测量,允许在一个框架中进行识别、分类和量化。学习模型似乎是不可知的物种,并为其他(非大豆)物种作出良好的预测,表现出迁移学习的能力。
2017-10-28 cs.LG stat.ML
Fortuna: A Library for Uncertainty Quantification in Deep Learning
AWS(亚马逊云科技);Amazon(亚马逊公司);New York University(纽约大学)
我们介绍了一个开源库,用于深度学习中的不确定性量化。Corona支持一系列校准技术,例如可应用于任何经过训练的神经网络以生成可靠的不确定性估计的共形预测,以及可应用于从头开始训练的基于Flax的深度神经网络以提高不确定性量化和准确性的可扩展贝叶斯推理方法。通过为先进的不确定性量化方法提供一个连贯的框架,Rifa简化了基准测试的过程,并帮助从业者构建强大的人工智能系统。
2023-02-08 cs.LG stat.ML
Deep learning in agriculture: A survey
Institute for Food and Agricultural Research and Technology (IRTA)(食品与农业研究技术研究所(IRTA))
深度学习是一种用于图像处理和数据分析的现代技术,具有良好的效果和巨大的潜力。随着深度学习在各个领域的成功应用,它最近也进入了农业领域。在本文中,我们对40项采用深度学习技术的研究工作进行了调查,这些研究工作应用于各种农业和食品生产挑战。我们研究了所研究的特定农业问题,所采用的具体模型和框架,所使用的数据的来源,性质和预处理,以及根据所研究的每项工作所使用的指标所实现的整体性能。此外,我们研究了深度学习与其他现有流行技术在分类或回归性能方面的差异。我们的研究结果表明,深度学习提供了高准确性,优于现有的常用图像处理技术。
2018-07-31 cs.CV cs.LG stat.ML
Can Deep Learning be Applied to Model-Based Multi-Object Tracking?
Chalmers University of Technology(查尔姆斯理工大学)
多目标跟踪(MOT)是使用噪声测量来跟踪未知且随时间变化的物体的状态的问题,具有重要的应用,例如自动驾驶,跟踪动物行为,防御系统等。近年来,深度学习(DL)越来越多地用于MOT中以提高跟踪性能,但主要用于测量是高维的并且没有测量可能性和对象动态的可用模型的设置中。相反,基于模型的设置并没有引起太多的关注,目前还不清楚DL方法是否可以优于传统的基于模型的贝叶斯方法,这是在这种情况下的最新技术(SOTA)。在本文中,我们提出了一个基于transformer的DL跟踪器,并评估其性能在基于模型的设置,比较它的SOTA基于模型的贝叶斯方法在各种不同的任务。我们的研究结果表明,所提出的DL方法可以匹配性能的基于模型的方法在简单的任务,而优于他们的任务变得更复杂时,无论是由于数据关联的复杂性增加,或更强的非线性的模型的环境。
2022-02-16 cs.CV cs.LG cs.SY
Search Intelligence: Deep Learning For Dominant Category Prediction
Ebay Inc.(亿贝公司)
深度神经网络,特别是全连接的卷积神经网络,在各种领域都取得了显著的成果。他们经过训练,在应用于语音识别、图像分类、自然语言处理和生物信息学等问题时,能够达到最先进的性能。这些深度学习模型中的大多数在应用于分类时使用softmax激活函数进行预测,并旨在最小化交叉熵损失。在本文中,我们提出了一种用于主导类别预测的监督模型,以提高所有eBay分类平台的搜索召回率。在过去90天内,每个查询的主要类别标签首先通过对所有类别之间的协作点击总数求和来计算。对于给定查询具有最高协作点击数的类别将被认为是其主导类别。其次,通过将查询文档中的每个唯一单词映射到唯一的整数值,将每个查询转换为数字向量;根据预定义词汇大小内的最大文档长度,将所有查询填充为相等长度。然后应用完全连接的深度卷积神经网络(CNN)进行分类。与其他最先进的机器学习技术相比,所提出的模型实现了非常高的分类准确度。
2017-02-06 cs.IR cs.LG stat.ML
CheXphotogenic: Generalization of Deep Learning Models for Chest X-ray Interpretation to Photos of Chest X-rays
使用智能手机拍摄胸部X光照片代表了一种有吸引力的解决方案,用于胸部X光解释的深度学习模型的规模化部署。然而,胸部X射线算法在胸部X射线照片上的性能尚未得到彻底研究。在这项研究中,我们测量了8种不同胸部X射线模型应用于胸部X射线照片时的诊断性能。所有模型都是由不同的团队开发的,并提交给CheXpert挑战,并重新应用于CheXphoto数据集中的智能手机X射线照片,而无需进一步调整。我们发现,当应用于胸部X光照片时,几个模型的性能有所下降,但即使有这种下降,一些模型仍然对放射科医生进行了评估。进一步的研究可以针对理解不同的模型训练过程如何影响模型对胸部X光照片的泛化。
2020-11-12 cs.CV cs.LG eess.IV
Physical Adversarial Attacks on Deep Neural Networks for Traffic Sign Recognition: A Feasibility Study
ZF Friedrichshafen AG(采埃孚股份公司)
深度神经网络(DNN)越来越多地应用于现实世界中的安全关键应用,如高级驾驶员辅助系统。这种用例的一个示例由交通标志识别系统表示。与此同时,众所周知,当前的DNN可以被对抗攻击愚弄,如果这些攻击可以在现实条件下应用,这会引起安全问题。在这项工作中,我们应用不同的黑盒攻击方法来产生扰动,这些扰动应用于物理环境中,并可用于在不同的环境条件下欺骗系统。据我们所知,我们是第一个将物理攻击的一般框架与不同的黑盒攻击方法相结合,并研究在相同设置下不同方法对攻击成功率的影响。我们表明,可靠的物理对抗攻击可以用不同的方法进行,它也可以减少所产生的扰动的可感知性。这些发现强调了即使在黑盒情况下也需要DNN的可行防御,但同时也为使用对抗训练等方法保护DNN奠定了基础,对抗训练利用对抗攻击来增强原始训练数据。
2023-02-27 cs.AI cs.CV cs.LG
Deep Neural Dynamic Bayesian Networks applied to EEG sleep spindles modeling
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们提出了一个生成模型的单通道EEG,结合了专家在视觉评分过程中积极执行的约束。该框架采用动态贝叶斯网络的形式,在潜变量和观测可能性中具有深度,而隐变量控制持续时间,状态转换和鲁棒性,观测架构参数化正态伽马分布。由此产生的模型允许通过利用概率模型和深度学习将时间序列分割成局部的、重复发生的动态状态。与典型的检测器不同,我们的模型在没有预处理的情况下(例如,滤波、开窗、阈值化)或后处理(例如,事件合并)。这不仅使模型对实时应用有吸引力,而且还产生了类似于已知临床标准的可解释的超参数。我们通过动态规划和反向传播的广义期望最大化的一个特殊情况下,推导出精确的,易于处理的推理算法。我们在三个公共数据集上验证了该模型,并支持更复杂的模型能够超越最先进的检测器,同时是透明的,可审计的和可推广的。
2021-03-03 cs.LG eess.SP
Deep learning of fMRI big data: a novel approach to subject-transfer decoding
Kyoto University(京都大学);ATR Cognitive Mechanisms Laboratories(ATR认知机制实验室)
脑解码作为一种从可测量的脑活动中读取脑状态的技术,在工业和医学领域有着广泛的应用。尽管在这些应用程序的通用解码器,可以同时适用于所有个人的高要求,在个体之间的大脑活动的巨大变化限制了许多研究的范围,以发展个人特定的解码器。在这项研究中,我们使用深度神经网络(DNN),一个非线性层次模型,构建一个主题转移解码器。我们的解码器是第一个成功的基于DNN的主题转移解码器。当应用于大规模功能性磁共振成像(fMRI)数据库时,我们基于DNN的解码器比其他基线方法(包括支持向量机(SVM))实现了更高的解码精度。为了分析该解码器获得的知识,我们将主敏感性分析(PSA)应用于解码器,并可视化数据集中所有主题共有的判别特征。我们的PSA成功地可视化了与主题无关的功能,有助于训练解码器的主题可转移性。
2015-01-31 cs.LG q-bio.NC stat.ML
Improved robustness of reinforcement learning policies upon conversion to spiking neuronal network platforms applied to ATARI games
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);University of Memphis(孟菲斯大学)
深度强化学习(RL)在可以通过训练策略解决的任务上表现出出色的性能。它在使用多层神经网络(NN)的尖端机器学习方法中起着主导作用。与此同时,Deep RL对噪声、不完整和误导性输入数据具有高敏感性。遵循生物直觉,我们使用脉冲神经网络(SNN)来解决深度RL解决方案的一些不足。之前在图像分类领域的研究表明,使用监督学习训练的标准NN(具有ReLU非线性)可以转换为SNN,性能下降可以忽略不计。在本文中,我们将这些转换结果扩展到使用RL训练的Q-Learning NN领域。我们提供了一个标准的NN SNN转换的原则证明。此外,我们表明,SNN具有更好的鲁棒性,在输入图像中的遮挡。最后,我们介绍了将全尺寸Deep Q网络转换为SNN的结果,为未来研究鲁棒的Deep RL应用铺平了道路。
2019-08-19 cs.LG cs.NE stat.ML
Cell division in deep material networks applied to multiscale strain localization modeling
Ansys Inc.(安思ys公司)
尽管应变局部化建模的重要性日益增加(例如,失效分析)中,缺乏有效的方法来在多个长度尺度上一致地捕获相关的材料行为。我们的目标是在深度材料网络(DMN)的框架内解决这一差距-一种在构建模块中嵌入机制的机器学习模型。提出了一种新的网格划分方法来跟踪网络的尺度变化,并通过拟合参数的物理过程来保证其一致性。基本上,底层中的每个微尺度节点由椭圆形单元描述,其尺寸从宏观尺度材料点反向传播。在单元中的新的裂纹表面被模拟通过丰富的凝聚层,和故障算法开发的隐式DMN分析中的裂纹萌生和演化。除了对单个材料点的研究外,我们还将多尺度模型应用于颗粒增强复合材料管的动态破碎和碳纤维增强聚合物复合材料的各种测试的并行多尺度模拟。对于后者,还提供了离轴拉伸试样的实验验证。
2021-05-26 cs.CE cs.LG physics.comp-ph
A Deep Learning Framework for Simulation and Defect Prediction Applied in Microelectronics
Information Technologies Institute, Centre for Research and Technology Hellas(希腊研究与技术中心信息技术研究所);Microsemi Corporation(美高森美公司(Microsemi Corporation))
预测工业过程中即将发生的事件一直是一个长期的研究目标,因为它可以优化制造参数,规划设备维护,更重要的是预测并最终预防缺陷。虽然现有的方法已经取得了实质性的进展,但它们大多限于一维信号的处理或需要参数调整来模拟环境参数。在本文中,我们提出了一种基于深度神经网络的替代方法,该方法基于先前的3D测量结果批量模拟被监控对象的3D结构变化。特别是,我们提出了一种基于3D卷积神经网络(3DCNN)的架构,以便对制造参数的几何变化进行建模,并预测即将发生的与次优性能相关的事件。我们使用最近发布的PCB扫描数据集在微电子用例上验证了我们的框架,在该数据集中,我们模拟了在连接集成电路(IC)之前沉积在液晶聚合物(LCP)基板上的胶水的形状和体积的变化。实验评估检查在训练过程中的成本函数的不同选择的影响,并表明,所提出的方法可以有效地用于缺陷预测。
2020-02-25 cs.CV cs.LG eess.IV
Fusion of rain radar images and wind forecasts in a deep learning model applied to rain nowcasting
CNRS(法国国家科学研究中心);Nansen Environmental and Remote Sensing Center(南森环境与遥感中心);Laboratoire d’océanographie et du climat(海洋学与气候实验室);École nationale supérieure d'informatique pour l'industrie et l'entreprise(国立工业与企业计算机科学高等学院)
短期或中期降雨预报是一项主要任务,具有农业管理或洪水风险监测等若干环境应用。现有的数据驱动方法,特别是深度学习模型,在这项任务中表现出了显著的技能,仅使用降雨雷达图像作为输入。为了确定使用其他气象参数(如风)是否会改善预测,我们在降雨雷达图像和天气预报模型产生的风速的融合上训练了一个深度学习模型。将该网络与仅在雷达数据上训练的类似架构、基本持久性模型和基于光流的方法进行了比较。我们的网络优于8%的F1分数计算的光流在中等和更高的降雨事件的预测在地平线的时间为30分钟。此外,它优于7%的相同的架构只使用降雨雷达图像训练。雨和风数据的合并也证明了训练过程的稳定性,特别是在难以预测的高降水量的情况下,训练过程得到了显着改善。
2021-01-12 cs.LG eess.SP physics.ao-ph
Wasserstein GAN: Deep Generation applied on Bitcoins financial time series
Zurich University of Applied Sciences(苏黎世应用科技大学);University of Twente(特文特大学)
金融时间序列具有很高的波动性和不可预测性,因此对其建模具有挑战性。大多数试图填补历史金融时间序列不足的金融模型和算法都很难表现出来,而且极易受到过拟合的影响。作为替代方案,我们在本文中介绍了一种称为WGAN-GP的深度神经网络,这是一种数据驱动的模型,专注于样本生成。WGAN-GP由一个生成器和一个使用LSTM架构的递归函数组成。WGAN-GP应该学习输入数据的底层结构,在我们的例子中,是比特币。比特币的行为是独一无二的;价格波动使得猜测价格趋势几乎不可能。通过对抗训练,WGAN-GP应该学习比特币的底层结构,并生成非常相似的比特币分布样本。生成的合成时间序列在视觉上与真实数据无法区分。但数值结果表明,生成的数据与真实数据分布接近,但可区分。该模型主要表现出稳定的学习行为。然而,该模型有优化的空间,这可以通过调整超参数来实现。
2021-07-13 cs.LG stat.ML
Nemesyst: A Hybrid Parallelism Deep Learning-Based Framework Applied for Internet of Things Enabled Food Retailing Refrigeration Systems
University of Lincoln(林肯大学)
深度学习在多个应用领域引起了相当大的关注,包括计算机视觉、信号处理和自然语言处理。虽然有很多单节点深度学习框架存在,比如tensorflow、pytorch和keras,但我们仍然缺乏一个完整的处理结构,可以适应大规模数据处理、版本控制和部署,同时不知道任何特定的单节点框架。为了弥合这一差距,本文提出了一个新的,更高层次的框架,即Nemesyst,它使用数据库以及模型序列化,允许过程在需要时提供独特的和转换的数据。这有助于接近实时的应用程序,并使模型可用于进一步培训或在任何节点上使用,同时访问数据库。Nemesyst非常适合作为物联网聚合控制系统的应用框架,部署深度学习技术来优化大型网络中的单个机器。为了证明这一框架,我们采用了一个新领域的案例研究;部署深度学习,以优化零售制冷系统的大规模物联网网络消耗的电力的高速控制,与英国国家电网(需求侧响应)上可用的负载成比例。该案例研究首次在这样的环境中展示了深度学习模型,如递归神经网络(香草和长短期记忆)和与Nemesyst配对的生成对抗网络,如何实现令人信服的性能,同时仍然具有可塑性,以适应未来的调整,因为数据和需求都不可避免地随着时间的推移而变化。
2019-09-03 cs.DC cs.LG stat.ML
MAGNet: Multi-agent Graph Network for Deep Multi-agent Reinforcement Learning
JetBrains Research(JetBrains研究院);National Research University Higher School of Economics(国立研究型大学高等经济学院);L3S Research Center(L3S研究中心);Leibniz University Hannover(汉诺威莱布尼茨大学)
近年来,深度强化学习在复杂的单智能体任务中取得了巨大的成功,最近这种方法也被应用于多智能体领域。在本文中,我们提出了一种新的方法,称为磁网,多智能体强化学习,利用相关图表示的环境中获得的自我注意机制,和消息生成技术。我们将我们的MAGnet方法应用于合成的捕食者-猎物多智能体环境和Pommerman游戏,结果表明它显着优于最先进的MARL解决方案,包括多智能体深度Q网络(MADQN),多智能体深度确定性策略梯度(MADDPG)和QMIX
2020-12-17 cs.LG
Deep reinforcement learning applied to an assembly sequence planning problem with user preferences
University of Coimbra(科英布拉大学)
本文提出在装配序列规划中引入参数化动作和双奖励信号(用户偏好与总装配时间)的深度强化学习方法,并通过与表格型Q学习对比验证了A2C、DQN和Rainbow的有效性。
2023-04-13 cs.LG
A Survey of Deep Learning and Foundation Models for Time Series Forecasting
本文综述深度学习与基础模型在时间序列预测中的进展,分析疫情预测中的短序列、知识缺失与可解释性挑战,并讨论知识图谱和大语言模型等知识注入路径。
2024-01-25 cs.LG
An Optimal Time Variable Learning Framework for Deep Neural Networks
George Mason University(乔治梅森大学);University of Delaware(特拉华大学)
深度神经网络(DNN)中的特征传播可以与非线性离散动力系统相关联。新颖之处,在本文中,在于让离散化参数(时间步长)从一层到另一层,这需要学习,在一个优化框架。所提出的框架可以应用于任何现有的网络,如ResNet,DenseNet或Fractional-DNN。该框架有助于克服消失和爆炸梯度问题。一些现有的连续DNN,如分数DNN的稳定性也进行了研究。所提出的方法适用于不适定的3D-Maxwell方程。
2022-04-18 cs.LG cs.NA math.NA
Deep Learning Applied to Image and Text Matching
EPFL(洛桑联邦理工学院)
用自然语言句子描述图像的能力是图像和语言理解的标志。该系统具有广泛的应用,如注释图像和使用自然句子搜索图像,在这个项目中,我们专注于双向图像检索的任务:这样的系统能够检索基于句子的图像(图像搜索)和检索基于图像查询的句子(图像注释)。本文提出了一种基于全局排序目标函数的多通道图像识别系统,该系统采用卷积神经网络(CNN)和多层感知器(MLP)相结合的方法,将一对图像和句子在不同的通道中进行处理,最后将其嵌入到一个公共的多通道向量空间中。这些嵌入代码抽象了有关两个输入的语义信息,并且可以使用传统的信息检索方法进行比较。对于每一个这样的对,模型返回一个被解释为相似性度量的分数。如果这个分数很高,则图像和句子可能传达类似的含义,如果分数很低,则它们可能不传达类似的含义。视觉输入通过深度卷积神经网络建模。另一方面,我们探讨了语篇模块的三种模式.第一个是带有MLP的单词袋。第二个使用n-gram(bigram,trigram以及trigram和skip-gram的组合)和MLP。第三个是更专业的深度网络,专门用于建模可变长度序列(SSE)。我们报告了与该领域最近工作相当的性能,尽管我们的模型更简单。我们还表明,我们如何生成负样本的训练时间选择对性能有显着影响,并可用于专门的双向系统在一个特定的任务。
2015-09-14 cs.CL cs.CV cs.LG
An Applied Deep Learning Approach for Estimating Soybean Relative Maturity from UAV Imagery to Aid Plant Breeding Decisions
Iowa State University(爱荷华州立大学);The University of Alabama in Huntsville(阿拉巴马大学亨茨维尔分校);Syngenta(先正达)
对于一个全球育种组织来说,确定下一代优质作物对其成功至关重要。识别新的基因品种需要多年的田间测试,以收集有关作物产量,抗虫性,耐热性等的数据,在生长季节结束时,组织需要确定哪些品种将提前到下一个生长季节(或出售给农民),哪些品种将从候选库中丢弃。特别是对于大豆,确定其相对成熟度是用于推进决策的重要信息。然而,这种特质需要身体观察,并且存在资源限制(时间,金钱等)。阻碍了数据汇集过程。为了解决这个问题,育种组织正在转向先进的图像捕捉设备。在本文中,我们开发了一个强大的和自动的方法来估计大豆的相对成熟度使用的时间序列的无人机图像。提出了一种结合卷积神经网络(CNN)和长短期记忆(LSTM)的端到端混合模型来提取特征并捕获时间序列数据的序列行为。该深度学习模型在美国六个不同的环境中进行了测试。结果表明,与局部回归方法相比,我们提出的CNN-LSTM模型是有效的。此外,我们还展示了如何利用这些新发现的信息来帮助植物育种进步决策。
2021-08-02 cs.CV cs.LG eess.IV
Profitable Strategy Design by Using Deep Reinforcement Learning for Trades on Cryptocurrency Markets
K. N. Toosi University of Technology(K. N. 图西理工大学)
深度强化学习解决方案已被应用于不同的控制问题,并取得了优异和有希望的结果。在这项研究工作中,我们将最近策略优化,软演员批评和生成对抗模仿学习应用于三个加密货币市场的策略设计问题。我们的输入数据包括价格数据和技术指标。我们已经实现了一个基于加密货币市场的Gym环境,以与算法一起使用。我们对未知数据的测试结果表明,这种方法在帮助投资者利用专家系统开拓市场并获得利润方面具有很大的潜力。我们的最高收益为一个看不见的66天跨度是4850美元每10000美元的投资。我们还讨论了如何使用环境设计中的特定超参数来调整生成策略中的风险。
2022-01-15 cs.AI cs.LG q-fin.TR
ReMix: Calibrated Resampling for Class Imbalance in Deep learning
National Research Council of Canada(加拿大国家研究委员会);American University(美利坚大学)
类不平衡是应用深度学习中的一个非常重要的问题,在应用深度学习中,训练好的模型被用于健康和医学、交通和金融等关键领域的决策支持和自动化决策。从不平衡的训练数据中学习深度模型的挑战仍然很大,最先进的解决方案通常依赖于数据,主要集中在图像数据上。然而,现实世界的不平衡分类问题更加多样化,因此需要一个通用的解决方案,可以应用于表格,图像和文本数据。在本文中,我们提出了ReMix,这是一种训练技术,它利用批处理、实例混合和软标签来实现对不平衡学习的鲁棒深度模型的诱导。我们的研究结果表明,根据g均值,使用ReMix训练的密集网络和CNN通常优于替代方案,并且根据平衡的Brier得分进行了更好的校准。
2020-12-03 cs.LG
Time-EAPCR: A Deep Learning-Based Novel Approach for Anomaly Detection Applied to the Environmental Field
School of Engineering, Dali University(大理大学工程学院);Research Center of Yunnan Provincial Department of Education(云南省教育厅研究中心)
本文提出深度学习方法 Time-EAPCR,通过时间嵌入、注意力、置换 CNN 和残差结构捕捉环境数据时空特征,在四个公开环境数据集及真实河流监测数据上验证了其高精度异常检测能力、鲁棒性与泛化性。
2025-03-12 cs.LG
Deep Learning Weight Pruning with RMT-SVD: Increasing Accuracy and Reducing Overfitting
Penn State University(宾夕法尼亚州立大学)
在这项工作中,我们提出了随机矩阵理论在深度神经网络训练中的一些应用。最近,随机矩阵理论(RMT)被应用于深度学习中的过拟合问题。具体来说,已经表明,可以使用来自RMT的技术来研究和理解深度神经网络(DNN)的权重层的谱。在这项工作中,这些RMT技术将用于通过奇异值分解(SVD)确定在训练期间应从DNN的权重层中移除哪些奇异值以及移除多少奇异值,以减少过度拟合并提高准确性。我们展示了在MNIST上训练的简单DNN模型的结果。一般来说,这些技术可以应用于预训练DNN的任何完全连接层,以减少层中的参数数量,同时保持并有时增加DNN的准确性。
2023-03-15 cs.LG math.OC
Deep Learning Based Rib Centerline Extraction and Labeling
Philips Research Europe(飞利浦欧洲研究公司);Hamburg(汉堡)
肋骨中心线的自动提取和标记通常是更先进的辅助阅读工具所需的先决条件,这些工具有助于放射科医生有效地检查CT体积中的所有24根肋骨。在本文中,我们将基于深度学习的肋骨检测与应用于检测结果的专用中心线提取算法相结合,以快速、鲁棒且准确地从CT体积中提取和标记肋骨中心线。更具体地,我们首先应用全卷积神经网络(FCNN)来生成用于检测第一肋骨对、第十二肋骨对和所有中间肋骨的集合的概率图。在第二阶段中,一个新设计的中心线提取算法应用到这个多标签概率图。最后,分别对第一和第十二肋骨的不同检测允许通过对检测到的中心线进行简单的分类和计数来导出各个肋骨标签。我们将我们的方法应用于116例患者的CT体积,其中包括各种不同的挑战,并实现了手动中心线注释的中心线精度为0.787 mm。本文是一个预印本:Lenga M.,克林德·T Bürger C.,von Berg J.,弗朗茨·A洛伦茨角(2019)基于深度学习的肋骨中心线提取和标记。在:Vrtovec T.,姚杰,Zheng G.,Pozo J.(编辑)肌肉骨骼成像的计算方法和临床应用。MSKI 2018.计算机科学讲义,第11404卷。施普林格
2019-01-14 cs.CV cs.LG
Hyperparameter Transfer Learning through Surrogate Alignment for Efficient Deep Neural Network Training
National University of Singapore(新加坡国立大学)
近年来,已有多种优化方法成功应用于深度神经网络(DNN)的超参数优化。该方法通过对超参数值和相应误差的联合分布建模来工作。当应用于现代DNN时,这些方法变得不太实用,现代DNN的训练可能需要几天时间,因此无法收集足够的观测值来准确地建模分布。为了解决这个具有挑战性的问题,我们提出了一种方法,该方法学习将小源数据集的最佳超参数值转换为在感兴趣的数据集上具有可比性能的超参数值。相对于现有的迁移学习方法,我们提出的方法不使用手工设计的功能。相反,它使用代理来模拟两个数据集的超参数误差分布,并训练神经网络来学习传递函数。在三个CV基准数据集上的大量实验清楚地证明了我们方法的效率。
2016-07-31 cs.CV cs.LG cs.NE
Deep Multi-Agent Reinforcement Learning with Relevance Graphs
JetBrains Research(JetBrains研究院);Kwangwoon University(光云大学);University of York(约克大学)
近年来,深度强化学习在复杂的单智能体任务中取得了巨大的成功,最近这种方法也被应用于多智能体领域。在本文中,我们提出了一种新的方法,称为MAGnet,多智能体强化学习(MARL),利用相关图表示的环境中获得的自我注意力机制,和消息生成技术的启发神经网络架构。我们将我们的MAGnet方法应用于Pommerman游戏,结果表明它的性能明显优于最先进的MARL解决方案,包括DQN,MADDPG和MCTS。
2018-11-30 cs.LG cs.MA
Deep Anomaly Detection Using Geometric Transformations
Technion – Israel Institute of Technology(以色列理工学院)
我们考虑图像中的异常检测问题,并提出了一种新的检测技术。给定图像的样本,所有已知属于“正常”类(例如,狗),我们展示了如何训练可以检测分布外图像(即,非狗对象)。我们的方案背后的主要思想是训练一个多类模型,以区分所有给定图像上应用的几十个几何变换。通过模型学习的辅助专业知识生成特征检测器,这些特征检测器在测试时基于模型的softmax激活统计数据有效地识别异常图像。我们提出了广泛的实验,使用所提出的检测器,这表明我们的算法提高了最先进的方法,由一个很大的利润。
2018-11-09 cs.LG stat.ML