Ludwig: a type-based declarative deep learning toolbox
Uber AI(优步AI)
在这项工作中,我们提出了路德维希,一个灵活的,可扩展的和易于使用的工具箱,允许用户训练深度学习模型,并使用它们来获得预测,而无需编写代码。Ludwig实现了一种基于两个主要抽象的深度学习模型构建的新方法:数据类型和声明性配置文件。数据类型抽象允许更容易的代码和子模型重用,并且由该抽象强加的标准化接口允许封装并使代码易于扩展。声明式模型定义配置文件使没有经验的用户能够获得有效的模型,并提高专家用户的生产力。除了这两项创新,Ludwig还引入了一种通用的模块化深度学习架构,称为编码器-组合器-解码器,可以实例化以执行大量的机器学习任务。这些创新使工程师、其他领域的科学家以及更广泛的受众能够采用深度学习模型来完成他们的任务,具体地帮助其民主化。
2019-09-17 cs.AI cs.CL cs.CV
Distributed Deep Reinforcement Learning: A Survey and A Multi-Player Multi-Agent Learning Toolbox
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Tsinghua University(清华大学)
本文综述分布式深度强化学习方法与关键组件,并开发发布一个多玩家多智能体分布式深度强化学习工具箱,在Wargame环境中验证其可用性,同时展望挑战与未来趋势。
2022-12-01 cs.AI cs.LG cs.MA
Using GPI-2 for Distributed Memory Paralleliziation of the Caffe Toolbox to Speed up Deep Neural Network Training
Competence Center High Performance Computing(高性能计算能力中心);Fraunhofer Institute for Industrial Mathematics(弗劳恩霍夫工业数学研究所)
深度神经网络(DNN)目前引起了人们的研究和应用兴趣。这些网络的训练是一项计算密集型和耗时的任务。为了以合理的成本将训练时间减少到最少,我们使用高效的分布式内存通信模式扩展了DNN的流行Caffe工具箱。为了实现良好的可扩展性,我们强调计算和通信的重叠,更喜欢细粒度的同步模式的全球障碍。为了实现这些通信模式,我们依赖于全局地址空间编程接口版本2(GPI-2)通信库。该接口提供了一组轻量级的异步单边通信原语,并辅以非阻塞精细的数据同步机制。因此,Caf- feGPI是我们的Caffe并行版本的名称。第一个基准测试证明了与其他扩展(例如,英特尔TM咖啡馆。即使在具有四个图形处理单元的单个对称多处理机中,CaffeGPI也比标准Caffe工具箱更好地扩展。这些初步结果表明,使用标准的高性能计算(HPC)硬件是一种有效的节省成本的方法来训练大型DDN。I/O是在标准并行HPC设置中使用DDN的另一个瓶颈,我们将在即将发表的论文中详细讨论。
2017-08-18 cs.DC cs.LG
Deep Identification of Nonlinear Systems in Koopman Form
Institute for Computer Science and Control(计算机科学与控制研究所)
本文处理的非线性动力系统的识别使用Koopman为基础的深状态空间编码器。通过这种方法,通常的缺点,需要选择一个字典的提升函数的先验是规避。编码器将提升函数表示为使用Koopman算子线性传播动态的空间。一个输入仿射配方被认为是提升模型结构,我们解决全部和部分状态可用性。该方法使用Python中的deepSI工具箱实现。为了降低基于模拟误差的训练的计算需求,数据被分成子部分,其中独立计算多步预测误差。这种公式可以对网络参数进行高效的批量优化,同时使所获得的模型具有出色的长期预测能力。非线性基准的例子说明了该方法的性能。
2021-10-06 cs.LG cs.SY eess.SY
Xplique: A Deep Learning Explainability Toolbox
Artificial and Natural Intelligence Toulouse Institute, Université de Toulouse(图卢兹大学图卢兹人工与自然智能研究所);Institut de Recherche Technologique Saint-Exupery(圣埃克苏佩里技术研究所);Carney Institute for Brain Science, Brown University(布朗大学卡尼脑科学研究所);Innovation & Research Division, SNCF(法国国家铁路公司创新与研究部);Scalian(Scalian公司)
当今最先进的机器学习模型几乎是不可理解的。可解释性方法的关键挑战是帮助研究人员打开这些黑匣子,揭示导致给定决策的策略,描述其内部状态或研究底层数据表示。为了解决这一挑战,我们开发了Xplique:一个用于可解释性的软件库,其中包括代表性的可解释性方法以及相关的评估指标。它与最流行的学习库之一Tensorflow以及其他库(包括PyTorch,scikit-learn和Theano)接口。该代码是根据MIT许可证授权的,可以在github.com/deel-ai/xplique上免费获得。
2022-06-09 cs.AI cs.LG
ECG-Image-Kit: A Synthetic Image Generation Toolbox to Facilitate Deep Learning-Based Electrocardiogram Digitization
Georgia Institute of Technology(佐治亚理工学院);University of Illinois Chicago(伊利诺伊大学芝加哥分校);Emory University(埃默里大学)
本文提出ECG-Image-Kit,一个从时间序列生成带伪影的合成心电图图像的开源工具箱,用于训练深度学习模型实现纸质心电图的数字化,并在PhysioNet QT数据库上验证了其准确性和临床参数保持。
2024-02-07 cs.CV cs.LG
Machine Learning Automation Toolbox (MLaut)
University College London(伦敦大学学院);European Bank for Reconstruction and Development(欧洲复兴开发银行);The Alan Turing Institute(艾伦·图灵研究所)
在本文中,我们介绍了Python数据科学生态系统的MLaut(机器学习自动化学习)。MLaut在大量数据集上自动进行机器学习算法的大规模评估和基准测试。MLaut为机器算法算法提供了一个高级工作流接口,为数据集、训练算法和实验结果的数据库实现了一个本地后端,并为scikit-learn和keras建模库提供了易于使用的接口。只需几行代码即可轻松设置实验的默认设置,同时保持完全可定制到超参数调优、流水线组合或深度学习架构的级别。作为MLaut的主要测试案例,我们进行了一项大规模监督分类研究,以衡量许多机器学习算法的性能-据我们所知,这也是第一次对标准监督学习数据集进行大规模研究,以包括深度学习算法。虽然证实了文献中的许多先前发现,但我们发现(在我们研究的限制范围内)深度神经网络在基本的监督学习上表现不佳,即,在更专业的、基于图像、音频或文本的任务之外。
2019-01-11 cs.AI cs.LG stat.ML
Feature Extraction for Hyperspectral Imagery: The Evolution from Shallow to Deep (Overview and Toolbox)
Helmholtz-Zentrum Dresden-Rossendorf(亥姆霍兹德累斯顿-罗森多夫研究中心);Univ. Grenoble Alpes(格勒诺布尔-阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);Nanjing University of Information Science and Technology(南京信息工程大学);Hunan University(湖南大学);Inria(法国国家信息与自动化研究所);University of Iceland(冰岛大学)
高光谱图像通过数百个(窄)光谱通道(也称为维度或波段)提供详细的光谱信息,具有连续的光谱信息,可以准确地对各种感兴趣的材料进行分类。这种数据的增加的维度使得有可能显着提高数据信息内容,但提供了一个挑战的传统技术(所谓的维数灾难)的高光谱图像的准确分析。特征提取作为高光谱领域中一个充满活力的研究领域,经过几十年的研究,逐渐解决了这个问题,并提取出适合数据表示和分类的信息特征。特征提取的进展受到两个研究领域的启发,包括图像和信号处理以及机器(深度)学习的普及,导致两种类型的特征提取方法,称为浅技术和深技术。本文概述了高光谱图像特征提取方法的进展,提供了一个技术概述的国家的最先进的技术,提供了有用的切入点,在不同层次的研究人员,包括学生,研究人员和高级研究人员,愿意探索新的调查这一具有挑战性的话题。更详细地说,本文提供了一个鸟瞰图浅(包括监督和无监督)和深特征提取的方法,专门致力于高光谱特征提取的主题和它的高光谱图像分类的应用。此外,本文比较了15种先进的技术,强调其方法论基础的分类精度。此外,代码和库在https://github.com/BehnoodRasti/HyFTech-Hyperspectral-Shallow-Deep-Feature-Extraction-Toolbox上共享。
2020-07-29 cs.CV cs.LG eess.IV
TensorQuant - A Simulation Toolbox for Deep Neural Network Quantization
Fraunhofer ITWM(弗劳恩霍夫工业数学研究所);TU Kaiserslautern(凯泽斯劳滕工业大学)
最近的研究表明,深度神经网络(DNN)的训练和推理可以用训练/测试数据、权重和梯度的低精度数值表示来计算,而不会损失一般的准确性。这种紧凑表示的好处是双重的:它们可以显着减少分布式DNN训练中的通信瓶颈,并在FPGA等硬件加速器上更快地实现神经网络。已经提出了几种量化方法来将原始的32位浮点问题映射到低位表示。虽然大多数相关出版物在单个DNN拓扑上验证了所提出的方法,但显然,量化方法和编码比特数的最佳选择是拓扑相关的。为此,没有通用的理论,这将允许用户在DNN拓扑的设计期间导出最佳量化。在本文中,我们为TensorFlow框架提供了一个量化工具箱。TensorQuant允许在训练和推理期间对现有DNN拓扑进行透明量化模拟。TensorQuant支持通用量化方法,并允许对量化对单层以及完整拓扑的影响进行实验评估。在使用TensorQuant的第一系列实验中,我们展示了对流行的CNN拓扑的定点量化的分析。
2017-10-13 cs.CV cs.LG stat.ML
A CNN toolbox for skin cancer classification
Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI)(德国人工智能研究中心)
我们描述了一个软件工具箱,用于在皮肤癌分类领域配置深度神经网络。实现的软件架构允许开发人员快速设置新的卷积神经网络(CNN)架构和超参数配置。同时,用户界面,作为一个简单的电子表格管理,允许非技术用户探索不同的配置设置,需要探索时切换到不同的数据集。在未来的版本中,可以添加Meta学习框架,或者随着时间的推移不断改进的AutoML系统。在皮肤镜图像上黑色素瘤检测的背景下使用两个CNN进行的初步结果量化了图像增强、图像分辨率和重新缩放滤波器对整体检测性能和训练时间的影响。
2019-08-21 cs.CV cs.LG eess.IV
REET: Robustness Evaluation and Enhancement Toolbox for Computational Pathology
Tissue Image Analytics Centre, Department of Computer Science, University of Warwick(华威大学计算机科学系组织图像分析中心)
动机:通过数字载玻片扫描仪实现病理学实验室的数字化以及用于客观组织学评估的深度学习方法的进步,导致计算病理学(CPath)领域的快速发展,在医学和制药研究以及临床工作流程中具有广泛的应用。然而,估计CPath模型的鲁棒性输入图像的变化是一个开放的问题,这些方法的下游的实际适用性,部署和可接受性的显着影响。此外,制定针对具体领域的战略,以增强这些模型的稳健性也至关重要。实施和可用性:在这项工作中,我们提出了第一个特定领域的鲁棒性评估和增强算法(REET)的计算病理学应用。它提供了一套算法策略,用于对预测模型进行鲁棒性评估,以应对专门的图像变换,如染色、压缩、聚焦、模糊、空间分辨率变化、亮度变化、几何变化以及像素级对抗性扰动。此外,REET还能够在计算病理学中有效和鲁棒地训练深度学习管道。REET是用Python实现的,可以在以下URL上找到:https://github.com/alexjfoote/reetoolbox。联系人:Fayyaz. warwick.ac.uk
2022-01-28 cs.CV cs.LG
BackdoorBox: A Python Toolbox for Backdoor Learning
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
深度神经网络(DNN)的训练通常涉及第三方资源($e.g.$、样本、主干和预训练模型),这带来了后门攻击作为新的训练阶段威胁。一般来说,后门攻击者打算在DNN中植入隐藏的后门,以便被攻击的DNN在良性样本上正常运行,而如果隐藏的后门被攻击者指定的触发模式激活,则它们的预测将被恶意更改为预定义的目标标签。为了便于研发更安全的训练方案和防御,我们设计了一个开源的Python工具箱,在统一灵活的框架下实现了具有代表性的高级后门攻击和防御。我们的工具箱有四个重要且有前途的特征,包括一致性、简单性、灵活性和共同开发。它允许研究人员和开发人员在基准测试或本地数据集上轻松实现和比较不同的方法。这个Python工具箱,即\texttt{BackdoorBox},可以在\url{https://github.com/THUYimingLi/BackdoorBox}上找到。
2023-02-01 cs.CR cs.CV cs.LG
Advbox: a toolbox to generate adversarial examples that fool neural networks
Baidu X-Lab(百度X实验室)
近年来,神经网络已被广泛部署用于计算机视觉任务,特别是视觉分类问题,其中新的算法报告达到甚至超过人类的性能。最近的研究表明,它们都容易受到对抗性例子的攻击。对输入图像的微小且通常难以察觉的扰动足以欺骗最强大的神经网络。\emph{Advbox}是一个工具箱,用于生成对抗性示例,这些示例可以欺骗PaddlePaddle,PyTorch,Caffe2,MxNet,Keras,TensorFlow中的神经网络,它可以对机器学习模型的鲁棒性进行基准测试。与以前的工作相比,我们的平台支持对机器学习即服务的黑盒攻击,以及更多的攻击场景,如人脸识别攻击,隐形T恤和DeepFake Face Detect。该代码在Apache 2.0下获得许可,并可在https://github.com/advboxes/AdvBox上公开获取。Advbox现在支持Python 3。
2020-08-26 cs.CR cs.LG stat.ML
GTS_Forecaster: a novel deep learning based geodetic time series forecasting toolbox with python
School of Transportation Engineering, East China Jiao Tong University(东华交通大学交通运输工程学院);Jiangxi Provincial Key Laboratory of Water Ecological Conservation in Headwater Regions(江西省头水地区水生态保育重点实验室);Division of Geodetic Science, School of Earth Sciences, The Ohio State University(地球科学学院地质科学系,俄亥俄州立大学);Institute Dom Luiz, University of Beira Interior(贝拉内里亚大学多姆路易斯研究所);Institute of Meteorology and Climatology, Leibniz University Hannover(汉诺威莱比锡大学气象与气候研究所);Key Laboratory of Poyang Lake Wetland and Watershed Research, Ministry of Education, Jiangxi Normal University(江西省鄱阳湖湿地与流域研究重点实验室,江西省教育厅,江西师范大学)
针对大地测量时间序列非线性、非平稳且不完整的预测难题,提出开源Python包GTS_Forecaster,集成KAN、GNNGRU、TimeGNN等深度学习模型与KTIF间隙填充算法,支持GNSS等数据集的预测与评估,促进了深度学习在大地测量任务中的应用。
2025-09-10 cs.LG
An Equivariance Toolbox for Learning Dynamics
University of Michigan(密歇根大学);Massachusetts Institute of Technology(麻省理工学院);NTT Research(NTT研究所)
本文提出了一种通用的等变工具箱,用于分析学习动力学中一阶和二阶约束,统一守恒定律与隐式偏置关系,并揭示变换结构与优化几何的关系。
2025-12-24 cs.LG
Deep transfer learning for system identification using long short-term memory neural networks
Georgia Institute of Technology(佐治亚理工学院);United Arab Emirates University(阿联酋大学)
与传统的系统辨识技术相比,递归神经网络(RNN)具有许多优点。它们可以应用于线性和非线性系统,并且它们需要较少的建模假设。然而,这些神经网络模型也可能需要更大量的数据来学习和推广。此外,神经网络训练是一个耗时的过程。因此,基于长短期记忆神经网络(LSTM),本文提出使用两种类型的深度迁移学习,即参数微调和冻结,以减少系统辨识的数据和计算需求。我们应用这些技术来识别两个动力系统,即二阶线性系统和Wiener-Hammerstein非线性系统。结果表明,与直接学习相比,我们的方法加快了10%到50%的学习速度,同时节省了数据和计算资源。
2022-04-06 cs.LG cs.SY eess.SY
Dynamical System Parameter Identification using Deep Recurrent Cell Networks
在本文中,我们通过深度学习方法研究动力系统中的参数识别问题。主要针对二阶线性定常动力系统,研究了阻尼因子辨识问题。通过利用具有不同递归单元(即GRU、LSTM或BiLSTM)的六层深度神经网络;并通过馈送从动力系统模拟器捕获的输入输出序列对,我们搜索有效的深度递归结构以解决阻尼因子识别问题。我们的研究结果表明,虽然以前没有在文献中用于此任务,但与单向门控递归存储单元(如GRU和LSTM)相比,双向门控递归单元(BiLSTM)提供了更好的参数识别结果。因此,指示从动态系统收集的并且当被错误地观察时的有限长度的输入-输出序列对可以在两个时间方向上携带用于预测动态系统参数的信息。
2021-07-06 cs.AI cs.LG cs.SY
DRL-ISP: Multi-Objective Camera ISP with Deep Reinforcement Learning
KAIST(韩国科学技术院)
在本文中,我们提出了一个多目标相机ISP框架,该框架利用深度强化学习(DRL)和相机ISP工具箱,包括基于网络的ISP工具和传统的ISP工具。所提出的基于DRL的相机ISP框架迭代地从工具箱中选择合适的工具并将其应用于图像,以最大化给定的视觉任务特定的奖励函数。为此,我们实现了总共51个ISP工具,包括曝光校正,色彩和色调校正,白平衡,锐化,去噪等。我们还提出了一个有效的DRL网络架构,可以提取图像的各个方面,并使图像和大量的动作之间的刚性映射关系。我们提出的基于DRL的ISP框架有效地提高了图像质量,根据每个视觉任务,如RAW到RGB图像复原,2D目标检测,和单目深度估计。
2022-07-07 cs.AI cs.CV cs.LG
Lightning UQ Box: A Comprehensive Framework for Uncertainty Quantification in Deep Learning
Technical University of Munich(慕尼黑工业大学);German Aerospace Center (DLR)(德国航空航天中心);Siemens AG(西门子股份公司);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出Lightning UQ Box统一框架,集成多种最先进UQ方法,并通过热带气旋风速估计和太阳能板功率预测两个视觉任务进行理论与定量比较,为UQ方法提供基准测试平台。
2024-10-04 cs.CV cs.LG
Deep Convolutional Networks in System Identification
Uppsala University(乌普萨拉大学);Universidade Federal de Minas Gerais(米纳斯吉拉斯联邦大学)
深度学习的最新发展与非线性系统辨识问题有关。在本文中,我们建立了深度学习和系统辨识社区之间的联系。最近已经表明,在序列建模任务方面,卷积架构至少与递归架构一样有能力。受这些结果的启发,我们探讨了最近提出的时间卷积网络(TCN)和两个经典的系统辨识模型结构; Volterra级数和面向块的模型之间的显式关系。最后,我们的实验研究,我们提供了两个现实世界的问题,著名的Silverbox数据集和一个较新的数据集来自地面振动实验的F-16战斗机的结果。
2019-11-19 cs.LG cs.NE cs.SY
Probabilistic Models with Deep Neural Networks
Norwegian University of Science and Technology(挪威科技大学);Aalborg University(奥尔堡大学)
统计推断的最新进展大大扩展了概率建模的工具箱。从历史上看,概率建模一直被限制在(i)非常有限的模型类,其中精确或近似的概率推断是可行的,以及(ii)适合计算机主内存的小型或中型数据集。然而,变分推理的发展,一种起源于统计物理学的近似概率推理的一般形式,允许概率建模克服这些限制:(i)现在可以对包含大量参数的广泛类别的概率模型进行近似概率推断,以及(ii)基于随机梯度下降和分布式计算引擎的可缩放推理方法允许在大量数据集上应用概率建模。这些进展的一个重要的实际结果是,可以在概率模型中包含深度神经网络,以捕获随机变量之间复杂的非线性随机关系。这些进展与新的概率建模工具箱的发布相结合,极大地扩展了概率模型的应用范围,并允许这些模型利用深度学习社区最近取得的进展。在本文中,我们回顾了在概率建模框架内使用深度神经网络所需的主要概念、方法和工具。
2019-10-02 cs.LG math.ST stat.ML
Continuous Control With Ensemble Deep Deterministic Policy Gradients
Gdansk University of Technology(格但斯克理工大学);University of Warsaw(华沙大学);Google Research(谷歌研究院);Polish Academy of Sciences(波兰科学院)
深度强化学习(RL)的发展为该领域带来了多种令人兴奋的工具和方法。这种快速的扩展使得理解RL工具箱中各个元素之间的相互作用变得非常重要。我们从实证的角度来处理这个任务,在连续控制设置进行研究。我们提出了多个基本性质的见解,包括:从相同数据训练的多个演员的平均值提高性能;现有方法在训练运行,训练时期和评估运行中不稳定;有效训练不需要常用的加性动作噪声;基于后验采样的策略比近似UCB结合加权Bellman备份更好地探索;单独的加权Bellman备份不能代替剪切的双Q学习;评论家的初始化在基于合奏的演员-评论家探索中起主要作用。最后,我们展示了如何以一种新颖的方式将现有的工具结合在一起,从而产生Encourage Deep Deterministic策略梯度(ED 2)方法,从而在OpenAI Gym MuJoCo的连续控制任务上产生最先进的结果。从实践的角度来看,ED 2在概念上很简单,易于编码,并且不需要现有RL工具箱之外的知识。
2021-11-30 cs.AI cs.LG
DeePCCI: Deep Learning-based Passive Congestion Control Identification
RWTH Aachen University(亚琛工业大学);Brandenburg University of Technology(勃兰登堡工业大学)
传输协议使用拥塞控制来避免网络过载。如今,存在影响性能的不同拥塞控制变体。因此,研究它们的使用是相关的,但很难确定使用的是哪种变体。虽然存在被动识别方法,但这些方法需要详细的领域知识,并且通常还依赖于关于拥塞控制如何操作以及哪些数据可访问的过时假设。我们提出了DeePCCI,一种被动的,基于深度学习的拥塞控制识别方法,除了训练拥塞控制变体的流量之外,不需要任何领域知识。通过仅使用分组到达数据,它也可直接应用于加密(传输报头)业务。因此,DeePCCI更容易扩展,也可以与QUIC一起使用。
2019-07-04 cs.LG cs.NI
A novel Deep Neural Network architecture for non-linear system identification
University of Padova(帕多瓦大学)
提出了一种用于非线性系统辨识的新型深度神经网络(DNN)架构。我们通过限制DNN的表示能力来促进泛化。为了做到这一点,受衰落记忆系统的启发,我们引入了归纳偏置(在架构上)和正则化(在损失函数上)。该架构允许仅基于可用数据的自动复杂度选择,以这种方式减少了必须由用户选择的超参数的数量。利用高度并行化的DNN框架(基于随机优化方法),我们成功地将我们的方法应用于大规模数据集。
2021-06-06 cs.LG
Deep Residual Shrinkage Networks for EMG-based Gesture Identification
School of Physical Science and Technology, Lanzhou University(兰州大学物理科学与技术学院);School of Advanced Technology, Xi'an Jiaotong-Liverpool University(西交利物浦大学先进技术学院);Chongqing Jiangbei Bachuan Quantum Middle School(重庆江北巴川量子中学);School of Chengdu Shishi Cambridge A-Level Centre(成都石室剑桥高级课程中心)
介绍了一种基于肌电信号的高精度手势识别方法。一种新开发的深度学习方法,即深度残差收缩网络被应用于执行手势识别。根据手势产生的肌电信号的特点,对识别算法进行了优化,提高了识别精度。最后,采用三种不同的算法比较了肌电信号识别与DRSN识别的准确性。结果表明,DRSN在肌电信号识别准确率方面优于传统神经网络。本文为肌电信号的分类提供了一种可靠的方法,并探讨了DRSN的可能应用。
2022-09-02 cs.LG eess.SP
Deep Neural Network Aided Scenario Identification in Wireless Multi-path Fading Channels
School of Electronic Science(电子科学学院);National University of Defense Technology(国防科技大学)
这封信阐述了我们在无线多径衰落信道中用于无线通信场景识别的深度神经网络(DNN)方面的初步工作。在这封信中,六种渠道情景参考COST 207渠道模型已经完成。在信噪比大于20 dB的情况下,识别准确率为100%,而在信噪比为0 ~ 40 dB的情况下,平均识别准确率为88.4%。该方法在快时变条件下进行了测试,这与现实世界中的无线多径衰落信道相似,使其能够在实际场景识别的可行性。
2018-11-23 cs.LG eess.SP
MIIDL: a Python package for microbial biomarkers identification powered by interpretable deep learning
检测用于预测疾病表型和临床结果的微生物生物标志物对于疾病早期筛查和诊断至关重要。大多数生物标志物鉴定方法是基于线性的,这是非常有限的,因为生物过程很少是完全线性的。将机器学习引入这一领域往往会带来一个有前途的解决方案。然而,以可解释的、数据驱动的和稳健的方式鉴定微生物生物标志物仍然具有挑战性。我们介绍了MIIDL,这是一个Python包,用于基于可解释的深度学习识别微生物生物标志物。MIIDL创新性地应用了卷积神经网络、多种可解释性算法和大量的预处理方法,为从高维稀疏数据集中识别微生物生物标志物提供了一站式和强大的管道。
2021-09-24 cs.LG q-bio.QM
Convergent Block Coordinate Descent for Training Tikhonov Regularized Deep Neural Networks
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室)
通过将ReLU函数提升到更高维的空间,我们开发了一种用于训练前馈深度神经网络(DNN)的光滑多凸公式。这使我们能够开发一个块坐标下降(BCD)训练算法,由一系列数值上表现良好的凸优化组成。利用凸分析中邻近点方法的思想,证明了该BCD算法将以一阶R-线性收敛速度全局收敛到一个稳定点。在MNIST数据库的实验中,使用该BCD算法训练的DNN始终比通过Caffe工具箱中的所有随机梯度下降(SGD)变体训练的相同DNN架构产生更好的测试集错误率。
2017-11-20 cs.CV cs.LG stat.ML
Response to: Significance and stability of deep learning-based identification of subtypes within major psychiatric disorders. Molecular Psychiatry (2022)
最近,Winter和Hahn [1]评论了我们使用机器学习基于神经生物学特征识别主要精神病学障碍(MPD)亚型的工作[2]。他们质疑我们方法的普遍性以及结果的统计学显著性、稳定性和过拟合,并提出了疾病亚型的管道。我们感谢他们对我们工作的认真考虑,但是,我们需要指出他们对基本机器学习概念的误解,并描述其中涉及的一些关键问题。
2022-06-10 cs.LG
dynoGP: Deep Gaussian Processes for dynamic system identification
School of Computer Science and Statistic, Trinity College Dublin(都柏林三一学院计算机科学与统计学院);SUPSI(瑞士南部应用科学大学);IDSIA - Dalle Molle Institute for Artificial Intelligence(IDSIA - 达勒·莫勒人工智能研究所)
本研究提出dynoGP方法,通过互连线性动态GP与静态GP构建深度高斯过程模型,结合数据驱动方法优势与概率分布输出能力,实现含不确定性量化的动态系统辨识,经模拟与真实数据验证有效。
2025-02-08 cs.LG stat.ML
Protein identification with deep learning: from abc to xyz
David R. Cheriton School of Computer Science, University of Waterloo(滑铁卢大学 David R. Cheriton 计算机科学学院);Bioinformatics Solutions Inc.(Bioinformatics Solutions 公司)
蛋白质是细胞、组织或有机体中生物功能的主要工具。在给定样品中的蛋白质的鉴定和定量,例如在正常/疾病条件下的细胞类型,是理解人类健康和疾病的基本任务。在本文中,我们介绍了DeepNovo,这是一种基于深度学习的工具,用于解决从串联质谱数据中识别蛋白质的问题。这个想法最初是在从头肽测序的背景下提出的[1],其中卷积神经网络和递归神经网络被应用于从其光谱预测肽的氨基酸序列,这与从图像生成标题类似。我们进一步开发DeepNovo来执行序列数据库搜索,这是肽识别的主要技术,极大地受益于众多现有的蛋白质数据库。我们将从头测序和数据库搜索两个模块结合到一个用于肽识别的深度学习框架中,并整合de Bruijn图组装技术,以提供一个完整的解决方案,从串联质谱数据中重建蛋白质序列。本文描述了DeepNovo用于蛋白质鉴定的综合协议,包括训练神经网络模型、动态规划搜索、数据库查询、错误发现率估计和de Bruijn图组装。我们的GitHub存储库(https://github.com/nh2trans/DeepNovo)中提供了IPython笔记本形式的训练和测试数据、模型实现以及全面的教程。
2017-10-08 cs.CE cs.LG q-bio.BM
Audio Recording Device Identification Based on Deep Learning
Shanghai Jiao Tong University(上海交通大学)
本文提出了一种从背景噪声中识别录音设备的方法,从而为取证提供了一种方法。音频信号是语音信号和噪声信号之和。语音信号承载着信息的传递,因此受到人们的广泛关注。因此,为了获得更高的信噪比,人们进行了大量的研究。有很多语音增强算法都是为了提高语音的质量,可以看作是降低噪声。然而,噪声可以被视为音频记录设备的固有指纹痕迹。这些数字痕迹可以通过新的机器学习技术来表征和识别。因此,在我们的研究中,我们使用噪声作为本征特征。对于识别,使用并比较了深度学习方法的多个分类器。识别结果表明,从各设备噪声中提取特征向量,并利用深度学习技术进行识别的方法是可行的,且效果良好。
2016-04-27 cs.LG cs.SD
DeepWriterID: An End-to-end Online Text-independent Writer Identification System
South China University of Technology(华南理工大学)
由于触摸屏移动终端和基于笔的界面的快速增长,基于手写的书写者识别系统在个人认证、数字取证和其他应用中正吸引越来越多的关注。然而,由于数据的不足和难以在不同的笔迹条件下设计出良好的特征,大部分关于笔迹鉴别的研究并不令人满意。因此,我们引入了一个端到端系统,即DeepWriterID,它采用了深度卷积神经网络(CNN)来解决这些问题。DeepWriterID的一个关键特性是我们提出的一种新方法,称为DropSegment。它旨在实现数据增强,提高CNN的通用性。为了充分的特征表示,我们进一步引入路径签名特征映射来提高性能。实验在NLPR笔迹数据库上进行。即使我们只使用给定手写样本的落笔状态下的笔位置信息,我们也实现了中文文本95.72%和英文文本98.51%的新的最先进的识别率。
2015-12-22 cs.CV cs.LG stat.ML
Leveraging Native Language Speech for Accent Identification using Deep Siamese Networks
Carnegie Mellon University(卡内基梅隆大学);Indian Institute of Technology Bombay(印度理工学院孟买分校);Indian Institute of Science(印度科学学院)
自动口音识别的问题对于诸如说话人分析和识别以及对于改进语音识别系统的若干应用是重要的。语音的重音性质可以主要归因于说话者的母语对给定语音记录的影响。在本文中,我们提出了一种新的口音识别系统,其训练利用语音在母语随着口音。具体来说,我们开发了一个基于深度暹罗网络的模型,该模型学习口音语音记录和母语语音记录之间的关联。使用无监督高斯混合模型(GMM)或有监督深度神经网络(DNN)模型,利用从语音记录中提取的i向量特征来训练Siamese网络。我们使用CSLU外国口音英语(FAE)语料库进行了几个口音识别实验。在这些实验中,我们提出的使用深度暹罗网络的方法在10类口音识别任务中产生了15.4%的显着相对性能改进,超过了使用GMM i向量的基于DNN的基线分类系统。此外,我们提出了一个详细的错误分析建议口音识别系统。
2018-06-18 cs.CL cs.LG cs.SD
Adaptive Re-ranking of Deep Feature for Person Re-identification
Nanjing University(南京大学);RMIT University(皇家墨尔本理工大学)
典型的人员重新识别(re-ID)方法训练深度CNN以提取深度特征并将它们与距离度量组合以用于最终评估。在这项工作中,我们专注于利用深层特征中编码的完整信息来提高re-ID性能。首先,我们提出了一种深度特征融合(DFF)方法来利用嵌入在深度特征中的不同信息。DFF将每个子特征作为信息载体,并采用扩散过程来交换它们的信息。其次,我们提出了一个自适应重新排名(ARR)的方法来利用编码在邻居的功能的上下文信息。ARR利用上下文信息以迭代的方式对检索结果进行重新排序。特别是,它在每次迭代后自动添加更多的上下文信息,以考虑更多的匹配。第三,我们提出了一个策略,结合DFF和ARR,以提高性能。广泛的比较评估表明,所提出的方法在三个大的基准的优越性。
2018-11-21 cs.CV cs.LG
N-ACT: An Interpretable Deep Learning Model for Automatic Cell Type and Salient Gene Identification
University of California(加利福尼亚大学);Health Sciences Research Institute(健康科学研究院)
单细胞RNA测序(scRNAseq)正在迅速推进我们对复杂组织和生物体中细胞组成的理解。大多数scRNAseq分析管道中的主要限制是依赖于手动注释来确定细胞身份,这是耗时的,主观的,并且需要专业知识。鉴于细胞测序的激增,已经开发了用于自动细胞类型识别(ACTI)的监督方法,特别是深度学习模型,这些方法实现了高准确性和可扩展性。然而,所有现有的ACTI深度学习框架都缺乏可解释性,并被用作“黑盒”模型。我们提出了N-ACT(细胞类型识别的神经注意力):第一个可解释的ACTI深度神经网络,利用神经注意力来检测用于细胞类型识别的显著基因。我们在两个先前手动注释的数据集上将N-ACT与传统注释方法进行了比较,证明N-ACT以无监督的方式准确地识别标记基因和细胞类型,同时在多个数据集上对传统监督ACTI中当前最先进的模型进行了验证。
2022-05-08 cs.AI cs.LG q-bio.GN
Multiclass Language Identification using Deep Learning on Spectral Images of Audio Signals
Novetta(诺维塔)
任何话音识别软件的第一步都是确定说话者使用的是什么语言,理想情况下,这一过程将是自动化的。本文描述的技术,音频频谱图的语言识别(LIFAS),使用从音频信号生成的频谱图作为卷积神经网络(CNN)的输入,用于语言识别。LIFAS需要对音频信号进行最少的预处理,因为在训练期间将频谱图输入到网络时,会在每个批次期间生成频谱图。LIFAS利用了在图像处理任务中表现出成功的深度学习工具,并将其应用于音频信号分类。LIFAS在3.75秒的音频片段上以97%的准确率执行二进制语言分类,并且以89%的准确率执行六种语言的多类分类。
2019-05-10 cs.LG cs.SD eess.AS
Deep Learning Overloaded Vehicle Identification for Long Span Bridges Based on Structural Health Monitoring Data
South China University of Technology(华南理工大学)
针对超载车辆危害桥梁且传统BWIM依赖专业知识、易受多车干扰的问题,提出基于时间卷积的DOVI模型,利用结构健康监测数据实现端到端识别,在简支梁和斜拉桥实验中验证了其优越的有效性和鲁棒性。
2023-09-04 cs.AI cs.CE cs.LG
Deep User Identification Model with Multiple Biometrics
NOTA Incorporated(NOTA公司);Khalifa University(哈利法大学);Korea Advanced Institute of Science and Technology(韩国高等科学技术院)
利用生物特征进行身份识别是一项重要而又具有挑战性的任务。关于使用给定信号识别个人身份或性别已经进行了大量的研究。各种类型的生物测定,如心电图(ECG),脑电图(EEG),面部,指纹和语音已被用于这些任务。大多数的研究只集中在单一的通道或单一的任务,而输入通道或任务的组合还有待研究。在本文中,我们提出了使用多模态生物识别技术进行深度识别和性别分类。我们的模型使用ECG,指纹和面部数据。然后,它执行两项任务:性别识别和分类。通过使用多模态,单个模型可以处理各种输入域,而无需独立地训练每个模态,并且域之间的相关性可以提高其在任务上的泛化性能。
2019-09-03 cs.CV cs.LG eess.SP
Deep Learning Object Detection Approaches to Signal Identification
University of California, San Diego(加州大学圣地亚哥分校);Google(谷歌)
传统的源识别是使用基于阈值的能量检测算法来解决的。这些算法经常总结区域中的活动,并将高于特定活动阈值的区域视为源。虽然这些算法适用于大多数情况,但它们通常无法检测占用小频带的信号,无法区分具有重叠频带的源,并且无法检测指定信噪比下的任何信号。通过将原始信号数据转换为频谱图,源识别可以被框定为目标检测问题。通过利用基于深度学习的目标检测的现代进步,我们提出了一种系统,该系统能够减轻使用传统源识别算法时遇到的失败情况。我们的贡献包括将源识别作为一个目标检测问题,发布光谱图目标检测数据集,以及评估在数据集上训练的RetinaNet和YOLOv5目标检测模型。我们的最终模型实现了高达0.906的平均精度。凭借如此高的平均精度,这些模型在现实世界的应用中足够强大。
2022-11-01 cs.LG cs.SD eess.AS
Deep Eyedentification: Biometric Identification using Micro-Movements of the Eye
University of Potsdam(波茨坦大学)
我们研究眼睛的无意识微运动用于生物识别。虽然先前的研究从基于视频的眼动跟踪系统的输出中提取低频宏观运动,并设计这些宏观运动的显式特征,但我们开发了一种处理原始眼动跟踪信号的深度卷积架构。与以前的工作相比,该网络的出错率降低了一个数量级,速度提高了两个数量级:它在几秒钟内准确地识别用户。
2020-05-05 cs.CL cs.CV cs.HC
Arabic Handwritten Text for Person Biometric Identification: A Deep Learning Approach
Egypt-Japan University of Science and Technology (E-JUST)(埃及-日本科学技术大学)
这项研究彻底调查了深度学习模型如何识别阿拉伯手写文本,以进行个人生物特征识别。它比较了三种先进的架构-ResNet 50,MobileNetV 2和EfficientNetB 7-使用三个广泛认可的数据集:AHAWP,Khatt和LAMIS-MSHD。结果表明,EfficientNetB 7优于其他算法,在AHAWP、Khatt和LAMIS-MSHD数据集上的测试准确率分别为98.57%、99.15%和99.79%。EfficientNetB 7的卓越性能归功于其创新技术,包括复合缩放,深度可分离卷积和挤压和激励块。这些特征使模型能够从手写文本图像中提取出更抽象、更独特的特征。该研究的发现对增强身份验证和认证系统具有重要意义,突出了深度学习在阿拉伯语手写文本识别中用于个人生物特征识别的潜力。
2024-06-01 cs.AI cs.CV cs.LG