Machine Learning and Deep Learning Methods for Building Intelligent Systems in Medicine and Drug Discovery: A Comprehensive Survey
Vellore Institute of Technology(韦洛尔理工学院)
随着计算机技术的进步,智能系统迅速发展,可以理解数据中的复杂关系,从而进行预测和分类。基于智能的框架正在迅速改变医疗保健行业。这些智能系统采用基于机器学习和深度学习的鲁棒模型构建,用于疾病的早期诊断,并为一线临床医生和外科医生展示了一种有前途的补充诊断方法。基于机器学习和深度学习的系统可以简化和简化从临床和基于图像的数据诊断疾病所涉及的步骤,从而提供重要的临床医生支持和工作流程优化。它们模仿人类认知,甚至能够诊断出人类智能无法诊断的疾病。本文重点介绍了机器学习和深度学习在16个医学专业中的应用,即牙科医学、血液学、外科学、心脏病学、肺病学、骨科学、放射学、肿瘤学、全科医学、精神病学、内分泌学、神经病学、皮肤病学、肝病学、肾病学、眼科学和药物发现。在本文中,随着调查,我们讨论了这些系统的医疗实践的进步,以及这些系统对医疗专业人员的影响。
2021-07-19 cs.AI cs.LG
A Survey on Mathematical Aspects of Machine Learning in GeoPhysics: The Cases of Weather Forecast, Wind Energy, Wave Energy, Oil and Gas Exploration
School of Electrical Engineering(电气工程学院);Indiana University Bloomington(印第安纳大学伯明顿分校)
本文回顾了最显着的作品应用机器学习技术(ML)的背景下,物理学和相应的分支。我们展示了迄今为止取得的进展以及未来进一步研究的重要方向,同时提供了天气预报,风能,波浪能,石油和天然气勘探领域的足够背景。我们的目标是反思以前的成功,并提供一个全面的审查这两个领域之间的协同作用,以加快机器学习技术在物理学的新方法。最后但并非最不重要的是,我们想指出可能的改进,其中一些与使用DataFlow范式作为性能加速手段的ML算法的实现相关。
2021-02-05 cs.LG physics.geo-ph
A survey on Big Data and Machine Learning for Chemistry
University of São Paulo(圣保罗大学);Dublin City University(都柏林城市大学)
在这里,我们回顾了利用大数据和机器学习(ML)的化学前沿研究和创新方面,这两个计算机科学领域结合起来产生机器智能。ML可以加速复杂化学问题的解决,甚至可以解决原本不容易解决的问题。但机器学习的潜在好处是以大数据生产为代价的;也就是说,为了学习,算法需要大量不同性质和不同来源的数据,从材料属性到传感器数据。在调查中,我们提出了未来发展的路线图,重点是材料发现和化学传感,以及物联网(IoT)的背景下,这两个领域都是大数据背景下ML的突出研究领域。除了概述最新进展外,我们还详细阐述了大数据和ML应用于化学的概念和实际局限性,概述了过程,讨论了陷阱,并回顾了成功和失败的案例。
2019-04-23 cs.LG physics.chem-ph
When Physics Meets Machine Learning: A Survey of Physics-Informed Machine Learning
University of Southern California(南加州大学)
物理信息机器学习(Physics-informed machine learning,PIML)是指将物理学的先验知识与数据驱动的机器学习模型相结合,以缓解训练数据不足的问题,提高模型的泛化能力,并确保结果的物理可解释性。本文综述了PIML的研究现状,并从三个方面进行了总结:(1)PIML的动机;(2)PIML中的物理知识;(3)PIML中物理知识的整合方法。我们还讨论了当前的挑战和相应的研究机会,在PIML。
2022-03-31 cs.LG stat.ML
Gradient Boosting Machine: A Survey
Point Zero One Technology(Point Zero One科技公司);Fordham University(福特汉姆大学);Imperial College London(帝国理工学院);Massachusetts Institute of Technology(麻省理工学院)
在本综述中,我们讨论了几种不同类型的梯度提升算法,并详细说明了它们的数学框架:1。梯度提升的引入导致2.目标函数优化,3.损失函数估计,以及4.模型构建5.在排名中应用boosting。
2019-08-19 cs.LG stat.ML
Survey-aware Machine Learning: A Guideline for Valid Population Health Inference based on Scoping Review
Medical & Imaging Informatics (MII) UCLA(医学与影像信息学(MII) UCLA)
本文提出Survey-aware Machine Learning (SaML)指南,通过整合调查设计元数据,解决健康调查数据中忽略采样单元、分层变量和采样权重的问题,提升流行健康推断的准确性。
2026-11-20 cs.LG stat.ML
Deep Learning and Its Applications to Machine Health Monitoring: A Survey
自2006年以来,深度学习(DL)已成为一个快速发展的研究方向,重新定义了对象识别、图像分割、语音识别和机器翻译等广泛领域的最新性能。在现代制造系统中,由于低成本传感器的广泛部署及其与互联网的连接,数据驱动的机器健康监测越来越受欢迎。同时,深度学习为处理和分析这些大机械数据提供了有用的工具。本文的主要目的是回顾和总结深度学习在机器健康监测方面的新兴研究工作。在简要介绍了深度学习技术的基础上,主要从以下几个方面综述了深度学习在机器健康监测系统中的应用:自动编码器(AE)及其变体、受限玻尔兹曼机及其变体(包括深度信念网络(DBN)和深度玻尔兹曼机(DBM))、卷积神经网络(CNN)和递归神经网络(RNN)。最后,讨论了基于动态联盟的机器健康监测方法的发展趋势。
2016-12-16 cs.LG stat.ML
A Survey on Data Collection for Machine Learning: a Big Data -- AI Integration Perspective
KAIST(韩国科学技术院)
数据汇集是机器学习中的一个主要瓶颈,也是多个社区中的一个活跃研究课题。数据汇集最近成为一个关键问题,主要有两个原因。首先,随着机器学习的使用越来越广泛,我们看到新的应用程序不一定有足够的标记数据。其次,与传统的机器学习不同,深度学习技术自动生成特征,这节省了特征工程成本,但反过来可能需要更大量的标记数据。有趣的是,最近的数据汇集研究不仅来自机器学习、自然语言和计算机视觉社区,而且由于处理大量数据的重要性,也来自数据管理社区。在本调查中,我们从数据管理的角度对数据汇集进行了全面的研究。数据汇集主要包括数据采集、数据标记和现有数据或模型的改进。我们提供了这些操作的研究环境,提供了何时使用哪种技术的指导方针,并确定了有趣的研究挑战。机器学习和数据管理的集成用于数据汇集是大数据和人工智能(AI)集成的更大趋势的一部分,并为新的研究开辟了许多机会。
2019-08-12 cs.LG stat.ML
Hyperbox based machine learning algorithms: A comprehensive survey
University of Technology Sydney(悉尼科技大学);Khalifa University(哈利法大学)
随着数字信息的快速发展,人类和机器产生的数据量呈指数级增长。伴随着这一趋势,机器学习算法不断形成和发展,从不同的数据源中发现新的信息和知识。使用超盒作为基本表示和构建块的学习算法是机器学习方法的一个分支。这些算法具有巨大的潜力,高的可扩展性和在线适应的预测使用超盒数据表示的动态变化的环境和流数据。本文旨在对基于超盒的机器学习模型的文献进行全面的综述。通常,根据所得到的模型的架构和特性特征,现有的基于超盒的学习算法可以被分为三大类:模糊最小-最大神经网络、基于超盒的混合模型和基于超盒表示的其他算法。在每一组中,本文简要描述了模型的结构,相关的学习算法,并分析了它们的优点和缺点。本文还介绍了这些基于超盒的模型在实际问题中的主要应用。最后,我们讨论了一些开放的问题,并确定在这一领域的潜在的未来研究方向。
2019-03-22 cs.LG stat.ML
On the computation of counterfactual explanations -- A survey
Bielefeld University(比勒费尔德大学)
由于机器学习在实践中的使用越来越多,能够解释机器学习模型的预测和行为变得越来越重要。解释的实例是反事实解释,其提供对机器学习模型的直观且有用的解释。在这项调查中,我们回顾了模型特定的方法,有效地计算反事实的解释,许多不同的机器学习模型,并提出了方法的模型还没有被认为在文献中。
2019-11-15 cs.AI cs.LG stat.ML
Benchmark and Survey of Automated Machine Learning Frameworks
USU Software AG(USU软件股份公司);Institute of Industrial Manufacturing and Management IFF(工业制造与管理研究所(IFF));University of Stuttgart(斯图加特大学);Fraunhofer Institute for Manufacturing Engineering and Automation IPA(弗劳恩霍夫制造工程与自动化研究所(IPA))
机器学习(ML)已经成为我们日常生活中许多方面的重要组成部分。然而,构建性能良好的机器学习应用程序需要高度专业化的数据科学家和领域专家。自动化机器学习(AutoML)旨在通过使领域专家能够自动构建机器学习应用程序来减少对数据科学家的需求,而无需广泛的统计学和机器学习知识。本文结合了当前AutoML方法的调查和真实数据集上流行的AutoML框架的基准测试。在所选评估框架的驱动下,我们总结并回顾了与构建ML管道的每一步相关的重要AutoML技术和方法。所选AutoML框架在来自已建立的AutoML基准套件的137个数据集上进行了评估。
2021-01-26 cs.AI cs.LG stat.ML
A Short Survey on Importance Weighting for Machine Learning
The University of Melbourne(墨尔本大学);School of Mathematics and Statistics(数学与统计学院);The Institute of Statistical Mathematics(统计数学研究所);RIKEN(理化学研究所);Center for Advanced Intelligence Project(先进智能项目中心)
该综述介绍了重要性加权这一统计学与机器学习基础方法的原理,举例说明其在分布偏移下有监督学习中的作用,并总结了它在机器学习及相关领域的广泛应用。
2024-05-14 cs.AI cs.LG stat.ML
A Survey of Optimization Methods from a Machine Learning Perspective
East China Normal University(华东师范大学)
机器学习发展迅速,取得了许多理论突破,在各个领域得到广泛应用。优化作为机器学习的重要组成部分,受到了研究者的广泛关注。随着数据量的指数级增长和模型复杂度的增加,机器学习中的优化方法面临着越来越多的挑战。在机器学习中,人们相继提出了许多解决优化问题或改进优化方法的工作。从机器学习的角度对优化方法进行系统的回顾和总结,对优化技术的发展和机器学习的研究都具有重要的指导意义。在本文中,我们首先描述了机器学习中的优化问题。然后介绍了常用优化方法的原理和进展。接下来,我们总结了优化方法在一些热门的机器学习领域的应用和发展。最后,我们对机器学习中的优化问题进行了探讨和展望。
2019-10-23 cs.LG math.OC stat.ML
"Forgetting" in Machine Learning and Beyond: A Survey
Australian National University(澳大利亚国立大学)
本综述借鉴神经科学研究,将机器学习中的遗忘视为适应性功能,探讨其在提升模型性能与数据隐私方面的应用,并讨论了整合遗忘机制的挑战、未来方向与伦理考量。
2024-05-31 cs.LG
Leveraging Machine Learning and Big Data for Smart Buildings: A Comprehensive Survey
Western Michigan University(西密歇根大学);Information Technology University(信息技术大学)
未来的建筑将为居民提供新的便利、舒适和效率。随着技术的深入,信息处理充分融入人们的日常生活活动和对象,人们的生活方式将发生变化。智能建筑的未来期望包括使居民的体验尽可能简单和舒适。智能建筑设备和设备生成和捕获的大量流数据包含有价值的信息,需要挖掘这些信息以促进及时采取行动和更好地决策。机器学习和大数据分析无疑将在实现此类智能服务的交付方面发挥关键作用。在本文中,我们调查了智能建筑领域,特别关注机器学习和大数据分析技术的作用。该调查还回顾了智能建筑服务发展的当前趋势和面临的挑战。
2019-05-19 cs.CY cs.LG stat.ML
Machine Learning Testing: Survey, Landscapes and Horizons
University College London(伦敦大学学院);Facebook London(Facebook伦敦);Kyushu University(九州大学);Nanyang Technological University(南洋理工大学)
本文对机器学习测试(ML测试)的研究进行了全面的综述。它涵盖了144篇关于测试性能的论文(例如,正确性、鲁棒性和公平性),测试组件(例如,数据、学习程序和框架),测试工作流(例如,测试生成和测试评估),以及应用场景(例如,自动驾驶、机器翻译)。本文还分析了有关数据集的趋势,研究趋势和研究重点,最后总结了ML测试的研究挑战和有前途的研究方向。
2019-12-21 cs.AI cs.LG cs.SE
How Developers Iterate on Machine Learning Workflows -- A Survey of the Applied Machine Learning Literature
University of Illinois, Urbana-Champaign (UIUC)(伊利诺伊大学厄巴纳-香槟分校)
机器学习工作流开发被认为是一个迭代的试错过程。然而,我们并不知道有定量证据证实这一普遍看法。迭代的定量表征可以作为实践中机器学习工作流开发的基准,并且可以帮助开发人在回路机器学习系统。为此,我们从五个不同的应用领域应用机器学习文献进行了小规模的调查。我们收集和提取关于迭代在机器学习工作流开发中的作用的统计数据,并报告我们调查的初步趋势和见解,作为这个基准的起点。基于我们的研究结果,我们最后描述了有效和通用的人在回路机器学习系统,可以满足不同领域的用户的需求。
2018-05-17 cs.DB cs.HC cs.LG
Reproducing Kernel Hilbert Space, Mercer's Theorem, Eigenfunctions, Nyström Method, and Use of Kernels in Machine Learning: Tutorial and Survey
University of Waterloo(滑铁卢大学)
这是一篇关于内核、核方法和相关领域的教程和综述论文。我们首先回顾核函数分析和机器学习的历史。然后,Mercer核,Hilbert和Banach空间,再生核Hilbert空间(RKHS),Mercer定理及其证明,常用的核,核构造距离度量,重要的核类别(包括有界,整体正定,泛,平稳,和特征核),核中心化和归一化,和特征函数进行了详细的解释。然后,我们介绍了核在机器学习中的使用类型,包括核方法(如核支持向量机),半定规划核学习,Hilbert-Schmidt独立性准则,最大均值差异,核均值嵌入和核降维。我们还涵盖了核矩阵的秩和因子分解以及使用Nystr{<$}m方法对特征函数和核的近似。这篇论文可以用于各种科学领域,包括机器学习,降维,数学中的泛函分析和量子力学中的数学物理。
2021-06-15 cs.LG math.FA stat.ML
A Survey on the Explainability of Supervised Machine Learning
Fraunhofer Institute for Optronics, System Technologies, and Image Exploitation IOSB(弗劳恩霍夫光电、系统技术与图像利用研究所IOSB);University of Stuttgart(斯图加特大学);Fraunhofer Institute for Manufacturing Engineering and Automation IPA(弗劳恩霍夫制造工程与自动化研究所IPA)
通过以下方式获得的预测,例如,人工神经网络具有高精度,但是人类通常将模型视为黑盒。对人类来说,关于决策的见解大多是不透明的。特别是了解医疗保健或金融等高度敏感领域的决策至关重要。黑盒子背后的决策过程要求它更加透明、负责和易于理解。这篇调查论文提供了基本的定义,概述了可解释的监督机器学习(SML)的不同原理和方法。我们进行了一个国家的最先进的调查,回顾过去和最近的可解释的SML方法,并根据介绍的定义进行分类。最后,我们通过一个解释性的案例研究来说明原则,并讨论未来的重要方向。
2020-11-16 cs.AI cs.LG stat.ML
A Survey on Distributed Machine Learning
Delft University of Technology(代尔夫特理工大学);imec - Ghent University(imec-根特大学)
在过去十年中,对人工智能的需求显著增长,这种增长受到机器学习技术进步和利用硬件加速能力的推动。然而,为了提高预测的质量并使机器学习解决方案对于更复杂的应用可行,需要大量的训练数据。虽然可以用适量的数据来训练小型机器学习模型,但用于训练诸如神经网络之类的较大模型的输入随着参数的数量呈指数增长。由于对处理训练数据的需求已经超过了计算机器的计算能力的增长,因此需要将机器学习工作负载分布在多个机器上,并将集中式系统转变为分布式系统。这些分布式系统提出了新的挑战,首先是训练过程的有效并行化和连贯模型的创建。本文通过概述分布式机器学习相对于传统(集中式)机器学习的挑战和机遇,讨论用于分布式机器学习的技术,并概述可用的系统,对该领域的当前最新技术进行了广泛的概述。
2019-12-20 cs.DC cs.LG stat.ML
Informed Machine Learning -- A Taxonomy and Survey of Integrating Knowledge into Learning Systems
Fraunhofer Center for Machine Learning(弗劳恩霍夫机器学习中心);Fraunhofer IAIS, Institute for Intelligent Analysis and Information Systems(弗劳恩霍夫智能分析与信息系统研究所);Fraunhofer SCAI, Institute for Algorithms and Scientific Computing(弗劳恩霍夫算法与科学计算研究所);Fraunhofer ITWM, Institute for Industrial Mathematics(弗劳恩霍夫工业数学研究所);Fraunhofer IOSB, Institute for Optronics, System Technologies and Image Exploitation(弗劳恩霍夫光电子学、系统技术与图像开发研究所)
尽管机器学习取得了巨大的成功,但在处理不充分的训练数据时,它也有其局限性。一个潜在的解决方案是将先验知识额外整合到训练过程中,这导致了知情机器学习的概念。在本文中,我们提出了一个结构化的概述在这一领域的各种方法。我们提供了一个定义,并提出了一个概念,通知机器学习,说明其构建块,并区分它从传统的机器学习。我们介绍了一个分类法,作为一个分类框架,知情的机器学习方法。它考虑了知识的来源,它的表示,并将其集成到机器学习管道。基于这种分类法,我们调查相关的研究,并描述如何不同的知识表示,如代数方程,逻辑规则,或模拟结果可以用于学习系统。基于我们的分类法对大量论文的评估揭示了知情机器学习领域的关键方法。
2021-05-28 cs.AI cs.LG stat.ML
Addressing modern and practical challenges in machine learning: A survey of online federated and transfer learning
University of Essex(埃塞克斯大学)
在线联邦学习(OFL)和在线迁移学习(OTL)是克服现代机器学习挑战(如数据孤岛、流数据和数据安全)的两种协作范例。这项调查探讨了OFL和OTL的主要演变路线,以加强对在线联邦和迁移学习的理解。此外,在这项工作中,流行的数据集和在线联邦和迁移学习的前沿应用程序的实际方面突出。此外,这项调查提供了对未来潜在研究领域的深入了解,旨在为开发在线联合和迁移学习框架的专业人员提供资源。
2022-02-07 cs.LG
From Server-Based to Client-Based Machine Learning: A Comprehensive Survey
Shanghai Jiao Tong University(上海交通大学);Alibaba(阿里巴巴)
近年来,移动设备以更强的计算能力和更大的存储空间获得了日益增长的发展。一些计算密集型的机器学习任务现在可以在移动设备上运行。为了利用移动设备上可用的资源并保护个人隐私,已经提出了基于客户端的机器学习的概念。它利用用户的本地硬件和本地数据在移动设备上解决机器学习子问题,只上传计算结果而不是原始数据,用于全局模型的优化。这样的架构不仅可以减轻服务器的计算和存储负担,还可以保护用户的敏感信息。另一个好处是带宽减少,因为各种本地数据可以参与训练过程而无需上传。在这篇文章中,我们提供了一个文献综述的逐步发展的机器学习从基于服务器到基于客户端。我们回顾了一些广泛使用的基于服务器和基于客户端的机器学习方法和应用程序。我们还广泛讨论了这一领域的挑战和未来方向。我们相信,这项调查将对基于客户端的机器学习进行清晰的概述,并为将基于客户端的机器学习应用于实践提供指导。
2021-09-28 cs.DC cs.LG stat.ML
Challenges in Deploying Machine Learning: a Survey of Case Studies
University of Cambridge(剑桥大学);Cambridge Spark(剑桥星火)
近年来,机器学习已经从学术研究领域转变为能够解决现实世界商业问题的领域。然而,在生产系统中部署机器学习模型可能会带来许多问题和担忧。本调查回顾了在各种用例、行业和应用程序中部署机器学习解决方案的已发布报告,并提取了与机器学习部署工作流程阶段相对应的实际注意事项。通过将发现的挑战映射到机器学习部署工作流程的步骤,我们表明从业者在部署过程的每个阶段都面临问题。本文的目标是制定一个研究议程,探讨解决这些挑战的方法。
2022-05-19 cs.LG
Automated Machine Learning on Graphs: A Survey
Tsinghua University(清华大学)
图上的机器学习在学术界和工业界都得到了广泛的研究。然而,随着关于图学习的文献随着大量新兴方法和技术而繁荣,手动设计用于不同图相关任务的最佳机器学习算法变得越来越困难。为了解决这一关键挑战,图上的自动机器学习(AutoML)将图机器学习和AutoML的优势结合在一起,正受到研究界的关注。因此,本文全面综述了图上的AutoML,主要关注用于图机器学习的超参数优化(HPO)和神经架构搜索(NAS)。我们进一步概述了与自动化图机器学习相关的库,并深入讨论了AutoGL,这是第一个用于图上AutoML的专用开源库。最后,我们分享了我们对自动图机器学习未来研究方向的见解。本文是第一个系统和全面的审查自动机器学习的图,以我们所知。
2021-12-20 cs.LG
A Survey of Machine Learning Methods and Challenges for Windows Malware Classification
Booz Allen Hamilton(博思艾伦汉密尔顿);University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
恶意软件分类是一个难题,机器学习方法已经应用了几十年。然而,进展往往是缓慢的,部分原因是在开发机器学习系统的所有阶段都存在一些独特的困难:数据汇集,标记,特征创建和选择,模型选择和评估。在本调查中,我们将回顾与恶意软件分类相关的一些当前方法和挑战,包括数据汇集、特征提取、模型构建和评估。我们的讨论将包括对该领域中基于机器学习的解决方案必须考虑的约束的思考,以及机器学习也可以提供解决方案的尚未解决的问题。本调查旨在为希望了解更多关于如何将机器学习应用于恶意软件问题的网络安全从业者提供有用的信息,并为数据科学家提供必要的背景知识,以应对这个独特复杂的空间中的挑战。
2020-11-15 cs.CR cs.LG stat.AP
A Survey on Machine Learning Applied to Dynamic Physical Systems
本调查是关于物理建模和机器学习交叉领域的最新进展。我们专注于非线性系统的建模,更接近电动机。综述了电动机运行中的控制和故障检测技术。
2020-09-28 cs.LG cs.NE
A survey and taxonomy of loss functions in machine learning
本综述全面概述了机器学习中最广泛使用的43种损失函数,涵盖回归、分类、生成建模、排序和基于能量的建模等关键应用,并构建了直观的分类体系以阐明其理论基础、性质和最佳应用场景,旨在为各阶段学生和研究人员提供系统资源。
2024-11-18 cs.LG
Category-Theoretical and Topos-Theoretical Frameworks in Machine Learning: A Survey
Japan Women's University(日本女子大学);XiChang University(西昌学院);Sichuan University(四川大学);Pittsburgh Institute(匹兹堡研究所);Macao Polytechnic University(澳门理工大学)
本文从梯度、概率、不变性与等价性及拓扑斯四个视角综述范畴论在机器学习中的应用,更新了过去五年研究并首次系统探讨拓扑斯理论,凸显其在表达网络全局与局部结构及几何逻辑中的深刻作用。
2025-02-03 cs.LG
A survey on Machine Learning-based Performance Improvement of Wireless Networks: PHY, MAC and Network layer
Ghent University(根特大学);Delft University of Technology(代尔夫特理工大学)
本文提供了一个系统和全面的调查,审查集中在机器学习(ML)的无线网络的性能改善的最新研究成果,同时考虑到所有层的协议栈(物理层,MAC和网络)。首先,讨论了相关的工作和论文贡献,然后为非机器学习专家提供数据驱动方法和机器学习的必要背景,以了解所有讨论的技术。然后,一个全面的审查工作采用ML为基础的方法来优化无线通信参数设置,以实现改善网络的服务质量(QoS)和体验质量(QoE)。我们首先将这些工作分为:无线电分析,MAC分析和网络预测方法,其次是每个子类别。最后,讨论了开放的挑战和更广阔的前景。
2020-01-18 cs.LG cs.NI eess.SP
Is the Rush to Machine Learning Jeopardizing Safety? Results of a Survey
McMaster University(麦克马斯特大学)
机器学习(ML)正在进入安全关键系统(SCS)。目前的安全标准和实践不是为了应对ML技术而设计的,很难相信包含ML组件的SCS是安全的。我们的假设是,人们急于部署ML技术,而没有彻底检查ML技术的使用是否会引入我们还不能充分检测和缓解的安全问题。因此,我们进行了有针对性的文献调查,以确定将ML应用于SCS的研究工作与评估部署ML组件的SCS安全性的研究工作进行比较。本文介绍了调查的(令人惊讶的)结果。
2021-11-29 cs.LG
Restricted Boltzmann Machine and Deep Belief Network: Tutorial and Survey
University of Waterloo(滑铁卢大学)
这是一篇关于Boltzmann Machine(BM)、Restricted Boltzmann Machine(RBM)和Deep Belief Network(DBN)的教程和综述论文。我们从概率图模型,马尔可夫随机场,吉布斯抽样,统计物理,伊辛模型和Hopfield网络的必要背景开始。然后,我们介绍了BM和RBM的结构。解释了可见和隐藏变量的条件分布,RBM中用于生成变量的Gibbs抽样,通过最大似然估计训练BM和RBM,以及对比发散。然后,我们讨论变量的不同可能的离散和连续分布。我们介绍了条件RBM以及它是如何训练的。最后,我们将深度信念网络解释为RBM模型的堆栈。这篇关于玻尔兹曼机的论文在数据科学、统计学、神经计算和统计物理等各个领域都很有用。
2022-08-06 cs.LG cs.NE physics.data-an
Curriculum Graph Machine Learning: A Survey
Tsinghua University(清华大学)
本文首次全面综述课程图机器学习(Graph CL),针对现有图模型随机训练导致的次优问题,按节点级、链接级和图级任务分类总结方法,并展望未来方向。
2024-03-12 cs.LG
A Machine Learning-oriented Survey on Tiny Machine Learning
University of Verona(维罗纳大学)
本文是一篇遵循PRISMA流程的TinyML综述,梳理三类实现工作流、学习算法与优化设计分类、硬件软件工具,并讨论挑战和未来方向。
2023-09-26 cs.LG
Data and its (dis)contents: A survey of dataset development and use in machine learning research
University of Washington(华盛顿大学);Mozilla Foundation(Mozilla基金会);Google Research(谷歌研究院)
数据集在机器学习研究的进步中发挥了基础性作用。它们构成了我们设计和部署模型的基础,也是我们进行基准测试和评估的主要媒介。此外,我们收集、构建和共享这些数据集的方式也为该领域追求的问题和算法开发中探索的方法提供了信息。然而,最近从广泛的角度开展的工作揭示了数据集收集和使用方面的主要做法的局限性。在本文中,我们调查了许多关于我们在机器学习中收集和使用数据的方式的问题,并主张对数据进行更谨慎和彻底的理解,以解决该领域的一些实际和伦理问题。
2020-12-09 cs.LG
Knowledge Discovery in Surveys using Machine Learning: A Case Study of Women in Entrepreneurship in UAE
该研究以阿联酋女性创业调查为对象,运用机器学习方法分析调查数据特征、提取洞见,以明晰当地女性创业现状、预测未来趋势,助力更优商业决策制定。
2024-04-14 cs.LG
A Survey of Game Theoretic Approaches for Adversarial Machine Learning in Cybersecurity Tasks
U.S. Naval Research Laboratory(美国海军研究实验室)
机器学习技术目前被广泛用于自动化各种网络安全任务。这些技术中的大多数利用监督学习算法,该算法依赖于训练算法来使用相关领域中遇到的数据将传入数据分类为不同类别。这些算法的一个关键漏洞是它们容易受到对抗攻击的影响,其中被称为对手的恶意实体故意更改训练数据以误导学习算法产生分类错误。对抗攻击可能会使学习算法不适合使用,并使关键系统容易受到网络安全攻击。我们的论文提供了一个详细的调查,用于使机器学习算法强大的对抗对抗攻击使用博弈论的计算框架的最先进的技术。我们还讨论了开放的问题和挑战以及进一步研究的可能方向,这些研究将使基于深度机器学习的系统在网络安全任务中更加强大和可靠。
2019-12-04 cs.AI cs.CR cs.LG
Challenges, Methods, Data -- a Survey of Machine Learning in Water Distribution Networks
Bielefeld University(比勒费尔德大学)
本文综述了机器学习在供水管网规划与控制中的应用,分析了领域挑战,并提供了评估基准及泄漏检测与定位任务的结构化技术工具包。
2024-10-16 cs.LG
Multimodal Machine Learning: A Survey and Taxonomy
Carnegie Mellon University(卡内基梅隆大学)
我们对世界的体验是多模态的-我们看到物体,听到声音,感觉质地,闻到气味,品尝味道。模态是指事物发生或体验的方式,当一个研究问题包含多个这样的模态时,它被称为多模态。为了让人工智能在理解我们周围的世界方面取得进展,它需要能够一起解释这种多模态信号。多模态机器学习旨在构建能够处理和关联来自多个模态的信息的模型。它是一个充满活力的多学科领域,其重要性日益增加,并具有非凡的潜力。而不是专注于特定的多模态应用程序,本文调查了多模态机器学习本身的最新进展,并提出了他们在一个共同的分类。我们超越了典型的早期和晚期融合分类,并确定了多模态机器学习所面临的更广泛的挑战,即:表示,翻译,对齐,融合和共同学习。这种新的分类法将使研究人员能够更好地了解该领域的现状,并确定未来研究的方向。
2017-08-01 cs.LG
Modeling Techniques for Machine Learning Fairness: A Survey
Texas A&M University(德克萨斯农工大学);Rice University(莱斯大学);University of Georgia(佐治亚大学)
机器学习模型在高风险应用中变得越来越普遍。尽管这些模式在业绩方面有明显的好处,但它们可能显示出对少数群体的歧视,并导致决策过程中的公平问题,从而对个人和社会产生严重的负面影响。近年来,已经开发了各种技术来减轻机器学习模型的不公平性。其中,在处理方法引起了越来越多的关注,在模型设计中直接考虑公平性,以诱导内在公平的模型,并从根本上缓解输出和表示的公平性问题。在这项调查中,我们回顾了目前的进展,在处理公平缓解技术。根据模型中实现公平性的位置,我们将其分为显式和隐式方法,前者直接将公平性度量纳入训练目标,后者侧重于细化潜在的表示学习。最后,我们结束了调查,在这个社区的研究挑战的讨论,以激励未来的探索。
2022-04-10 cs.LG
Optimization Problems for Machine Learning: A Survey
IBM Research Ireland(IBM爱尔兰研究院);Ivey Business School(毅伟商学院);University of Western Ontario(西安大略大学)
本文综述了机器学习文献,并在优化框架中介绍了几种常用的机器学习方法。特别地,数学最优化模型被提出用于回归、分类、聚类、深度学习和对抗学习,以及机器教学、经验模型学习和贝叶斯网络结构学习中的新兴应用。这些模型可以受益于数值优化技术的进步,这些技术已经在几种机器学习环境中发挥了独特的作用。这些模型的优点和缺点进行了讨论,并突出了潜在的研究方向和开放的问题。
2021-01-11 cs.LG math.OC
A Survey on Machine Learning Techniques for Auto Labeling of Video, Audio, and Text Data
New Mexico State University(新墨西哥州立大学)
机器学习已经被用于执行许多不同领域中的任务,诸如分类、目标检测、图像分割和自然语言分析。数据标注一直是机器学习中最重要的任务之一。然而,标记大量数据增加了机器学习的货币成本。因此,研究人员开始专注于减少数据注释和标签成本。迁移学习作为一种有效的方法被设计和广泛使用,它可以合理地减少有限数据的负面影响,从而降低数据准备成本。即使是从源域转移先前的知识,也会减少目标域所需的数据量。然而,仍然需要大量的注释数据来建立鲁棒的模型并提高模型的预测精度。因此,研究人员开始关注自动标注和标注。在这篇调查论文中,我们对以前的技术进行了回顾,这些技术专注于优化视频,音频和文本数据的数据注释和标签。
2021-09-08 cs.LG
A Survey of Human-in-the-loop for Machine Learning
East China Normal University(华东师范大学);Fudan University(复旦大学)
人在回路的目标是通过整合人的知识和经验,以最小的代价训练一个准确的预测模型。人类可以为机器学习应用提供训练数据,并在基于机器的方法的帮助下直接完成计算机难以完成的任务。在本文中,我们从数据的角度调查了现有的人在回路的工作,并将其分为三类,并具有递进关系:(1)从数据处理中提高模型性能的工作,(2)通过干预模型训练提高模型性能的工作,以及(3)系统独立人在回路的设计。使用上述分类,我们总结了该领域的主要方法;随着他们的技术优势/弱点,我们有简单的分类和讨论在自然语言处理,计算机视觉,和其他。此外,我们提供了一些开放的挑战和机会。本调查旨在为人在环提供一个高层次的总结,并激励感兴趣的读者考虑设计有效的人在环解决方案的方法。
2022-04-26 cs.LG
Survey of Machine Learning Techniques To Predict Heartbeat Arrhythmias
Institute for Biomedical Informatics(生物医学信息学研究所);University of Kentucky Healthcare(肯塔基大学医疗中心)
生物医学计算机科学研究中的许多工作使用机器学习技术来给出准确的结果。然而,这些技术对于从现场医院馈送中提取的数据的实时分析可能不可行。在这个项目中,不同的机器学习技术从不同的来源进行比较,以找到一个不仅提供高准确性,而且低延迟和内存开销用于现实世界的医疗保健系统。
2022-08-22 cs.LG eess.SP
Federated Graph Machine Learning: A Survey of Concepts, Techniques, and Applications
University of Virginia(弗吉尼亚大学)
图机器学习近年来在学术界和工业界都得到了极大的关注。大多数图机器学习模型,如图神经网络(GNN),都是在海量图数据上训练的。然而,在许多现实场景中,例如医疗保健系统中的住院预测,图形数据通常存储在多个数据所有者处,并且由于隐私问题和法规限制,无法由任何其他方直接访问。联邦图机器学习(FGML)是通过以联邦方式训练图机器学习模型来应对这一挑战的有前途的解决方案。在这项调查中,我们进行了全面的回顾FGML的文献。具体来说,我们首先提供了一个新的分类法,将现有的问题在FGML分为两个设置,即FL与结构化数据和结构化FL。然后,我们回顾了在每个设置的主流技术,并阐述了他们如何解决FGML下的挑战。此外,我们还从不同的领域总结了FGML的实际应用,并介绍了FGML所采用的开放图数据集和平台。最后,我们提出了一些限制在现有的研究与有前途的研究方向在这一领域。
2022-10-17 cs.LG
Machine Learning Systems for Intelligent Services in the IoT: A Survey
机器学习(ML)技术正在物联网(IoT)中出现以提供智能服务。这项调查超越了现有的机器学习算法和云驱动的设计,调查了整合机器学习和物联网的较少探索的系统,扩展和社会技术方面。它涵盖了在云、边缘和物联网设备上扩展和分发ML的最新发展(截至2020年)。通过对系统设计选择进行分类和说明的多层框架,这项调查揭示了在功能、利益相关者一致性和可信度方面,在不断上升的云-边缘-设备连续体中开发和部署ML系统的基本问题。
2020-12-01 cs.CY cs.LG
A Survey of Machine Learning Algorithms for Detecting Malware in IoT Firmware
PeopleTec, Inc.(PeopleTec 公司)
这项工作探索了在物联网固件数据集上使用机器学习技术来检测感染边缘设备或随后破坏整个网络的恶意尝试。固件更新在物联网设备中并不常见;因此,它们充满了漏洞。针对此类设备的攻击可能会被忽视,用户可能会成为安全方面的弱点。恶意软件可以导致DDoS攻击,甚至可以监视敏感区域,如人们的家园。为了帮助减轻这种威胁,本文采用了许多机器学习算法来对物联网固件进行分类,并报告了性能最佳的模型。在一般比较中,前三个算法是梯度提升、逻辑回归和随机森林分类器。深度学习方法,包括卷积和全连接神经网络与实验和证明成功的架构也进行了探索。
2021-11-03 cs.LG
A survey on datasets for fairness-aware machine learning
Leibniz University Hannover(汉诺威莱布尼茨大学);Carnegie Mellon University(卡内基梅隆大学);Free University Berlin(柏林自由大学)
随着决策越来越依赖于机器学习(ML)和(大)数据,数据驱动的人工智能(AI)系统中的公平性问题越来越受到研究和行业的关注。已经提出了各种各样的公平性感知机器学习解决方案,其涉及数据、学习算法和/或模型输出中的公平性相关干预。然而,提出新方法的一个重要部分是在代表现实和多样化环境的基准数据集上进行经验评估。因此,在本文中,我们概述了用于公平感知机器学习的真实世界数据集。我们专注于表格数据作为公平感知机器学习最常见的数据表示。我们通过识别不同属性之间的关系来开始分析,特别是w.r.t.。保护属性和类属性,使用贝叶斯网络。为了更深入地了解数据集中的偏差,我们使用探索性分析来研究有趣的关系。
2022-01-21 cs.LG
A Brief Survey of Machine Learning Methods for Emotion Prediction using Physiological Data
Rice University(莱斯大学)
情绪预测是一个关键的新兴研究领域,专注于从多种模态中识别和预测人类的情绪状态。在其他数据源中,生理数据可以作为情绪的指标,其附加优点是它不能被个人掩盖/篡改,并且可以容易地收集。本文调查了多种机器学习方法,这些方法使用智能手机和生理数据来实时预测情绪,使用自我报告的生态瞬时评估(EMA)分数作为地面实况。通过比较回归、长短期记忆(LSTM)网络、卷积神经网络(CNN)、强化在线学习(ROL)和深度信念网络(DBN),我们展示了用于实现准确情感预测的机器学习方法的可变性。我们比较了最先进的方法,并强调实验性能仍然不是很好。在未来的工作中,可以通过考虑以下问题来提高性能:提高可扩展性和可推广性,同步多模态数据,优化EMA采样,将适应性与序列预测相结合,收集无偏数据,并利用复杂的特征工程技术。
2022-01-17 cs.LG
Time Series Analysis in Compressor-Based Machines: A Survey
Politecnico di Milano(米兰理工大学)
本文综述了多变量时间序列分析在基于压缩机的机器FD、FP、Forecasting和CPD任务中的研究,分类比较相关算法并指出研究空白与未来方向。
2024-04-02 cs.LG
Geomagnetic Survey Interpolation with the Machine Learning Approach
Schmidt Institute of Physics of the Earth of the Russian Academy of Sciences(俄罗斯科学院施密特地球物理研究所);Geophysical Center of the Russian Academy of Sciences(俄罗斯科学院地球物理中心)
介绍了无人机磁力测量数据内插的方法。该方法适应了这类数据具有样本沿一系列直线(类似于海上航迹)的空间发布的事实,这是许多无人机测量的突出特点。插值依赖于非常基本的最近邻算法,尽管使用了机器学习方法。这种方法通过智能地调整最近邻算法参数使误差小于5%。利用Borok地磁台无人机航磁测量数据对该方法进行了初步测试。
2022-10-07 cs.LG physics.geo-ph
Bias Mitigation for Machine Learning Classifiers: A Comprehensive Survey
Simula Research Laboratory(西穆拉研究实验室);University College London(伦敦大学学院);King’s College London(伦敦国王学院)
本文全面综述了机器学习分类器的偏差缓解方法,收集341篇文献,按干预过程分类,并分析评估实践,以支持从业者做出明智选择。
2023-10-11 cs.LG
Verification for Machine Learning, Autonomy, and Neural Networks Survey
本调查概述了自主系统的验证技术,重点是安全关键的自主网络物理系统(CPS)及其子组件。CPS中的自主性是通过人工智能(AI)和机器学习(ML)的最新进展来实现的,这些进步通过诸如深度神经网络(DNN)之类的方法来实现,这些方法嵌入在所谓的学习使能组件(LEC)中,完成从分类到控制的任务。最近,形式化方法和形式化验证社区已经开发出方法来表征这些LEC中的行为,最终目标是形式化验证LEC的规范,本文对这些方法进行了综述。
2018-10-03 cs.AI cs.LG
A Survey on Neural Machine Reading Comprehension
University of Chinese Academy of Sciences(中国科学院大学)
使机器能够阅读和理解自然语言文档,以便它可以回答一些问题仍然是一个难以捉摸的挑战。近年来,深度学习的普及和大规模数据集的建立,都促进了机器阅读理解的繁荣。本文介绍了如何利用神经网络来构建一个阅读器,并介绍了一些经典的模型,分析了它们的改进之处。进一步指出了现有模型的不足和未来的研究方向
2019-06-10 cs.CL cs.LG