Optimization Problems for Machine Learning: A Survey
IBM Research Ireland（IBM爱尔兰研究院）；Ivey Business School（毅伟商学院）；University of Western Ontario（西安大略大学）
本文综述了机器学习文献，并在优化框架中介绍了几种常用的机器学习方法。特别地，数学最优化模型被提出用于回归、分类、聚类、深度学习和对抗学习，以及机器教学、经验模型学习和贝叶斯网络结构学习中的新兴应用。这些模型可以受益于数值优化技术的进步，这些技术已经在几种机器学习环境中发挥了独特的作用。这些模型的优点和缺点进行了讨论，并突出了潜在的研究方向和开放的问题。
2021-01-11 cs.LG math.OC
Gradient Boosting Machine: A Survey
Point Zero One Technology（Point Zero One科技公司）；Fordham University（福特汉姆大学）；Imperial College London（帝国理工学院）；Massachusetts Institute of Technology（麻省理工学院）
在本综述中，我们讨论了几种不同类型的梯度提升算法，并详细说明了它们的数学框架：1。梯度提升的引入导致2.目标函数优化，3.损失函数估计，以及4.模型构建5.在排名中应用boosting。
2019-08-19 cs.LG stat.ML
A survey and taxonomy of loss functions in machine learning
本综述全面概述了机器学习中最广泛使用的43种损失函数，涵盖回归、分类、生成建模、排序和基于能量的建模等关键应用，并构建了直观的分类体系以阐明其理论基础、性质和最佳应用场景，旨在为各阶段学生和研究人员提供系统资源。
2024-11-18 cs.LG
Category-Theoretical and Topos-Theoretical Frameworks in Machine Learning: A Survey
Japan Women's University（日本女子大学）；XiChang University（西昌学院）；Sichuan University（四川大学）；Pittsburgh Institute（匹兹堡研究所）；Macao Polytechnic University（澳门理工大学）
本文从梯度、概率、不变性与等价性及拓扑斯四个视角综述范畴论在机器学习中的应用，更新了过去五年研究并首次系统探讨拓扑斯理论，凸显其在表达网络全局与局部结构及几何逻辑中的深刻作用。
2025-02-03 cs.LG
Survey of Machine Learning Techniques To Predict Heartbeat Arrhythmias
Institute for Biomedical Informatics（生物医学信息学研究所）；University of Kentucky Healthcare（肯塔基大学医疗中心）
生物医学计算机科学研究中的许多工作使用机器学习技术来给出准确的结果。然而，这些技术对于从现场医院馈送中提取的数据的实时分析可能不可行。在这个项目中，不同的机器学习技术从不同的来源进行比较，以找到一个不仅提供高准确性，而且低延迟和内存开销用于现实世界的医疗保健系统。
2022-08-22 cs.LG eess.SP
Is the Rush to Machine Learning Jeopardizing Safety? Results of a Survey
McMaster University（麦克马斯特大学）
机器学习（ML）正在进入安全关键系统（SCS）。目前的安全标准和实践不是为了应对ML技术而设计的，很难相信包含ML组件的SCS是安全的。我们的假设是，人们急于部署ML技术，而没有彻底检查ML技术的使用是否会引入我们还不能充分检测和缓解的安全问题。因此，我们进行了有针对性的文献调查，以确定将ML应用于SCS的研究工作与评估部署ML组件的SCS安全性的研究工作进行比较。本文介绍了调查的（令人惊讶的）结果。
2021-11-29 cs.LG
Machine Learning Systems for Intelligent Services in the IoT: A Survey
机器学习（ML）技术正在物联网（IoT）中出现以提供智能服务。这项调查超越了现有的机器学习算法和云驱动的设计，调查了整合机器学习和物联网的较少探索的系统，扩展和社会技术方面。它涵盖了在云、边缘和物联网设备上扩展和分发ML的最新发展（截至2020年）。通过对系统设计选择进行分类和说明的多层框架，这项调查揭示了在功能、利益相关者一致性和可信度方面，在不断上升的云-边缘-设备连续体中开发和部署ML系统的基本问题。
2020-12-01 cs.CY cs.LG
Machine Learning for Cataract Classification and Grading on Ophthalmic Imaging Modalities: A Survey
Research Institute of Trustworthy Autonomous Systems（可信自主系统研究院）；Southern University of Science and Technology（南方科技大学）
白内障是全球视力损害和失明的主要原因。多年来，研究人员在开发用于白内障自动分类和分级的最先进的机器学习技术方面取得了重大进展，旨在早期预防白内障并提高临床医生的诊断效率。该调查提供了基于眼科图像的白内障分类/分级机器学习技术的最新进展的全面调查。本文从传统机器学习方法和深度学习方法两个研究方向对现有文献进行了总结。这项调查还提供了对现有作品的优点和局限性的见解。此外，我们还讨论了基于机器学习技术的白内障自动分类/分级的几个挑战，并为未来的研究提出了可能的解决方案。
2022-04-02 cs.CV cs.LG eess.IV
Curriculum Graph Machine Learning: A Survey
Tsinghua University（清华大学）
本文首次全面综述课程图机器学习（Graph CL），针对现有图模型随机训练导致的次优问题，按节点级、链接级和图级任务分类总结方法，并展望未来方向。
2024-03-12 cs.LG
Geomagnetic Survey Interpolation with the Machine Learning Approach
Schmidt Institute of Physics of the Earth of the Russian Academy of Sciences（俄罗斯科学院施密特地球物理研究所）；Geophysical Center of the Russian Academy of Sciences（俄罗斯科学院地球物理中心）
介绍了无人机磁力测量数据内插的方法。该方法适应了这类数据具有样本沿一系列直线（类似于海上航迹）的空间发布的事实，这是许多无人机测量的突出特点。插值依赖于非常基本的最近邻算法，尽管使用了机器学习方法。这种方法通过智能地调整最近邻算法参数使误差小于5%。利用Borok地磁台无人机航磁测量数据对该方法进行了初步测试。
2022-10-07 cs.LG physics.geo-ph
Survey-aware Machine Learning: A Guideline for Valid Population Health Inference based on Scoping Review
Medical & Imaging Informatics (MII) UCLA（医学与影像信息学（MII） UCLA）
本文提出Survey-aware Machine Learning (SaML)指南，通过整合调查设计元数据，解决健康调查数据中忽略采样单元、分层变量和采样权重的问题，提升流行健康推断的准确性。
2026-05-09 cs.LG stat.ML
Verification for Machine Learning, Autonomy, and Neural Networks Survey
本调查概述了自主系统的验证技术，重点是安全关键的自主网络物理系统（CPS）及其子组件。CPS中的自主性是通过人工智能（AI）和机器学习（ML）的最新进展来实现的，这些进步通过诸如深度神经网络（DNN）之类的方法来实现，这些方法嵌入在所谓的学习使能组件（LEC）中，完成从分类到控制的任务。最近，形式化方法和形式化验证社区已经开发出方法来表征这些LEC中的行为，最终目标是形式化验证LEC的规范，本文对这些方法进行了综述。
2018-10-03 cs.AI cs.LG
A Survey on Neural Machine Reading Comprehension
University of Chinese Academy of Sciences（中国科学院大学）
使机器能够阅读和理解自然语言文档，以便它可以回答一些问题仍然是一个难以捉摸的挑战。近年来，深度学习的普及和大规模数据集的建立，都促进了机器阅读理解的繁荣。本文介绍了如何利用神经网络来构建一个阅读器，并介绍了一些经典的模型，分析了它们的改进之处。进一步指出了现有模型的不足和未来的研究方向
2019-06-10 cs.CL cs.LG
Modern Machine Learning Tools for Monitoring and Control of Industrial Processes: A Survey
University of British Columbia（不列颠哥伦比亚大学）；University of Alberta（阿尔伯塔大学）；Imperial College（帝国理工学院）；Seoul National University（首尔国立大学）
在过去的十年中，我们看到工业数据的显著增加，计算能力的巨大提高以及机器学习的重大理论进展。这为在大规模非线性监测和控制问题上使用现代机器学习工具提供了机会。本文提供了一个调查的最新结果与应用过程工业。
2022-09-22 cs.LG cs.SY eess.SY
A Machine Learning-oriented Survey on Tiny Machine Learning
University of Verona（维罗纳大学）
本文是一篇遵循PRISMA流程的TinyML综述，梳理三类实现工作流、学习算法与优化设计分类、硬件软件工具，并讨论挑战和未来方向。
2023-09-26 cs.LG
Data and its (dis)contents: A survey of dataset development and use in machine learning research
University of Washington（华盛顿大学）；Mozilla Foundation（Mozilla基金会）；Google Research（谷歌研究院）
数据集在机器学习研究的进步中发挥了基础性作用。它们构成了我们设计和部署模型的基础，也是我们进行基准测试和评估的主要媒介。此外，我们收集、构建和共享这些数据集的方式也为该领域追求的问题和算法开发中探索的方法提供了信息。然而，最近从广泛的角度开展的工作揭示了数据集收集和使用方面的主要做法的局限性。在本文中，我们调查了许多关于我们在机器学习中收集和使用数据的方式的问题，并主张对数据进行更谨慎和彻底的理解，以解决该领域的一些实际和伦理问题。
2020-12-09 cs.LG
Machine Learning Testing: Survey, Landscapes and Horizons
University College London（伦敦大学学院）；Facebook London（Facebook伦敦）；Kyushu University（九州大学）；Nanyang Technological University（南洋理工大学）
本文对机器学习测试（ML测试）的研究进行了全面的综述。它涵盖了144篇关于测试性能的论文（例如，正确性、鲁棒性和公平性），测试组件（例如，数据、学习程序和框架），测试工作流（例如，测试生成和测试评估），以及应用场景（例如，自动驾驶、机器翻译）。本文还分析了有关数据集的趋势，研究趋势和研究重点，最后总结了ML测试的研究挑战和有前途的研究方向。
2019-12-21 cs.AI cs.LG cs.SE
Knowledge Discovery in Surveys using Machine Learning: A Case Study of Women in Entrepreneurship in UAE
该研究以阿联酋女性创业调查为对象，运用机器学习方法分析调查数据特征、提取洞见，以明晰当地女性创业现状、预测未来趋势，助力更优商业决策制定。
2024-04-14 cs.LG
How Developers Iterate on Machine Learning Workflows -- A Survey of the Applied Machine Learning Literature
University of Illinois, Urbana-Champaign (UIUC)（伊利诺伊大学厄巴纳-香槟分校）
机器学习工作流开发被认为是一个迭代的试错过程。然而，我们并不知道有定量证据证实这一普遍看法。迭代的定量表征可以作为实践中机器学习工作流开发的基准，并且可以帮助开发人在回路机器学习系统。为此，我们从五个不同的应用领域应用机器学习文献进行了小规模的调查。我们收集和提取关于迭代在机器学习工作流开发中的作用的统计数据，并报告我们调查的初步趋势和见解，作为这个基准的起点。基于我们的研究结果，我们最后描述了有效和通用的人在回路机器学习系统，可以满足不同领域的用户的需求。
2018-05-17 cs.DB cs.HC cs.LG
A Survey on Resilient Machine Learning
IBM Research（IBM研究院）
基于机器学习的系统越来越多地用于敏感任务，例如安全监控、引导自动驾驶车辆、做出投资决策、检测和阻止网络入侵和恶意软件等。然而，最近的研究表明，机器学习模型在机器学习的所有阶段（例如，训练数据收集、训练、操作）都容易受到对手的攻击。机器学习系统的所有模型类都可以通过提供精心制作的输入而被误导，从而使它们错误地对输入进行分类。恶意创建的输入样本可能会影响ML系统的学习过程，要么减慢学习过程，要么影响学习模式的性能，要么导致系统仅在攻击者计划的情况下出错。由于这些发展，理解机器学习算法和系统的安全性正在成为计算机安全和机器学习研究人员和实践者的重要研究领域。我们提出了一个调查这一新兴领域的机器学习。
2017-07-11 cs.AI cs.CR cs.LG
Survey: Machine Learning in Production Rendering
University of California San Diego（加州大学圣地亚哥分校）
在过去的几年里，基于机器学习的方法在渲染动画长片方面取得了一些巨大的成功。本调查总结了使用深度神经网络相对于传统渲染方法的几个最显著的改进，例如更好的图像质量和更低的计算开销。更具体地说，本调查涵盖了机器学习的基本原理及其应用，例如去噪，路径引导，渲染参与媒体以及其他众所周知的困难光传输情况。其中一些技术已经在最新发布的动画中使用，而其他技术仍在学术界和电影制片厂的研究人员的持续开发中。虽然基于学习的渲染方法仍然存在一些问题，但它们已经在渲染管道的多个部分表现出了良好的性能，人们正在不断进行新的尝试。
2020-05-26 cs.GR cs.LG
Challenges, Methods, Data -- a Survey of Machine Learning in Water Distribution Networks
Bielefeld University（比勒费尔德大学）
本文综述了机器学习在供水管网规划与控制中的应用，分析了领域挑战，并提供了评估基准及泄漏检测与定位任务的结构化技术工具包。
2024-10-16 cs.LG
Multimodal Machine Learning: A Survey and Taxonomy
Carnegie Mellon University（卡内基梅隆大学）
我们对世界的体验是多模态的-我们看到物体，听到声音，感觉质地，闻到气味，品尝味道。模态是指事物发生或体验的方式，当一个研究问题包含多个这样的模态时，它被称为多模态。为了让人工智能在理解我们周围的世界方面取得进展，它需要能够一起解释这种多模态信号。多模态机器学习旨在构建能够处理和关联来自多个模态的信息的模型。它是一个充满活力的多学科领域，其重要性日益增加，并具有非凡的潜力。而不是专注于特定的多模态应用程序，本文调查了多模态机器学习本身的最新进展，并提出了他们在一个共同的分类。我们超越了典型的早期和晚期融合分类，并确定了多模态机器学习所面临的更广泛的挑战，即：表示，翻译，对齐，融合和共同学习。这种新的分类法将使研究人员能够更好地了解该领域的现状，并确定未来研究的方向。
2017-08-01 cs.LG
Machine learning for Earth System Science (ESS): A survey, status and future directions for South Asia
Indian Institute of Tropical Meteorology（印度热带气象研究所）；Jackson School of Geosciences, The University of Texas at Austin（德克萨斯大学奥斯汀分校杰克逊地球科学学院）；Indian Institute of Technology Bombay（印度理工学院孟买分校）；Indian Institute of Science（印度科学理工学院）；Borehole Geophysics Research Laboratory（钻孔地球物理研究实验室）
本次调查的重点是当前地球系统科学中的问题，机器学习算法可以应用。它概述了以前的工作，印度政府地球科学部正在进行的工作，以及ML算法在一些重大地球科学问题中的未来应用。我们提供了以前的工作与本调查的比较，与机器学习相关的多维领域的思维导图和Gartner的地球系统科学（ESS）中机器学习的炒作周期。我们主要关注地球科学中的关键组成部分，包括大气，海洋，地震和生物圈，并涵盖AI/ML应用于统计降尺度和预测问题。
2021-12-24 cs.LG physics.ao-ph
Modeling Techniques for Machine Learning Fairness: A Survey
Texas A&M University（德克萨斯农工大学）；Rice University（莱斯大学）；University of Georgia（佐治亚大学）
机器学习模型在高风险应用中变得越来越普遍。尽管这些模式在业绩方面有明显的好处，但它们可能显示出对少数群体的歧视，并导致决策过程中的公平问题，从而对个人和社会产生严重的负面影响。近年来，已经开发了各种技术来减轻机器学习模型的不公平性。其中，在处理方法引起了越来越多的关注，在模型设计中直接考虑公平性，以诱导内在公平的模型，并从根本上缓解输出和表示的公平性问题。在这项调查中，我们回顾了目前的进展，在处理公平缓解技术。根据模型中实现公平性的位置，我们将其分为显式和隐式方法，前者直接将公平性度量纳入训练目标，后者侧重于细化潜在的表示学习。最后，我们结束了调查，在这个社区的研究挑战的讨论，以激励未来的探索。
2022-04-10 cs.LG
Machine Learning for Network Slicing Resource Management: A Comprehensive Survey
University of Kaiserslautern（凯泽斯劳滕大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）
新兴的多租户网络切片技术被认为是5G蜂窝网络的基本特征。它提供网络切片作为一种新型的公共云服务，从而增加了服务的灵活性，提高了网络资源的效率。同时，也对网络资源管理提出了新的挑战。近年来已经提出了许多各种方法，其中广泛地部署了机器学习和人工智能技术。在这篇文章中，我们提供了一个调查现有的网络切片资源管理的方法，突出了机器学习在其中所扮演的角色。
2020-01-22 cs.LG cs.NI
Uncertainty Quantification on Graph Learning: A Survey
本文综述了图学习中不确定性量化技术，重点分析了图神经网络和图基础模型的不确定性表示与处理方法，旨在填补对图学习中不确定性量化关键挑战和机遇的理解空白。
2026-04-14 cs.LG
A Survey on Temporal Graph Representation Learning and Generative Modeling
IIT Delhi（德里印度理工学院）
时态图表示实体之间的动态关系，并且出现在许多现实生活应用中，如社交网络、电子商业、通信、道路网络、生物系统等等。它们需要研究静态图的生成建模和表示学习。在这次调查中，我们全面回顾了神经时间依赖图表示学习和生成建模方法，提出了在最近的时间处理图。最后，我们确定了现有方法的弱点，并讨论了我们最近发表的论文TIGGER[24]的研究建议。
2022-08-25 cs.LG
A Survey on Machine Learning Techniques for Auto Labeling of Video, Audio, and Text Data
New Mexico State University（新墨西哥州立大学）
机器学习已经被用于执行许多不同领域中的任务，诸如分类、目标检测、图像分割和自然语言分析。数据标注一直是机器学习中最重要的任务之一。然而，标记大量数据增加了机器学习的货币成本。因此，研究人员开始专注于减少数据注释和标签成本。迁移学习作为一种有效的方法被设计和广泛使用，它可以合理地减少有限数据的负面影响，从而降低数据准备成本。即使是从源域转移先前的知识，也会减少目标域所需的数据量。然而，仍然需要大量的注释数据来建立鲁棒的模型并提高模型的预测精度。因此，研究人员开始关注自动标注和标注。在这篇调查论文中，我们对以前的技术进行了回顾，这些技术专注于优化视频，音频和文本数据的数据注释和标签。
2021-09-08 cs.LG
Machine Learning Techniques for Stackelberg Security Games: a Survey
Politecnico di Milano（米兰理工大学）
本调查旨在介绍当前安全游戏领域采用的机器学习技术。具体而言，我们重点关注了南加州大学Teamcore开发的论文和作品，这些论文和作品深化了该领域的不同方向。Stackelberg安全游戏（SSG）和偷猎设置的简要介绍后，其余的工作提出了如何建模一个有限理性的攻击者考虑到她的人类行为，然后描述了如何面对的问题，有攻击者的收益没有定义，以及如何估计他们，最后，介绍了如何在线学习技术已被利用来学习攻击者的模型。
2016-09-29 cs.GT cs.LG
A Survey on Poisoning Attacks Against Supervised Machine Learning
University of Toronto（多伦多大学）；Electrical and Computer Engineering（电子与计算机工程（此处为院系，按要求不提取，但原文中该部分是否为机构？根据规则，机构粒度提取到大学/学院/公司/研究院级别即可，不要细拆到系等，因此仅保留“University of Toronto”））
随着人工智能和机器学习在现代计算中的兴起，关于这些技术的主要关注点之一是提供针对对手的隐私和安全性。我们提出这篇调查论文，以涵盖针对监督机器学习模型的中毒攻击中最具代表性的论文。我们首先提供了一个分类法，对现有的研究进行分类，然后对选定的论文进行详细的总结。我们总结和比较现有文献的方法和局限性。我们总结了本文的潜在改进和未来的方向，以进一步利用和防止对监督模型的中毒攻击。我们提出了几个未回答的研究问题，以鼓励和启发研究人员未来的工作。
2022-02-08 cs.CR cs.LG
Data Augmentation on Graphs: A Technical Survey
Zhejiang University of Technology（浙江工业大学）；City University of Hong Kong（香港城市大学）
本综述全面梳理图数据增强（GDAug）技术，按多尺度图元素分类，明确各类技术定义与细节，覆盖多类特殊图的增强方法，总结评估指标与设计准则，展望应用与未来方向。
2024-06-21 cs.LG
Machine learning and domain decomposition methods -- a survey
University of Cologne（科隆大学）
本综述系统梳理机器学习与区域分解方法相结合的研究方向，涵盖用于机器学习的区域分解及机器学习增强的区域分解，总结关键进展并展望未来挑战。
2023-12-21 cs.LG cs.NA math.NA
Creativity and Machine Learning: A Survey
Alma Mater Studiorum Università di Bologna（博洛尼亚大学）；University College London（伦敦大学学院）
本文综述机器学习与创造力领域，涵盖计算创造力理论、生成式深度学习等关键技术及自动评估方法，讨论核心贡献并指出当前挑战与新兴机遇。
2025-02-13 cs.AI cs.CY cs.LG
A Survey of Human-in-the-loop for Machine Learning
East China Normal University（华东师范大学）；Fudan University（复旦大学）
人在回路的目标是通过整合人的知识和经验，以最小的代价训练一个准确的预测模型。人类可以为机器学习应用提供训练数据，并在基于机器的方法的帮助下直接完成计算机难以完成的任务。在本文中，我们从数据的角度调查了现有的人在回路的工作，并将其分为三类，并具有递进关系：（1）从数据处理中提高模型性能的工作，（2）通过干预模型训练提高模型性能的工作，以及（3）系统独立人在回路的设计。使用上述分类，我们总结了该领域的主要方法;随着他们的技术优势/弱点，我们有简单的分类和讨论在自然语言处理，计算机视觉，和其他。此外，我们提供了一些开放的挑战和机会。本调查旨在为人在环提供一个高层次的总结，并激励感兴趣的读者考虑设计有效的人在环解决方案的方法。
2022-04-26 cs.LG
Federated Graph Machine Learning: A Survey of Concepts, Techniques, and Applications
University of Virginia（弗吉尼亚大学）
图机器学习近年来在学术界和工业界都得到了极大的关注。大多数图机器学习模型，如图神经网络（GNN），都是在海量图数据上训练的。然而，在许多现实场景中，例如医疗保健系统中的住院预测，图形数据通常存储在多个数据所有者处，并且由于隐私问题和法规限制，无法由任何其他方直接访问。联邦图机器学习（FGML）是通过以联邦方式训练图机器学习模型来应对这一挑战的有前途的解决方案。在这项调查中，我们进行了全面的回顾FGML的文献。具体来说，我们首先提供了一个新的分类法，将现有的问题在FGML分为两个设置，即FL与结构化数据和结构化FL。然后，我们回顾了在每个设置的主流技术，并阐述了他们如何解决FGML下的挑战。此外，我们还从不同的领域总结了FGML的实际应用，并介绍了FGML所采用的开放图数据集和平台。最后，我们提出了一些限制在现有的研究与有前途的研究方向在这一领域。
2022-10-17 cs.LG
A Survey on Low-Resource Neural Machine Translation
Microsoft Research Asia（微软亚洲研究院）
神经方法已经在机器翻译上实现了最先进的准确性，但是遭受收集大规模并行数据的高成本。因此，已经对具有非常有限的并行数据的神经机器翻译（NMT）进行了大量研究，即，低资源配置。本文综述了低资源的NMT，并根据其使用的辅助数据将相关工作分为三类：（1）利用源语言和/或目标语言的单语数据，（2）利用辅助语言的数据，（3）利用多模态数据。我们希望我们的调查能够帮助研究人员更好地了解该领域并激励他们设计更好的算法，并帮助行业从业者为他们的应用选择合适的算法。
2021-07-09 cs.CL cs.LG
Confidential Machine Learning on Untrusted Platforms: A Survey
HP Inc.（惠普公司）；Marquette University（马凯特大学）
随着数据的不断增长以及开发强大的机器学习模型的需求，数据所有者越来越依赖于各种不受信任的平台（例如，公共云、边缘和机器学习服务提供商），用于可扩展处理或协作学习。因此，敏感数据和模型面临未经授权访问、滥用和隐私泄露的危险。一个相对较新的研究机构在受保护的数据上秘密地训练机器学习模型来解决这些问题。在这项调查中，我们总结了这一新兴研究领域的显着研究。通过统一的框架，我们强调了外包机器学习的关键挑战和创新。我们专注于机密机器学习（CML）的加密方法，主要是模型训练，同时也涵盖了其他方向，如基于扰动的方法和CML在硬件辅助计算环境。讨论将采取整体的方式来考虑相关威胁模型、安全假设、设计原则以及数据效用、成本和机密性之间的相关权衡的丰富背景。
2021-06-12 cs.CR cs.LG
A survey on bias in machine learning research
Gdańsk University of Technology（格但斯克理工大学）
该综述聚焦机器学习研究中偏差根源被忽视的问题，梳理了ML流水线中四十余种潜在偏差来源并给出示例，构建偏差来源分类体系，为偏差检测与缓解及构建更优ML模型提供支撑。
2023-08-22 cs.AI cs.LG
A Survey of Domain Adaptation for Neural Machine Translation
Institute for Datability Science（数据智能科学研究所）；Osaka University（大阪大学）
神经机器翻译（NMT）是一种基于深度学习的机器翻译方法，在大规模并行语料库可用的情况下，其产生最先进的翻译性能。虽然高质量和特定领域的翻译在现实世界中是至关重要的，特定领域的语料库通常是稀缺的或根本不存在，因此香草NMT在这种情况下表现不佳。领域自适应是一种利用领域外平行语料库和单语语料库进行领域内翻译的方法，对于特定领域的翻译非常重要。在本文中，我们给出了一个全面的调查，最先进的领域自适应技术的NMT。
2018-06-01 cs.AI cs.CL cs.LG
A Survey on Differential Privacy with Machine Learning and Future Outlook
University of Dayton（戴顿大学）
如今，机器学习模型和应用已经变得越来越普遍。随着机器学习模型的开发和使用的快速增长，对隐私的关注也在上升。因此，有合法的需要来保护数据免受泄漏和任何攻击。可用于保护机器学习模型免受任何攻击和漏洞的最强大和最流行的隐私模型之一是差分隐私（DP）。DP是对隐私的严格而严格的定义，它可以保证对手无法可靠地预测数据集中是否包含特定的参与者。它的工作原理是向数据注入噪声，无论是输入、输出、地面真值标签、目标函数，还是梯度，以减轻隐私问题并保护数据。为此，这篇调查论文提出了不同的私有机器学习算法，分为两大类（传统机器学习模型与深度学习模型）。最后展望了机器学习算法在差分隐私保护中的应用前景。
2022-11-19 cs.CR cs.LG
Super-Resolution Analysis via Machine Learning: A Survey for Fluid Flows
University of California, Los Angeles（加州大学洛杉矶分校）；Keio University（庆应义塾大学）
本文综述了基于机器学习的涡旋流动超分辨率重建方法，通过二维衰减各向同性湍流案例证明受物理启发的模型能从空间受限测量中成功重建流场，并讨论了该技术在流体应用中的挑战与前景。
2023-06-07 cs.LG physics.comp-ph physics.flu-dyn
End-to-End Constrained Optimization Learning: A Survey
Syracuse University（雪城大学）；Georgia Institute of Technology（佐治亚理工学院）；Harvard University（哈佛大学）
本文综述了利用机器学习解决约束优化问题的最新尝试。它的重点是调查的工作集成组合求解器和优化方法与机器学习架构。这些方法有望开发新的混合机器学习和优化方法，以预测组合问题的快速、近似解决方案，并实现结构逻辑推理。本文提出了一个概念性的审查，在这一新兴领域的最新进展。
2021-03-30 cs.AI cs.LG
Machine Learning with a Reject Option: A survey
Siemens Digital Industries Software（西门子数字工业软件）；KU Leuven（鲁汶大学）；OSG bv（OSG bv公司）；Natus Medical（纳图斯医疗）；University of Antwerp（安特卫普大学）
本文综述带拒识的机器学习，形式化歧义与新奇两类拒识，梳理评估策略、模型架构与学习方法，并介绍应用领域及其与其他方向的关系。
2024-02-21 cs.AI cs.LG
When Machine Learning Meets Privacy: A Survey and Outlook
University of Technology Sydney（悉尼科技大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织 Data61）；The University of Sydney（悉尼大学）；La Trobe University（乐卓博大学）；The University of Melbourne（墨尔本大学）
新出现的机器学习（例如深度学习）方法已成为智能医疗、金融技术和监控系统等广泛行业革命的强大驱动力。与此同时，在这个基于机器学习的人工智能时代，隐私已经成为一个大问题。值得注意的是，机器学习背景下的隐私保护问题与传统数据隐私保护中的问题有很大不同，因为机器学习既可以是朋友，也可以是敌人。目前，关于隐私保护和机器学习（ML）的工作仍处于起步阶段，因为大多数现有解决方案仅关注机器学习过程中的隐私问题。因此，需要对隐私保护问题和机器学习进行全面的研究。本文综述了机器学习的隐私问题和解决方案的最新技术水平。该调查涵盖隐私与机器学习之间的三大类交互：（i）私有机器学习，（ii）机器学习辅助隐私保护，以及（iii）基于机器学习的隐私攻击和相应的保护方案。目前的研究进展，在每个类别的审查和确定的关键挑战。最后，在对隐私和机器学习领域进行深入分析的基础上，指出了该领域未来的研究方向。
2020-11-24 cs.AI cs.CR cs.LG
Machine Unlearning for Traditional Models and Large Language Models: A Short Survey
Renmin University of China（中国人民大学）
本文综述了传统模型与大语言模型的机器遗忘技术，涵盖定义、分类、评估标准及挑战，并提出有效性与效率评估方法，指出当前局限与未来研究方向。
2024-04-01 cs.CR cs.LG
A Survey on The Expressive Power of Graph Neural Networks
Kyoto University（京都大学）；RIKEN AIP（理化学研究所先进智能项目中心）
图神经网络（GNNs）是解决各种图学习问题的有效机器学习模型。尽管他们的经验成功，GNN的理论局限性已被揭示最近。因此，已经提出了许多GNN模型来克服这些限制。在本调查中，我们全面概述了GNN的表达能力以及GNN的可证明的强大变体。
2020-10-16 cs.LG stat.ML
On the computation of counterfactual explanations -- A survey
Bielefeld University（比勒费尔德大学）
由于机器学习在实践中的使用越来越多，能够解释机器学习模型的预测和行为变得越来越重要。解释的实例是反事实解释，其提供对机器学习模型的直观且有用的解释。在这项调查中，我们回顾了模型特定的方法，有效地计算反事实的解释，许多不同的机器学习模型，并提出了方法的模型还没有被认为在文献中。
2019-11-15 cs.AI cs.LG stat.ML
Classification with Quantum Machine Learning: A Survey
Faculty of Computer Science, Nahda University（纳达大学计算机科学学院）；Faculty of Computers and Information, Mansoura University（曼苏拉大学计算机与信息学院）；Faculty of Computers and Information, Minia University（米尼亚大学计算机与信息学院）
由于量子计算（QC）在密码学、化学、大数据、机器学习、优化、物联网（IoT）、区块链、通信等许多应用中的优越性和显著进展。量子机器学习（Quantum Machine Learning，QML）是将经典机器学习与量子信息处理（Quantum Information Processing，QIP）相结合，解决和改进经典机器学习中存在的问题（如时间和能量消耗、核估计等）的一个新的量子领域。本文的目的是提出并总结量子机器学习（QML）的最新进展。特别是最近的QML分类工作。此外，我们还涵盖了最近在量子机器学习（QML）中发表的大约30篇出版物。我们提出了量子世界中的分类方案，并讨论了将经典数据映射到量子数据的编码方法。然后，我们给出了量子子程序和量子计算（QC）在提高经典机器学习（ML）性能和速度方面的一些方法。同时也介绍了QML在各个领域的应用、面临的挑战和未来的展望。
2020-06-22 cs.LG quant-ph
A Survey of Naïve Bayes Machine Learning approach in Text Document Classification
Pondicherry University（本地治里大学）
文本文档分类的目的是根据标签文档训练集所建议的可能性将一个或多个预定义的类别关联起来。许多机器学习算法在训练具有预定义类别的系统方面发挥着至关重要的作用，其中朴素贝叶斯有一些有趣的事实，即它简单、易于实现，并且尽管存在朴素的依赖性，但在大型数据集中仍能获得更好的准确性。朴素贝叶斯机器学习方法的重要性已经被认识到，因此该研究已经被用于文本文档分类和可用的统计事件模型。本文对文本分类中的各种特征选择方法以及与文本分类相关的度量进行了讨论和比较。
2010-03-09 cs.IR cs.LG
Machine Learning Innovations in CPR: A Comprehensive Survey on Enhanced Resuscitation Techniques
Concordia University（康考迪亚大学）；Aqaba University of Technology（亚喀巴科技大学）；Khalifa University（哈利法大学）；University of Alberta（阿尔伯塔大学）；Systems Research Institute, Polish Academy of Sciences（波兰科学院系统研究所）；Istinye University（伊斯蒂涅大学）；University of Waterloo（滑铁卢大学）
本文综述了机器学习与人工智能在心肺复苏中的应用，涵盖从传统方法到ML驱动方法的演变，并分析预测建模、AI设备及实时数据对复苏效果的提升，以及当前挑战与未来方向。
2024-11-03 cs.AI cs.LG
Benchmark and Survey of Automated Machine Learning Frameworks
USU Software AG（USU软件股份公司）；Institute of Industrial Manufacturing and Management IFF（工业制造与管理研究所（IFF））；University of Stuttgart（斯图加特大学）；Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所（IPA））
机器学习（ML）已经成为我们日常生活中许多方面的重要组成部分。然而，构建性能良好的机器学习应用程序需要高度专业化的数据科学家和领域专家。自动化机器学习（AutoML）旨在通过使领域专家能够自动构建机器学习应用程序来减少对数据科学家的需求，而无需广泛的统计学和机器学习知识。本文结合了当前AutoML方法的调查和真实数据集上流行的AutoML框架的基准测试。在所选评估框架的驱动下，我们总结并回顾了与构建ML管道的每一步相关的重要AutoML技术和方法。所选AutoML框架在来自已建立的AutoML基准套件的137个数据集上进行了评估。
2021-01-26 cs.AI cs.LG stat.ML
A Survey of Machine Learning Methods and Challenges for Windows Malware Classification
Booz Allen Hamilton（博思艾伦汉密尔顿）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
恶意软件分类是一个难题，机器学习方法已经应用了几十年。然而，进展往往是缓慢的，部分原因是在开发机器学习系统的所有阶段都存在一些独特的困难：数据汇集，标记，特征创建和选择，模型选择和评估。在本调查中，我们将回顾与恶意软件分类相关的一些当前方法和挑战，包括数据汇集、特征提取、模型构建和评估。我们的讨论将包括对该领域中基于机器学习的解决方案必须考虑的约束的思考，以及机器学习也可以提供解决方案的尚未解决的问题。本调查旨在为希望了解更多关于如何将机器学习应用于恶意软件问题的网络安全从业者提供有用的信息，并为数据科学家提供必要的背景知识，以应对这个独特复杂的空间中的挑战。
2020-11-15 cs.CR cs.LG stat.AP
Machine Learning in Access Control: A Taxonomy and Survey
University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；Tennessee Tech University（田纳西理工大学）；North Carolina A&T State University（北卡罗来纳农工州立大学）
越来越多的工作已经认识到利用机器学习（ML）的进步，以解决需要有效的自动化提取访问控制属性，策略挖掘，策略验证，访问决策等的重要性。在这项工作中，我们调查和总结各种ML方法来解决不同的访问控制问题。我们提出了一种新的分类ML模型的应用程序在访问控制领域。我们强调了当前的限制和开放的挑战，例如缺乏公共的真实世界数据集，基于ML的访问控制系统的管理，理解黑盒ML模型的决策等，并列举了未来的研究方向。
2022-07-04 cs.CR cs.LG
