Towards Automated Machine Learning: Evaluation and Comparison of AutoML Approaches and Tools
Capital One(第一资本金融公司);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
近年来,机器学习(ML)的工业应用有了相当大的增长和兴趣。因此,整个行业对ML工程师的需求很高,但提高ML工程师的效率仍然是一个根本性的挑战。自动机器学习(AutoML)已经成为一种节省ML管道中重复任务的时间和精力的方法,例如数据预处理,特征工程,模型选择,超参数优化和预测结果分析。在本文中,我们调查了AutoML工具的现状,旨在自动化这些任务。我们在许多数据集上,在不同的数据段中,对这些工具进行了各种评估,以检查它们的性能,并在不同的测试用例上比较它们的优缺点。
2019-09-03 cs.LG stat.ML
Designing Tools for Semi-Automated Detection of Machine Learning Biases: An Interview Study
Georgia Institute of Technology(佐治亚理工学院);Adobe Research(奥多比研究院)
机器学习模型经常做出对输入数据的某些子组有偏见的预测。当未被发现时,机器学习偏差可能构成重大的财务和道德影响。让人类参与其中的半自动化工具可以促进偏差检测。然而,人们对它们的设计所涉及的考虑知之甚少。在本文中,我们报告了对11位机器学习从业者的访谈研究,以调查半自动偏差检测工具的需求。基于这些发现,我们强调了设计中的四个考虑因素,以指导旨在创建未来偏倚检测工具的系统设计人员。
2020-03-18 cs.CY cs.LG stat.ML
Automated Machine Learning with Monte-Carlo Tree Search
Université Paris-Saclay(巴黎-萨克雷大学);CNRS(法国国家科学研究中心);INRIA(法国国家信息与自动化研究所)
AutoML任务包括在机器学习组合中选择适当的算法及其超参数值,以便在手头的数据集上提供最佳性能。Mosaic是一种基于蒙特卡罗树搜索(MCTS)的方法,用于处理AutoML混合结构和参数的昂贵黑箱优化问题。进行了广泛的实证研究,以独立评估和比较:i)基于贝叶斯优化或MCTS的优化过程; ii)其热启动初始化; iii)沿搜索收集的解决方案的集成。Mosaic在OpenML 100基准和Scikit-learn组合上进行了评估,与前国际AutoML挑战赛的获胜者Auto-Sklearn相比,在统计上有显著的进步。
2019-10-07 cs.LG stat.ML
Adaptive Bayesian Linear Regression for Automated Machine Learning
Universite Cote d’Azur(蔚蓝海岸大学);I3S laboratory(I3S实验室)
为了解决机器学习问题,通常需要执行数据预处理、建模和超参数调整,这被称为模型选择和超参数优化。自动机器学习(AutoML)的目标是设计能够自动执行模型选择和超参数优化的方法,而无需人为干预。在本文中,我们提出了一种元学习方法,可以搜索一个高性能的机器学习管道从预定义的候选管道的监督分类数据集在一个有效的方式,通过利用从以前的实验收集的元数据。更具体地说,我们的方法结合了一个自适应贝叶斯回归模型与神经网络基函数和贝叶斯优化的采集功能。自适应贝叶斯回归模型能够从先前的元数据中捕获知识,从而对新数据集上的机器学习流水线的性能进行预测。实验结果表明,该方法能够快速识别出一系列测试数据集的高性能流水线,性能优于基线方法。
2019-04-18 cs.LG stat.ML
Cardea: An Open Automated Machine Learning Framework for Electronic Health Records
The Center for Complex Engineering Systems at KACST and MIT(沙特阿拉伯国王阿卜杜勒阿齐兹科技城(KACST)和麻省理工学院(MIT)复杂工程系统中心);MIT(麻省理工学院(MIT))
在2010年至2018年期间,估计有180篇专注于深度学习和EHR的论文发表。尽管这些出版物中出现了通用的工作流结构,但没有可信和经过验证的软件框架存在,迫使研究人员艰苦地重复以前的工作。在本文中,我们提出了Cardea,一个可扩展的开源自动化机器学习框架,封装了健康领域的常见预测问题,并允许用户使用自己的数据构建预测模型。该系统依赖于两个组件:快速医疗保健互操作性资源(FHIR)--电子医疗系统的标准化数据结构--和几个用于自动化特征工程、模型选择和调优的AUTOML框架。我们用一个自适应的数据汇编器和全面的数据和模型审计功能来增强这些组件。我们通过MIMIC-III和Kaggle数据集上的5个预测任务展示了我们的框架,这些任务突出了Cardea的人类竞争力,问题定义的灵活性,广泛的特征生成能力,适应性强的自动数据汇编器及其可用性。
2020-10-01 cs.LG stat.ML
Automated Machine Learning on Graphs: A Survey
Tsinghua University(清华大学)
图上的机器学习在学术界和工业界都得到了广泛的研究。然而,随着关于图学习的文献随着大量新兴方法和技术而繁荣,手动设计用于不同图相关任务的最佳机器学习算法变得越来越困难。为了解决这一关键挑战,图上的自动机器学习(AutoML)将图机器学习和AutoML的优势结合在一起,正受到研究界的关注。因此,本文全面综述了图上的AutoML,主要关注用于图机器学习的超参数优化(HPO)和神经架构搜索(NAS)。我们进一步概述了与自动化图机器学习相关的库,并深入讨论了AutoGL,这是第一个用于图上AutoML的专用开源库。最后,我们分享了我们对自动图机器学习未来研究方向的见解。本文是第一个系统和全面的审查自动机器学习的图,以我们所知。
2021-12-20 cs.LG
Lale: Consistent Automated Machine Learning
IBM Research(IBM研究院)
自动化机器学习使数据科学家更容易通过搜索超参数、算法甚至管道拓扑的可能选择来开发管道。不幸的是,自动化机器学习工具的语法与手动机器学习不一致,相互之间以及错误检查都不一致。此外,很少有工具支持高级功能,如拓扑搜索或高阶运算符。本文介绍了Lale,一个高级Python接口库,它以一致的方式简化和统一了自动化机器学习。
2020-07-04 cs.AI cs.LG
Leveraging Automated Machine Learning for Text Classification: Evaluation of AutoML Tools and Comparison with Human Performance
University of Stuttgart(斯图加特大学);Fraunhofer IAO(弗劳恩霍夫工业工程研究所)
最近,自动机器学习(AutoML)在表格数据方面取得了越来越大的成功。然而,问题是AutoML是否也可以有效地应用于文本分类任务。这项工作在13个不同的流行数据集上比较了四个AutoML工具,包括Kaggle竞赛,并反对人类的表现。结果表明,AutoML工具在13个任务中的4个任务中表现优于机器学习社区,其中两个任务表现突出。
2020-12-07 cs.LG
Benchmark and Survey of Automated Machine Learning Frameworks
USU Software AG(USU软件股份公司);Institute of Industrial Manufacturing and Management IFF(工业制造与管理研究所(IFF));University of Stuttgart(斯图加特大学);Fraunhofer Institute for Manufacturing Engineering and Automation IPA(弗劳恩霍夫制造工程与自动化研究所(IPA))
机器学习(ML)已经成为我们日常生活中许多方面的重要组成部分。然而,构建性能良好的机器学习应用程序需要高度专业化的数据科学家和领域专家。自动化机器学习(AutoML)旨在通过使领域专家能够自动构建机器学习应用程序来减少对数据科学家的需求,而无需广泛的统计学和机器学习知识。本文结合了当前AutoML方法的调查和真实数据集上流行的AutoML框架的基准测试。在所选评估框架的驱动下,我们总结并回顾了与构建ML管道的每一步相关的重要AutoML技术和方法。所选AutoML框架在来自已建立的AutoML基准套件的137个数据集上进行了评估。
2021-01-26 cs.AI cs.LG stat.ML
Towards automated kernel selection in machine learning systems: A SYCL case study
Codeplay Software Ltd.
计算核的自动调整是一个热门的研究领域,主要集中在为具有固定输入大小的问题找到最佳核参数。这种方法适用于部署机器学习模型,其中网络拓扑是恒定的,但机器学习研究通常涉及改变网络拓扑和超参数。传统的内核自动调整在这种情况下影响有限;库需要更通用的内核选择来加速机器学习研究。在本文中,我们提出了使用机器学习选择内核的案例研究部署高性能SYCL内核库,目标范围从桌面GPU到嵌入式加速器的异构设备的初步结果。调查的技术适用于更普遍的,同样可以与其他异构编程系统集成。通过结合自动调优和机器学习,这些内核选择过程可以在开发人员很少的工作量下部署,从而在新硬件上实现高性能。
2020-03-15 cs.LG cs.PF stat.ML
Automated Graph Machine Learning: Approaches, Libraries, Benchmarks and Directions
Tsinghua University(清华大学)
本文系统综述了自动化图机器学习的方法、库、基准与未来方向,涵盖超参数优化和神经架构搜索,并重点介绍了首个开源库 AutoGL 及统一评估基准。
2024-05-02 cs.AI cs.LG
DarwinML: A Graph-based Evolutionary Algorithm for Automated Machine Learning
Xidian University(西安电子科技大学);Intelligence Qubic (Beijing) Technology Co., Ltd(智立方(北京)科技有限公司)
自动机器学习(AutoML)作为一个新兴领域,旨在减少或消除需要机器学习专业知识的手动操作。在本文中,基于图的架构表示ML模型的灵活组合,它提供了一个大的搜索空间相比,基于树和堆栈的架构。在此基础上,提出了一种搜索最优体系结构的进化算法,其中变异算子和遗传算子是体系结构进化的关键。通过贝叶斯超参数优化,该方法可以实现机器学习工作流程的自动化。在PMLB数据集上,与TPOT,Autostacker和auto-sklearn相比,所提出的方法显示了最先进的性能。优化后的模型结构复杂,手工设计很难得到。
2018-11-20 cs.LG cs.NE stat.ML
Multimodal Machine Learning for Automated ICD Coding
Petuum Inc(Petuum公司);Cleveland Clinic(克利夫兰诊所)
本研究提出了一个多模态机器学习模型来预测ICD-10诊断代码。我们开发了独立的机器学习模型,可以处理来自不同模态的数据,包括非结构化文本、半结构化文本和结构化表格数据。我们进一步采用集成方法来整合所有模态特定的模型,以生成ICD-10代码。关键证据也被提取出来,使我们的预测更有说服力和更好的解释。我们使用了重症监护医学信息市场III(MIMIC -III)数据集来验证我们的方法。对于ICD代码预测,我们表现最好的模型(micro-F1 = 0.7633,micro-AUC = 0.9541)显著优于其他基线模型,包括TF-IDF(micro-F1 = 0.6721,micro-AUC = 0.7879)和Text-CNN模型(micro-F1 = 0.6569,micro-AUC = 0.9235)。对于可解释性,我们的方法在文本数据上实现了0.1806的Jaccard相似系数(JSC),在表格数据上实现了0.3105,训练有素的医生分别实现了0.2780和0.5002。
2022-09-01 cs.LG stat.ML
apsis - Framework for Automated Optimization of Machine Learning Hyper Parameters
Technische Universität München(慕尼黑工业大学)
本文提出的apsis工具包为超参数优化提供了一个灵活的框架,包括随机搜索和baidu优化器。它是用Python实现的,其架构具有对任何所需机器学习代码的适应性。它可以很容易地与常见的Python ML框架(如scikit-learn)一起使用。在MIT许可证下发布,强烈鼓励其他研究人员查看代码,贡献或提出任何建议。代码可以在github.com/FrederikDiehl/apsis上找到。
2015-03-15 cs.LG
Automated Agriculture Commodity Price Prediction System with Machine Learning Techniques
University of Nottingham Malaysia(诺丁汉大学马来西亚分校)
本研究的目的是研究并设计一个结合新型机器学习技术的农产品价格自动预测系统。由于农产品价格的历史数据量越来越大,以及对价格波动进行准确预测的需要,解决方法在很大程度上从统计方法转向了机器学习领域。然而,从历史数据中选择合适的集合进行预测仍然有有限的考虑。另一方面,在实施机器学习技术时,寻找一个具有全局最优参数、非线性和避免维数灾难的合适模型仍然是最大的挑战,因此需要对机器学习策略进行研究。在本研究中,我们提出了一个基于网络的农业商品价格自动预测系统。在这两个系列的实验中,五种流行的机器学习算法,ARIMA,SVR,Prophet,XGBoost和LSTM与马来西亚的大型历史数据集进行了比较,并选择了平均均方误差为0.304的最佳算法LSTM模型作为该系统的预测引擎。
2021-06-24 cs.LG
Interpretable Automated Machine Learning in Maana(TM) Knowledge Platform
Maana, Inc.(Maana公司)
机器学习正在成为许多工业应用开发解决方案的重要组成部分,但缺乏可解释性阻碍了快速构建、测试、部署和验证机器学习模型的广泛行业采用,因为开发机器学习解决方案的洞察力没有在结构上编码、合理化和转移。在本文中,我们描述了Maana元学习服务,一个可解释的和交互式的自动机器学习服务驻留在Maana知识平台,执行机器引导,用户辅助管道搜索和超参数调整,并生成结构化的知识的管道分析和选择的决定。该服务随Maana知识平台提供,并使用基准数据集进行验证。此外,它从管道搜索中获取知识的能力促进了各种推理任务,并转移到类似的数据科学项目。
2019-05-06 cs.AI cs.LG
Semantic Code Classification for Automated Machine Learning
HSE University(高等经济大学)
自动机器学习的一系列应用需要生成过程是可控的。在这项工作中,我们提出了一种通过一系列简单的动作来控制输出的方法,这些动作被称为语义代码类。最后,我们提出了一个语义代码分类任务,并讨论了解决这个问题的自然语言到机器学习(NL2ML)数据集的方法。
2022-01-25 cs.AI cs.LG
PyODDS: An End-to-end Outlier Detection System with Automated Machine Learning
Texas A&M University(得克萨斯农工大学)
离群点检测是各种数据采掘应用的重要任务。目前的异常值检测技术通常是针对特定领域手动设计的,需要大量的人工努力来设置数据库,选择算法和调整超参数。为了填补这一空白,我们提出了PyODDS,这是一个自动化的端到端Python系统,用于离群值检测和数据库支持,它可以自动优化手头新数据源的离群值检测管道。具体来说,我们在离群点检测流水线中定义搜索空间,并在给定的搜索空间内产生搜索策略。PyODDS支持基于Apache Spark后端服务器和轻量级数据库的端到端执行。它还为具有或不具有数据科学或机器学习背景的用户提供统一的界面和可视化。特别是,我们在几个真实世界的数据集上演示了PyODDS,并给出了量化分析和可视化结果。
2020-03-12 cs.AI cs.LG stat.ML
Trust in AutoML: Exploring Information Needs for Establishing Trust in Automated Machine Learning Systems
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院);IBM
我们在数据科学的一个相对较新的领域探索信任:自动化机器学习(AutoML)。在AutoML中,AI方法用于通过自动工程特征、选择模型和优化超参数来生成和优化机器学习模型。在本文中,我们试图了解什么样的信息会影响数据科学家对AutoML模型的信任?我们将信任操作化为部署使用自动化方法生成的模型的意愿。我们报告了三项研究的结果-定性访谈,对照实验和卡片分类任务-以了解数据科学家在AutoML系统中建立信任的信息需求。我们发现,在AutoML工具中包含透明度功能增加了用户对该工具的信任和可理解性;在所有提出的功能中,模型性能指标和可视化是数据科学家在建立对AutoML工具的信任时最重要的信息。
2020-01-17 cs.CY cs.HC cs.LG
Automated Machine Learning Pipeline: Large Language Models-Assisted Automated Dataset Generation for Training Machine-Learned Interatomic Potentials
NYU, Department of Chemistry(纽约大学化学系);Initiative for Computational Catalysis, Flatiron Institute(计算催化计划,Flatiron研究所);NYU, Department of Physics(纽约大学物理系);Courant Institute of Mathematical Sciences, NYU(数学科学学院,纽约大学);NYU-ECNU Center for Computational Chemistry(纽约大学-复旦大学计算化学中心);Simons Center for Computational Physical Chemistry, NYU(Simons计算物理化学中心,纽约大学)
本文提出基于大语言模型的自动化机器学习流水线,用于生成训练数据集以提升机器学习互作用势的精度和稳定性。
2025-12-19 cond-mat.mtrl-sci cs.LG
Towards an automated method based on Iterated Local Search optimization for tuning the parameters of Support Vector Machines
Philips Research(飞利浦研究院)
我们提供了初步的细节和制定的优化策略,根据目前的发展,是能够自动调整参数的支持向量机在新的数据集。优化策略是基于迭代局部搜索的启发式算法,迭代局部搜索是对经典爬山算法的修改,它迭代调用局部搜索例程。
2017-07-11 cs.AI cs.LG
Naive Automated Machine Learning -- A Late Baseline for AutoML
University of Torontoland(多伦多兰大学);University of Edenborrow(伊登伯勒大学)
自动机器学习(AutoML)是在给定的数据集上自动寻找具有最佳泛化性能的流水线的问题。AutoML在过去的十年中受到了极大的关注,并且已经通过复杂的黑盒优化技术(如贝叶斯优化、基于语法的遗传算法和树搜索算法)得到了解决。与这些方法相比,我们提出了Naive AutoML,这是一种非常简单的AutoML解决方案,它利用了有关机器学习问题的重要元知识,并简化了有效的假设,以快速获得高质量的解决方案。虽然Naive AutoML可以被认为是高度复杂的黑盒求解器的基线,但我们的经验表明,这些求解器无法超越Naive AutoML;有时情况恰恰相反。另一方面,Naive AutoML具有强大的优势,如可解释性和灵活性,并对现有工具提出了强烈的挑战。
2021-03-18 cs.LG
Automated Machine Learning in Practice: State of the Art and Recent Results
ZHAW Datalab(苏黎世应用科技大学数据实验室);USI(瑞士意大利语区大学);Ulm University(乌尔姆大学);PricewaterhouseCoopers AG (PwC)(普华永道股份公司(PwC))
工业和社会数字化背后的一个主要驱动力是相信数据驱动的模型构建和决策可以促进更高程度的自动化和更明智的决策。从数据中构建这样的模型通常涉及某种形式的机器学习的应用。因此,对具有必要技能的劳动力的需求不断增长。这一需求催生了一个新的研究课题,即全自动拟合机器学习模型- AutoML。本文概述了AutoML的最新技术水平,重点关注业务环境中的实用性,并提供了最重要的AutoML算法的最新基准测试结果。
2019-07-19 cs.AI cs.LG stat.ML
Machine learning for automated quality control in injection moulding manufacturing
Thomas More University of Applied Sciences(托马斯莫尔应用科学大学);KU Leuven - University of Leuven(鲁汶大学)
机器学习(ML)可以改进注塑制造中的质量控制(QC)并使其自动化。然而,由于标记大量的真实过程数据的成本很高,因此使用模拟过程数据可能是成功实施的第一步。在这项研究中,模拟数据被用来开发一个预测模型的注塑成型分拣容器的产品质量。在测试集上实现的准确度、特异性和灵敏度分别为$99.4\%$、$99.7\%$和$94.7\%$。因此,这项研究显示了ML在注塑成型自动化QC方面的潜力,并鼓励扩展到基于真实数据训练的ML模型。
2022-06-30 cs.LG
Automated Statistical and Machine Learning Platform for Biological Research
Stevens Institute of Technology(史蒂文斯理工学院)
本研究提出一个集经典统计方法与随机森林分类于一体的自动化平台,用于生物研究中的数据分析,提升工作效率并促进生物发现。
2025-11-25 cs.LG q-bio.QM stat.ML
Multi-Agent Automated Machine Learning
Peking University(北京大学);Huawei(华为);Peng Cheng Lab(鹏城实验室);University of Chinese Academy of Sciences(中国科学院大学)
在本文中,我们提出了多智能体自动机器学习(MA 2 ML)的目的是有效地处理自动机器学习(AutoML)的模块的联合优化。MA 2 ML将每个机器学习模块(如数据增强(AUG)、神经架构搜索(NAS)或超参数(HPO))作为代理,并将最终性能作为奖励,以制定多智能体强化学习问题。MA 2 ML根据每个Agent的边际贡献显式地为每个Agent分配信用,以增强模块之间的协作,并结合离策略学习来提高搜索效率。理论上,MA 2 ML保证了联合优化的单调改进。大量的实验表明,在计算成本的约束下,MA 2 ML在ImageNet上产生了最先进的top-1精度,例如,FLOP小于600 M/800 M的$79.7\%/80.5\%$。广泛的消融研究验证了MA 2 ML的信用分配和离策略学习的益处。
2022-10-17 cs.CV cs.LG
Naive Automated Machine Learning
University of Torontoland(多伦多兰大学);University of Edenborrow(伊登伯勒大学);Universidad de La Sabana(拉萨瓦纳大学);Paderborn University(帕德博恩大学)
自动机器学习(AutoML)的一个基本任务是在给定数据集上自动找到具有最佳泛化性能的管道。这个问题已经解决了复杂的黑盒优化技术,如贝叶斯优化,基于语法的遗传算法,和树搜索算法。大多数当前的方法都是由这样的假设所激励的,即孤立地优化流水线的组件可能会产生次优的结果。我们提出了Naive AutoML,这是一种可以做到这一点的方法:它单独优化了预定义管道方案的不同算法。最终返回的流水线是通过只取每个槽的最佳算法来获得的。孤立的优化导致大大减少了搜索空间,令人惊讶的是,这种方法产生可比的,有时甚至更好的性能比目前的最先进的优化。
2021-11-29 cs.LG
An Automated Auto-encoder Correlation-based Health-Monitoring and Prognostic Method for Machine Bearings
Cyber-Physical Systems Group, Vienna University of Technology(维也纳工业大学网络物理系统组)
本文研究了一种智能化的旋转机械常见部件,特别是轴承的健康监测和预测的最终技术。在一个运行到故障的实验中,丰富的无监督的振动传感器数据的特征提取的训练稀疏自动编码器。然后,计算初始样本(在测试开始时可能是健康的)与后续样本的提取属性的相关性,并通过移动平均滤波器。标准化的输出被命名为基于自动编码器相关性(AEC)的速率,其代表系统的信息属性,描述其健康状态并精确地识别退化起始点。我们表明,AEC技术以及推广在几个运行失败的测试。AEC完全自主地从振动数据中收集丰富的无监督特征。我们证明了AEC的优越性超过许多其他国家的最先进的方法,机器轴承的健康监测和预后。
2017-03-18 cs.LG cs.NE stat.ML
Constrained Multi-Objective Optimization for Automated Machine Learning
SAS Institute Inc.(SAS研究所)
自动化的机器学习最近获得了很多关注。构建和选择正确的机器学习模型通常是一个多目标优化问题。同时支持多个目标和约束的通用机器学习软件很少,尽管潜在的好处很大。在这项工作中,我们提出了一个名为Autotune的框架,有效地处理机器学习问题中出现的多个目标和约束。Autotune建立在一套无导数优化方法的基础上,并在分布式计算环境中利用多级并行来自动训练、评分和选择良好的模型。在模型探索和选择过程中结合多个目标和约束提供了满足实际机器学习应用中必要的权衡所需的灵活性。标准多目标优化基准问题的实验结果表明,Autotune在捕获Pareto前沿方面非常有效。这些基准测试结果还显示了添加约束如何将搜索引导到解空间中更有希望的区域,最终产生更理想的Pareto前沿。两个真实案例研究的结果证明了Autotune提供的约束多目标优化功能的有效性。
2019-08-14 cs.DC cs.LG cs.NE
Automated Evolutionary Approach for the Design of Composite Machine Learning Pipelines
ITMO University(ITMO大学)
机器学习方法对于现实世界任务的有效性取决于建模管道的适当结构。所提出的方法的目的是自动化的复合机器学习管道,这是相当于计算工作流,包括模型和数据操作的设计。该方法结合了自动化机器学习和工作流管理系统的关键思想。它设计了一个可定制的基于图形的结构的管道,分析所获得的结果,并再现它们。将进化方法用于管道结构的柔性识别。为了提高该方法的有效性,实现了用于灵敏度分析、原子化和超参数调整的附加算法。此外,这种方法的软件实现是作为一个开源的框架。针对不同的数据集和任务(分类,回归,时间序列预测)进行了一系列实验。通过与现有竞争对手和基准解决方案的比较,验证了所提方法的正确性和有效性。
2021-06-26 cs.LG
ATMSeer: Increasing Transparency and Controllability in Automated Machine Learning
Hong Kong University of Science and Technology(香港科技大学);Massachusetts Institute of Technology(麻省理工学院);Zhejiang University(浙江大学)
为了减轻手动选择机器学习算法和调整超参数的痛苦,人们开发了自动机器学习(AutoML)方法来自动搜索良好的模型。由于巨大的模型搜索空间,不可能尝试所有模型。用户倾向于不信任自动结果,并尽可能地增加搜索预算,从而破坏了AutoML的效率。为了解决这些问题,我们设计并实现了ATMSeer,一个交互式可视化工具,支持用户在细化AutoML的搜索空间和分析结果。为了指导ATMSeer的设计,我们根据对机器学习专家的采访,推导出使用AutoML的工作流程。提出了一种多粒度可视化,使用户能够监视AutoML过程,分析搜索的模型,并在实时的细化搜索空间。我们通过两个案例研究,专家访谈和13个最终用户的用户研究证明了ATMSeer的实用性和可用性。
2019-02-13 cs.HC cs.LG stat.ML
Automated Monitoring Cropland Using Remote Sensing Data: Challenges and Opportunities for Machine Learning
University of Minnesota, Twin Cities(明尼苏达大学双城分校)
本文概述了机器学习的最新进展和地球观测卫星数据的可用性如何大大提高我们在长时间和大区域内自动绘制农田地图的能力。它讨论了在作物监测领域的三个应用,ML方法开始显示出巨大的希望。对于每个应用程序,它强调了机器学习的挑战,建议的方法和最近的结果。本文最后讨论了在ML方法充分发挥其对这个具有重大社会意义的问题的潜力之前需要解决的主要挑战。
2019-04-08 cs.CV cs.LG
AutoM3L: An Automated Multimodal Machine Learning Framework with Large Language Models
Dataa Robotics(达闼机器人);Meituan Inc.(美团公司);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出AutoM3L框架,利用大语言模型作为控制器自动构建多模态机器学习训练流程,在多个多模态与单模态任务上取得优于传统规则式AutoML的性能,并提升了用户友好性。
2024-08-01 cs.LG
Machine Learner for Automated Reasoning 0.4 and 0.5
University of Innsbruck(因斯布鲁克大学);Radboud University Nijmegen(拉德堡德大学奈梅亨分校)
机器学习自动推理(MaLARea)是一个学习和推理系统,用于在大型正式库中进行证明,在攻击新猜想时,可以使用数千个定理,并且可以使用大量相关问题和证明来学习特定的定理证明知识。该系统的最新版本以较大优势赢得了2013年CASC LTB竞赛。本文描述了MaLARea中使用的方法背后的动机,讨论了评估此类系统的一般方法和问题,并描述了Mizar@Turing100和CASC'24版本的MaLARea。
2014-05-28 cs.AI cs.LG cs.LO
Automated Machine Learning: From Principles to Practices
Tsinghua University(清华大学);Paradigm Inc.(第四范式公司);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
本文系统综述了自动化机器学习(AutoML),从形式化定义和双层学习原理出发,按搜索空间、搜索算法和评估策略建立分类体系,并结合典型应用展示其从原理到实践的发展。
2024-02-27 cs.AI cs.LG stat.ML
DeepCAVE: An Interactive Analysis Tool for Automated Machine Learning
Leibniz University Hannover(汉诺威莱布尼茨大学);University of Freiburg(弗赖堡大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
自动化机器学习(AutoML)比以往任何时候都更常用于支持用户确定有效的超参数、神经架构甚至完整的机器学习管道。然而,由于缺乏透明度,用户往往不信任优化过程及其结果,使得手动调优仍然很普遍。我们介绍DeepCAVE,这是一个交互式框架,可以轻松地分析和监控AutoML的最新优化过程。DeepCAVE旨在实现完全和可访问的透明度,在用户和AutoML之间建立了一座桥梁,并有助于建立信任。我们的框架的模块化和易于扩展的性质为用户提供自动生成的文本,表格和图形可视化。我们在异常值检测的示例用例中展示了DeepCAVE的价值,在该用例中,我们的框架可以轻松识别问题,比较多次运行并解释优化过程。该软件包可在GitHub https://github.com/automl/DeepCAVE上免费获得。
2022-07-11 cs.LG
Automated Process Incorporating Machine Learning Segmentation and Correlation of Oral Diseases with Systemic Health
Massachusetts Institute of Technology(麻省理工学院);Tufts University(塔夫茨大学)
组织和皮肤中的荧光疾病生物标志物成像是一种非侵入性的健康状况筛查方法。我们报告了一个自动化的过程,结合口内荧光卟啉生物标志物成像,临床检查和机器学习的全身健康状况与牙周病的相关性。使用可以分割牙周炎症的机器学习分类器分析了来自284名年龄在18-90岁之间的成年人的1215张口内荧光图像。分类器实现了0.677的AUC,精确度和召回率分别为0.271和0.429,表明收集的图像中疾病特征之间的学习关联。在筛选人群中,男性(p=0.0012)和老年受试者(p=0.0224)的牙周病患病率更高。医生独立检查收集的图像,分配局部修改牙龈指数(MGI)。然后将MGIs和牙周病与病史问卷、血压和体重指数测量、视神经、鼓膜、神经和心律成像检查的反应交叉相关。牙龈炎和早期牙周病与视网膜扫描中诊断为视神经异常的受试者相关(p <0.0001)。我们还报告了关节肿胀(p=0.0422)和家族眼病史(p=0.0337)受试者中牙周病的显著共同发生。这些结果表明牙周健康状况不佳与全身健康结果的相互关系,并强调了在初级保健水平进行口腔健康筛查的重要性。我们使用图像和机器学习的筛查过程和分析方法可以推广到其他疾病的自动诊断和系统健康筛查。
2018-10-25 cs.LG q-bio.QM stat.ML
Automated Machine Learning in Insurance
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出一种专为保险应用定制的AutoML工作流,通过平衡步骤、集成管道和自定义损失函数解决保险数据集不平衡等独特挑战,使用户无需领域知识即可轻松部署ML模型。
2024-08-26 cs.LG
An Extensive Experimental Evaluation of Automated Machine Learning Methods for Recommending Classification Algorithms (Extended Version)
本文提出了一个实验比较四个自动机器学习(AutoML)方法推荐最好的分类算法为一个给定的输入数据集。其中三种方法是基于进化算法(EA),另一种是Auto-WEKA,一种基于组合算法选择和超参数优化(CASH)方法的着名AutoML方法。基于EA的方法从单个机器学习范例构建分类算法:决策树归纳、规则归纳或贝叶斯网络分类。Auto-WEKA结合了算法选择和超参数优化,从多个范例中推荐分类算法。我们进行了受控实验,其中这四个AutoML方法被赋予相同的运行时限制,用于此限制的不同值。总的来说,三种最佳AutoML方法的预测准确性差异没有统计学意义。然而,EA进化决策树归纳算法的优势在于,与Auto-WEKA推荐的其他学习范式的许多算法相比,它可以生成可解释的分类模型,并且更适合于大型数据集。我们还观察到,Auto-WEKA已经显示出元过拟合,这是元学习水平而不是基础学习水平的一种过拟合形式。
2020-09-16 cs.LG cs.NE stat.ML
Search Algorithms for Automated Hyper-Parameter Tuning
Florida International University(佛罗里达国际大学);University of Georgia(佐治亚大学);Purdue University(普渡大学)
机器学习是在教育等不同领域建模的强大方法。它准确预测学生成功的能力使其成为与高等教育相关的决策任务的理想工具。机器学习模型的准确性取决于选择适当的超参数。然而,这并不是一件容易的事情,因为它需要时间和专业知识来调整超参数以适应机器学习模型。在本文中,我们研究了自动化超参数调整技术的有效性,以学生的成功领域。因此,我们开发了两种自动超参数优化方法,即网格搜索和随机搜索,以评估和改善以前的研究的性能。实验结果表明,将随机搜索和网格搜索应用于机器学习算法,提高了准确率。我们经验性地展示了自动化方法在现实世界的教育数据(MIDFIELD)上的优越性,用于调整传统机器学习分类器的HP。这项工作强调了自动化超参数优化的有效性,同时将机器学习应用于教育领域,以帮助教师,董事或非专家用户的决策,以提高学生的成功。
2021-04-29 cs.CY cs.LG cs.PF
AutoQML: Automated Quantum Machine Learning for Wi-Fi Integrated Sensing and Communications
Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
商用Wi-Fi设备可用于集成传感和通信(ISAC),以联合交换数据并监控室内环境。在本文中,我们研究了一个概念验证的方法,使用自动量子机器学习(AutoQML)框架称为AutoAnglomerator识别人类手势。我们解决了如何有效地设计量子电路来配置量子神经网络(QNN)。AutoQML的有效性通过人体姿势识别的内部实验进行了验证,在有限的数据大小和少量可训练参数的情况下实现了超过80%的准确率的最新性能。
2022-05-17 cs.LG eess.SP quant-ph
Automated Hyperparameter Optimization Challenge at CIKM 2021 AnalyticCup
Peking University(北京大学)
在本文中,我们描述了我们在QQ浏览器2021 AI算法竞赛(ACM CIKM 2021 AnalyticCup Track 2)中解决自动超参数优化挑战的方法。竞赛组织者提供匿名的现实工业任务和数据集,用于黑盒优化。基于我们的开源软件包OpenBox,我们采用贝叶斯优化框架的配置采样和启发式提前停止策略。我们在初赛和决赛中都获得了第一名,成绩分别为0.938291和0.918753。
2021-10-31 cs.LG
An Automated Machine Learning Framework for Surgical Suturing Action Detection under Class Imbalance
School of Engineering;Physical Sciences Heriot Watt University Edinburgh EH14 4AS, UK;Surgical Skills Centre, Dundee Institute for Healthcare Simulation Ninewells Hospital;Medical School, University of Dundee Dundee, UK
针对腹腔镜手术训练中缝合动作检测的类别不平衡问题,提出基于自动化机器学习的快速部署框架,利用经验医生和实习生数据,兼顾模型透明度与预测稳健性,为手术训练系统提供可靠实时反馈。
2025-02-10 cs.LG cs.RO
Ovid: A Machine Learning Approach for Automated Vandalism Detection in OpenStreetMap
Leibniz University Hannover(汉诺威莱布尼茨大学);L3S Research Center(L3S研究中心);University of Bonn(波恩大学)
OpenStreetMap是一个开放的全球地图数据的独特来源,越来越多地被现实世界的应用所采用。OpenStreetMap中的恶意破坏检测是关键的,并且由于数据集的大规模、贡献者的绝对数量、各种恶意破坏形式以及缺乏用于训练机器学习算法的注释数据而具有显著挑战性。本文介绍了Ovid -一种新的机器学习方法,用于OpenStreetMap中的破坏检测。Ovid依赖于一个神经网络架构,该架构采用多头注意力机制来有效地总结OpenStreetMap变更集中的破坏信息。为了便于自动破坏检测,我们引入了一组原始功能,捕获更改,用户和编辑信息。我们对真实世界的故意破坏数据的评估结果表明,所提出的Ovid方法在F1得分上比基线高出4.7个百分点。
2022-03-21 cs.CR cs.LG
A General Recipe for Automated Machine Learning in Practice
MercadoLibre Inc.(美客多公司)
本文提出构建通用AutoML系统的参考框架,通过提炼核心概念支持单一设计,并讨论未来研究的开放问题。
2023-08-29 cs.AI cs.LG cs.SE
ML4ML: Automated Invariance Testing for Machine Learning Models
University of Oxford(牛津大学);Tencent AI R&D Centre(腾讯人工智能研发中心)
在机器学习(ML)工作流中,确定ML模型的不变性质量是一个常见的测试过程。传统上,使用简单的基于公式的分数来评估不变性质量,例如,精度在本文中,我们表明,测试ML模型的不变性可能会导致复杂的视觉模式,无法使用简单的公式进行分类。为了通过使用其他ML模型自动分析这种视觉模式来测试ML模型,我们提出了一个适用于各种不变性质量的系统框架。我们通过开发ML4ML模型(评估器)来确定神经网络集合的旋转、亮度和大小方差,从而证明了该框架的有效性和可行性。我们的测试结果表明,经过培训的ML4ML评估员可以足够准确地执行此类分析任务。
2022-07-01 cs.LG
Machine Learning in Automated Text Categorization
在过去的十年里,由于数字形式的文件越来越多,以及随之而来的组织文件的需要,将文本自动分类(或分类)到预定义的类别中的兴趣蓬勃发展。在研究界,解决这个问题的主要方法是基于机器学习技术:一般的归纳过程通过从一组预分类文档中学习类别的特征来自动构建分类器。这种方法的优点是知识工程的方法(包括在手动定义的分类领域的专家)是一个非常好的效果,相当大的节省专家人力,并直接移植到不同的领域。本综述讨论了属于机器学习范式的文本分类的主要方法。我们将详细讨论与三个不同问题有关的问题,即文档表示,分类器构建和分类器评估。
2001-10-26 cs.IR cs.LG
The NTT DCASE2020 Challenge Task 6 system: Automated Audio Captioning with Keywords and Sentence Length Estimation
NTT Corporation(日本电报电话公司)
本技术报告描述了参与声学场景和事件(DCASE)2020挑战赛任务6:自动音频字幕的系统。我们的意见书主要是解决两个不确定性问题的自动音频字幕:词选择的不确定性和句子长度的不确定性。通过多任务学习估计关键词和句子长度,同时解决了主标题生成和子不确定性问题。我们使用开发测试数据集测试了我们提交的简化模型。我们的模型实现了20.7 SPIDER评分,而基线系统的评分为5.4。
2020-07-01 cs.LG cs.SD eess.AS
Revitalizing Electoral Trust: Enhancing Transparency and Efficiency through Automated Voter Counting with Machine Learning
American International University-Bangladesh(孟加拉美国国际大学)
本研究探讨结合 OpenCV、CVZone 与 MOG2 的机器学习自动计票方案,并以 F1 分数等指标对比人工计票,以提升选举效率、透明度与公众信任。
2024-11-18 cs.CV cs.LG
Automated Content Grading Using Machine Learning
AMITY UNIVERSITY(阿米提大学)
试卷评分是一项繁忙、耗时耗力的工作,而且在检查中经常受到效率低下和偏见的影响。这个研究项目是一个原始的实验,在自动化的理论答案写在考试中的学生在技术课程,但仍继续被人类评分。在本文中,我们展示了如何使用机器学习中的算法方法来自动检查和评分考试答案中的理论内容。词袋,它们的向量和质心,以及一些语义和词汇文本特征已经被整体使用。机器学习模型已经在根据参加技术课程的毕业生给出的考试手动构建的数据集上实现。这些模型进行了比较,以显示每个模型的有效性。
2020-04-08 cs.CY cs.LG
Automated Machine Learning for Unsupervised Tabular Tasks
AMOR/e Lab(AMOR/e实验室);Eindhoven University of Technology(埃因霍温理工大学)
本文提出LOTUS方法,利用最优传输距离衡量无标签表格数据集间的分布相似性,为异常检测和聚类等无监督机器学习任务进行模型选择与管道推荐,实验证明其效果优于强基线。
2025-10-13 cs.LG
PAIRS AutoGeo: an Automated Machine Learning Framework for Massive Geospatial Data
IBM T.J. Watson Research Center(IBM T.J. 沃森研究中心);IBM Research(IBM研究院)
在IBM PAIRS Geoscope大数据和分析平台上引入了一个名为PAIRS AutoGeo的地理空间数据自动化机器学习框架。该框架简化了利用地理空间数据的工业机器学习解决方案的开发,使用户输入最小化为仅包含标记的GPS坐标的文本文件。PAIRS AutoGeo自动在位置坐标处收集所需数据,组装训练数据,执行质量检查,并训练多个机器学习模型以供后续部署。该框架使用一个现实的工业树种分类用例进行验证。开源树种数据被用作训练随机森林分类器和基于航空影像的10向树种分类的改进的ResNet模型的输入,这导致$59.8\%$和$81.4\%$的准确性,分别。此用例说明了PAIRS AutoGeo如何使用户能够在没有广泛地理空间专业知识的情况下利用机器学习。
2020-12-12 cs.AI cs.CV cs.LG
An Experimentally Driven Automated Machine Learned lnter-Atomic Potential for a Refractory Oxide
Argonne National Laboratory(阿贡国家实验室);Helmholtz-Institute Munster(明斯特亥姆霍兹研究所);Forschungszentrum Julich GmbH(于利希研究中心);University of Cambridge(剑桥大学)
了解难熔氧化物的结构和性能对于高温应用至关重要。在这项工作中,结合实验和仿真方法使用自动闭环通过主动学习,这是由X射线和中子衍射测量初始化,并依次改善机器学习模型,直到实验预定的相空间被覆盖。一个多相电位产生的典型例子的原型耐火氧化物,HfO 2,通过绘制最小数量的训练配置从室温到液态在~ 2900 ℃。该方法大大减少了模型开发时间和人力。
2020-09-09 cond-mat.mtrl-sci cs.LG physics.comp-ph
Automated Machine Learning for Positive-Unlabelled Learning
University of Kent(肯特大学)
本文针对正无标签学习方法选择困难的问题,提出BO-Auto-PU和EBO-Auto-PU两个新的自动化机器学习系统,并在60个数据集上与已有GA-Auto-PU及成熟PU方法进行广泛对比评估。
2024-01-12 cs.LG