ELATE: Evolutionary Language model for Automated Time-series Engineering
JP Morgan AI Research(摩根大通人工智能研究)
针对时间序列预测中人工特征工程耗时、现有自动化方法计算成本高的问题,提出ELATE模型,通过进化框架结合语言模型自动化特征工程,利用统计量和特征重要性引导修剪,提升预测精度。
2025-08-20 cs.AI cs.LG
An Automated Data Engineering Pipeline for Anomaly Detection of IoT Sensor Data
University of Western Ontario(西安大略大学)
片上系统(SoC)技术、物联网(IoT)、云计算、人工智能等领域的快速发展,为改善和解决当前问题带来了更多可能。通过数据分析和使用机器学习/深度学习,可以学习底层模式,并根据从物联网传感器生成的海量数据中学到的知识做出决策。当与云计算相结合时,整个管道可以自动化,并且无需人工控制和操作。本文研究并提出了一种用于物联网传感器数据异常检测的自动化数据工程管道的实现。该过程涉及使用物联网传感器、树莓派、亚马逊网络服务(AWS)和多种机器学习技术,旨在为灵巧家庭安全系统识别异常情况。
2021-09-28 cs.CR cs.LG
Toward Efficient Automated Feature Engineering
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);University of Chinese Academy of Sciences(中国科学院大学);University of Macau(澳门大学)
自动特征工程(Automated Feature Engineering,AFE)是指自动生成并选择最优特征集用于下游任务,在实际应用中取得了巨大的成功。目前的AFE方法主要关注于提高生成特征的有效性,而忽略了大规模部署时的低效率问题。因此,在这项工作中,我们提出了一个通用的框架,以提高AFE的效率。具体来说,我们构建了基于强化学习设置的AFE流水线,为每个特征分配一个Agent来执行特征变换\com{and}选择,并将下游任务中产生的特征的评价得分作为更新策略的奖励。我们从两个方面提高AFE的效率。一方面,我们开发了一个特征预评估模型(FPE),以减少样本量和特征量这两个影响特征评估效率的主要因素。另一方面,我们设计了一个两阶段的政策培训策略,通过在预评估任务上运行FPE作为政策的初始化,以避免从头开始培训政策。我们在36个数据集上进行了分类和回归任务的综合实验。结果表明,与最先进的AFE方法相比,$2.9\%$的平均性能更高,计算效率高出2倍。
2022-12-26 cs.LG
When Bioprocess Engineering Meets Machine Learning: A Survey from the Perspective of Automated Bioprocess Development
Technische Universität Berlin(柏林工业大学)
机器学习(ML)在许多工程领域变得越来越重要,但在生物过程工程中尚未发挥其全部潜力。虽然实验室自动化水平的提高加快了实验的速度,但实验规划和数据建模仍然在很大程度上依赖于人为干预。ML可以被视为一组工具,有助于整个实验周期的自动化,包括模型构建和实际规划,从而使人类专家能够专注于更苛刻和更重要的认知任务。首先,概率规划用于自主构建预测模型。其次,机器学习通过计划实验来测试假设,并进行调查以收集基于模型预测的不确定性的模型选择的信息数据,从而自动评估替代决策。这篇综述提供了一个全面的概述ML为基础的自动化在生物过程开发。一方面,生物技术和生物工程界应该意识到现有ML解决方案在生物技术和生物制药领域应用的潜力,最重要的是,其局限性。另一方面,必须确定缺失的环节,以便在生物社区有价值的解决方案中轻松实施ML和人工智能(AI)工具。
2022-11-01 cs.LG
Large Language Models for Automated Data Science: Introducing CAAFE for Context-Aware Automated Feature Engineering
University of Freiburg(弗赖堡大学);Charité Hospital Berlin(柏林夏里特医院);Prior Labs(普莱尔实验室)
本文提出 CAAFE,利用 LLM 基于数据集描述迭代生成语义特征、Python 代码与解释,在14个表格数据集中11个提升性能,并推动 AutoML 走向语义化与半自动化。
2023-09-28 cs.AI cs.LG
Federated Automated Feature Engineering
Department of Engineering Sciences and Applied Mathematics, Northwestern University(工程科学与应用数学系,西北大学);Department of Industrial Engineering and Management Sciences, Northwestern University(工业工程与管理科学系,西北大学)
本文首次提出面向水平、垂直和混合联邦学习的自动化特征工程算法,在数据不共享场景下实现接近集中式AutoFE的下游测试性能。
2025-04-21 cs.DC cs.LG
Lifting Interpretability-Performance Trade-off via Automated Feature Engineering
Warsaw University of Technology(华沙理工大学);University of Warsaw(华沙大学)
复杂的黑盒预测模型可能具有高性能,但缺乏可解释性会导致缺乏信任,缺乏稳定性,对概念漂移敏感等问题。另一方面,实现令人满意的精度的可解释的模型需要更多的耗时的工作相关的特征工程。我们能否在没有永恒的特征工程的情况下,训练可解释的和准确的模型?我们提出了一种方法,使用弹性黑盒作为代理模型,以创建一个更简单,更不透明,但仍然准确和可解释的玻璃盒模型。新的模型是在新的工程特征上创建的,这些特征是在代理模型的帮助下提取的。我们提供了一个大规模的基准测试的分析,从OpenML数据库的几个表格数据集。有两个结果:1)从复杂模型中提取信息可以提高线性模型的性能,2)质疑复杂机器学习模型优于线性模型的常见神话。
2020-02-11 cs.LG stat.ML
Exploiting Unsupervised Pre-training and Automated Feature Engineering for Low-resource Hate Speech Detection in Polish
Sigmoidal(Sigmoidal公司)
本文介绍了我们对PolEval 2019任务6的贡献:仇恨言论和欺凌检测。我们描述了我们遵循的三种并行方法:根据我们的分类任务微调预训练的ULMFiT模型,根据我们的分类任务微调预训练的BERT模型,以及使用TPOT库来找到最佳管道。我们提出了这三种工具所取得的成果,并审查其优点和缺点方面的用户体验。我们的团队在子任务2中排名第二,TPOT发现了一个浅层模型:一个具有非平凡特征工程的逻辑回归分类器。
2019-06-17 cs.CL cs.LG stat.ML
Reverse engineering learned optimizers reveals known and novel mechanisms
Google Research, Brain Team(谷歌研究院大脑团队);Meta Reality Labs(Meta现实实验室)
学习优化器是一种算法,它本身可以被训练来解决优化问题。与使用从理论原理导出的简单更新规则的基线优化器(如动量或亚当)相比,学习优化器使用灵活的,高维的,非线性参数化。虽然这可以在某些设置中带来更好的性能,但它们的内部工作原理仍然是一个谜。一个学习过的优化器是如何超越一个调好的基线的?它是学会了现有优化技术的复杂组合,还是实现了全新的行为?在这项工作中,我们通过仔细分析和可视化学习优化来解决这些问题。我们研究了在三个不同的任务上从头开始训练的学习优化器,发现他们已经学会了可解释的机制,包括:动量,梯度裁剪,学习率调度,以及一种新形式的学习率适应。此外,我们展示了学习优化器的动态如何实现这些行为。我们的研究结果有助于阐明以前模糊的理解如何学习优化的工作,并建立解释未来学习优化的工具。
2021-12-07 cs.LG cs.NE stat.ML
Lessons Learned Report: Super-Resolution for Detection Tasks in Engineering Problem-Solving
我们描述了在低分辨率输入地图下,通过基于机器学习的超分辨率方法解决农业检测问题的经验教训。底层域是所谓的农业检测类问题,具体目标是学习零星输入地图的互补集合。虽然超分辨率算法被认为有能力增强通用摄影中各种有吸引力的功能,但我们认为它们必须满足某些要求,更重要的是,它们的结果并不一定保证工程检测问题解决的改进(不像ImageNet类数据集中所谓的美学/艺术超分辨率)。通过提出具体的数据驱动的案例研究,我们概述了一组限制和建议部署超分辨率算法的农业检测问题。另一个结论指出,超分辨率算法可以用于学习丢失的频谱通道,并且它们的使用可能会导致一些期望的副作用,例如通道的同步。
2023-03-01 cs.CV cs.LG
LLM-FE: Automated Feature Engineering for Tabular Data with LLMs as Evolutionary Optimizers
Department of Computer Science, Virginia Tech(弗吉尼亚理工学院计算机科学系)
本文提出LLM-FE框架,结合LLM的领域知识和推理能力,通过进化搜索自动发现表格学习任务中的有效特征,优于现有方法。
2026-05-10 cs.AI cs.CL cs.LG
Automated Biodesign Engineering by Abductive Meta-Interpretive Learning
Imperial College London(帝国理工学院)
人工智能(AI)在合成生物学中的应用将为创建高通量自动化遗传设计平台提供基础,其中使用学习机通过设计-构建-测试-学习(DBTL)循环迭代优化系统。然而,以深度学习为代表的主流机器学习技术缺乏表示关系知识的能力,并且需要大量带注释的训练数据。这些缺点严重限制了人工智能在合成生物学中的作用,其中实验本身就是资源和时间密集型的。在这项工作中,我们提出了一个自动化的生物设计工程框架授权的溯因元解释学习($Meta_{Abd}$),一种新的机器学习方法,其结合了符号和子符号机器学习,以通过使学习机器能够1)利用领域知识并学习由诸如一阶逻辑的形式语言表达的人类可解释的模型来进一步增强DBTL循环; 2)同时优化模型的结构和参数,以进行准确的数值预测; 3)通过主动生成假设和示例,减少实验成本和数据注释工作。为了验证$Meta_{Abd}$的有效性,我们模拟了一个合成数据集,用于从微生物宿主中的三基因操纵子生产蛋白质,这代表了一个常见的合成生物学问题。
2021-05-17 cs.AI cs.LG
An Experimentally Driven Automated Machine Learned lnter-Atomic Potential for a Refractory Oxide
Argonne National Laboratory(阿贡国家实验室);Helmholtz-Institute Munster(明斯特亥姆霍兹研究所);Forschungszentrum Julich GmbH(于利希研究中心);University of Cambridge(剑桥大学)
了解难熔氧化物的结构和性能对于高温应用至关重要。在这项工作中,结合实验和仿真方法使用自动闭环通过主动学习,这是由X射线和中子衍射测量初始化,并依次改善机器学习模型,直到实验预定的相空间被覆盖。一个多相电位产生的典型例子的原型耐火氧化物,HfO 2,通过绘制最小数量的训练配置从室温到液态在~ 2900 ℃。该方法大大减少了模型开发时间和人力。
2020-09-09 cond-mat.mtrl-sci cs.LG physics.comp-ph
Task Grouping for Automated Multi-Task Machine Learning via Task Affinity Prediction
Pennsylvania State University(宾夕法尼亚州立大学);Vanderbilt University(范德比尔特大学)
本文提出一种基于任务亲和力预测的自动化任务分组方法,通过分析任务特征和单任务学习特性构建预测器,并结合随机搜索算法减少多任务训练次数,从而在多个基准数据集上找到优于现有基线的任务分组方案。
2023-10-24 cs.LG
A Learned Simulation Environment to Model Student Engagement and Retention in Automated Online Courses
Zurich University of Applied Sciences(苏黎世应用科学大学);Kikodo Education Technology Sàrl(基科多教育技术有限公司)
我们开发了一个模拟器来量化练习顺序对学生参与度和保留率的影响。我们的方法结合了神经网络表示用户和练习使用动态矩阵分解方法的建设。我们进一步创建了成功和辍学预测的机器学习模型。因此,我们的系统能够根据选定的给定练习序列预测学生的参与度和保留率。这为开发多功能强化学习代理打开了大门,这些代理可以取代私人辅导在考试准备中的作用。
2022-12-22 cs.AI cs.CY cs.LG
Explainable Automated Machine Learning for Credit Decisions: Enhancing Human Artificial Intelligence Collaboration in Financial Engineering
University of Oxford(牛津大学);University of Strathclyde(思克莱德大学)
本文研究可解释自动化机器学习(AutoML)与可解释AI(XAI)在信用决策中的结合,证明其能提升效率、准确性,并增强人机协作与信任,符合监管和伦理要求。
2024-02-06 cs.LG q-fin.CP q-fin.RM
Automated Machine Learning Pipeline: Large Language Models-Assisted Automated Dataset Generation for Training Machine-Learned Interatomic Potentials
NYU, Department of Chemistry(纽约大学化学系);Initiative for Computational Catalysis, Flatiron Institute(计算催化计划,Flatiron研究所);NYU, Department of Physics(纽约大学物理系);Courant Institute of Mathematical Sciences, NYU(数学科学学院,纽约大学);NYU-ECNU Center for Computational Chemistry(纽约大学-复旦大学计算化学中心);Simons Center for Computational Physical Chemistry, NYU(Simons计算物理化学中心,纽约大学)
本文提出基于大语言模型的自动化机器学习流水线,用于生成训练数据集以提升机器学习互作用势的精度和稳定性。
2025-12-19 cond-mat.mtrl-sci cs.LG
Towards automated feature engineering for credit card fraud detection using multi-perspective HMMs
INSA Lyon(里昂国立应用科学学院);Universität Passau(帕绍大学);Worldline Lyon(Worldline里昂)
机器学习和数据采掘技术已被广泛用于检测信用卡欺诈。然而,大多数研究认为信用卡交易作为孤立的事件,而不是作为一个交易序列。在这个框架中,我们从三个不同的角度,即(i)序列包含或不包含欺诈行为(ii)序列是通过固定持卡人或支付终端获得的(iii)它是一个序列的花费金额或当前和以前的交易之间经过的时间。三个二元视角的组合给出了来自(训练)事务集的八组序列。这些序列中的每一个都用隐马尔可夫模型(HMM)建模。每个HMM将可能性与给定其先前事务序列的事务相关联。这些似然度被用作用于欺诈检测的随机森林分类器中的附加特征。我们的多视角基于HMM的方法提供了自动化的特征工程模型的时间相关性,以提高分类任务的有效性,并允许增加欺诈交易的检测时,结合最先进的基于专家的特征工程策略,用于信用卡欺诈检测。在扩展到以前的作品,我们表明,这种方法超越了电子商务交易,并提供了一个强大的功能工程不同的数据集,超参数和分类器。此外,我们比较了处理结构性缺失值的策略。
2019-09-03 cs.LG stat.ML
Retrieval-Augmented Instruction Tuning for Automated Process Engineering Calculations : A Tool-Chaining Problem-Solving Framework with Attributable Reflection
TCS Research(塔塔咨询服务研究中心);IIIT Pune(印度信息技术学院浦那分校)
针对过程工程计算缺乏基础AI模型的问题,提出基于检索增强指令微调(RAIT)的自主智能体框架,结合小型代码语言模型与外部工具进行代码生成与调试,其性能媲美大规模专有模型且具成本效益。
2024-08-28 cs.AI cs.LG cs.SE
Enhancing Automated Program Repair through Fine-tuning and Prompt Engineering
BUET(孟加拉国工程技术大学);University of Notre Dame(圣母大学);University of Rochester(罗切斯特大学)
本研究探究大语言模型的编程语言与自然语言固有知识对自动化程序修复的提升作用,验证了微调预训练模型的效果优势,同时测试了提示工程方法的表现,指出大语言模型落地该场景仍有距离。
2023-07-21 cs.LG cs.SE
CAFE: Causally-Guided Automated Feature Engineering with Multi-Agent Reinforcement Learning
CAFE通过因果引导的多智能体强化学习提升自动化特征工程的鲁棒性和效率。
2026-10-27 cs.AI cs.LG cs.MA
Automated data processing and feature engineering for deep learning and big data applications: a survey
Cape Coast Technical University(海岸角技术大学);University of Mines and Technology(矿业与技术大学)
该综述全面梳理了深度学习与大数据应用中自动化数据处理与特征工程的方法,涵盖数据预处理、增强及特征工程,并探讨了AutoML在端到端流水线优化中的作用。
2024-03-19 cs.AI cs.DB cs.LG
Accelerating Cooperative Planning for Automated Vehicles with Learned Heuristics and Monte Carlo Tree Search
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);FZI Research Center for Information Technology(FZI信息技术研究中心)
城市交通场景中的高效驾驶需要远见。其他交通参与者的观察和推断他们可能的下一步行动取决于自己的行动被认为是合作预测和规划。人类已经具备了预测多个交互的交通参与者的行为并相应地进行规划的能力,而无需直接与他人进行通信。以前的工作表明,它是可能实现有效的合作规划,而不需要明确的沟通。然而,合作计划的搜索空间如此之大,以至于大部分计算预算都花在探索远离解的无希望区域中的搜索空间上。为了加速规划过程,我们将学习的策略与合作规划方法相结合,以引导搜索具有有希望的行动的区域,以较低的计算成本获得更好的解决方案。
2020-05-22 cs.LG cs.MA cs.RO
Algorithmic Differentiation for Automated Modeling of Machine Learned Force Fields
Technische Universität Berlin(柏林工业大学);Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究所);Korea University(高丽大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Google Research(谷歌研究院)
从原子模拟数据重建力场(FF)是一个挑战,因为精确的数据可能非常昂贵。在这里,机器学习(ML)模型可以帮助实现数据经济,因为它们可以使用物理学的基本对称性和守恒定律成功地进行约束。然而,到目前为止,为ML模型新提出的每个描述符都需要进行繁琐且数学上繁琐的重构。因此,我们建议在ML建模过程中使用来自算法微分的现代技术-有效地使新描述符或模型的使用完全自动化,计算效率更高。这种范式方法不仅能够灵活地使用新的表示和更大系统的有效计算-所有这些对FF社区都具有很高的价值-而且还可以简单地包含进一步的物理知识,例如高阶信息(例如Hessians,更复杂的偏微分方程约束等),甚至超出了所呈现的FF域。
2022-10-26 cs.LG physics.chem-ph
Automated Black-box Prompt Engineering for Personalized Text-to-Image Generation
Carnegie Mellon University(卡内基梅隆大学);University of Pennsylvania(宾夕法尼亚大学);Sony AI(索尼人工智能);Sony Group Corporation(索尼集团);Bosch Center for AI(博世人工智能中心)
本文提出PRISM算法,利用大语言模型的上下文学习能力,在仅黑盒访问条件下自动生成可解释、可迁移的文本到图像提示,并在多个主流T2I模型上验证了其有效性。
2025-08-16 cs.AI cs.CL cs.CV
Automated Modernization of Machine Learning Engineering Notebooks for Reproducibility
University of Waterloo(滑铁卢大学);Google(谷歌公司)
本文提出MLEModernizer,通过LLM驱动的框架自动化现代化工机器学习工程笔记本,以恢复其在不断变化的环境中的可重现性。
2026-07-29 cs.LG cs.SE
Automated Data Engineering and Feature Selection for the Case Study of Warpage Detection in Fused Deposition Modeling
Michigan Technological University(密歇根理工大学)
研究针对熔融沉积建模过程数据集,围绕强化学习启发的策略更新机制,利用SHAP XAI生成特征子集,训练多个机器学习模型,探索最优模型-特征配置,提升了预测准确性和稳定性,改进了测试集AUC等指标。
2026-07-22 cs.AI cs.LG
VibroML: an automated toolkit for high-throughput vibrational analysis and dynamic instability remediation of crystalline materials using machine-learned potentials
WEL Research Institute(WEL研究机构)
VibroML通过机器学习势能函数自动修复晶体材料的动态不稳定性,结合遗传算法和分子动力学模拟,发现多种动态稳定的多形体,并利用ProtoCSP预测稳定晶体结构。
2026-04-30 cond-mat.mtrl-sci cs.AI cs.LG
Table2Vec: Automated Universal Representation Learning to Encode All-round Data DNA for Benchmarkable and Explainable Enterprise Data Science
University of Technology Sydney(悉尼科技大学)
企业数据通常涉及多个异构数据源和外部数据,它们分别记录业务活动、交易、客户人口统计、状态、行为、与企业的交互和通信,以及其产品、服务、生产、营销、运营和管理的消费和反馈,企业数据科学中的一个关键挑战是实现有效的整体企业数据理解和数据驱动的发现以及对全面企业DNA的决策。我们引入了一个神经编码器Table2Vec,用于从全方位的企业DNA中对客户等实体进行自动通用表示学习,并进行自动数据特征分析和数据质量增强。学习到的通用表示用作代表性和基准企业数据基因组,并且可以用于企业范围和特定于域的学习任务。Table 2 Vec集成了针对低质量企业数据和下游学习任务的自动化通用表示学习。我们举例说明了Table2Vec在复杂的异构多关系大表上表征企业中的全方位客户数据DNA,以构建通用的客户向量表示。每个客户的学习通用表示是全面的,具有代表性和基准性的,以支持企业数据科学中的企业范围和特定领域的学习目标和任务。Table2Vec显著优于通常用于企业分析的现有浅层、提升和深度学习方法。我们进一步讨论了自动化通用企业表示和学习的研究机会,方向和应用,以及自动化,通用,整个企业和道德机器学习和数据科学的学习企业数据DNA。
2021-12-03 cs.AI cs.LG
TRACE: TRajectory Attribution for Automated Context Engineering
Amazon(亚马逊公司)
TRACE是利用历史智能体轨迹挖掘上下文故障的自动化反馈循环,可在上下文层诊断修复超80%的生产AI智能体故障,归因率72.7%、修复有效性82%。
2026-08-11 cs.AI cs.LG
Active Learning over DNN: Automated Engineering Design Optimization for Fluid Dynamics Based on Self-Simulated Dataset
Cranbrook Schools(克兰布鲁克学校)
优化流体动力学性能是一项重要的工程任务。传统上,专家根据经验估计设计形状,并通过昂贵的实验来验证它们。这个在时间和空间方面都昂贵的过程可能只探索有限数量的形状,并导致次优设计。在这项研究中,一个测试证明的深度学习架构被应用于预测各种限制下的性能,并通过优化学习的预测函数来搜索更好的形状。主要的挑战是深度神经网络(DNN)需要大量的数据点,这是无法模拟的。为了弥补这个缺点,使用频率主义主动学习来探索DNN预测有希望的输出空间的区域。此操作将所需的数据样本数量从约8000减少到625。最后一个阶段,一个用户界面,使模型能够优化与给定的用户输入的最小面积和粘度。整体填充用于定义边界面积函数,以便最佳形状不会绕过最小面积。随机梯度朗之万动力学(SGLD),以确保最终的形状是优化的,同时绕过所需的面积。共同地,具有极低阻力的形状被发现由实用的用户界面探索,没有人类领域知识和适度的计算开销。
2020-01-23 cs.CE cs.LG stat.ML
Automated Vigilance State Classification in Rodents Using Machine Learning and Feature Engineering
University of South Carolina(南卡罗来纳大学)
本文提出一种基于时频域特征工程与XGBoost的啮齿动物EEG警觉状态自动分类框架,在2024年竞赛中取得91.5%准确率,优于基线方法,推动了睡眠科学自动化研究。
2025-07-08 cs.LG eess.SP
A Hierarchical Feature Engineering Framework for Automated Classification of Phonotraumatic and Non-Phonotraumatic Vocal Hyperfunction
Department of Electronic Engineering, Wonkwang University(圆光大学电子工程系);AI Convergence Research Institute, Wonkwang University(圆光大学人工智能融合研究院);GIST InnoCORE AI-Nano Convergence Institute for Early Detection of Neurodegenerative Diseases, Gwangju Institute of Science and Technology(光州科学技术院GIST InnoCORE AI-Nano神经退行性疾病早期检测融合研究所);School of Electrical Engineering, KAIST(韩国科学技术院电气工程学院);Department of AI Convergence, Gwangju Institute of Science and Technology(光州科学技术院人工智能融合系)
提出分层特征工程框架,包括静态、动态、比率和耦合特征,用于区分声带创伤性和非声带创伤性声音亢进,发现耦合特征对两类分类均关键,PVH AUC 0.891,NPVH AUC 0.728。
2026-06-04 cs.AI cs.LG cs.SD
Foundation Model Engineering: Engineering Foundation Models Just as Engineering Software
School of Computer Science, Peking University(北京大学计算机学院);School of EECS, Peking University(北京大学电子工程与计算机科学学院);University of Texas at Dallas(德州大学达拉斯分校)
针对基础模型复杂度提升可能引发的“基础模型危机”,本文提出基础模型工程方向,通过声明式、自动化的统一编程接口管理数据与模型,降低开发复杂度,为软件工程领域提供新研究机遇。
2024-07-11 cs.AI cs.LG cs.SE
Automated Relational Meta-learning
Pennsylvania State University(宾夕法尼亚州立大学);University of Notre Dame(圣母大学);Northeastern University(东北大学);Alibaba Group(阿里巴巴集团);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
为了有效地学习与少量的数据对新的任务,元学习转移知识学习从以前的任务到新的。然而,元学习的一个关键挑战是任务的异质性,不能很好地处理传统的全球共享的元学习方法。此外,当前特定于任务的元学习方法可能遭受手工制作的结构设计或缺乏捕获任务之间的复杂关系的能力。本文以知识库中的知识组织方式为出发点,提出了一种自动提取跨任务关系并构建Meta知识图谱的自动关系元学习(ARML)框架。当一个新的任务到达时,它可以快速找到最相关的结构,并为元学习者定制学习到的结构知识。因此,所提出的框架不仅解决了任务异构性的挑战,通过学习Meta知识图谱,但也增加了模型的可解释性。我们进行了大量的实验,2D玩具回归和Few-Shot图像分类和结果表明,ARML的优越性,国家的最先进的基线。
2020-01-03 cs.LG stat.ML
MLOS: An Infrastructure for Automated Software Performance Engineering
Microsoft(微软)
开发现代系统软件是一项复杂的任务,它结合了业务逻辑编程和软件性能工程(SPE)。后者是一个实验性的劳动密集型活动,专注于针对给定的硬件、软件和工作负载(hw/sw/wl)环境优化系统。今天的SPE是由专业团队在构建/发布阶段执行的,并且受到以下问题的困扰:1)缺乏标准化和自动化的工具,2)随着硬件/软件/硬件环境的变化,大量重复的工作,3)“一刀切”调优(其中一个工作负载或组件的改进可能会影响其他工作负载或组件)导致的脆弱性。最终结果是:尽管有昂贵的投资,系统软件经常处于其最佳工作点之外--据说会留下30%到40%的性能。数据科学(DS)的最新发展暗示了一个机会:将DS工具和方法与新的开发人员体验相结合,以改变SPE的实践。在本文中,我们提出:MLOS,ML供电的基础设施和方法,民主化和自动化软件性能工程。MLOS支持连续、实例级、鲁棒且可跟踪的系统优化。MLOS正在Microsoft内部开发和使用,以优化SQL Server性能。早期的结果表明,当针对特定硬件/软件/硬件进行自定义调优时,组件级优化可以带来20%-90%的改进,这暗示着一个重要的机会。然而,仍存在一些研究挑战,需要社区参与。为此,我们正在开源MLOS核心基础设施,并与学术机构合作,围绕软件2.0和MLOS理念创建教育计划。
2020-06-04 cs.DB cs.DC cs.LG
Feature Engineering vs. Deep Learning for Automated Coin Grading: A Comparative Study on Saint-Gaudens Double Eagles
Department of Electrical and Computer Engineering(电气与计算机工程系)
本文通过对比特征工程与深度学习方法,发现特征设计在小数据、类别不平衡场景下优于全栈深度学习方案,尤其在硬币评级任务中表现更优。
2025-12-04 cs.CV cs.LG
Multi-element microscope optimization by a learned sensing network with composite physical layers
Pratt School of Engineering, Duke University(杜克大学普拉特工程学院)
标准显微镜提供多种设置,以帮助提高最终显微镜用户对不同标本的可见性。然而,越来越多地使用数字显微镜来捕获图像以通过计算机算法(例如,用于特征分类、检测或分割),通常没有任何人工参与。在这项工作中,我们研究了一种方法,以联合优化多个显微镜设置,连同一个分类网络,以提高性能与这样的自动化任务。我们探索可编程照明和光瞳传输的优化之间的相互作用,使用实验成像的血涂片自动疟疾寄生虫检测,显示多元素的“学习感测”优于其单一元素的对应。虽然不一定适合人类解释,但该网络产生的低分辨率显微镜图像(20倍可比)为机器学习网络提供了足够的对比度,以匹配相应的高分辨率图像(100倍可比)的分类性能,为大视场的精确自动化指明了道路。
2020-06-27 cs.LG eess.IV physics.optics
APEX: Automated Prompt Engineering eXpert with Dynamic Data Selection
Google(谷歌);UCLA(加州大学洛杉矶分校)
提出APEX框架,通过动态数据分层(易、难、混合)优先选择高杠杆子集,在固定预算下提升提示优化效率,在三个基准上平均提升11.2%和6.8%。
2026-06-11 cs.AI cs.CL cs.LG
SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering
Princeton University(普林斯顿大学)
研究接口设计对语言模型智能体性能的影响,提出SWE-agent系统及其定制的智能体-计算机接口(ACI),使智能体能自主解决软件工程任务,在SWE-bench和HumanEvalFix上达到最先进性能。
2024-11-11 cs.AI cs.CL cs.HC
EvoAAA: An evolutionary methodology for automated \neural autoencoder architecture search
Universidad de Jaén(哈恩大学)
当向机器学习模型提供策划的功能时,它们会更好地工作。特征工程方法通常被用作预处理步骤,以获得或构建合适的特征集。近年来,自编码器(一种特定类型的对称神经网络)已被广泛用于执行表示学习,证明了其与经典特征工程算法的竞争力。使用自动编码器的主要障碍是找到一个好的架构,这是大多数专家手动面对的过程。本文提出了一种基于进化方法的自动编码器结构搜索方法。该方法针对九个异构数据集进行了测试。所得到的结果表明,这种方法能够找到更好的架构,能够集中在一个最小化的编码,在减少的时间大部分有用的信息。
2023-01-15 cs.AI cs.LG cs.NE
ChiroEcho: extending automated bat vocalisation classification beyond the learned taxonomy
Naturalis Biodiversity Center(自然生物多样性中心);Department of Cognitive Science and Artificial Intelligence, Tilburg University(蒂尔堡大学认知科学与人工智能系);People and Nature Lab, University College London(伦敦大学学院人与自然实验室);Leiden Institute of Advanced Computer Science, Leiden University(莱顿大学莱顿高级计算机科学研究所)
ChiroEcho框架联合预测蝙蝠的属与物种,结合地理分布将欧洲蝙蝠自动分类覆盖从73%提升至85%,为解决未见过的细粒度类别问题提供了原理验证。
2026-08-20 cs.LG cs.SD eess.AS
PAACE: A Plan-Aware Automated Agent Context Engineering Framework
Kamer Ali Yuksel(独立研究者)
PAACE通过计划感知的上下文工程框架提升LLM代理的准确性并减少上下文负载,实现高效多步骤任务处理。
2025-12-18 cs.AI cs.CL cs.LG
A Survey of Automatic Prompt Engineering: An Optimization Perspective
School of Computer Science and Technology, Tongji University(同济大学计算机科学与技术学院);East China Normal University(华东师范大学);Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University(同济大学上海智能自主系统研究院)
本文从优化理论视角首次全面综述自动提示工程,将其形式化为提示空间上的最大化问题并系统分类方法,为研究者和从业者建立框架,同时指出未充分探索的前沿方向。
2025-02-17 cs.AI cs.LG
Engineering AI Systems: A Research Agenda
Chalmers University of Technology(查尔姆斯理工大学);Malmö University(马尔默大学)
人工智能(AI)和机器学习(ML)在工业中的应用越来越广泛,然而,基于十几个案例研究,我们了解到,在系统中部署行业实力,生产质量ML模型被证明是具有挑战性的。公司面临着与数据质量、设计方法和流程、模型性能以及部署和合规性相关的挑战。我们了解到,需要一种新的结构化工程方法来构建和发展包含ML/DL组件的系统。在本文中,我们提供了一个概念化的典型演变模式,公司在采用ML时的经验,以及我们所研究的公司所经历的关键问题的概述。本文的主要贡献是AI工程的研究议程,概述了围绕ML解决方案的关键工程挑战,并概述了需要由整个研究社区解决的开放项目。
2020-06-03 cs.AI cs.LG cs.SE
Automated Polysomnography Analysis for Detection of Non-Apneic and Non-Hypopneic Arousals using Feature Engineering and a Bidirectional LSTM Network
Aalto University(阿尔托大学);Tampere University(坦佩雷大学);Northwestern University(西北大学)
目的:本研究的目的是开发一种多导睡眠图(PSG)记录的自动分类算法,以检测非呼吸暂停和非低通气觉醒。我们特别关注的是检测呼吸努力相关的觉醒(RERA),这是非常微妙的呼吸事件,不符合呼吸暂停或呼吸不足的标准,更具有挑战性的检测。研究方法:该算法基于双向长短期记忆(BiLSTM)分类器和465个多域特征,从多模态临床时间序列中提取。这些特征由一组生理启发特征(n = 75)和一组生理不可知特征(n = 390)组成,其中生理启发特征是通过多个特征选择和专家分析步骤获得的,而生理不可知特征是通过散射变换获得的。结果:所提出的算法在2018年PhysioNet挑战数据集上得到了验证。在隐藏测试数据集上,精确率-召回率曲线下面积(AUPRC)的整体性能为0.50。这一成绩与2018年PhysioNet挑战赛后续和正式阶段的第二好成绩并列。结论:结果表明,它是可以自动检测微妙的非呼吸暂停/非低通气觉醒事件从PSG记录。重要性:自动检测细微的呼吸事件,如RERA以及其他非呼吸暂停/非呼吸不足觉醒,将允许对大型PSG数据库进行详细注释。这有助于对睡眠数据进行更好的回顾性分析,这也可能提高治疗质量。
2019-09-06 cs.LG eess.SP stat.ML
Challenges and Paths Towards AI for Software Engineering
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);University of California, Berkeley(加州大学伯克利分校);Cornell University(康奈尔大学);Stanford University(斯坦福大学);University of Pennsylvania(宾夕法尼亚大学)
本文探讨AI用于软件工程的挑战与路径,提出任务分类、瓶颈分析及有前景的研究方向,旨在推动自动化水平提升。
2025-03-28 cs.AI cs.LG cs.SE
Quality Assurance in MLOps Setting: An Industrial Perspective
Karlstad University(卡尔斯塔德大学);Czech Technical University in Prague(捷克技术大学布拉格分校);Uddeholms AB(乌德霍尔姆公司)
如今,机器学习(ML)在工业中被广泛用于提供生产系统的核心功能。然而,它实际上总是在生产系统中作为更大的端到端软件系统的一部分使用,该系统由ML模型之外的其他几个组件组成。由于生产需求和时间限制,自动化软件工程实践非常适用。在制造业和公用事业等行业中越来越多地使用自动化ML软件工程实践,需要将自动化质量保证(QA)方法作为ML软件的组成部分。在这里,QA通过提供对软件任务的客观观点来帮助降低风险。虽然传统的软件工程已经为数据驱动的ML提供了自动化的QA数据分析工具,但缺乏对ML运行(MLOps)的QA实践的使用。本文探讨了QA的挑战,出现在工业MLOps和概念化的模块化战略,以处理数据完整性和数据质量(DQ)。本文附有来自工业合作伙伴的真实工业用例。该文件还提出了一些挑战,可能作为未来研究的基础。
2022-11-24 cs.AI cs.LG cs.SE
Open Problems in Engineering and Quality Assurance of Safety Critical Machine Learning Systems
DENSO CORPORATION(电装公司)
致命事故是阻碍使用机器学习和深度学习模型的安全关键系统(如自动驾驶汽车)被广泛接受的一个主要问题。这种机器学习系统需要质量保证框架,但没有广泛接受和建立的质量保证概念和技术。与此同时,开放的问题和相关的技术领域没有组织。为了建立标准的质量保证框架,有必要以跨学科的方式将这些开放问题可视化和组织起来,以便来自许多不同技术领域的专家可以深入讨论这些问题并制定解决方案。在本研究中,我们以自动驾驶汽车为例,识别、分类和探索安全关键机器学习系统质量保证中的开放问题,以及相关的相应行业和技术趋势。我们的研究结果表明,解决这些开放性问题需要整合来自几个不同技术和工业领域的知识,包括汽车工业、统计学、软件工程和机器学习。
2018-12-07 cs.CY cs.LG stat.ML
Mill.jl and JsonGrinder.jl: automated differentiable feature extraction for learning from raw JSON data
Avast(爱维士)
从原始数据输入中学习,从而限制了对手动特征工程的需要,是机器学习方法的许多成功应用的关键组成部分之一。虽然机器学习问题通常是在自然转换为适合分类器的向量表示的数据上制定的,但例如在网络安全中,存在自然表示在具有统一分层结构的不同文件中的数据源,例如XML,JSON和协议缓冲区。将这些数据转换为矢量(张量)表示通常是通过手动特征工程来完成的,这是费力的,有损的,并且容易受到人类对特定特征重要性的偏见。Mill和JsonGrinder是一组库,可以完全自动化转换。从任意一组JSON样本开始,他们创建了一个可区分的机器学习模型,能够从原始形式的JSON样本中进行推断。
2021-05-19 cs.LG cs.MS stat.ML
Multimodal Deep Neural Networks using Both Engineered and Learned Representations for Biodegradability Prediction
Pacific Northwest National Lab (PNNL)(西北太平洋国家实验室);University of Washington (UW)(华盛顿大学)
深度学习算法擅长从原始数据中提取模式,对于大型数据集,它们在计算机视觉和自然语言应用中非常成功。然而,在其他领域中,可能不存在从中学习表示的大型数据集。在这项工作中,我们开发了一种新的多模态CNN-MLP神经网络架构,利用特定领域的特征工程以及从原始数据中学习的表示。我们说明了这种网络设计在化学科学中的有效性,用于预测生物降解性。DeepBioD是一种多模式CNN-MLP网络,比任何一种独立网络设计都更准确,并且实现了0.125的错误分类率,比当前最先进的技术低27%。因此,我们的工作表明,将传统的特征工程与表示学习相结合是有效的,特别是在标记数据有限的情况下。
2018-09-13 cs.AI cs.CV cs.LG