The ALCHEmist: Automated Labeling 500x CHEaper Than LLM Data Annotators
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出Alchemist系统,通过让预训练模型生成可本地存储、复用和扩展的标注程序来替代直接查询LLM标签,在多个任务上平均性能提升12.9%,标注成本降低约500倍。
2025-02-03 cs.AI cs.CL cs.LG
Optimize Cheap, Deploy Strong: Cost-Aware Cross-Tier Transfer for Evolutionary Optimization
IBM Research(IBM研究院)
该研究提出成本感知跨层迁移方法,解耦LLM角色,在低成本层级完成大部分搜索,跨层部署提示词,在多任务多模型上实现成本大幅降低且性能不劣于同层级优化。
2026-08-13 cs.AI cs.CL cs.LG
Cost-Effective Automated Judging of Natural-Language Mathematical Proofs
该研究以 IMO-GradingBench 为基准,验证 GPT-OSS 120B 等三个低成本模型作为数学证明评判器的效果,发现全票通过规则的低成本方案与前沿模型效果相当,成本低达 100 倍。
2026-10-06 cs.AI cs.CL cs.LG
Painless Activation Steering: An Automated, Lightweight Approach for Post-Training Large Language Models
Yale University(耶鲁大学)
本文提出Painless Activation Steering,一种自动化方法,无需人工干预即可利用标注数据提升模型性能,尤其在行为任务中表现优异,但对智能任务效果有限。
2026-05-15 cs.AI cs.CL cs.LG
Auto-Meta: Automated Gradient Based Meta Learner Search
SK T-Brain;Yale University(耶鲁大学)
完全自动化机器学习管道是当前人工智能研究的关键挑战之一,因为实际的机器学习通常需要昂贵且耗时的人力流程,例如模型设计,算法开发和超参数调整。在本文中,我们验证了自动化架构搜索与基于梯度的元学习的效果协同作用。我们采用渐进式神经结构搜索\cite{liu:pnas_google:DBLP:journals/corr/abs-1712-00559}来寻找元学习器的最佳结构。基于梯度的元学习器的架构是自动发现的,它在5次5路Mini-ImageNet分类问题上取得了最先进的结果,具有$74.65\%$精度,这是$11.54\%$对第一个基于梯度的元学习器MAML \cite{finn:maml:DBLP:conf/icml/FinnAL17}获得的结果的改进。据我们所知,这项工作是在元学习的背景下第一个成功的神经架构搜索实现。
2018-12-10 cs.AI cs.CV cs.LG
Fully Automated Correlated Time Series Forecasting in Minutes
Aalborg University(奥尔堡大学);East China Normal University(华东师范大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
针对现有自动化时间序列预测方法搜索空间依赖人工、搜索与训练耗时的问题,提出全自动高效框架,通过数据驱动剪枝、零样本搜索和快速参数适应,在数分钟内完成预测,并达到最先进准确率。
2024-11-06 cs.LG stat.ML
Automated Search-Space Generation Neural Architecture Search
Microsoft(微软)
针对现有神经架构搜索依赖手工构建搜索空间、需大量人工干预的问题,提出ASGNAS方法,可自动生成搜索空间、通过H2SPG算法优化并构建子网络,在多个网络和基准数据集上取得了有竞争力甚至更优的性能。
2023-10-05 cs.AI cs.CV cs.LG
AutoOD: Automated Outlier Detection via Curiosity-guided Search and Self-imitation Learning
Texas A&M University(德克萨斯农工大学);NEC Laboratories America(NEC美国实验室)
离群点检测是一个重要的数据挖掘任务,具有许多实际应用,如入侵检测,信用卡欺诈检测和视频监控。然而,鉴于大数据的特定复杂任务,构建基于深度学习的强大离群值检测系统的过程仍然高度依赖于人类专业知识和劳动试验。尽管神经架构搜索(NAS)在发现图像分类、目标检测和语义分割等各个领域的有效深度架构方面显示出了其前景,但由于缺乏内在搜索空间、搜索过程不稳定以及低样本效率,当代NAS方法不适合离群点检测。为了弥补这一差距,在本文中,我们提出了AutoOD,一个自动离群值检测框架,其目的是在预定义的搜索空间内搜索最优的神经网络模型。具体来说,我们首先设计了一个好奇心引导的搜索策略来克服局部最优的诅咒。控制器,作为一个搜索代理,鼓励采取行动,以最大限度地提高控制器的内部信念的信息增益。为了提高样本效率,我们还引入了一种基于自模仿学习的经验回放机制。在各种真实世界基准数据集上的实验结果表明,与现有的手工模型和传统的搜索方法相比,AutoOD识别的深度模型具有最佳的性能。
2020-06-19 cs.LG stat.ML
GAMA: a General Automated Machine learning Assistant
Eindhoven University of Technology(埃因霍温理工大学)
通用自动化机器学习助手(GAMA)是一个模块化AutoML系统,旨在使用户能够跟踪和控制AutoML算法如何搜索最佳机器学习管道,并促进AutoML研究本身。与当前的黑盒系统相比,GAMA允许用户插件插入不同的AutoML和后处理技术,记录和可视化搜索过程,并支持轻松的基准测试。它目前具有三种AutoML搜索算法,两个模型后处理步骤,并旨在允许添加更多组件。
2021-10-07 cs.LG stat.ML
Automated Search for Configurations of Deep Neural Network Architectures
SnT, University of Luxembourg(卢森堡大学SnT)
深度神经网络(DNN)被广泛用于解决各种复杂问题。虽然功能强大,但此类系统需要手动配置和调优。为此,我们将DNN视为可配置的系统,并提出了一个端到端的框架,允许配置,评估和自动搜索DNN架构。因此,我们的贡献是三方面的。首先,我们用一个特征模型(FM)对DNN架构的可变性进行建模,该模型概括了现有架构。FM的每个有效配置对应于可以构建和训练的有效DNN模型。其次,我们在Tensorflow之上实现了一个自动化过程,用于部署、训练和评估已配置模型的性能。第三,我们提出了一种搜索配置的方法,并证明了它可以产生良好的DNN模型。我们通过将其应用于图像分类任务(MNIST,CIFAR-10)来评估我们的方法,并表明,在有限的计算和训练量下,我们的方法可以识别高性能的架构(具有高精度)。我们还证明了我们的性能优于ML研究人员手工制作的现有最先进的架构。我们的FM和框架已经发布%,并公开提供,以支持复制和未来的研究。
2019-04-09 cs.CV cs.LG
Towards an automated method based on Iterated Local Search optimization for tuning the parameters of Support Vector Machines
Philips Research(飞利浦研究院)
我们提供了初步的细节和制定的优化策略,根据目前的发展,是能够自动调整参数的支持向量机在新的数据集。优化策略是基于迭代局部搜索的启发式算法,迭代局部搜索是对经典爬山算法的修改,它迭代调用局部搜索例程。
2017-07-11 cs.AI cs.LG
Learning Accurate Performance Predictors for Ultrafast Automated Model Compression
Tsinghua University(清华大学)
本文提出SeerNet框架,通过进化搜索主动选择压缩策略训练精确性能预测器,并利用带约束的梯度优化直接获取剪枝与量化策略,在显著降低搜索成本的同时实现有竞争力的精度-复杂度权衡。
2023-04-13 cs.CV cs.LG
Towards NNGP-guided Neural Architecture Search
Google Research(谷歌研究院)
宽贝叶斯神经网络的预测由高斯过程描述,称为神经网络高斯过程(NNGP)。对于许多模型来说,NNGP内核的解析形式是已知的,但是计算卷积架构的精确内核是非常昂贵的。人们可以通过在初始化时使用有限网络的Monte-Carlo估计来获得这些核的有效近似。当数据集大小较小时,与梯度下降训练相比,蒙特卡洛NNGP推断在FLOP中的数量级更便宜。由于NNGP推理提供了一个廉价的衡量网络架构的性能,我们研究其潜在的神经结构搜索(NAS)的信号。我们在CIFAR-10上的NAS-bench 101数据集中计算了大约423 k网络的NNGP性能,并将其效用与通过缩短的基于梯度的训练获得的传统性能指标进行了比较。我们在ImageNet的移动神经架构搜索(MNAS)空间中对10 k个随机采样网络进行了类似的分析。我们发现基于NNGP的指标的比较优势,并讨论潜在的应用。特别是,我们建议,NNGP性能是一个廉价的信号,独立于从训练中获得的指标,可以用于减少大搜索空间,或提高基于训练的性能指标。
2020-11-11 cs.LG
Search Algorithms for Automated Hyper-Parameter Tuning
Florida International University(佛罗里达国际大学);University of Georgia(佐治亚大学);Purdue University(普渡大学)
机器学习是在教育等不同领域建模的强大方法。它准确预测学生成功的能力使其成为与高等教育相关的决策任务的理想工具。机器学习模型的准确性取决于选择适当的超参数。然而,这并不是一件容易的事情,因为它需要时间和专业知识来调整超参数以适应机器学习模型。在本文中,我们研究了自动化超参数调整技术的有效性,以学生的成功领域。因此,我们开发了两种自动超参数优化方法,即网格搜索和随机搜索,以评估和改善以前的研究的性能。实验结果表明,将随机搜索和网格搜索应用于机器学习算法,提高了准确率。我们经验性地展示了自动化方法在现实世界的教育数据(MIDFIELD)上的优越性,用于调整传统机器学习分类器的HP。这项工作强调了自动化超参数优化的有效性,同时将机器学习应用于教育领域,以帮助教师,董事或非专家用户的决策,以提高学生的成功。
2021-04-29 cs.CY cs.LG cs.PF
Diagnosis of Diabetic Retinopathy in Ethiopia: Before the Deep Learning based Automation
Artificial Intelligence Directorate(人工智能局);Ethiopian Biotechnology Institute(埃塞俄比亚生物技术研究所)
将自动糖尿病视网膜病变(DR)诊断引入埃塞俄比亚仍然是一项具有挑战性的任务,尽管最近有报道称,经过训练的基于深度学习(DL)的DR分类器超过了手动分级器。这主要是因为在基于DL的分类器中使用的传统视网膜成像设备的昂贵成本。本文将讨论目前提供基于移动设备的DR二进制分类的方法,以及实现更便宜和离线DR多类分类的方法。
2020-04-29 cs.CV cs.LG eess.IV
Automated Architecture Search for Brain-inspired Hyperdimensional Computing
University of New Mexico(新墨西哥大学);George Mason University(乔治梅森大学);Villanova University(维拉诺瓦大学)
本文代表了第一次努力探索超维计算(HDC),一种大脑启发的神经网络的自动架构搜索。目前,HDC的设计主要是以特定于应用的ad-hoc方式进行的,这大大限制了其应用。此外,该方法导致较低的准确性和效率,这表明HDC无法与深度神经网络竞争。在这里,我们提出了一个彻底的研究,制定一个HDC架构搜索空间。在搜索空间的基础上,我们应用了搜索学习来自动探索HDC架构。搜索的HDC架构在涉及药物发现数据集和语言识别任务的案例研究中表现出竞争力。在Clintox数据集上,该数据集试图从由于毒性原因通过/失败的临床试验的开发药物中学习特征,搜索的HDC架构获得了最先进的ROC-AUC评分,比手动设计的HDC高0.80%,比传统的神经网络高9.75%。在语言识别任务上也取得了类似的结果,比传统方法高出1.27%。
2022-02-11 cs.LG
Accelerating Cooperative Planning for Automated Vehicles with Learned Heuristics and Monte Carlo Tree Search
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);FZI Research Center for Information Technology(FZI信息技术研究中心)
城市交通场景中的高效驾驶需要远见。其他交通参与者的观察和推断他们可能的下一步行动取决于自己的行动被认为是合作预测和规划。人类已经具备了预测多个交互的交通参与者的行为并相应地进行规划的能力,而无需直接与他人进行通信。以前的工作表明,它是可能实现有效的合作规划,而不需要明确的沟通。然而,合作计划的搜索空间如此之大,以至于大部分计算预算都花在探索远离解的无希望区域中的搜索空间上。为了加速规划过程,我们将学习的策略与合作规划方法相结合,以引导搜索具有有希望的行动的区域,以较低的计算成本获得更好的解决方案。
2020-05-22 cs.LG cs.MA cs.RO
PyGlove: Symbolic Programming for Automated Machine Learning
Google(谷歌);Google Research(谷歌研究院)
神经网络对超参数和结构选择敏感。自动化机器学习(AutoML)是自动化这些选择的一个很有前途的范例。然而,当前的ML软件库在处理AutoML组件之间的动态交互方面非常有限。例如,高效的NAS算法(如ENAS和DARTS)通常需要在搜索空间和搜索算法(AutoML中的两个关键组件)之间实现耦合。此外,实现复杂的搜索流程(诸如在搜索硬件配置的循环内搜索架构)是困难的。总之,在当前ML库中更改搜索空间、搜索算法或搜索流程通常需要对程序逻辑进行重大更改。本文介绍了一种基于符号编程的AutoML编程方法。在这种范式下,ML程序是可变的,因此可以很容易地被另一个程序操纵。因此,AutoML可以重新表述为符号操作的自动化过程。利用这个公式,我们解耦了搜索算法的三角形、搜索空间和子程序。这种解耦使得更改搜索空间和搜索算法(不使用和使用权重共享)以及向现有代码添加搜索功能和实现复杂的搜索流变得容易。然后,我们介绍PyGlove,一个实现这种范式的新Python库。通过对ImageNet和NAS-Bench-101的案例研究,我们证明了使用PyGlove用户可以轻松地将静态程序转换为搜索空间,快速搜索搜索空间和搜索算法,并制作复杂的搜索流程以获得更好的结果。
2021-01-21 cs.LG cs.PL
Improved Automated Machine Learning from Transfer Learning
Duke University(杜克大学)
在本文中,我们提出了一个神经架构搜索框架的基础上,一些基线任务和目标任务之间的相似性度量。我们首先定义的概念的任务相似性的基础上的Fisher信息矩阵的对数行列式。接下来,我们计算每个基线任务与目标任务的任务相似度。通过利用目标和一组学习的基线任务之间的关系,可以显著地减小用于目标任务的架构的搜索空间,使得在GPU天数方面,在可能架构的集合中发现最佳候选者是易处理的和高效的。该方法消除了对于给定目标任务从头开始训练网络的要求,并且在搜索空间的初始化中引入了来自人类领域的偏差。
2022-01-29 cs.CV cs.LG
GreenAuto: An Automated Platform for Sustainable AI Model Design on Edge Devices
Georgia State University(佐治亚州立大学);Toyota InfoTech Labs(丰田信息技术实验室)
本文提出端到端自动化平台GreenAuto,结合Pareto front搜索与梯度下降在扩展NAS空间内优化模型探索,并利用预训练内核级能耗预测器引导搜索,实现无需人工干预的可持续AI模型高效识别。
2025-01-25 cs.LG
AutoSlicer: Scalable Automated Data Slicing for ML Model Analysis
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Google Inc.(谷歌公司)
自动切片旨在识别评估数据的子集,其中训练模型表现不佳。这对于生产中的机器学习管道来说是一个重要的问题,因为它在模型调试和比较以及公平性问题的诊断中起着关键作用。由于可能切片的大搜索空间和不断增长的数据规模,可扩展性已成为任何自动切片系统的关键要求。我们介绍了Autoslicer,这是一个可扩展的系统,可以通过分布式指标计算和假设测试来搜索有问题的切片。我们开发了一个有效的策略,减少了搜索空间,通过修剪和优先级。在实验中,我们表明,我们的搜索策略通过检查搜索空间的一小部分,发现大多数的异常切片。
2022-12-18 cs.DB cs.LG
Safe learning-based optimal motion planning for automated driving
Virtual Vehicle Research Center(虚拟车辆研究中心);University of Sarajevo(萨拉热窝大学);Graz University of Technology(格拉茨工业大学)
本文介绍了初步的工作学习搜索启发式的最佳运动规划自动驾驶在城市交通。以前的工作考虑基于搜索的最佳运动规划框架(SBOMP),利用数值或基于模型的算法,不考虑动态障碍。由于动态障碍物只会增加成本,因此仍然保证最优解。然而,观察到的搜索效率的显着变化取决于是否存在动态障碍。本文介绍了机器学习(ML)的启发式,考虑到动态障碍,从而增加了性能的一致性,实现实时实施。
2018-06-13 cs.LG cs.RO stat.ML
A3C-S: Automated Agent Accelerator Co-Search towards Efficient Deep Reinforcement Learning
Rice University(莱斯大学)
针对 DRL 端侧部署中智能体复杂性与硬件资源受限的矛盾,提出 A3C-S 框架,自动协同搜索匹配的智能体与加速器,以同时提升测试分数和硬件效率。
2025-01-04 cs.LG
Reinforcement Learning with Automated Auxiliary Loss Search
Shanghai Jiao Tong University(上海交通大学);Microsoft Research Asia(微软亚洲研究院);New York University(纽约大学)
良好的状态表示对于解决复杂的强化学习(RL)挑战至关重要。许多最近的作品集中在设计辅助损失学习信息表示。不幸的是,这些手工制作的目标在很大程度上依赖于专家知识,可能是次优的。在本文中,我们提出了一个原则性和通用的方法来学习更好的表示与辅助损失函数,名为自动辅助损失搜索(A2 LS),自动搜索性能最好的辅助损失函数RL。具体而言,基于收集的轨迹数据,我们定义了一个一般的辅助损失空间的大小$7.5 \times 10^{20}$和探索的空间与一个有效的进化搜索策略。实验结果表明,所发现的辅助损失(即A2-winner)显着提高性能的高维(图像)和低维(矢量)看不见的任务,更高的效率,显示出有前途的推广能力,不同的设置,甚至不同的基准领域。我们进行了统计分析,以揭示模式的辅助损失和RL性能之间的关系。
2022-10-12 cs.LG
AGAN: Towards Automated Design of Generative Adversarial Networks
Baidu Research(百度研究院)
生成对抗网络(GANs)的最新进展显示出通过架构变化改善GAN训练的有希望的迹象。尽管取得了一些早期的成功,但目前GAN架构的设计需要人类的专业知识,艰苦的试错测试,并且经常从其图像分类对应物中汲取灵感。在本文中,我们提出了第一个神经架构搜索算法,深度生成模型的自动神经架构搜索,或缩写为AGAN,专门适用于GAN训练。对于CIFAR-10上的无监督图像生成任务,我们的算法在相同的正则化技术下找到了优于最先进模型的架构。对于有监督的任务,自动搜索的架构也实现了极具竞争力的性能,在分辨率$32\times32$上优于人类发明的最佳架构。此外,我们的经验表明,AGAN学习的模块可转移到其他图像生成任务,如STL-10。
2019-06-25 cs.AI cs.LG stat.ML
ATMSeer: Increasing Transparency and Controllability in Automated Machine Learning
Hong Kong University of Science and Technology(香港科技大学);Massachusetts Institute of Technology(麻省理工学院);Zhejiang University(浙江大学)
为了减轻手动选择机器学习算法和调整超参数的痛苦,人们开发了自动机器学习(AutoML)方法来自动搜索良好的模型。由于巨大的模型搜索空间,不可能尝试所有模型。用户倾向于不信任自动结果,并尽可能地增加搜索预算,从而破坏了AutoML的效率。为了解决这些问题,我们设计并实现了ATMSeer,一个交互式可视化工具,支持用户在细化AutoML的搜索空间和分析结果。为了指导ATMSeer的设计,我们根据对机器学习专家的采访,推导出使用AutoML的工作流程。提出了一种多粒度可视化,使用户能够监视AutoML过程,分析搜索的模型,并在实时的细化搜索空间。我们通过两个案例研究,专家访谈和13个最终用户的用户研究证明了ATMSeer的实用性和可用性。
2019-02-13 cs.HC cs.LG stat.ML
Enhancing Mobile "How-to" Queries with Automated Search Results Verification and Reranking
University of California, Santa Cruz(加利福尼亚大学圣克鲁兹分校)
针对移动端“如何做”类查询搜索结果有效性难辨的问题,提出让AI智能体在受控Android环境执行操作指引并结合结果重排序的方法,显著提升了前排结果的质量与可靠性,为在线技术支持搜索优化提供了可扩展自动化方案。
2024-07-09 cs.IR cs.LG
WMAttack: Automated Attack Search for Adversarial Evaluation of World-Model Agents
Nanyang Technological University(南洋理工大学);University of Szeged(塞格德大学)
提出WMAttack框架,通过自校正攻击搜索和表征引导攻击检索,自动搜索攻击配置以高效评估世界模型智能体的对抗鲁棒性。
2026-09-09 cs.LG
AutoSTF: Decoupled Neural Architecture Search for Cost-Effective Automated Spatio-Temporal Forecasting
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学)
针对自动化时空预测中神经架构搜索开销高的问题,本文提出解耦框架 AutoSTF,通过时空搜索空间分离、表示压缩、参数共享及多块迁移提升效率与精度。
2025-01-08 cs.AI cs.LG
A Flexible Approach to Automated RNN Architecture Generation
Department of Brain and Cognitive Sciences, Massachusetts Institute of Technology(麻省理工学院脑与认知科学系);Salesforce Research(Salesforce 研究院)
设计神经架构的过程需要专业知识和广泛的试错。虽然自动架构搜索可以简化这些要求,但现有方法生成的递归神经网络(RNN)架构在灵活性和组件方面都受到限制。我们提出了一种用于自动架构搜索的特定领域语言(DSL),它可以产生任意深度和宽度的新型RNN。DSL足够灵活,可以定义标准架构,如门控递归单元和长短期记忆,并允许引入非标准RNN组件,如三角曲线和层归一化。使用两种不同的候选生成技术,随机搜索与排名功能和强化学习,我们探索了新的架构产生的RNN DSL语言建模和机器翻译领域。由此产生的架构并不遵循人类的直觉,但在其目标任务上表现良好,这表明可用的RNN架构的空间远远大于之前的假设。
2017-12-20 cs.CL cs.LG stat.ML
T-AutoML: Automated Machine Learning for Lesion Segmentation using Transformers in 3D Medical Imaging
NVIDIA(英伟达)
医学图像中的病变分割一直是临床研究的重要课题。研究人员已经提出了各种检测和分割算法来解决这一任务。最近,基于深度学习的方法比传统方法显着提高了性能。然而,大多数最先进的深度学习方法需要手动设计多个网络组件和训练策略。在本文中,我们提出了一种新的自动化机器学习算法T-AutoML,它不仅可以搜索最佳神经结构,还可以同时找到超参数和数据增强策略的最佳组合。该方法利用现代Transformer模型,引入该模型以适应搜索空间嵌入长度的动态变化,显著提高了搜索能力。我们在几个大规模的公共病变分割数据集上验证了T-AutoML,并实现了最先进的性能。
2021-11-15 cs.CV cs.LG eess.IV
EvoAAA: An evolutionary methodology for automated \neural autoencoder architecture search
Universidad de Jaén(哈恩大学)
当向机器学习模型提供策划的功能时,它们会更好地工作。特征工程方法通常被用作预处理步骤,以获得或构建合适的特征集。近年来,自编码器(一种特定类型的对称神经网络)已被广泛用于执行表示学习,证明了其与经典特征工程算法的竞争力。使用自动编码器的主要障碍是找到一个好的架构,这是大多数专家手动面对的过程。本文提出了一种基于进化方法的自动编码器结构搜索方法。该方法针对九个异构数据集进行了测试。所得到的结果表明,这种方法能够找到更好的架构,能够集中在一个最小化的编码,在减少的时间大部分有用的信息。
2023-01-15 cs.AI cs.LG cs.NE
AutoMC: Automated Model Compression based on Domain Knowledge and Progressive search strategy
Harbin Institute of Technology(哈尔滨工业大学)
本文提出自动化模型压缩工具AutoMC,通过构建领域知识理解各压缩方法特点,并结合先验知识与历史评估信息采用渐进式搜索策略高效探索帕累托最优压缩方案,使非专家用户能在短时间内获得满意方案。
2022-01-24 cs.AI cs.CV cs.LG
PyODDS: An End-to-end Outlier Detection System with Automated Machine Learning
Texas A&M University(得克萨斯农工大学)
离群点检测是各种数据采掘应用的重要任务。目前的异常值检测技术通常是针对特定领域手动设计的,需要大量的人工努力来设置数据库,选择算法和调整超参数。为了填补这一空白,我们提出了PyODDS,这是一个自动化的端到端Python系统,用于离群值检测和数据库支持,它可以自动优化手头新数据源的离群值检测管道。具体来说,我们在离群点检测流水线中定义搜索空间,并在给定的搜索空间内产生搜索策略。PyODDS支持基于Apache Spark后端服务器和轻量级数据库的端到端执行。它还为具有或不具有数据科学或机器学习背景的用户提供统一的界面和可视化。特别是,我们在几个真实世界的数据集上演示了PyODDS,并给出了量化分析和可视化结果。
2020-03-12 cs.AI cs.LG stat.ML
Evolutionary Context Search for Automated Skill Acquisition
Institute of Science Tokyo, Japan(东京科学研究院)
进化上下文搜索通过进化方法发现非显而易见的上下文配对,显著提升模型性能,为自动化技能获取提供高效替代方案。
2026-02-18 cs.LG cs.NE
AiAds: Automated and Intelligent Advertising System for Sponsored Search
Baidu Inc.(百度公司)
赞助搜索已经有20多年的历史,它已经被证明是一种成功的在线广告商业模式。基于点击付费定价模型和关键字定位技术,赞助系统运行在线拍卖来确定搜索广告的分配和价格。在传统的设置中,广告商应该手动创建大量的广告创意,并对一些相关的关键字进行出价,以瞄准他们的受众。由于搜索流量巨大,广告创意种类繁多,广告主人工优化的局限性成为提升该市场效率的主要瓶颈。此外,随着许多新兴的广告形式和供应不断增长,赞助搜索平台更加关注广告的ROI指标,以获得广告主的营销预算至关重要。在本文中,我们介绍了在百度开发的AiAds系统,它使用机器学习技术来构建一个自动化和智能化的广告系统。AiAds系统通过设计和实现自动竞价策略、智能目标定位和智能创建模型,将人工优化转化为多个自动化任务,并采用先进的方法对这些任务进行优化。AiAds是一种全新的赞助搜索系统架构,它改变了竞价语言和分配机制,打破了端到端广告检索框架的关键字定位限制,提供了广告创作的全局优化。该系统可以同时且显著地增加广告主的活动表现、用户体验和广告平台的收入。我们提出了系统的每个模块的整体架构和建模技术,并分享我们在解决几个关键挑战的经验教训。
2019-07-28 cs.GT cs.LG
Efficient Automated Deep Learning for Time Series Forecasting
Leibniz University Hannover(汉诺威莱布尼茨大学);Ludwig-Maximilian University(路德维希-马克西米利安大学);Fraunhofer Institute for Integrated Circuits (IIS)(弗劳恩霍夫集成电路研究所);University of Freiburg(弗莱堡大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
近年来,自动机器学习(AutoML)的效率得到了极大的提高,特别是自动深度学习(AutoDL)系统,但最近的工作集中在表格,图像或NLP任务上。到目前为止,很少有人注意到一般的AutoDL框架的时间序列预测,尽管在应用不同的新架构,这些任务的巨大成功。在本文中,我们提出了一种有效的方法,用于联合优化神经结构和超参数的整个数据处理管道的时间序列预测。与常见的NAS搜索空间相比,我们设计了一种新的神经架构搜索空间,覆盖各种最先进的架构,允许在不同的DL方法上进行有效的宏搜索。为了有效地搜索在这样一个大的配置空间,我们使用贝叶斯优化与多保真度优化。我们实证研究了几种不同的预算类型,使有效的多保真度优化不同的预测数据集。此外,我们将我们的系统(称为\system)与几个已建立的基线进行了比较,并表明它在几个数据集上的性能明显优于所有基线。
2022-07-22 cs.LG
Pressmatch: Automated journalist recommendation for media coverage with Nearest Neighbor search
K. J. Somaiya College of Engineering(K. J. 索迈亚工程学院);Specrom Analytics(Specrom分析公司)
针对产品发布时向记者推介新闻稿的耗时问题,提出基于最近邻搜索的记者推荐模型,以自动化匹配记者与新闻稿,提升报道效果。
2023-09-02 cs.AI cs.LG
Automated Quantum Circuit Design with Nested Monte Carlo Tree Search
The University of Melbourne(墨尔本大学);Data61, CSIRO(澳大利亚联邦科学与工业研究组织Data61);Silicon Quantum Computing Pty Ltd.(硅量子计算私人有限公司)
提出一种结合嵌套蒙特卡洛树搜索与组合多臂老虎机模型的量子电路自动设计框架,在多种问题上验证了其更大的搜索空间与可扩展性。
2022-07-01 cs.ET cs.LG quant-ph
Type-Driven Automated Learning with Lale
IBM Research(IBM研究院)
机器学习自动化工具,从普通的网格搜索到hyperopt、auto-sklearn和TPOT,有助于探索可能的管道的大搜索空间。不幸的是,这些工具中的每一个都有不同的语法来指定其搜索空间,导致缺乏可移植性、丢失相关点以及与可搜索基本组件的错误检查和文档不一致的虚假点。本文建议使用类型(如枚举、浮点数或字典)来检查超参数和管道配置的正确性,并自动搜索它们。为这两个目的使用类型可以保证一致性。我们介绍Lale,一种类似于scikit learn的嵌入式语言,但提供了更好的自动化,正确性检查和可移植性。Lale将现有自动化工具的范围扩展到数据形式(表格、文本、图像、时间序列)和程序设计语言(Python、Java、R)。因此,数据科学家可以利用自动化,同时保持对工作的控制。
2019-05-24 cs.LG cs.PL cs.SE
AutoLLMResearch: Training Research Agents for Automating LLM Experiment Configuration - Learning from Cheap, Optimizing Expensive
University of Notre Dame(诺丁汉大学)
本文提出AutoLLMResearch框架,通过多保真度实验环境学习LLM配置原则,解决高成本实验自动化问题,展示其在大规模LLM实验中的有效性与通用性。
2026-05-17 cs.AI cs.CL cs.LG
Automated Statistical Model Discovery with Language Models
Stanford University(斯坦福大学);Chan Zuckerberg Biohub(陈·扎克伯格生物中心)
本研究提出基于大语言模型的自动化统计模型发现方法,将其置于Box's Loop框架内实现模型提出与评判的迭代,无需手工设计搜索流程,在三类概率建模场景中表现媲美专家模型且可解释拓展经典模型。
2024-06-22 cs.CL cs.LG
Automated Loss function Search for Class-imbalanced Node Classification
School of Artificial Intelligence, Xidian University(西安电子科技大学人工智能学院);School of Cyber Engineering, Xidian University(西安电子科技大学网络与信息安全学院);Guangzhou Institute of Technology, Xidian University(西安电子科技大学广州研究院)
本文提出一种高性能、灵活且可泛化的损失函数自动搜索框架,用于解决类别不平衡节点分类问题,在15种图神经网络与数据集组合上显著优于现有方法,并发现图同质性有助于框架迁移。
2024-05-23 cs.AI cs.LG cs.SC
Automated Robustness with Adversarial Training as a Post-Processing Step
IBM Research Europe(IBM欧洲研究院);IBM Technology Campus, Damastown Ind. Park(IBM科技园区,达马斯敦工业园区)
对抗性训练是一项计算代价高昂的任务,因此寻找以鲁棒性为标准的神经网络架构可能具有挑战性。作为迈向实用自动化的一步,这项工作探索了一个简单的后处理步骤在产生强大的深度学习模型方面的功效。为了实现这一目标,我们采用对抗训练作为从神经架构搜索算法获得的优化网络架构的后处理步骤。采用特定的策略来调整不同步骤的超参数,从而产生用于生成对抗性鲁棒的深度学习模型的全自动管道。我们证明了建议的管道的有用性,在11个图像分类和9个文本分类任务进行了广泛的实验。
2021-09-06 cs.LG
Towards Execution-Grounded Automated AI Research
Stanford University(斯坦福大学)
本研究提出自动化执行器,通过执行反馈学习改进LLM预训练和后训练方法,验证了进化搜索在样本效率上的优势,但强化学习存在模式崩溃问题。
2026-01-20 cs.AI cs.CL cs.LG
AutoLoss: Automated Loss Function Search in Recommendations
City University of Hong Kong(香港城市大学);Michigan State University(密歇根州立大学);The Hong Kong Polytechnic University(香港理工大学);Bytedance(字节跳动)
设计一个有效的损失函数在训练深度推荐系统中起着至关重要的作用。大多数现有的作品通常利用预定义的和固定的损失函数,这可能导致次优的推荐质量和训练效率。最近的一些努力依赖于穷举或手动搜索的权重来融合一组候选损失函数,这在计算和时间上是非常昂贵的。它们也忽略了不同数据示例的各种收敛行为。在这项工作中,我们提出了一个AutoLoss框架,可以自动和自适应地搜索适当的损失函数从一组候选人。具体而言,我们开发了一种新的控制器网络,它可以动态地调整损失概率以可微的方式。与现有的算法不同,所提出的控制器可以根据不同的收敛行为自适应地产生不同的数据样本的损失概率。这样的设计提高了模型的泛化能力以及在深度推荐系统和数据集之间的可移植性。我们在两个基准数据集上评估了所提出的框架。结果表明,AutoLoss优于代表性基线。进一步的实验加深了我们对AutoLoss的理解,包括它的可移植性,组成部分和训练效率。
2021-06-12 cs.AI cs.IR cs.LG