Connecting the Dots: Collaborative Fine-tuning for Black-Box Vision-Language Models
University of Science and Technology of China(中国科学技术大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Nanjing University(南京大学)
本文提出CraFT方法,通过提示生成和预测精炼双模块及协作训练算法,在仅访问输入输出下实现黑盒视觉-语言模型微调,以极低内存和查询代价取得显著性能提升。
2024-06-03 cs.AI cs.CV cs.LG
Federated Adaptive Prompt Tuning for Multi-Domain Collaborative Learning
Fudan University(复旦大学)
针对联邦学习全参数训练成本高的问题,提出基于CLIP的联邦自适应提示调优算法FedAPT,通过自适应模块生成个性化提示,以不足全模型10%的参数在多域图像分类任务中取得更优性能。
2024-03-12 cs.CV cs.LG
Petals: Collaborative Inference and Fine-tuning of Large Models
HSE University(高等经济大学);Yandex(扬德克斯);University of Washington(华盛顿大学);Hugging Face(拥抱脸);ENS Paris-Saclay(巴黎萨克雷高等师范学院);Yandex School of Data Analysis(扬德克斯数据分析学院)
许多NLP任务受益于使用大语言模型(LLM),这些模型通常具有超过1000亿个参数。随着BLOOM-176 B和OPT-175 B的发布,每个人都可以下载这种规模的预训练模型。尽管如此,使用这些模型需要许多研究人员无法获得的高端硬件。在某些情况下,LLM可以通过RAM卸载或托管API更实惠地使用。然而,这些技术有先天的局限性:卸载对于交互式推理来说太慢,而API对于需要访问权重,注意力或logit的研究来说不够灵活。在这项工作中,我们提出了Petals -一个通过加入多方资源来协作推理和微调大型模型的系统。我们证明,这种策略优于卸载非常大的模型,运行推理的BLOOM-176 B的消费者GPU与$\approx$ 1步每秒,这是足够的许多交互式LLM应用程序。与大多数推理API不同,Petals还原生地公开了服务模型的隐藏状态,允许基于有效的微调方法进行训练和共享自定义模型扩展。
2023-03-02 cs.DC cs.LG
Large Language Models for Human-Machine Collaborative Particle Accelerator Tuning through Natural Language
Deutsches Elektronen-Synchrotron DESY(德国电子同步加速器研究所);Hamburg University of Technology(汉堡工业大学);Universität Hamburg(汉堡大学)
本研究提出用大语言模型实现粒子加速器自主调谐,仅靠自然语言提示即可完成子系统调谐,性能对标贝叶斯优化等先进算法,有望加速自主调谐算法在加速器运维中的落地。
2024-05-14 cs.AI cs.CL cs.LG
Resource-Efficient Personal Large Language Models Fine-Tuning with Collaborative Edge Computing
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院);Department of Information Engineering, The Chinese University of Hong Kong(香港中文大学信息工程系);The Hong Kong University of Science and Technology (Guangzhou)(香港理工大学(广州));Shenzhen Institute of Artificial Intelligence and Robotics for Society(社会人工智能与机器人研究所(深圳))
本文提出PAC框架,通过算法与系统协同设计,实现高效资源利用的个性化大语言模型微调,提升边缘计算性能。
2026-02-14 cs.AI cs.DC cs.LG
One Model for All Domains: Collaborative Domain-Prefix Tuning for Cross-Domain NER
Zhejiang University(浙江大学);AZFT Joint Lab for Knowledge Engine(AZFT知识引擎联合实验室);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Donghai Laboratory(东海实验室)
本文提出基于生成式预训练语言模型的协作式领域前缀调优方法 CP-NER,通过冻结模型参数并利用领域指令实现多源知识迁移,在 Cross-NER 基准上提升了单源和多源跨领域 NER 性能。
2023-09-18 cs.AI cs.CL cs.DB
CL3: A Collaborative Learning Framework for the Medical Data Ensuring Data Privacy in the Hyperconnected Environment
Charles Sturt University(查尔斯斯特大学);School of Computing Mathematics Engineering(计算、数学与工程学院)
本文提出CL3合作学习框架,融合迁移学习、联邦学习和增量学习,在保护医疗数据隐私的同时实现COVID-19胸部X光检测,使用Xception模型经六轮联邦训练达到89.99%的全局准确率。
2024-10-17 cs.LG
Federated Sketching LoRA: A Flexible Framework for Heterogeneous Collaborative Fine-Tuning of LLMs
Purdue University(普渡大学);Yonsei University(延世大学);University at Buffalo-SUNY(布法罗大学- SUNY)
针对资源受限客户端上大语言模型微调中的异构性问题,提出联邦草图LoRA(FSLoRA),通过草图机制让客户端选择性更新服务器维护的全局LoRA模块子矩阵,并利用草图比例灵活适应客户端约束,提供收敛性分析,实验表明优于基线并提升训练效率。
2026-05-23 cs.LG
Efficient and Joint Hyperparameter and Architecture Search for Collaborative Filtering
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tencent Inc.(腾讯公司);Baidu Inc.(百度公司)
针对现有AutoML设计协同过滤模型时架构与超参数分开搜索的问题,提出缩小搜索空间的两阶段联合搜索方法,在真实数据集上性能优于人工及已有搜索模型。
2023-07-12 cs.IR cs.LG
Random Search Hyper-Parameter Tuning: Expected Improvement Estimation and the Corresponding Lower Bound
Technion(以色列理工学院)
超参数调整是一种常用的提高神经网络性能的技术。大多数超参数搜索技术都涉及迭代过程,其中模型在每次迭代时都要重新训练。然而,每次额外的搜索迭代的预期准确性改进仍然是未知的。计算预期的改进可以帮助创建超参数调优的停止规则,并允许更明智地分配项目的计算预算。在本文中,我们建立了一个经验估计的预期精度提高超参数搜索的额外迭代。我们的结果适用于任何超参数调整方法,这是基于随机搜索\cite{bergstra2012random}和样本超参数从一个固定的分布。我们将我们的估计与误差$O\left(\sqrt{\frac{\log k}{k}}\right)$ w.h.p.绑定,其中$k$是当前迭代次数。据我们所知,这是超参数搜索的额外迭代的预期增益的第一个界限。最后,我们证明了预期精度的最佳估计仍然会有$\frac{1}{k}$的误差。
2022-08-17 cs.AI cs.LG
Edge-Assisted Collaborative Fine-Tuning for Multi-User Personalized Artificial Intelligence Generated Content (AIGC)
针对多用户边缘AIGC中隐私与效率问题,提出基于LoRA和聚类的层次化联邦聚合框架,实现个性化与全局模型协同训练,加速收敛并保障隐私。
2025-08-06 cs.LG
Amortized Auto-Tuning: Cost-Efficient Bayesian Transfer Optimization for Hyperparameter Recommendation
Carnegie Mellon University(卡内基梅隆大学);Petuum(Petuum公司);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Stanford University(斯坦福大学)
随着现代机器学习模型的超参数数量和训练时间的激增,超参数调整变得越来越昂贵。然而,在系统地评估了40种调优方法后,我们发现每种方法都面临一定的局限性。特别是,通过知识转移加速调优的方法通常需要超参数的最终性能,并且不关注低保真度信息。正如我们的经验表明,这种常见的做法是次优的,并可能导致不必要的资源使用。相反,利用低保真度调优观察来测量任务间的相似性并相应地将知识从现有任务转移到新任务是更具有成本效益的。然而,执行多保真度调优在传输设置中也有其自身的挑战:额外观察中的噪声以及对性能预测的需求。因此,我们提出了一个多任务多保真度贝叶斯优化框架,并进行了深入的分析,这导致了最好的实例-分期自动调整(AT 2)。我们进一步提出了一个离线计算的27任务超参数推荐(HyperRec)数据库,以服务于社区。在HyperRec和其他真实数据库上的大量实验表明了我们的AT 2方法的有效性。
2022-04-07 cs.AI cs.LG stat.ML
OBOE: Collaborative Filtering for AutoML Model Selection
Cornell University(康奈尔大学)
算法选择和超参数调整仍然是机器学习中最具挑战性的两个任务。自动化机器学习(AutoML)试图自动化这些任务,以使非专家能够广泛使用机器学习。本文介绍了OBOE,时间约束模型选择和超参数调整的协同过滤方法。OBOE在大量数据集上形成大量监督学习模型(算法与超参数一起)的交叉验证误差的矩阵,并拟合低秩模型以学习最佳预测交叉验证误差的模型和数据集的低维特征向量。为了为新数据集找到有希望的模型,OBOE在新数据集上运行一组快速但信息丰富的算法,并使用它们的交叉验证错误来推断新数据集的特征向量。OBOE可以在模型拟合数量或总时间预算的约束下找到好的模型。为此,本文提出了一种新的启发式主动学习的时间约束矩阵完成的最优实验设计的基础上。我们的实验表明,OBOE提供了最先进的性能比竞争的方法更快的测试床上的监督学习问题。此外,OBOE使用的双线性模型的成功表明AutoML可能比以前理解的更简单。
2019-05-20 cs.AI cs.LG stat.ML
Dynamic-SUPERB: Towards A Dynamic, Collaborative, and Comprehensive Instruction-Tuning Benchmark for Speech
National Taiwan University(国立台湾大学);Carnegie Mellon University(卡内基梅隆大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出Dynamic-SUPERB,一个面向语音的动态协作指令微调基准,包含55个评估实例,覆盖33个任务和22个数据集,并建立基线模型,发现其在已见任务上表现合理但在未见任务上表现挣扎,以推动通用语音模型发展。
2024-03-22 cs.LG cs.SD eess.AS
Hyper-Tune: Towards Efficient Hyper-parameter Tuning at Scale
Peking University(北京大学);ETH Zürich(苏黎世联邦理工学院);Kuaishou Technology(快手科技)
机器学习不断增长的需求和复杂性给超参数调优系统带来了压力:虽然模型的评估成本不断增加,但最先进技术的可扩展性开始成为一个关键瓶颈。在本文中,我们的经验时,部署超参数调优在现实世界中的应用程序在生产和现有系统的局限性的启发,我们提出了Hyper-Tune,一个有效的和强大的分布式超参数调优框架。与现有系统相比,Hyper-Tune突出了多个系统优化,包括(1)自动资源分配,(2)异步调度,(3)多保真度优化器。我们对基准数据集和生产中的大规模真实数据集进行了广泛的评估。从经验上看,在这些优化的帮助下,Hyper-Tune在各种场景下的性能都优于竞争对手的超参数调优系统,包括XGBoost、CNN、RNN和神经网络的一些架构超参数。与最先进的BOHB和A-BOHB相比,Hyper-Tune分别实现了高达11.2倍和5.1倍的加速比。
2022-01-18 cs.LG
Graph-Based Spectral Decomposition for Parameter Coordination in Language Model Fine-Tuning
Stevens Institute of Technology(斯蒂文斯理工学院);Arizona State University(亚利桑那州立大学);San Francisco State University(旧金山州立大学)
本文提出一种基于图频谱分析的参数协作优化算法,通过拉普拉斯频谱分解建模参数空间并设计联合损失与频谱过滤机制,有效提升了大型语言模型微调的效率、稳定性与质量。
2025-06-01 cs.CL cs.LG
COVR:Collaborative Optimization of VLMs and RL Agent for Visual-Based Control
COVR通过协同优化视觉语言模型与强化学习代理,利用RL生成数据提升VLM语义推理能力,并通过动作先验引导策略学习,实现视觉控制任务中的高效优化。
2026-01-04 cs.AI cs.CV cs.LG
MANGO: A Python Library for Parallel Hyperparameter Tuning
Arm(安谋科技)
调整机器学习算法的超参数是一项繁琐的任务,通常是手动完成的。为了实现自动化的超参数调整,最近的工作已经开始使用基于贝叶斯优化的技术。然而,为了实际上实现大规模机器学习训练管道的自动调整,现有库中仍然存在显著的差距,包括缺乏抽象、容错和灵活性以支持任何分布式计算框架上的调度。为了解决这些挑战,我们提出了Mango,一个用于并行超参数调优的Python库。Mango支持使用任何分布式调度框架,实现智能并行搜索策略,并提供丰富的抽象来定义与scikit-learn兼容的复杂超参数搜索空间。Mango在性能上与另一个广泛使用的库Hyperopt相当。Mango是开源的,目前在Arm Research的生产中使用,以提供最先进的超参数调整功能。
2020-05-22 cs.LG stat.ML
CoFEH: LLM-driven Feature Engineering Empowered by Collaborative Bayesian Hyperparameter Optimization
School of CS \& Key Lab of High Confidence Software Technologies (MOE), Peking University Beijing China;School of CS \& Beijing Key Laboratory of Software;Hardware Cooperative Artificial Intelligence Systems, Peking University Beijing China;School of CS \& Key Lab of High Confidence Software Technologies (MOE), Peking University;Hardware Cooperative Artificial Intelligence Systems, Peking University
本文提出CoFEH框架,通过结合LLM驱动的特征工程和贝叶斯超参数优化,实现鲁棒的端到端AutoML,解决了传统方法在搜索空间刚性和缺乏领域意识的问题,并引入互条件机制提升FE与HPO的协同效果。
2026-05-21 cs.LG
On Hyper-parameter Tuning for Stochastic Optimization Algorithms
提出了基于强化学习的随机优化算法超参数整定算法框架。超参数对随机优化算法,如进化算法(EA)和元算法的性能有着重要的影响。然而,由于这些算法的随机性,确定最优超参数非常耗时。我们提出了模型的调整过程作为一个马尔可夫决策过程,并采取策略梯度算法来调整超参数。针对不同的优化问题(连续和离散),采用不同类型的超参数(连续和离散)对随机算法进行了优化实验,结果表明,所提出的超参数优化算法对随机算法的运行时间要求并不比贝叶斯优化方法少多少.所提出的框架可以作为一个标准的工具,在随机算法的超参数调整。
2020-03-10 cs.LG cs.NE stat.ML
Tuning the Tuner: Introducing Hyperparameter Optimization for Auto-Tuning
LIACS, Leiden University Netherlands eScience Center Leiden \& Amsterdam, the Netherlands ORCID: 0000-0003-2295-8263;LIACS, Leiden University Leiden, the Netherlands ORCID: 0000-0002-2947-9444;LIACS, Leiden University Netherlands eScience Center Leiden \& Amsterdam, the Netherlands ORCID: 0000-0002-7508-3272
针对自动调优中优化算法超参数几乎不被调整的问题,提出“调优调优器”方法,通过统计评估、FAIR数据集与模拟模式,平均提升自动调优器性能94.8%,并证明元策略可进一步优化超参数。
2025-09-30 cs.DC cs.LG cs.PF
High Per Parameter: A Large-Scale Study of Hyperparameter Tuning for Machine Learning Algorithms
机器学习(ML)中的超参数已经受到了相当多的关注,超参数调整已经被视为ML管道中的重要步骤。但是,所说的调整到底有多大用处呢?虽然之前已经进行了小规模的实验,但在此我们进行了大规模的调查,具体来说,涉及26个ML算法,250个数据集(回归以及二进制和多项式分类),6个评分指标和28,857,600个算法运行。分析结果,我们得出结论,对于许多ML算法,我们不应该期望从平均超参数调整中获得相当大的收益,然而,可能有一些数据集的默认超参数表现不佳,后者对某些算法来说比其他算法更真实。通过定义一个hp_score值,它结合了算法的累积统计数据,我们能够对26个ML算法进行排名,从那些预期从超参数调整中获得最多的算法到那些预期获得最少的算法。我们相信这样的研究可以为ML从业者提供服务。
2022-07-13 cs.LG
A Structure-Agnostic Co-Tuning Framework for LLMs and SLMs in Cloud-Edge Systems
Swinburne University of Technology(斯威本理工大学);Tongji University(同济大学);Wuhan University of Technology(武汉理工大学);INFLY TECH (Shanghai) Co., Ltd.(INFLY TECH(上海)有限公司);Wuhan University(武汉大学);RMIT University(皇家墨尔本理工大学)
针对云边系统中异构大小语言模型协同训练面临的结构异质性等挑战,提出Co-PLMs结构无关协同微调框架,通过蒸馏代理模型实现跨模型知识交换,性能优于现有最优方法。
2025-11-12 cs.AI cs.CL cs.DC
Self-supervised learning for fast and scalable time series hyper-parameter tuning
Purdue University(普渡大学);Facebook Inc.(脸书公司)
时间序列模型的超参数在时间序列分析中起着重要的作用。对于给定的模型,超参数的微小差异可能导致非常不同的预测结果,因此,选择好的超参数值是必不可少的。现有的大多数通用超参数整定方法,如网格搜索、随机搜索、贝叶斯最优搜索,都是基于一个关键部分-搜索,因此它们计算量大,并且不能应用于快速和可扩展的时间序列超参数整定(HPT)。我们提出了一个HPT的自监督学习框架(SSL-HPT),它使用时间序列特征作为输入,并产生最优的超参数。与其他基于搜索的算法相比,SSL-HPT算法在获得超参数方面的速度快6- 20倍,同时在各种应用中产生相当准确的预测结果。
2021-02-10 cs.LG
Federated Hyperparameter Tuning: Challenges, Baselines, and Connections to Weight-Sharing
Carnegie Mellon University(卡内基梅隆大学);Hewlett Packard Enterprise(慧与科技)
调优超参数是机器学习管道中至关重要但艰巨的一部分。超参数优化在联邦学习中更具挑战性,其中模型是通过异构设备的分布式网络学习的;在这里,需要将数据保存在设备上并执行本地训练,这使得很难有效地训练和评估配置。在这项工作中,我们研究联邦超参数调整的问题。我们首先确定关键的挑战,并展示如何调整标准方法来形成联邦设置的基线。然后,通过与权重共享的神经架构搜索技术建立新的连接,我们引入了一种新的方法FedEx来加速联邦超参数调整,该方法适用于广泛使用的联邦优化方法,如FedAvg和最近的变体。从理论上讲,我们表明,联邦快递的变种正确地调整设备上的学习率的在线凸优化跨设备的设置。从经验上讲,我们表明FedEx可以在Shakespeare,FEMNIST和CIFAR-10基准测试中超过联邦超参数调优的自然基线几个百分点,使用相同的训练预算获得更高的准确性。
2021-11-04 cs.AI cs.DC cs.LG
Importance of Tuning Hyperparameters of Machine Learning Algorithms
Eindhoven University of Technology(埃因霍温理工大学);Columbia University(哥伦比亚大学)
许多机器学习算法的性能取决于它们的超参数设置。本研究的目标是确定是否需要调整超参数,或者是否可以安全地将其设置为默认值。我们提出了一种方法来确定调整超参数的非劣效性测试和调整风险的基础上的重要性:性能损失时发生的超参数没有调整,但设置为默认值。因为我们的方法需要默认参数的概念,我们提出了一个简单的过程,可以用来确定合理的默认参数。我们使用OpenML的59个数据集在基准研究中应用我们的方法。我们的研究结果表明,将特定的超参数保留为默认值并不比调整这些超参数差。在某些情况下,将超参数保留为默认值甚至优于使用具有有限迭代次数的搜索过程对其进行调整。
2020-07-15 cs.LG stat.ML
AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient Hyper-parameter Tuning
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Indian Institute of Technology Bombay(印度理工学院孟买分校);IBM Research(IBM研究院)
近年来,深度神经网络取得了巨大的成功;然而,训练深度模型通常具有挑战性,因为其性能在很大程度上取决于所使用的超参数。此外,即使使用最先进的(SOTA)超参数优化(HPO)算法,找到最佳超参数配置也可能是耗时的,需要针对不同的可能超参数集在整个数据集上进行多次训练。我们的核心观点是,使用数据集的信息子集进行超参数优化中涉及的模型训练运行,使我们能够更快地找到最佳超参数配置。在这项工作中,我们提出了AUTOMATA,一个基于梯度的超参数调整的子集选择框架。我们通过在文本、视觉和表格领域的真实数据集上进行的几个实验,实证评估了AUTOMATA在超参数调整方面的有效性。我们的实验表明,使用基于梯度的数据子集的超参数调整实现了显着更快的周转时间和3 $\times$ -30 $\times$的加速,同时实现了相当的性能,使用整个数据集的超参数。
2022-03-15 cs.LG
Hyper-Parameter Auto-Tuning for Sparse Bayesian Learning
Xidian University(西安电子科技大学);University of Wollongong(伍伦贡大学);Ningbo University(宁波大学);Weizmann Institute of Science(魏茨曼科学研究所)
在稀疏贝叶斯学习(SBL)中选择超参数的值可以显着影响性能。然而,超参数通常是手动调整的,这通常是一项困难的任务。最近,通过使用经验自动调谐器实现了有效的自动超参数调谐。在这项工作中,我们解决的问题,超参数自动调整使用神经网络(NN)为基础的学习。受经验自动调谐器的启发,我们设计并学习了一个基于神经网络的自动调谐器,并表明可以实现收敛速度和恢复性能的显着改善。
2022-11-09 cs.LG eess.SP
FedTune: Automatic Tuning of Federated Learning Hyper-Parameters from System Perspective
University of California, Davis(加州大学戴维斯分校);The Ohio State University(俄亥俄州立大学);Michigan State University(密歇根州立大学);DEVCOM Army Research Laboratory(DEVCOM陆军研究实验室)
联邦学习(FL)超参数在计算时间、传输时间、计算负载和传输负载方面显著影响训练开销。然而,目前手动选择FL超参数的做法给FL从业者带来了很大的负担,因为各种应用程序更喜欢不同的训练偏好。在本文中,我们提出了FedTune,一个自动FL超参数调整算法量身定制的应用程序的FL训练的不同系统要求。FedTune是轻量级和灵活的,与固定FL超参数相比,不同数据集的性能提高了8.48%-26.75%。
2022-10-04 cs.LG
Fast Hyperparameter Tuning using Bayesian Optimization with Directional Derivatives
Deakin University(迪肯大学)
在本文中,我们开发了一个基于贝叶斯优化的超参数调整框架的启发,统计学习理论的分类。我们利用PAC学习理论中的两个关键事实;与整体相比,数据的小子集的泛化范围将更高,并且可以通过简单的模型实现数据的小子集的最高精度。我们首先使用贝叶斯优化在一小部分训练数据上调整超参数。在调整整个训练数据的超参数时,我们利用学习理论的见解来寻求更复杂的模型。我们实现这一点,通过使用方向导数符号战略性地放置在超参数搜索空间,以寻求一个更复杂的模型比小数据获得的。我们证明了我们的方法的性能上的任务调整超参数的几个机器学习算法。
2019-02-06 cs.LG stat.ML
PyTorch Hyperparameter Tuning - A Tutorial for spotPython
本教程介绍如何将 spotPython 集成到 PyTorch 训练流程,并基于 CIFAR10 与 Ray Tune 比较,展示其相近或更优的调优效果及更高的灵活性和透明度。
2023-06-07 cs.AI cs.LG cs.NA
FedSA: Accelerating Intrusion Detection in Collaborative Environments with Federated Simulated Annealing
Universidade Federal Fluminense(弗鲁米嫩塞联邦大学);Trinity College Dublin(都柏林圣三一学院)
快速识别新的网络攻击模式对于提高网络安全性至关重要。然而,识别异构网络中正在进行的攻击是一项不平凡的任务。联邦学习是入侵检测系统协同训练的一种解决方案。基于联邦学习的IDS使用联邦参与者提供的本地机器学习模型来训练全局模型,而不共享本地数据。然而,优化挑战是联邦学习固有的。本文提出了联邦模拟退火(FedSA)元启发式选择超参数和一个子集的参与者为每一个聚合轮联邦学习。FedSA优化与全局模型收敛相关的超参数。该提案减少了聚合轮数,加快了收敛速度。因此,FedSA加速了从本地模型中提取学习,需要更少的IDS更新。提案评估表明,FedSA全球模型在不到10轮的沟通中收敛。与传统的聚合方法相比,该提案需要减少多达50%的聚合轮次才能实现约97%的攻击检测准确率。
2022-05-23 cs.CR cs.LG
Differentially Private Hyperparameter Tuning using Local Bayesian Optimization
Department of Statistics Columbia University(统计学系哥伦比亚大学)
本文提出DP-GIBO框架,通过高斯过程代理私密近似梯度,实现高维空间下的差分隐私超参数调优,优于非隐私随机搜索和全局贝叶斯优化方法。
2026-05-08 cs.LG stat.ML
Hyper-parameter Tuning under a Budget Constraint
U. of Southern California(南加利福尼亚大学)
我们研究了一个预算超参数调整问题,在硬资源约束下优化调整结果。我们建议将其作为一个顺序决策问题来解决,这样我们就可以使用配置的部分训练进度来动态分配剩余预算。我们的算法结合了贝叶斯信念模型,估计未来的性能配置,一个行动的价值函数,平衡勘探开发权衡,以优化最终的输出。它自动调整调优行为以适应不同的约束,这在实践中很有用。实验结果表明优于现有的算法,包括国家的最先进的一个,在现实世界中的调整任务在一系列不同的预算。
2019-02-01 cs.LG stat.ML
Deep Neural Network Hyperparameter Optimization with Orthogonal Array Tuning
University of New South Wales, Australia(新南威尔士大学,澳大利亚)
深度学习算法最近在广泛的领域(例如,计算机版本)。然而,深度学习面临的一个严峻挑战是对超参数的高度依赖。在不同的超参数配置下,算法的结果可能会有很大的波动。针对上述问题,本文提出了一种高效的用于深度学习超参数整定的正交阵列整定方法(OATM)。我们在五个详细的步骤中描述了OATM方法,并使用两个广泛使用的深度神经网络结构(递归神经网络和卷积神经网络)对其进行了详细说明。将所提出的方法与包括手动(例如,网格搜索和随机搜索)和自动地(例如,贝叶斯优化(Bayesian Optimization)实验结果表明,OATM可以显着节省调谐时间相比,国家的最先进的方法,同时保持令人满意的性能。代码在GitHub(https://github.com/xiangzhang1015/OATM)中开放
2020-02-28 cs.LG stat.ML
Efficient Hyperparameter Tuning with Dynamic Accuracy Derivative-Free Optimization
University of Bath(巴斯大学);Australian National University(澳大利亚国立大学)
许多机器学习解决方案都是依赖于好的超参数的优化问题。用于调整这些超参数的算法通常假设可以访问底层学习问题的精确解,这通常是不实用的。在这里,我们应用最近的动态精度无导数优化方法的超参数调整,它允许不精确的评估的学习问题,同时保留收敛保证。我们测试的逻辑分类器的学习弹性净权重的问题上的方法,并证明其鲁棒性和效率相比,一个固定的精度的方法。这证明了一种很有前途的超参数调整方法,既有收敛保证,又有实际性能。
2020-11-06 cs.LG cs.NA math.NA
A Linear Programming Enhanced Genetic Algorithm for Hyperparameter Tuning in Machine Learning
Brij Disa Centre for Data Science and Artificial Intelligence(布里吉·迪萨数据科学与人工智能中心);Indian Institute of Management Ahmedabad(印度管理学院艾哈迈达巴德分校);Department of Statistics and Data Science(统计与数据科学系);Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
本文将超参数调优建模为双层规划,提出用线性规划增强微型遗传算法,在离散与连续超参数上协同搜索,并在MNIST和CIFAR-10上验证了其与种群方法结合的有效性。
2024-06-30 cs.LG cs.NE
From Black-Box Tuning to Guided Optimization via Hyperparameters Interaction Analysis
IRIT, UMR5505 CNRS Université Toulouse Capitole(IRIT,CNRS UMR5505,图卢兹大学);LIS, UMR 7020 CNRS Aix-Marseille University(LIS,CNRS UMR7020,阿维尼翁-马赛大学)
MetaSHAP通过分析超参数交互,提供可操作的调优见解,帮助优化机器学习模型。
2025-12-22 cs.LG
Revisiting Differentially Private Hyper-parameter Tuning
KAUST(卡斯土尼亚大学);University of Virginia(弗吉尼亚大学)
针对超参数调优中隐私影响未被充分理解的问题,本文通过审计发现现有私有选择的理论隐私界限在白盒调优场景下不紧致,进而基于调优独特属性提出了适用性更广的改进隐私结果。
2025-08-25 cs.CR cs.LG
IEO: Intelligent Evolutionary Optimisation for Hyperparameter Tuning
Turing Intelligence Technology, UK(英国图灵智能技术公司);Nanjing University, China(中国南京大学)
超参数优化是寻找最优机器学习模型的关键过程。在最近的研究中,寻找最佳超参数设置的效率一直是一个很大的问题,因为优化过程可能是耗时的,特别是当目标函数的评估非常昂贵时。在本文中,我们介绍了一种智能进化优化算法,它适用于机器学习技术的传统进化算法,以加快整体优化过程的调整机器学习模型的分类问题。我们展示了我们的智能进化优化(IEO)在一系列的控制实验,与传统的进化优化超参数调整。实证研究表明,我们的方法平均加快了30.40%的优化速度,在最好的情况下,最高可达77.06%。
2020-09-10 cs.LG cs.NE
Implicit Differentiation for Hyperparameter Tuning the Weighted Graphical Lasso
Univ Lyon, Ens Lyon, UCBL, CNRS, Inria, LIP(里昂大学、里昂高等师范学院、里昂第一大学、法国国家科学研究中心、法国国家信息与自动化研究所、里昂并行计算实验室)
本文提出基于一阶方法求解双层优化的框架与算法,用于调优加权 Graphical Lasso 超参数,并推导其解对正则化超参数的 Jacobian。
2023-07-05 cs.LG math.OC stat.ML
Autotune: A Derivative-free Optimization Framework for Hyperparameter Tuning
SAS Institute Inc.(赛仕软件研究所公司)
机器学习应用通常需要超参数调优。超参数通常驱动模型训练过程的效率和最终模型的质量。对于超参数调整,机器学习算法是复杂的黑盒。这就产生了一类具有挑战性的优化问题,其目标函数往往是非光滑的,不连续的,不可预测的计算费用变化,并包括连续的,分类的,和/或整数变量。此外,函数求值可能由于各种原因而失败,包括数值困难或硬件故障。此外,并非所有的超参数值组合都是兼容的,这会创建所谓的隐藏约束。超参数整定需要鲁棒且高效的优化算法。在本文中,我们提出了一个自动化的并行无导数优化框架称为\textbf{Autotune},它结合了一些专门的采样和搜索方法,非常有效的调整机器学习模型,尽管这些挑战。与使用默认超参数设置相比,Autotune提供了显着改进的模型,并且在实际应用中具有最少的用户交互。鉴于训练众多候选模型的固有费用,我们证明了Autotune的搜索方法的有效性和有效的分布式和并行范例的训练和调整模型,并讨论了资源的权衡与能力,既分布的训练过程和并行化的调整过程。
2018-08-02 cs.DC cs.LG cs.NE
Provably Data-driven Multiple Hyper-parameter Tuning with Structured Loss Function
Université Grenoble Alpes, LJK, CNRS, Grenoble INP(格拉诺布尔大学,LJK,CNRS,格拉诺布尔INP);Carnegie Mellon University, Machine Learning Department(卡内基梅隆大学,机器学习系);Chinese University of Hong Kong, Department of Systems Engineering and Engineering Management(香港中文大学,系统工程与工程管理系)
本文提出首个通用框架,为数据驱动环境下多维超参数调优提供泛化保证,结合实代数几何工具,改进了半代数函数类的泛化保证,并扩展至验证损失下的超参数调优,推导出更优的界。
2026-05-12 cs.LG stat.ML
Data Quality Control in Federated Instruction-tuning of Large Language Models
Shanghai Jiao Tong University(上海交通大学);University of Cambridge(剑桥大学);Shanghai AI Laboratory(上海人工智能实验室)
针对联邦指令微调中数据质量难以控制的问题,提出FedDQC框架,通过指令-响应对齐指标和从易到难的分层训练,显著提升混合质量数据上的模型性能。
2025-02-28 cs.LG
Hyperparameters and Tuning Strategies for Random Forest
随机森林算法(RF)具有必须由用户设置的若干超参数,例如,为每棵树随机抽取的观测值的数量,以及它们是在有替换还是没有替换的情况下抽取的,为每次分裂随机抽取的变量的数量,分裂规则,节点必须包含的样本的最小数量以及树的数量。在本文中,我们首先提供了一个文献综述的参数的影响,预测性能和变量的重要性措施。众所周知,在大多数情况下,RF与软件包中指定的超参数的默认值一起工作得相当好。然而,调整超参数可以提高RF的性能。在本文的第二部分中,在简要概述了调优策略之后,我们演示了最成熟的调优策略之一基于模型的优化(MBO)的应用。为了使其更易于使用,我们提供了tuneRanger R软件包,可以自动使用MBO调谐RF。在对几个数据集的基准研究中,我们比较了tuneRanger的预测性能和运行时间与R和RF中使用默认超参数的其他调优实现。
2019-02-26 cs.LG stat.ML
Genetic Programming Hyper-Heuristics with Vehicle Collaboration for Uncertain Capacitated Arc Routing Problems
Victoria University of Wellington(惠灵顿维多利亚大学);Warwick Business School(华威商学院)
由于其直接关系到灾后运营,抄表和城市垃圾收集,不确定的容量限制弧路由问题(UCARP)是一个重要的优化问题。随机模型是研究的关键,因为它们比确定性模型更准确地代表现实世界。虽然已经有大量的研究在解决路径问题的不确定性,很少有人考虑UCARP,没有考虑车辆之间的合作,以处理不确定性的负面影响。本文提出了一种新的解决方案的建设过程(SCP),产生解决方案UCARP在一个协作,多车辆的框架。它包括两种类型的协作活动:一种是在车辆意外消耗容量时(\emph{route failure}),另一种是在重新加注过程中。然后,我们提出了一个遗传编程超启发式(GPHH)算法来进化的路由策略内使用的协作框架。实验研究表明,新的启发式与车辆协作和GP进化的路由策略显着优于比较国家的最先进的算法在通常研究的测试问题。这在具有大量任务和车辆的情况下尤其如此。这清楚地表明了车辆协作在处理不确定环境中的优势,以及新提出的算法的有效性。
2019-11-20 cs.LG cs.NE
Using mixup as regularization and tuning hyper-parameters for ResNets
Texas A&M University(德克萨斯A&M大学)
虽然新颖的计算机视觉架构越来越受欢迎,但模型架构的影响通常与训练方法的变化或探索有关。基于身份映射的架构ResNets和DenseNets在图像分类任务中承诺了开创性的结果,即使现在给出的数据相当有限,它们也是首选方法。考虑到使用有限资源进行训练的容易性,这项工作重新访问了ResNet,并通过使用混合数据增强作为正则化和调整超参数来改进ResNet 50 \cite{resnets}。
2021-11-23 cs.CV cs.LG
CPMLHO:Hyperparameter Tuning via Cutting Plane and Mixed-Level Optimization
Tongji University(同济大学)
神经网络的超参数优化可以表示为一个两层优化问题。采用双层优化算法自动更新超参数,超参数的梯度为基于最佳响应函数的近似梯度。寻找最佳响应函数是非常耗时的。本文提出了一种新的超参数优化方法CPMLHO,该方法利用割平面法和混合目标函数,在内层增加一个割平面来约束响应函数的空间。为了获得更准确的超梯度,混合水平可以灵活地调整损失函数,通过使用训练集和验证集的损失。实验结果表明,与现有方法相比,该方法能够在训练过程中自动更新超参数,并能找到更多更优的超参数,具有更高的精度和更快的收敛速度。
2022-12-11 cs.LG
Online Hyper-parameter Tuning in Off-policy Learning via Evolutionary Strategies
Columbia University(哥伦比亚大学);Google Brain Robotics(谷歌大脑机器人部门)
已知离策略学习算法对超参数的选择敏感。然而,与超参数可以经由例如元梯度来优化的接近策略算法不同,类似的技术不能直接应用于离策略学习。在这项工作中,我们提出了一个框架,需要应用进化策略在线超参数调整离策略学习。我们的公式与元梯度密切相关,并利用相对低维搜索空间的黑盒优化的优势。我们表明,我们的方法优于最先进的离策略学习基线与静态超参数和最近的工作在广泛的连续控制基准。
2020-06-13 cs.LG cs.NE stat.ML
A Scalable and Cloud-Native Hyperparameter Tuning System
Ant Financial Services Group(蚂蚁金融服务集团);Cisco Systems(思科系统公司);Caicloud(才云科技);Google(谷歌);IBM(国际商业机器公司)
在本文中,我们介绍Katib:一个可扩展的,云原生的,生产就绪的超参数调优系统,是不可知的底层机器学习框架。虽然有多个超参数调优系统可用,但这是第一个同时满足系统用户和管理员需求的系统。我们提出了系统的动机和设计,并将其与现有的超参数调优系统进行对比,特别是在多租户,可扩展性,容错性和可扩展性方面。它可以部署在本地机器上,或作为服务托管在内部数据中心或私有/公共云中。我们使用实验结果以及现实世界的生产用例来展示我们的系统的优势。Katib拥有来自多家公司的积极贡献者,并在Apache 2.0许可下在\emph{https://github.com/kubeflow/katib}开源。
2020-06-08 cs.DC cs.LG
Automatic Setting of DNN Hyper-Parameters by Mixing Bayesian Optimization and Tuning Rules
University of Ferrara(费拉拉大学)
深度学习技术由于其出色的效果,在工业和研究环境中发挥着越来越重要的作用。然而,要设置的大量超参数如果手动设置则可能导致错误。最先进的超参数调整方法是网格搜索,随机搜索和贝叶斯优化。前两种方法是昂贵的,因为它们分别尝试超参数的所有可能组合和随机组合。相反,贝叶斯优化构建目标函数的代理模型,使用高斯过程回归量化代理中的不确定性,并使用获取函数来决定在何处对新的超参数集进行采样。该工作面向超参数优化领域。目的是改进贝叶斯优化应用于深度神经网络。为此,我们建立了一个新的算法来评估和分析网络的训练和验证集的结果,并使用一组调整规则来添加新的超参数和/或减少超参数搜索空间,以选择一个更好的组合。
2020-06-03 cs.CV cs.LG stat.ML
Multi-Objective Hyperparameter Tuning and Feature Selection using Filter Ensembles
Ludwig-Maximilians-Universität München(慕尼黑大学);Fraunhofer Institute for Integrated Circuits IIS(弗劳恩霍夫集成电路研究所)
特征选择和超参数调整是机器学习中的关键任务。超参数调整通常有助于提高模型性能,而特征选择则用于获得稀疏模型。稀疏性可以产生更好的模型可解释性和更低的数据采集、数据处理和模型推断成本。虽然稀疏性可能对预测性能具有有益或有害的影响,但是性能的小幅下降可能是可接受的,以换取稀疏性的实质性增益。因此,我们把特征选择作为一个多目标优化任务。我们同时执行超参数调整和特征选择,因为模型特征的选择可能会影响超参数的表现。我们提出,基准,并比较两种不同的方法多目标联合超参数优化和特征选择:第一个使用多目标基于模型的优化。第二个是一个进化的NSGA-II为基础的包装器方法,采用专门的采样,突变和重组运营商的功能选择。这两种方法都使用参数化滤波器集成。虽然基于模型的优化需要较少的客观评估来实现良好的性能,但与NSGA-II相比,它会产生计算开销,因此首选的选择取决于在给定数据上评估模型的成本。
2020-02-13 cs.LG stat.ML
Fast Hyperparameter Tuning for Ising Machines
Fujitsu Research(富士通研究院);Fujitsu LTD.(富士通有限公司);Waseda University(早稻田大学)
本文提出了一种名为FastConvergence的TPE收敛加速方法,用于加速Ising机的超参数调优,实验表明其能在不到一半的试验次数内达到与单独使用TPE相似的效果。
2022-11-29 cs.LG cs.NE
Revisiting Hyperparameter Tuning with Differential Privacy
Department of Computer Science and Software Engineering, Shenzhen University, Shenzhen, China(深圳大学计算机科学与软件工程系);Department of Computer Science and Engineering, The Hong Kong University of Science and Technology, Hong Kong SAR, China(香港科技大学计算机科学与工程系)
本文提出一种带差分隐私的超参数调优框架,其隐私损失与候选数无关而与效用相关,理论上界为效用平方根,经验上按对数平方根缩放,实现隐私与效用的权衡。
2025-05-23 cs.CR cs.LG