Locally Adaptive Hierarchical Cluster Termination With Application To Individual Tree Delineation
University of Victoria(维多利亚大学);Pacific Forestry Centre, National Resources Canada(加拿大自然资源部太平洋林业中心)
提出了一种局部自适应的聚类终止过程(相对于凝聚合并的集合代表的层次树),用于在配备距离函数的集合上进行凝聚层次聚类。它代表了一个多尺度的替代传统的规模依赖的阈值为基础的终止标准。
2022-12-01 cs.LG stat.ML
Interpretable Locally Adaptive Nearest Neighbors
Bielefeld University(比勒费尔德大学);Honda Research Institute Europe GmbH(本田欧洲研究所)
在训练自动化系统时,已经证明通过学习特定于问题的度量来适应数据的表示是有益的。这个指标是全球性的。我们扩展了这个想法,并广泛使用的家庭的k近邻算法,开发一种方法,允许学习本地自适应指标。这些本地指标不仅提高了性能,而且自然是可解释的。为了展示我们的方法是如何工作的重要方面,我们进行了一些实验的合成数据集,我们在现实世界的基准数据集显示其实用性。
2021-09-29 cs.LG stat.ML
Locally Adaptive Federated Learning
Saarland University(萨尔大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);Johns Hopkins University(约翰斯·霍普金斯大学)
针对标准联邦优化方法因统一局部步长收敛慢的问题,提出利用各客户端局部几何信息的局部自适应联邦学习算法,经理论分析与实验验证,其在非凸场景下性能优于现有方法且泛化性更优。
2024-05-14 cs.LG math.OC stat.ML
Locally Adaptive and Differentiable Regression
The University of Utah(犹他大学);The University of Kentucky(肯塔基大学)
针对过参数化模型忽视连续性与可微性的问题,提出基于局部模型加权平均的全局连续可微回归框架,混合核岭与多项式回归实现更快收敛和更优性能。
2023-10-13 cs.LG stat.ML
Locally adaptive activation functions with slope recovery term for deep and physics-informed neural networks
Brown University(布朗大学);Massachusetts Institute of Technology(麻省理工学院);Pacific Northwest National Laboratory(太平洋西北国家实验室)
我们提出了两种局部自适应激活函数的方法,即逐层和逐神经元局部自适应激活函数,它们可以提高深度和物理信息的神经网络的性能。激活函数的局部自适应是通过在每一层(逐层)和每个神经元(逐神经元)分别引入一个可伸缩参数,然后使用随机梯度下降算法的变体对其进行优化来实现的。为了进一步提高训练速度,在损失函数中加入了基于激活斜率的斜率恢复项,进一步加快了收敛速度,从而降低了训练成本。在理论方面,我们证明了在所提出的方法中,梯度下降算法不会被吸引到次优临界点或局部极小值的实际条件下的初始化和学习率,所提出的方法的梯度动态是无法实现的任何(自适应)学习率的基础方法。我们进一步表明,自适应激活方法加快收敛隐式乘条件矩阵的基础方法的梯度,而没有任何明确的计算条件矩阵和矩阵向量积。不同的自适应激活函数诱导不同的隐式条件矩阵。此外,所提出的方法与斜率恢复,以加快训练过程。
2020-06-17 cs.LG stat.ML
Eve: A Gradient Based Optimization Method with Locally and Globally Adaptive Learning Rates
Carnegie Mellon University(卡内基梅隆大学)
随机优化的自适应梯度方法局部地调整每个参数的学习率。然而,还有一个全局学习率必须调整,以获得最佳性能。在本文中,我们提出了一种新的算法,适应学习率本地为每个参数分别,也为所有参数一起全局。具体来说,我们修改了Adam,这是一种用于训练深度学习模型的流行方法,使用一个系数来捕获目标函数的属性。从经验上讲,我们的方法(我们称之为Eve)在训练深度神经网络方面优于Adam和其他流行的方法,例如用于图像分类的卷积神经网络和用于语言任务的递归神经网络。
2018-06-11 cs.LG
A Locally Adaptive Interpretable Regression
Chungbuk National University(忠北国立大学);Microsoft Research(微软研究院);Ton Duc Thang University(孙德胜大学)
具有良好可预测性和高度可解释性的机器学习模型对于决策支持系统至关重要。线性回归是最容易解释的预测模型之一。然而,简单的线性回归中的线性会影响其可预测性。在这项工作中,我们介绍了一个本地自适应可解释回归(LoAIR)。在LoAIR中,由神经网络参数化的元模型预测用于快速适应的回归系数的高斯分布的百分位数。我们在公共基准数据集上的实验结果表明,我们的模型不仅实现了与其他最先进基线相当或更好的预测性能,而且还发现了输入变量和目标变量之间的一些有趣关系,例如二氧化碳排放量与国民生产总值(GNP)之间的抛物线关系。因此,LoAIR是通过提高线性回归的预测能力而不降低其可解释性来弥合计量经济学,统计学和机器学习之间差距的一步。
2022-04-28 cs.AI cs.LG stat.ML
An Adaptive Importance Sampling for Locally Stable Point Processes
University of Seoul(首尔大学)
本文提出一种基于齐次泊松点过程和交叉熵最小化的自适应重要性采样方法,用于求解有界区域内局部稳定点过程统计量的期望值,并证明了其收敛性与渐近正态性。
2025-03-01 cs.LG stat.CO stat.ML
Boosting Variational Inference With Locally Adaptive Step-Sizes
ETH Zurich(苏黎世联邦理工学院);Google Research(谷歌研究院)
变分推理在变分族的能力和找到近似后验分布的易处理性之间进行权衡。相反,提升变分推理允许从业者通过花费更多的计算来获得越来越好的后验近似。提升变分推理广泛采用的主要障碍是在强变分推理基线上进行改进所需的资源量。在我们的工作中,我们将这种限制追溯到KL发散的全局曲率。我们的特点是如何全局曲率的影响时间和内存消耗,解决问题的概念,局部曲率,并提供了一种新的近似回溯算法估计局部曲率。我们为我们的算法提供了新的理论收敛速度,并在合成和真实世界的数据集上进行了实验验证。
2021-05-19 cs.LG stat.ML
Locally Adaptive One-Class Classifier Fusion with Dynamic $\ell$p-Norm Constraints for Robust Anomaly Detection
Bilkent University(毕尔肯大学)
本文提出一种基于动态$\ell_p$范数约束的局部自适应单类分类器融合框架,通过内点优化实现最高19倍加速,并在UCI及时序数据集上验证了其在多种异常检测场景中的优越性能。
2024-11-20 cs.LG stat.ML
Locally Adaptive Label Smoothing for Predictive Churn
Google Research(谷歌研究院)
训练现代神经网络是一个固有的噪声过程,可能导致高\emph{prediction churn} -由于参数初始化和小批量中的随机化等因素,同一模型的重新训练之间存在差异-即使训练的模型都达到相似的精度。这种预测扰动在实践中可能是非常不期望的。在本文中,我们提出了几个基线,以减少流失,并表明,软标签的训练,通过自适应平滑每个例子的标签的基础上的例子的相邻标签,往往优于流失的基线,同时提高各种基准分类任务和模型架构的准确性。
2021-06-11 cs.AI cs.LG
Monte Carlo Filtering Objectives: A New Family of Variational Objectives to Learn Generative Model and Neural Adaptive Proposal for Time Series
Royal Institute of Technology(皇家理工学院);Volvo Car Corporation(沃尔沃汽车公司);Chalmers University of Technology(查尔姆斯理工大学)
学习生成模型和推断潜在的轨迹已被证明是具有挑战性的时间序列,由于灵活的生成模型的棘手的边缘可能性。它可以通过优化的替代目标来解决。我们提出了蒙特卡洛过滤目标(MCFO),一个家庭的变分目标,共同学习参数生成模型和摊销的时间序列的自适应重要性建议。MCFO扩展了最新目标中的顺序蒙特卡罗方法之外的似然估计量的选择,具有重要的属性,揭示了目标紧密性的因素,并允许较少的偏差和变化梯度估计。我们证明了所提出的MCFO和梯度估计导致有效和稳定的模型学习,并且学习的生成模型很好地解释了数据,并且重要性建议在各种时间序列数据上更具样本效率。
2021-05-20 cs.LG stat.ML
Layer-wise and Dimension-wise Locally Adaptive Federated Learning
Baidu Research(百度研究院)
在联邦学习(FL)的新兴范例中,大量的客户端,如移动设备,用于训练可能的高维模型在其各自的数据。将(维度方面)自适应梯度方法(例如Adam,AMSGrad)与FL相结合一直是一个积极的方向,在许多情况下,这被证明优于传统的基于SGD的FL。在本文中,我们专注于训练联邦深度神经网络的问题,并提出了一种新的FL框架,该框架进一步引入了逐层自适应局部模型更新。我们的框架可以应用于局部自适应FL方法,包括最近的两个算法,Mime和Fed-AMS。从理论上讲,我们提供了一个收敛性分析,我们的逐层FL方法,创造Fed-LAMB和Mime-LAMB,它匹配的收敛速度的状态的最先进的结果在FL和表现出线性加速的工人的数量。在IID和非IID局部数据设置下,在各种数据集和模型上的实验结果表明,与最近的各种自适应FL方法相比,Fed-LAMB和Mime-LAMB都具有更快的收敛速度和更好的泛化性能。
2022-06-23 cs.LG
Structured Representation Learning with Locally Linear Embeddings and Adaptive Feature Fusion
Mila – Quebec AI Institute(米拉-魁北克人工智能研究所)
受神经科学启发,提出一种强化学习框架,利用局部线性嵌入捕捉状态局部结构,并通过注意力机制自适应融合动态与奖励特征,提升学习效率。
2026-06-18 cs.AI cs.LG
On training locally adaptive CP
Royal Holloway, University of London(伦敦大学皇家霍洛威学院)
本文提出通过可训练且依赖对象属性的单调变量变换重新定义 CP 一致性度量,从而获得边际有效、宽度局部自适应的预测区间,并用平滑目标直接梯度训练。
2023-06-05 cs.AI cs.LG stat.ML
Adaptive Zeroth-Order Optimisation of Nonconvex Composite Objectives
Technische Universität Berlin(柏林工业大学)
在本文中,我们提出并分析了非凸复合目标的零阶优化算法,重点是减少复杂性对维数的依赖。这是通过利用低维结构的决策集使用随机镜像下降法与熵相似的功能,它执行梯度下降的空间配备了最大的范数。为了提高梯度估计,我们用基于Rademacher分布的采样方法取代了经典的高斯平滑方法,并表明小批量方法可以处理非欧几何。为了避免调整超参数,我们分析了一般随机镜像下降的自适应步长,并表明所提出的算法的自适应版本收敛,而不需要有关问题的先验知识。
2022-08-14 cs.LG math.OC
A Modular Analysis of Adaptive (Non-)Convex Optimization: Optimism, Composite Objectives, and Variational Bounds
University of Alberta(阿尔伯塔大学);Imperial College London(伦敦帝国学院)
近年来,人们在扩展在线学习和增量随机优化算法的范围方面做了大量的工作。在本文中,我们有助于这一努力在两个方面:第一,基于一个新的遗憾分解和概括的Bregman分歧,我们提供了一个独立的,模块化的分析两个主力的在线学习:(一般)自适应版本的镜像下降(MD)和跟随正规化领导(FTRL)算法。分析是额外小心地进行的,以便不引入证明中不需要的假设,并允许以直接的方式组合不同的算法思想(例如,适应性、乐观、隐式更新)和学习设置(例如,强凸或复合目标)。这样,我们就能够重新证明,扩展和完善大量的文献,同时保持简洁的证明。第二个贡献是这个仔细分析的副产品:我们提出了改进的变分边界平滑,复合目标的算法,包括一个新的家庭乐观MD算法,每轮只有一个投影步骤。此外,我们提供了一个简单的扩展自适应遗憾界实际相关的非凸问题设置,基本上没有额外的努力。
2017-09-08 cs.LG math.OC stat.ML
Minimax-optimal and Locally-adaptive Online Nonparametric Regression
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);INRIA(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔理工学院);Vienna University(维也纳大学)
本文针对对抗性在线非参数回归提出一种无参数算法,通过修剪链式树动态适应局部 Hölder 平滑性,首次实现计算高效且局部自适应的极小极大最优速率。
2025-04-11 cs.LG math.ST stat.ML
Learning Locally Adaptive Metrics that Enhance Structural Representation with $\texttt{LAMINAR}$
Interdisciplinary Center for Scientific Computing, University of Heidelberg(海德堡大学跨学科科学计算中心)
本文提出无监督机器学习流水线 $\ exttt{LAMINAR}$,利用连续正则化流和逆变换采样在数据空间定义黎曼流形,从而学习局部自适应度量以生成基于密度的距离,有效增强复杂数据的结构表示。
2024-11-13 cs.LG
Locally Adaptive Learning Loss for Semantic Image Segmentation
Beijing NetPosa Technologies Co., Ltd.(北京网罗科技有限公司);Institut National des Sciences Appliquées de Lyon(里昂应用科学学院)
我们提出了一种新的局部自适应学习估计器,用于增强深度神经网络的内部和内部区分能力,它可以用作语义图像分割任务的改进损失层。大多数损失层计算特征图和地面实况之间的像素成本,忽略空间布局和具有相同对象类别的相邻像素之间的交互,因此网络不能有效地对类内连接敏感。该方法首先对预测特征图进行自适应池化滤波操作,目的是合并一小组具有相同类别的相邻像素的预测分布,然后计算合并后的分布向量与其类别标签之间的成本。这样的设计可以使来自相同类别的相邻预测的组参与关于其类别的预测正确性的估计,并且因此训练网络以基于其类别对相邻像素之间的区域连接更敏感。在Pascal VOC 2012分割数据集上的实验中,一致改进的结果表明,我们提出的方法实现了比以前的同行更好的分割掩模。
2018-04-16 cs.CV cs.LG
Dynamic Privacy Allocation for Locally Differentially Private Federated Learning with Composite Objectives
KTH Royal Institute of Technology(KTH皇家理工学院)
本文提出一种局部差分隐私联邦学习算法,通过动态分配时变噪声方差以最小化优化误差上界,在隐私预算约束下同时实现隐私保护与效用,无需调整迭代次数且性能优于现有方法。
2023-08-02 cs.CR cs.DC cs.LG
A new approach to locally adaptive polynomial regression
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Tata Institute of Fundamental Research(塔塔基础研究 Institute);Indian Statistical Institute(印度统计研究所)
针对非参数回归中自适应带宽选择的核心挑战,提出基于$\u2113_2$范数区间投影准则的新带宽选择流程,推导了非渐近风险界,证明其可近乎最优地适应局部Hölder指数,为该经典问题提供新视角。
2025-05-20 cs.LG math.PR math.ST
Adaptive Locally Linear Embedding
Ferdowsi University of Mashhad(马什哈德费尔多西大学);Center of Excellence in Soft Computing and Intelligent Information Processing, Ferdowsi University of Mashhad(马什哈德费尔多西大学软计算与智能信息处理卓越中心)
本文提出自适应局部线性嵌入(ALLE),通过数据驱动的动态度量替代欧氏距离,以拓扑邻域包含关系重新定义邻近性,从而在复杂高维数据降维中实现更优的邻域保持和更准确的嵌入。
2025-04-09 cs.AI cs.LG
Adaptive Stochastic Optimisation of Nonconvex Composite Objectives
Technische Universität Berlin(柏林工业大学);GT-ARC Gemeinnützige GmbH(GT-ARC公益有限责任公司)
本文提出并分析了一类广义随机复合镜像下降算法。与自适应步长,所提出的算法收敛,而不需要先验知识的问题。结合熵类更新生成函数,这些算法在具有最大范数的空间中执行梯度下降,这使我们能够利用高维问题的决策集的低维结构。与基于Rademacher分布和方差缩减技术的采样方法一起,所提出的算法保证了零阶优化问题的对数复杂度对维数的依赖。
2022-11-21 cs.LG math.OC
An Adaptive Locally Connected Neuron Model: Focusing Neuron
Isik University(伊希克大学)
本文提出了一种新的人工神经元模型,能够在输入的拓扑域中学习其感受野。该模型提供了自适应和可微的局部连通性(可塑性)适用于任何领域。它不需要其他工具比反向传播算法来学习它的参数控制的感受野的位置和孔径。这项研究探讨了这种能力是否会使神经元专注于信息输入,并产生比完全连接的神经元更大的优势。实验包括将一个或两个隐藏层的神经元网络集中在合成的和已知的图像识别数据集上的测试。结果表明,聚焦神经元可以将它们的感受野移向更多信息的输入。在简单的双隐层网络中,聚焦层在2D空间数据集的分类中优于密集层。此外,即使当70个$\%$的权重被修剪时,聚焦网络也比密集网络表现得更好。对卷积网络的测试表明,使用聚焦层而不是密集层来分类卷积特征在某些数据集中可能会更好。
2020-09-07 cs.LG cs.NE stat.ML
ARES: Locally Adaptive Reconstruction-based Anomaly Scoring
School of Computing, National University of Singapore(新加坡国立大学计算学院);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);Institute of Data Science, National University of Singapore(新加坡国立大学数据科学研究所)
我们如何检测异常:即与给定的高维数据集(如图像或传感器数据)显著不同的样本?这是一个具有许多应用的实际问题,并且也与使学习算法对意外输入更鲁棒的目标相关。自动编码器是一种流行的方法,部分原因是它们的简单性和执行降维的能力。然而,异常评分函数不适应正常样本范围内重建误差的自然变化,这阻碍了它们检测真实异常的能力。在本文中,我们经验证明了本地自适应异常评分的重要性,在实验中与真实数据。然后,我们提出了我们的新的自适应重建错误为基础的评分方法,它适应其评分的基础上的局部行为的重建错误的潜在空间。我们表明,这提高了异常检测性能在各种各样的基准数据集的相关基线。
2022-06-15 cs.AI cs.LG
Deep Learning meets Nonparametric Regression: Are Weight-Decayed DNNs Locally Adaptive?
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
该研究从非参数回归视角,提出深度ReLU网络的并行变体,证明仅调权重衰减正则化因子即可让其估计误差接近Besov和BV函数类的极小极大率,且越深越优,解释了深度的作用。
2024-05-18 cs.LG stat.ML
TapWeight: Reweighting Pretraining Objectives for Task-Adaptive Pretraining
UC San Diego(加州大学圣迭戈分校)
提出任务自适应预训练框架TapWeight,通过求解多级优化问题基于下游反馈自动确定各预训练目标的最优权重,在分子属性预测和自然语言理解任务上显著超越基线。
2024-10-13 cs.LG
Alpha-Trimming: Locally Adaptive Tree Pruning for Random Forests
University of British Columbia(不列颠哥伦比亚大学);Simon Fraser University(西蒙菲莎大学)
针对随机森林中树需完全生长的传统认知局限,提出alpha-trimming快速自适应剪枝算法,可在不重拟合树的下调参,在46个数据集基准测试中有效降低均方预测误差且无大幅上升。
2024-08-13 cs.LG stat.CO stat.ML
LABCAT: Locally adaptive Bayesian optimization using principal-component-aligned trust regions
Stellenbosch University(斯泰伦博斯大学)
本文提出LABCAT算法,通过主成分对齐旋转与基于局部GP长度尺度的自适应重缩放扩展置信域BO,实验证明其优于多种先进黑盒优化方法。
2024-06-16 cs.LG
AutoStep: Locally adaptive involutive MCMC
University of British Columbia(不列颠哥伦比亚大学)
针对MCMC方法步长选择难、多尺度目标无全局最优步长的问题,提出AutoStep MCMC方法,可根据目标分布局部几何自适应选步长,理论上保证良好性质,实验中单位成本有效样本量比肩SOTA方法。
2025-05-20 cs.LG stat.CO stat.ML
MODE: Multi-Objective Adaptive Coreset Selection
CRIL, Université d’Artois(CRIL,阿登大学)
MODE通过多目标自适应策略动态优化小集选择,实现高效数据利用与模型性能提升。
2025-12-24 cs.AI cs.LG
Locally-Adaptive Nonparametric Online Learning
DeepMind(深度思维)
在线算法的主要优势之一是它们适应任意数据序列的能力。这在非参数设置中尤其重要,在非参数设置中,性能是根据能够适应复杂环境的丰富的比较器函数类来衡量的。虽然这样的硬比较器和复杂的环境可能会表现出本地的模式,有效的算法,可以证明利用这些本地模式,几乎是未知的。我们填补了这一空白,引入高效的在线算法(基于一个单一的通用主算法),每个适应于以下之一:(i)本地Lipschitzness的竞争对手的功能,(ii)本地度量维度的实例序列,(iii)本地性能的预测跨不同区域的实例空间。扩展以前的方法,我们设计的算法,动态增长的层次$ε$ -网的实例空间,其修剪对应于不同的“局部配置文件”的问题。使用基于树专家的技术,我们同时和有效地竞争对所有这样的修剪,并证明遗憾界每个缩放与一个不同类型的局部规律性的数量。当与“简单”的局部配置文件竞争时,我们的技术提供了比使用以前的方法证明的更好的遗憾界限。另一方面,我们的边界的时间依赖性并不比通过忽略任何局部的时间依赖性更差。
2020-11-01 cs.LG stat.ML
Projection-Free Adaptive Gradients for Large-Scale Optimization
Georgia Institute of Technology(佐治亚理工学院);Zuse Institute Berlin(柏林祖斯研究所);Technische Universität Berlin(柏林工业大学)
大规模优化的复杂性可能在于处理目标函数和处理约束集。在这方面,随机Frank-Wolfe算法占据了独特的位置,因为它们减轻了计算负担,通过只查询近似的一阶信息的目标,并通过保持迭代的可行性,而不使用投影。在本文中,我们通过自适应梯度混合来提高一阶信息的质量。我们推导出收敛速度,并证明了我们的方法在凸和非凸目标的最先进的随机Frank-Wolfe算法的计算优势。实验结果进一步表明,该方法可以提高自适应梯度算法的性能。
2021-02-15 cs.LG math.OC
AdaGrid: Adaptive Grid Search for Link Prediction Training Objective
EPFL(洛桑联邦理工学院);Stanford University(斯坦福大学)
有助于机器学习模型成功的最重要因素之一是良好的训练目标。训练目标对模型的性能和泛化能力有重要影响。本文专门针对图神经网络训练目标的链接预测,这在现有的文献中还没有探讨。这里,训练目标包括负采样策略和各种超参数,例如控制如何使用训练边缘的边缘消息比。通常,这些超参数通过完全网格搜索进行微调,这非常耗时且依赖于模型。为了减轻这些限制,我们提出了自适应网格搜索(AdaGrid),它在训练过程中动态调整边缘消息比率。它与模型无关,具有高度可扩展性,具有完全可定制的计算预算。通过大量的实验,我们表明,AdaGrid可以提高性能的模型高达$1.9\%$,同时是9倍的时间效率比一个完整的搜索。总的来说,AdaGrid代表了一种有效的自动化算法,用于设计机器学习训练目标。
2022-05-08 cs.LG cs.SI
QUIVER: Cost-Aware Adaptive Preference Querying in Surrogate-Assisted Evolutionary Multi-Objective Optimization
University of Warwick(沃里克大学);Warwick Business School(沃里克商学院)
提出QUIVER方法,通过自适应选择目标评估与异质偏好查询(成对偏好陈述与无差异调整),在代理辅助多目标优化中最小化决策遗憾,实验显示在WFG难题上效用遗憾降低25%。
2026-06-18 cs.LG cs.NE math.OC
Adaptive Resampling with Bootstrap for Noisy Multi-Objective Optimization Problems
Technische Universität Dortmund(多特蒙德技术大学)
针对带噪声多目标优化,提出基于Bootstrap和支配概率的自适应重采样决策函数,集成于NSGA-II,在多种噪声下验证了有效性。
2025-04-24 cs.AI cs.LG stat.ML
Learning Adaptive Evolutionary Computation for Solving Multi-Objective Optimization Problems
Eindhoven University of Technology(埃因霍温理工大学);Nobleo Manufacturing(Nobleo制造公司)
多目标进化算法被广泛应用于求解多目标优化问题。这些算法依赖于设置适当的参数来找到好的解决方案。然而,在解决非试验(组合)优化问题时,这种参数调整可能在计算上非常昂贵。本文提出了一个框架,集成MOEA与自适应参数控制使用深度强化学习(DRL)。DRL策略被训练为自适应地设置值,这些值指示优化期间的解的突变强度和概率。我们测试所提出的方法与一个简单的基准问题和现实世界中,复杂的仓库设计和控制问题。实验结果表明,我们的方法在解决方案的质量和计算时间方面的优势,以达到良好的解决方案。此外,我们还证明了学习策略是可转移的,即,在简单的基准问题上训练的策略可以直接应用于有效地解决复杂的仓库优化问题,而不需要再训练。
2022-11-01 cs.LG cs.NE
Enhancing Kernel Flexibility via Learning Asymmetric Locally-Adaptive Kernels
KU Leuven(鲁汶大学);Shanghai Jiao Tong University(上海交通大学);Fudan University(复旦大学)
针对传统核学习核灵活性不足的问题,本文提出带可训练局部自适应带宽的LAB RBF核,构建非对称核岭回归框架与迭代学习算法,在大规模数据集上性能优于Nyström类方法及残差神经网络。
2023-10-08 cs.LG
Multi-Objective Optimization Using Adaptive Distributed Reinforcement Learning
Huawei Technology Munich Research Center(华为技术慕尼黑研究中心);Hasso Plattner Institute, University of Potsdam(波茨坦大学哈索·普拉特纳研究所)
该研究提出一种多目标多智能体强化学习算法,在动态分布式ITS环境中实现自适应小样本学习,并在边缘云计算场景下优于现有基准,且推理仅需6毫秒。
2024-03-13 cs.AI cs.LG cs.MA
Fixed and Adaptive Topological DeepONets: Functional Measurements on Hausdorff Locally Convex Spaces
Division of Applied Mathematics, Brown University(布朗大学应用数学系)
本文提出固定与自适应拓扑DeepONet,将点样本替换为Hausdorff局部凸空间对偶的连续线性泛函,在多算子任务上验证其性能,为非可赋范空间提供紧凑可移植的函数坐标。
2026-08-10 cs.LG math-ph math.GN
Gradient-Adaptive Policy Optimization: Towards Multi-Objective Alignment of Large Language Models
Key Lab of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences (CAS)(智能信息处理重点实验室,计算技术研究所,中国科学院);State Key Lab of AI Safety(人工智能安全国家重点实验室);University of Chinese Academy of Sciences, CAS(中国科学院大学);Zhejiang University(浙江大学)
本文提出梯度自适应策略优化GAPO及其偏好版本P-GAPO,将LLM人类价值对齐建模为多目标优化问题,通过多重梯度下降平衡冲突目标,并在Mistral-7B上验证其在有用性和无害性上优于现有方法。
2025-07-02 cs.AI cs.CL cs.LG
BoreaRL: A Multi-Objective Reinforcement Learning Environment for Climate-Adaptive Boreal Forest Management
University of Waterloo(滑铁卢大学);Polytechnique Montréal(蒙特利尔理工学院);Université de Sherbrooke(Sherbrooke大学)
BoreaRL是一种用于气候适应性北方森林管理的多目标强化学习环境,揭示了碳目标与永久冻土保护目标在学习难度上的不对称性,并展示了其在多目标强化学习中的应用价值。
2025-12-02 cs.LG
Capacity-Aware Multi-UE Handover Optimization for LEO Satellite Networks Using Dueling DDQN
Research Center for Information Technology Innovation (CITI), Academia Sinica (AS)(信息科技创新研究中心(CITI),学术院(AS));Department of Electrical Engineering, National Taiwan Normal University (NTNU)(电气工程系,国立台湾师范大学(NTNU));Bradley Department of Electrical and Computer Engineering (ECE), Virginia Tech (VT)(电气与计算机工程系(ECE),弗吉尼亚理工大学(VT))
本文提出基于对抗DDQN的自适应多目标切换框架,用于低轨道卫星网络,在时间变化网络条件下实现吞吐量、阻塞概率和切换成本的动态权衡,仿真结果表明性能优于传统方法。
2026-11-03 cs.IT cs.LG math.IT
Enabling arbitrary translation objectives with Adaptive Tree Search
Talka, Inc(Talka公司);DeepMind, Ltd.(深度思维有限公司)
我们引入了一种自适应树搜索算法,该算法可以在不对搜索目标的形式或结构做任何假设的翻译模型下找到高分输出。这种算法--蒙特卡罗树搜索的确定性变体--能够探索新的模型,这些模型不受为使解码易于处理而施加的约束(如自回归性或条件独立性假设)的阻碍。当应用于自回归模型时,我们的算法具有不同于束搜索的偏差,这使得能够对自回归模型中解码偏差的作用进行新的分析。从经验上讲,我们发现,我们的自适应树搜索算法的输出与自回归模型中的束搜索相比,具有更好的模型分数,并与模型中的重新排序技术相比,其分数不分解相加相对于输出中的单词。我们还分析了几个翻译模型目标与BLEU的相关性。我们发现,虽然一些标准模型校准不良,并受益于束搜索偏置,其他往往更强大的模型(自回归模型调整,以最大限度地提高预期的自动度量得分,嘈杂的信道模型和新提出的目标)受益于增加的搜索量,使用我们提出的解码器,而束搜索偏置限制了从这些目标获得的改进。因此,我们认为,随着模型的改进,这种改进可能会被过度依赖于束搜索或基于重排序的方法所掩盖。
2022-02-23 cs.AI cs.CL cs.LG
Artwork Protection Against Neural Style Transfer Using Locally Adaptive Adversarial Color Attack
University of St Andrews(圣安德鲁斯大学);Nanyang Technological University(南洋理工大学);University of Sydney(悉尼大学)
针对未经授权的神经风格迁移盗用艺术品问题,提出LAACA频率自适应扰动攻击与ACDM颜色差异度量,在保持视觉可接受性的同时显著降低风格化生成质量。
2024-07-05 cs.CR cs.CV cs.LG
AMoPO: Adaptive Multi-objective Preference Optimization without Reward Models and Reference Models
University of Science and Technology of China(中国科学技术大学);Meituan(美团)
针对多目标偏好对齐难以兼顾各维度且依赖奖励/参考模型的问题,本文提出AMoPO框架,利用维度感知生成指标作为隐式奖励并通过高斯分布建模实现自适应权重分配,在多种规模模型上显著优于基线。
2025-06-08 cs.AI cs.LG
Multiobjective Reinforcement Learning for Reconfigurable Adaptive Optimal Control of Manufacturing Processes
Intelligent Systems Research Group (ISRG)(智能系统研究组)
本文提出了一种新型无模型多目标强化学习方法,用于制造过程的自适应最优控制,能够高效学习不同目标权重下的控制配置。
2018-10-09 cs.LG cs.SY eess.SY
Adaptive Online Mirror Descent for Tchebycheff Scalarization in Multi-Objective Learning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);The University of Hong Kong(香港大学);City University of Hong Kong(城市大学)
本文提出自适应在线镜像下降算法(AdaOMD-TCH),用于多目标学习中的切比雪夫标量化,通过自适应在线到批量转换提升解的最优性,实现$\mathcal O(\sqrt{\log m/T})$收敛速度。
2026-03-26 cs.AI cs.LG
Let the Data Decide: Supervision Analysis, Capability Trade-offs, and Adaptive Objective Routing in Continued Pre-Training via Off-Policy Distillation
Baidu Inc.(百度公司)
研究离策略蒸馏中训练数据、目标参数化和模型能力的相互作用,通过分解问题进行“目标到能力”和“数据到目标”分析,引入诊断指标量化张力,探讨自适应目标路由,表明有效路由取决于信号质量,将持续预训练重构为监督设计问题。
2026-07-21 cs.AI cs.LG
Adaptive Alignment: Dynamic Preference Adjustments via Multi-Objective Reinforcement Learning for Pluralistic AI
Deakin University(迪肯大学);Federation University(联邦大学);CSIRO(澳大利亚联邦科学与工业研究组织);University of New South Wales(新南威尔士大学)
针对多元AI对齐中适配多样动态用户偏好的问题,提出基于多目标强化学习的学习后策略选择调整的动态对齐框架,分析其优势、假设与实现细节,并探讨该回溯对齐方法的社会技术影响。
2024-10-31 cs.AI cs.LG
Learning What Matters: Adaptive Information-Theoretic Objectives for Robot Exploration
Luddy School of Informatics, Computing, and Engineering(信息学、计算与工程学院)
本文提出Quasi-Optimal Experimental Design方法,通过Fisher信息矩阵分析和参数方向选择,提升机器人探索效率,实验证明在导航和操作任务中性能提升显著。
2026-05-12 cs.AI cs.IT cs.LG