CAWR: Corruption-Averse Advantage-Weighted Regression for Robust Policy Optimization
ISTBI Fudan University（复旦大学智能医学信息研究所）
针对离线强化学习中数据腐败导致策略过度保守的问题，提出抗腐败优势加权回归（CAWR），通过鲁棒损失函数和优势优先经验回放过滤不良探索，在D4RL基准上显著提升策略性能。
2025-06-18 cs.LG
Covariate-distance Weighted Regression (CWR): A Case Study for Estimation of House Prices
National Cheng Kung University（成功大学）；National Taipei University（台北大学）
提出结合地理与属性距离的协变量距离加权回归（CWR）扩展GWR，在房价估计案例中有效降低摩天大楼RMSE达2.9%-26.3%，减少传统空间模型误差。
2023-05-15 cs.LG
FAWAC: Feasibility Informed Advantage Weighted Regression for Persistent Safety in Offline Reinforcement Learning
Iowa State University（爱荷华州立大学）
针对离线强化学习中安全与性能难以平衡的问题，提出FAWAC方法，通过可行性条件约束策略更新并改进AWR算法，还提出诱惑性数据集处理策略，在标准基准上实现了安全与性能的有效平衡。
2024-12-12 cs.LG
A Generalized Weighted Loss for SVC and MLP
在回归任务的情况下，通常标准算法采用损失，其中每个误差仅仅是真实值和预测值之间的绝对差。在目前，我们介绍了几个误差加权计划，是一个概括的统一例程。我们研究了支持向量分类的二进制分类模型和多层感知器的回归网络。结果证明，该误差从未比标准程序更差，并且好几次都更好。
2023-02-22 cs.LG
Locally Weighted Regression Pseudo-Rehearsal for Online Learning of Vehicle Dynamics
Georgia Institute of Technology（佐治亚理工学院）
我们考虑的问题，在线适应的神经网络设计代表车辆动力学。该神经网络模型旨在由MPC控制律使用以自主地控制车辆。这个问题是具有挑战性的，因为输入和目标分布都是非平稳的，和天真的方法在线适应导致灾难性遗忘，这反过来又会导致控制器故障。提出了一种新的在线学习方法，它结合了伪排练方法和局部加权投影回归。我们证明了局部加权投影回归伪排练（LW-PR $^2$）方法在模拟和1/5比例自动驾驶汽车收集的大型真实世界数据集上的有效性。
2019-05-13 cs.LG cs.RO
Scalable Sparse Subspace Clustering via Ordered Weighted $\ell_1$ Regression
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文的主要贡献是一种新的子空间聚类方法，该方法比现有的最先进的方法具有更高的计算效率和可扩展性。其中心思想是修改稀疏子空间聚类（SSC）中的回归技术，通过用称为有序加权$\ell_1$（OWL）最小化的泛化来替换$\ell_1$最小化，该泛化同时执行相关变量的回归和聚类。利用随机几何图理论，我们证明了OWL回归在每个子空间内选择更多的点，从而产生更好的聚类结果。这允许基于仅针对总数据集的一小部分的回归解决方案的精确子空间聚类，与SSC相比显著降低了计算复杂性。在实验中，我们发现我们的OWL方法可以实现20 $\times$到30 $\times$的合成问题和4 $\times$到8 $\times$的实际数据问题的加速比。
2018-07-10 cs.LG stat.ML
Weighted Automata Extraction from Recurrent Neural Networks via Regression on State Spaces
National Institute of Informatics（国立信息学研究所）；The Graduate University for Advanced Studies（综合研究大学院大学）
提出了一种从递归神经网络中提取加权有限自动机的方法。我们的算法是基于WFA学习算法的Balle和Mohri，这又是一个扩展的Angluin的经典\lstar算法。我们的技术新颖性在于使用\emph{regression}方法进行所谓的等价查询，从而利用RNN的内部状态空间来优先考虑反例候选。通过这种方式，我们实现了Weiss，Goldberg和Yahav最近提取DFA的工作的定量/加权扩展。我们实验评估的准确性，表现力和效率的提取WFAs。
2019-11-20 cs.LG stat.ML
Is Ordered Weighted $\ell_1$ Regularized Regression Robust to Adversarial Perturbation? A Case Study on OSCAR
IBM Research（IBM研究院）
许多最先进的机器学习模型，如深度神经网络，最近被证明容易受到对抗性扰动的影响，特别是在分类任务中。受对抗性机器学习的启发，本文研究了具有强相关协变量的稀疏回归模型对对抗性测量噪声的鲁棒性。具体来说，我们考虑家庭的有序加权$\ell_1$（OWL）正则化回归方法和研究的情况下，OSCAR（八角形收缩聚类算法回归）在对抗设置。在一个范数有界的威胁模型下，我们制定的过程中找到一个最大的破坏性噪音OWL-正则化回归作为一个优化问题，并说明了步骤，找到这样的噪音的情况下，OSCAR。实验结果表明，在我们的对抗性设置下，对强相关特征进行分组的回归性能可能会严重下降，即使噪声预算明显小于地面实况信号。
2018-10-03 cs.LG stat.ML
House Price Valuation Model Based on Geographically Neural Network Weighted Regression: The Case Study of Shenzhen, China
Zhejiang University（浙江大学）；Zhejiang Key Laboratory of Resources and Environmental Information System（浙江省资源与环境信息系统重点实验室）
面对房地产市场的空间异质性，传统的研究多采用地理加权回归（GWR）方法来估计房价。然而，其核函数是非线性的，难以捉摸的，和复杂的选择带宽，预测能力也可以提高。因此，一种新的技术，地理神经网络加权回归（GNNWR），已被应用到提高房地产估价的准确性与神经网络的帮助下。基于深圳房价数据，本文显著地刻画了深圳房地产市场上各种变量的权重分布，而GWR很难实现。此外，我们还重点研究了GNNWR的性能，验证了它的鲁棒性和优越性，通过10倍交叉验证改进了实验过程，将其应用范围从自然地理空间数据扩展到社会经济地理空间数据。这是一种评估房价的实用和明确的方法，我们在复杂的社会经济数据集上证明了GNNWR的有效性。
2022-02-09 cs.LG stat.AP
Weighted Lasso Estimates for Sparse Logistic Regression: Non-asymptotic Properties with Measurement Error
University of Science and Technology of China（中国科学技术大学）；Peking University（北京大学）；Central China Normal University（华中师范大学）
当我们对高维系统感兴趣并关注分类性能时，$\ell_{1}$惩罚的逻辑斯谛回归变得越来越重要和流行。然而，当不同系数的惩罚都相同并且与数据无关时，Lasso估计可能会有问题。利用McDiarmid不等式给出了两类依赖于协变量的加权Lasso估计。在给定样本量$n$和协变量维数$p$的情况下，我们所提出的方法的有限样本行为由非渐近预言不等式（如$\ell_{1}$ -未知参数的估计误差和平方预测误差）来说明.我们在模拟数据上比较了我们的方法和以前的加权估计的性能，然后将这些方法应用于实际数据的分析。
2020-06-11 cs.LG stat.ML
Learning under Target Shift: Optimal Density Ratio Estimation and Importance-Weighted Regression
School of Mathematical Sciences, Zhejiang University（浙江大学数学科学学院）
针对连续输出目标偏移问题，提出RKHS谱正则化密度比估计方法，达到极小极大最优速率，并分析其在重要性加权回归中的误差传播，建立有限样本理论。
2026-09-15 cs.LG stat.ML
An $O(n\log(n))$ Algorithm for Projecting Onto the Ordered Weighted $\ell_1$ Norm Ball
University of California, Los Angeles（加州大学洛杉矶分校）
有序加权$\ell_1$（OWL）范数是回归的离散收缩和聚类算法（OSCAR）范数的新推广。该范数具有理想的统计特性，可用于同时执行聚类和回归。在本文中，我们展示了如何计算投影的$n$维向量到OWL范数球的$O(n\log(n))$操作。此外，我们说明了我们的算法的合成回归测试的性能。
2015-06-26 cs.LG math.OC
Local Gaussian Regression
University of Southern California（南加州大学）；Max-Planck-Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
局部加权回归是作为一种非参数学习方法创建的，它具有计算效率，可以从非常大量的数据中学习并增量地添加数据。局部加权回归的一个有趣的特性是它可以处理空间变化的长度尺度，这是一个有益的特性，例如在控制问题中。然而，它不提供用于函数值的生成模型，并且需要相同地、独立地生成训练数据和测试数据。另一方面，高斯（过程）回归提供了一种完全生成的模型，对训练数据的分布没有显著的形式要求，但具有高得多的计算成本，并且通常在每个输入维度上使用一个全局尺度。使用本地化函数的基础和近似推理技术，我们采取高斯（过程）回归越来越本地化的属性和相同的计算复杂性类的本地加权回归。
2014-02-04 cs.LG cs.RO
Colorful Pinball: Density-Weighted Quantile Regression for Conditional Guarantee of Conformal Prediction
School of Economics and Management, Tsinghua University, China（清华大学经济管理学院）
本文提出了一种基于密度加权分位数回归的条件保证置信预测方法，通过改进标准置信预测的条件覆盖性能，提供更精确的非渐近保证。
2026-05-19 cs.LG stat.ME
Minimalist Regression Network with Reinforced Gradients and Weighted Estimates: a Case Study on Parameters Estimation in Automated Welding
Hiroshi Ishiguro Laboratories (HIL), Advanced Telecommunications Research Institute International (ATR)（石黑浩实验室（HIL），国际电气通信基础技术研究所（ATR））
本文提出了一种最小神经回归网络，它是同时训练的独立相同回归块的集合。此外，它引入了一个新的乘法参数，由给定层的所有神经单元共享，以保持其梯度的质量。此外，它通过学习权重因子来提高其估计精度，该权重因子的数量在每次训练迭代时捕获估计值和实际值之间的冗余。我们选择不同的焊接技术的直接焊接参数的估计，以显示显着改善这些参数的计算，我们的模型相比，在文献中的国家的最先进的技术。此外，我们证明了我们的模型的能力，以保持其性能时，提出了不同的焊接技术的组合数据。这是一个不平凡的结果，在获得一个可扩展的模型，其质量的估计是独立的采用焊接技术。
2016-07-05 cs.LG cs.RO
Improving Causal Effect Estimation of Weighted RegressionBased Estimator using Neural Networks
University of Dhaka（达卡大学）
针对高维观测数据下因果效应估计计算困难及回归加权估计器质量下降的问题，提出基于神经网络的估计器，在非线性与有限样本下提升解决方案质量，实证显示最高提升约55%。
2026-09-29 cs.AI cs.LG
A Regression Tsetlin Machine with Integer Weighted Clauses for Compact Pattern Representation
University of Agder（阿格德大学）
回归Tsetlin机（RTM）解决了缺乏可解释性阻碍最先进的非线性回归模型。它通过在命题逻辑中使用合取子句来捕获数据中潜在的非线性频繁模式来实现这一点。这些又通过求和组合成连续输出，类似于线性回归函数，但是具有非线性分量和单位权重。尽管RTM已经以具有竞争力的精度解决了非线性回归问题，但是输出的分辨率与所采用的子句的数量成比例。这意味着计算成本随着分辨率的增加而增加。为了减少这个问题，我们在这里引入整数加权RTM条款。我们的整数加权子句是捕获相同子模式的多个子句的紧凑表示-N个重复子句变成一个，具有整数权重N。这将计算成本降低了N倍，并通过更稀疏的表示增加了可解释性。我们进一步介绍了一种新的学习方案，使我们能够同时学习的条款和他们的权重，利用所谓的随机搜索的线上。我们评估的潜力，整数加权RTM经验使用六个人工数据集。结果表明，整数加权RTM是能够获得同等或更好的精度，使用显着更少的计算资源相比，常规RTM。我们进一步表明，整数权重比实值权重的精度更高。
2020-02-04 cs.AI cs.LG stat.ML
Likelihood-ratio calibration using prior-weighted proper scoring rules
AGNITIO Research（AGNITIO研究院）
先验加权逻辑斯谛回归已成为说话人识别中校准的标准工具。逻辑斯谛回归是对数评分规则的期望值的优化。我们通过适当的评分规则的参数家庭推广这一点。我们的理论分析表明，这个家庭的不同成员如何诱导不同的相对权重的决策阈值范围从低到高的应用程序的频谱。特别关注先验权重和适当的评分规则参数之间的相互作用。NIST SRE'12上的实验表明，对于具有低误报率要求的应用，为强调较高分数阈值而定制的评分规则可能比逻辑斯谛回归提供更好的准确性。
2013-07-30 cs.LG stat.ML
Advantage-Weighted Regression: Simple and Scalable Off-Policy Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
在本文中，我们的目标是开发一个简单的和可扩展的强化学习算法，使用标准的监督学习方法作为子程序。我们的目标是一个算法，只利用简单和收敛的最大似然损失函数，同时也能够利用政策外的数据。我们提出的方法，我们称之为加权回归（AWR），由两个标准的监督学习步骤：一个回归到目标值的价值函数，另一个回归到加权目标行动的政策。该方法简单而通用，可以适应连续和离散的动作，并且可以在标准监督学习方法之上仅用几行代码实现。我们提供了一个理论上的动机AWR和分析其属性时，将关闭政策的数据从经验重放。我们在一套标准的OpenAI Gym基准测试任务上评估了AWR，并表明与许多成熟的最先进的RL算法相比，它实现了具有竞争力的性能。AWR还能够在从纯静态数据集学习时获得比大多数非策略算法更有效的策略，而无需额外的环境交互。此外，我们证明了我们的算法具有高度复杂的模拟字符的挑战性的连续控制任务。
2019-10-07 cs.LG stat.ML
Improving Vertical Positioning Accuracy with the Weighted Multinomial Logistic Regression Classifier
Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出了一种利用全球定位系统（GPS）信息和气压值提高垂直定位精度的方法。首先，我们清除在各种环境中收集的原始数据的空值，并使用3 $σ$ -规则来识别离群值。其次，训练加权多项逻辑回归（WMLR）分类器以获得异常值的预测高度。最后，为了验证其效果，我们比较了MLR方法，WMLR方法，和支持向量机（SVM）方法的清洁数据集作为测试基线。数值结果表明，在67%的测试点上，垂直定位精度从MLR方法的5.9米、SVM方法的5.4米提高到WMLR方法的5米。
2020-06-18 cs.CE cs.LG eess.SP
Driver Drowsiness Estimation from EEG Signals Using Online Weighted Adaptation Regularization for Regression (OwARR)
DataNova；U.S. Army Research Laboratory（美国陆军研究实验室）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；DCS Corp（DCS公司）；University of Technology, Sydney（悉尼科技大学）；National Chiao-Tung University（国立交通大学）
阻碍脑机接口（BCI）从实验室环境过渡到现实生活应用的一个巨大挑战是高性能和鲁棒的学习算法的可用性，其可以有效地处理个体差异，即，可以应用于具有零或非常少的对象特定校准数据的新对象的算法。迁移学习和领域自适应已被广泛用于这一目的。然而，大多数以前的作品集中在分类问题。本文考虑了脑机接口中一个重要的回归问题，即从脑电信号中在线估计驾驶员的困倦程度。通过将模糊集与领域自适应相结合，提出了一种新的在线加权自适应正则化回归（OwARR）算法以减少特定对象的校准数据量，并提出了一种源域选择（SDS）方法以节省OwARR算法一半的计算量。使用模拟驾驶数据集与15个科目，我们表明，OwARR和OwARR-SDS可以实现显着较小的估计误差比其他几种方法。我们还对OwARR和OwARR-SDS的鲁棒性进行了全面的分析。
2017-02-09 cs.HC cs.LG
Random Forest Weighted Local Fréchet Regression with Random Objects
East China Normal University（华东师范大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出随机森林加权局部Fréchet回归范式，利用随机森林生成局部自适应核，分别实现局部常数和局部线性Fréchet回归，并建立一致性、收敛速度与渐近正态性理论，在分布函数、对称正定矩阵和球面数据等复杂响应上显著优于现有方法。
2025-02-07 cs.LG stat.ML
Reward-Weighted Regression Converges to a Global Optimum
NNAISENSE；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学（KAUST））
奖励加权回归（RWR）属于基于期望最大化框架的一系列广为人知的迭代强化学习算法。在这个家族中，每次迭代的学习包括使用当前策略对一批轨迹进行采样，并拟合新策略以最大化动作的返回加权对数似然。虽然RWR是已知的单调改善的政策在某些情况下，是否以及在何种条件下RWR收敛到最优的政策仍然是一个悬而未决的问题。在本文中，我们提供了第一次证明RWR收敛到一个全局最优时，没有使用函数逼近，在一般的紧凑设置。此外，对于更简单的情况下，有限的状态和行动空间，我们证明了R-线性收敛的状态值函数的最佳。
2022-02-23 cs.AI cs.LG stat.ML
IMR: Iterative Mode-World Weighted Regression for Multi-Agent Trajectory Prediction
EACON Fujian（福建易安科）
针对多智能体轨迹预测问题，提出模式世界加权回归损失及迭代解码器，减轻模式崩溃，提高预测准确性，在Argoverse 2多智能体运动预测基准测试中排名第一。
2026-07-08 cs.AI cs.CV cs.LG
Deep Active Learning for Regression Using $ε$-weighted Hybrid Query Strategy
Vanderbilt University（范德堡大学）
设计一个廉价的近似代理模型，捕捉一个昂贵的高保真行为的显着特征是一种流行的设计优化方法。近年来，深度学习（DL）模型正被用作工程问题的有前途的替代计算模型。然而，创建基于DL的代理的主要挑战是模拟/标记大量的设计点，这对于计算成本高和/或高维工程问题来说是耗时的。在目前的工作中，我们提出了一种新的采样技术相结合的主动学习（AL）方法与DL。我们称这种方法为$ε$ -加权混合查询策略（$ε$ -HQS），它侧重于在每个学习迭代的代理的评估，并提供在设计空间中的代理的失败概率的估计。通过重用已经收集的训练和测试数据，学习的故障概率将下一次迭代的采样过程引导到故障概率高的区域。在实证评估过程中，观察到更好的准确性的替代品相比，其他方法的样本选择。我们经验评估这种方法在两个不同的工程设计领域，基于有限元的潜艇压力容器（计算成本高的过程）和第二潜艇螺旋桨设计（高维问题）的静态应力分析。https://github.com/vardhah/epsilon_weighted_Hybrid_Query_Strategy
2022-07-10 cs.AI cs.LG
WONDER: Weighted one-shot distributed ridge regression in high dimensions
University of Pennsylvania（宾夕法尼亚大学）
在许多领域，从业者需要分析大型数据集，这对传统的单机计算提出了挑战。为了扩展数据分析，越来越需要分布式和并行计算方法。在这里，我们研究一个基本的和非常重要的问题，在这方面：如何做岭回归在分布式计算环境？岭回归是一种非常流行的有监督学习方法，它具有多个最优性性质，因此研究岭回归具有重要意义。我们研究一次法，构建加权组合的岭回归估计计算在每台机器上。通过分析高维随机效应模型中每个预测因子都有小影响的均方误差，我们发现了几个新的现象。1.无限工作者限制：分布式估计器适用于非常大量的机器，我们称之为“无限工作者限制”。2.最优权重：由于岭的向下偏差，组合局部估计量的最优权重之和大于1。因此，所有的平均方法都是次优的。我们还提出了一种新的加权ONe-shot DistributEd岭回归算法（WONDER）。我们在模拟研究中测试WONDER，并以百万歌曲数据集为例。在那里，它可以节省至少100倍的计算时间，同时几乎保持测试精度。
2020-02-19 cs.DC cs.LG math.ST
Exact Recovery Thresholds for Weighted Data Selection in Vector-Valued Linear Regression
该研究解决了COLT 2025开放问题中向量值线性回归加权数据选择的阈值问题，确定了精确恢复全数据损失的最小样本预算及多个加权选择分布取值，给出了中间单元的取值范围并验证相关推测，同时纠正了预印本中的错误论断。
2026-10-05 cs.LG math.ST stat.TH
Regularization and Variance-Weighted Regression Achieves Minimax Optimality in Linear MDPs: Theory and Practice
The University of Tokyo（东京大学）；OMRON SINIC X（欧姆龙 SINIC X 研究院）；DeepMind（深度思维）；Google Research（谷歌研究院）；Peking University（北京大学）；Otto von Guericke University Magdeburg（马格德堡奥托·冯·格里克大学）；University of Alberta（阿尔伯塔大学）
针对线性MDP中MDVI算法缺乏理论保证的问题，提出方差加权最小二乘MDVI（VWLS-MDVI）达到极小极大最优样本复杂度，并给出实用算法DVW提升深度RL性能。
2026-10-06 cs.LG stat.ML
Optimal spanning tree reconstruction in symbolic regression
本文研究符号回归中的回归模型生成问题，提出基于prize-collecting Steiner tree算法从加权着色图重构最小生成树以生成最优模型，并与替代方案进行了比较。
2024-06-25 cs.LG stat.ML
M-SGWR: Multiscale Similarity and Geographically Weighted Regression
The Pennsylvania State University（宾夕法尼亚州立大学）；Penn State College of Medicine（宾州州立大学医学院）
M-SGWR通过结合地理临近性和属性相似性，改进了传统地理加权回归模型，以更准确地捕捉空间互动关系。
2026-01-30 cs.AI cs.LG stat.ME
On the Optimal Weighted $\ell_2$ Regularization in Overparameterized Linear Regression
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Columbia University（哥伦比亚大学）
我们考虑线性模型$\mathbf{y} = \mathbf{X} \mathbfβ_\star + \mathbfε$，其中$\mathbf{X}\in \mathbb{R}^{n\times p}$处于超参数化状态$p>n$。我们通过广义（加权）岭回归估计$\mathbfβ_\star$：$\hat{\mathbfβ}_λ= \left(\mathbf{X}^T\mathbf{X} + λ\mathbfΣ_w\right)^\dagger \mathbf{X}^T\mathbf{y}$，其中$\mathbfΣ_w$是加权矩阵。根据随机设计设置与一般数据协方差$\mathbfΣ_x$和各向异性的前真实系数$\mathbb{E}\mathbfβ_\star\mathbfβ_\star^T = \mathbfΣ_β$，我们提供了一个精确的表征的预测风险$\mathbb{E}(y-\mathbf{x}^T\hat{\mathbfβ}_λ)^2$的比例渐近极限$p/n\rightarrow γ\in (1,\infty)$。我们的一般设置导致了一些有趣的发现。我们概述了精确的条件，决定的最佳设置$λ_{\rm opt}$的脊参数$λ$的符号，并确认隐含的$\ell_2$正则化效应的overparameterization，这在理论上证明了令人惊讶的经验观察，$λ_{\rm opt}$可以是…
2020-11-03 cs.LG math.ST stat.ML
Weighted Encoding Based Image Interpolation With Nonlocal Linear Regression Model
Central South University（中南大学）
图像插值是图像超分辨率的一种特殊情况，其中低分辨率图像直接从其高分辨率对应图像进行下采样，而没有模糊和噪声。因此，超分辨率模型中采用的假设对于图像插值是无效的。为了解决这个问题，我们提出了一种新的图像插值模型的基础上稀疏表示。利用稀疏性和非局部自相似性作为正则化项，提高了插值模型的稳定性。同时，我们将非局部线性回归引入到该模型中，因为非局部相似补丁可以提供对给定补丁的更好近似。此外，我们提出了一种新的方法来学习自适应子字典在线，而不是聚类。对于每个补丁，相似的补丁被分组以学习自适应子字典，生成更稀疏和准确的表示。最后，引入加权编码以抑制拟合残差的拖尾，从而提高数据的保真度。大量的实验结果表明，我们提出的方法优于几个国家的最先进的方法在定量措施和视觉质量。
2020-03-04 cs.CV cs.LG eess.IV
Signal classification using weighted orthogonal regression method
本文提出了一种新的基于数据内在属性的分类器。在基于数据采掘的应用中，分类是一项重要的任务.当训练集的大小不足以与问题的维度进行比较时，分类问题将具有挑战性。本文提出了一种新的分类方法，利用每个类的内在结构，通过相应的本征分量。每个组件都通过特定的权重对每个类的学习广度做出贡献。权重由相关的特征值确定。该方法在面对有限训练数据的分类问题时，具有可靠的学习鲁棒性。所提出的方法涉及到从每个类的数据的奇异值分解得到的特征向量选择每个子空间的基。此外，它认为一个有效的加权决策标准区分两类。除了在人工数据上的高性能外，该方法还提高了国际比赛的最佳成绩。
2020-10-12 cs.AI cs.LG stat.ML
GWRBoost:A geographically weighted gradient boosting method for explainable quantification of spatially-varying relationships
Peking University（北京大学）
地理加权回归（GWR）是估计地理背景下因变量和自变量之间关系的空间变异的重要工具。然而，GWR遭受的问题是，经典的线性回归，组成GWR模型，更容易是欠拟合，特别是对于显着的体积和复杂的非线性数据，导致较差的比较性能。然而，一些先进的模型，如决策树和支持向量机，可以更有效地从复杂的数据中学习特征，但它们不能为局部关系的空间变化提供可解释的量化。为了解决上述问题，我们提出了一个地理上的梯度提升加权回归模型，GWRBoost，适用于本地化的加性模型和梯度提升优化方法，以减轻欠拟合问题，并保留了可解释的量化能力的空间变化的地理位置的变量之间的关系。此外，我们制定了赤池信息得分的计算方法，该模型进行比较分析与经典的GWR算法。通过仿真实验和实例分析，验证了GWRBoost算法的有效性和实用价值。结果表明，该模型在参数估计精度上使RMSE降低了18.3%，在拟合优度上使AICc降低了67.3%。
2022-12-15 cs.LG stat.ML
Weighted Linear Bandits for Non-Stationary Environments
CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；ENS（巴黎高等师范学院）；Université PSL（巴黎文理研究大学）；Deepmind（深度思维）
我们考虑一个随机线性强盗模型，其中可用的行动对应于任意的上下文向量，其相关的奖励遵循非平稳线性回归模型。在此设置中，允许未知回归参数随时间变化。为了解决这个问题，我们提出了D-LinUCB，这是一种基于折扣线性回归的新型乐观算法，其中使用指数权重来平滑地忘记过去。这涉及研究一般假设下的序贯加权最小二乘估计的偏差。作为一个副产品，我们获得了新的偏差结果，可以使用超越非平稳环境。我们提供的D-LinUCB在缓慢变化和快速变化的环境中的行为的理论保证。我们得到了动态后悔的一个上界，它的阶为d^{2/3} B\_T^{1/3}T^{2/3}，其中B\_T是非平稳性的度量（d和T分别是维数和视界）。这个速率已知是最佳的。我们还说明了D-LinUCB的经验性能，并将其与最近提出的替代品在模拟环境中进行比较。
2020-03-20 cs.LG stat.ML
Oblivious sketching for logistic regression
TU Dortmund University（多特蒙德工业大学）；Carnegie Mellon University（卡内基梅隆大学）
在一个数据流上一次通过解决逻辑回归有什么保证？为了回答这个问题，我们提出了逻辑回归的第一个数据不经意草图。我们的草图可以计算在输入稀疏时间在一个旋转栅门数据流，并减少$d$维数据集的大小从$n$到只有$\operatorname{poly}(μd\log n)$加权点，其中$μ$是一个有用的参数，它捕获的复杂性压缩数据。在草图上求解（加权）逻辑回归给出了完整数据集上原始问题的$O(\log n)$近似。我们还展示了如何获得一个$O(1)$ -近似略有修改。我们的草图是快速，简单，易于实现，我们的实验证明其实用性。
2021-07-14 cs.DS cs.LG stat.ML
Imitating from auxiliary imperfect demonstrations via Adversarial Density Weighted Regression
Westlake University（西湖大学）；Tsinghua University（清华大学）；University of Oxford（牛津大学）；Southwest University of Science and Technology（西南科技大学）；New Jersey Institute of Technology（新泽西理工学院）
该研究提出对抗密度回归（ADR）单步监督模仿学习框架，通过融合密度加权行为克隆目标与辅助不完美演示，解决Bellman算子累积偏移、分布外等问题，在多类基准任务上性能优于现有算法。
2025-01-13 cs.AI cs.LG
Measure Inducing Classification and Regression Trees for Functional Data
Politecnico di Milano（米兰理工大学）
我们提出了一种基于树的算法，用于功能数据分析背景下的分类和回归问题，该算法允许在节点级别利用表示学习和多个分裂规则，减少泛化错误，同时保留树的可解释性。这是通过学习加权功能$L^{2}$空间的约束凸优化，然后用于提取多个加权积分功能的输入函数，以确定二进制分裂的树的每个内部节点。该方法被设计为通过定义合适的分裂规则和损失函数来管理多个函数输入和/或输出，所述分裂规则和损失函数可以取决于特定问题，并且还可以与标量和分类数据相结合，因为树是用原始贪婪CART算法生长的。我们专注于一维域上定义的标量值函数输入的情况下，并说明我们的方法在分类和回归任务的有效性，通过模拟研究和四个现实世界中的应用。
2020-10-30 cs.LG stat.ML
On Projected Stochastic Gradient Descent Algorithm with Weighted Averaging for Least Squares Regression
Ben-Gurion University of the Negev（内盖夫本-古里安大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
考虑了$d$维未知参数的最小二乘回归问题。研究了一种基于随机梯度下降的加权迭代平均算法，并分析了其收敛速度。我们首先考虑未知参数的有界约束集。在一些标准的规律性假设下，我们提供了一个明确的$O(1/k)$上界的收敛速度，取决于方差（由于测量中的加性噪声）和约束集的大小。我们发现，方差项占主导地位的错误，并与率$1/k$减少，而与约束集的大小有关的项与率$\log k/k^2$减少。然后，我们比较的渐近比$ρ$之间的收敛速度的建议计划和经验风险最小化（ERM）的迭代次数接近无穷大。我们表明，$ρ\leq 4$在一些温和的条件下，所有的$d\geq 1$。我们进一步改进的上限表明，$ρ\leq 4/3$的情况下，$d=1$和无界参数集。仿真结果表明，与现有方法相比，该算法具有较强的性能，即使在实际应用中对于大的$d$，该算法也能与$ρ\leq 4/3$相吻合.
2016-06-09 cs.IT cs.LG math.IT
Synthetic Control As Online Linear Regression
Harvard University（哈佛大学）；Harvard Business School（哈佛商学院）
本文指出了合成控制和在线学习之间的简单联系。具体来说，我们认为合成控制是跟随领导者（FTL）的一个实例。在线凸优化中的标准结果则意味着，即使结果是由对手选择的，被处理单元的反事实结果的合成控制预测几乎与控制单元结果的预言加权平均值一样好。对差异数据的合成控制的性能几乎与Oracle加权差异中的差异一样好，这可能使其在实践中成为一个有吸引力的选择。我们认为，这一观察进一步支持使用合成控制估计比较案例研究。
2022-11-13 cs.LG econ.EM stat.ME
Output-weighted optimal sampling for Bayesian regression and rare event statistics using few samples
Massachusetts Institute of Technology（麻省理工学院）
对于许多重要问题，感兴趣的量是参数的未知函数，这是具有已知统计量的随机向量。由于输出对该随机向量的依赖性是未知的，因此挑战在于使用最少数量的函数求值来识别其统计信息。这个问题可以在主动学习或最佳试验设计的背景下看到。我们采用贝叶斯回归表示由于有限和少量的输入输出对导出的模型的不确定性。在这种情况下，我们评估现有的最佳样本选择方法，如模型误差最小化和互信息最大化。我们发现，对于已知的输出方差的情况下，在文献中常用的标准不考虑现有的输入输出对的输出值，而对于未知的输出方差的情况下，这种依赖性可以是非常弱的。我们引入了一个标准，考虑到现有的样本的输出值，并自适应地选择输入的参数空间的区域有重要贡献的输出。新方法允许应用到高维输入，铺平了道路，在高维的最佳试验设计。
2019-11-30 cs.LG stat.AP stat.CO
Exact and Certified Data Shapley for Weighted Nearest Neighbor Regression
Faculty of Information Technology, Monash University（莫纳什大学信息技术学院）
研究加权 KNN 回归和软标签预测的数据 Shapley 问题，提出首个伪多项式时间精确算法、认证 FPTAS 等方法，给出复杂度分析和扩展，发布开源库及基准真值，在下游检测中体现精确性价值。
2026-10-06 cs.AI cs.DS cs.LG
Optimizing Ensemble Weights and Hyperparameters of Machine Learning Models for Regression Problems
Iowa State University（爱荷华州立大学）
通过集成模型聚合多个学习者旨在通过更准确地捕获数据的底层分布来做出更好的预测。不同的组合方法，如装袋、增压和堆叠/混合，已在研究和实践中被广泛研究和采用。bagging和boosting分别更侧重于减少方差和偏差，而stacking方法则通过找到组合基本学习器的最佳方式来实现这两个目标。在使用加权平均值进行堆叠时，从多个基本学习器的加权平均值创建集合。众所周知，在集成权重优化过程中调整每个基学习器的超参数可以产生性能更好的集成。为此，设计了一种基于优化的嵌套算法，该算法考虑调整超参数以及找到组合集成的最佳权重（具有内部调整超参数的广义加权集成（GEM-ITH））。此外，贝叶斯搜索被用来加快优化过程，并实施启发式生成多样化和性能良好的基础学习器。通过对10个公开数据集的分析，证明了该算法可推广到真实数据集。
2020-10-31 cs.LG stat.ME stat.ML
A Generalized Weighted Optimization Method for Computational Learning and Inversion
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Columbia University（哥伦比亚大学）；ETH Zürich（苏黎世联邦理工学院）
各种机器学习模型的泛化能力在欠参数化和过参数化状态下表现出不同的现象。在本文中，我们专注于回归模型，如特征回归和核回归，并分析了一种广义加权最小二乘优化方法的计算学习和反演与噪声数据。所提出的框架的亮点是，我们允许在参数空间和数据空间加权。加权方案编码关于要学习的对象的先验知识和在损失函数中加权不同数据点的贡献的策略。在这里，我们的加权方案的学习方法，我们推导出明确的泛化误差的随机傅立叶特征模型在下和过参数化制度的泛化误差的影响。对于更一般的特征映射，基于特征矩阵的奇异值提供误差界。我们证明，适当的加权先验知识可以提高学习模型的泛化能力。
2022-03-11 cs.LG cs.NA math.NA
The Ordered Weighted $\ell_1$ Norm: Atomic Formulation, Projections, and Algorithms
Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico（高等技术学院）；University of Lisbon（里斯本大学）
最近提出了有序加权$\ell_1$范数（OWL），有两个不同的动机：它作为稀疏促进正则化器的良好统计特性;它推广了所谓的{ \it八角形收缩和回归聚类算法}（OSCAR），它具有聚类/分组回归变量的能力。本文对OWL正则化的研究和应用作了一些贡献：导出了OWL范数的原子形式;基于原子形式导出了OWL范数的对偶;导出了一种新的、更简单的OWL范数的邻近算子; OWL正则化下线性回归问题的条件梯度（CG，也称为Frank-Wolfe）算法的实例化;同类问题的加速投影梯度算法的实例化。最后，一组实验给出的证据表明，加速投影梯度算法是相当快，比CG，所考虑的一类问题。
2015-04-10 cs.CV cs.DS cs.IT
