Kernel Regression with Sparse Metric Learning
East China Normal University（华东师范大学）
核回归是一种流行的非参数拟合技术。它旨在学习一个函数，该函数尽可能精确地估计测试输入的目标。通常，通过周围训练样本的加权平均来估计测试输入的函数值。权重通常由基于距离的核函数计算，并且它们强烈依赖于示例之间的距离。本文首先回顾了稀疏度量学习和核回归的最新进展。在此基础上，提出了一种新的基于稀疏度量学习的核回归方法--稀疏度量学习核回归（KR $\_$ SML）。通过对度量矩阵进行混合$(2,1)$范数正则化，建立稀疏核回归模型.它通过梯度下降过程学习马氏距离度量，可以同时进行降维，并导致良好的预测结果。我们的工作是第一个结合核回归与稀疏度量学习。为了验证所提出的方法的有效性，它是在19个数据集进行回归评估。并将该方法应用于短时交通流预测的实际问题中。最后，在两种准则下的所有测试数据集上，将该方法与其他三种相关的核回归方法进行了比较。实验结果表明，该方法具有更强的竞争力。
2017-12-25 cs.LG stat.ML
Generalized Intersection over Union: A Metric and A Loss for Bounding Box Regression
Stanford University（斯坦福大学）；The University of Adelaide（阿德莱德大学）；Aibee Inc（Aibee公司）
交集大于并集（IoU）是目标检测基准测试中最常用的评价指标。然而，在优化用于回归限界框的参数的常用距离损失和最大化该度量值之间存在差距。度量的最优目标是度量本身。在轴对齐的2D边界框的情况下，可以表明$IoU$可以直接用作回归损失。然而，$IoU$有一个平台，使得在不重叠的边界框的情况下进行优化是不可行的。在本文中，我们解决了$IoU$的弱点，通过引入一个广义的版本作为一个新的损失和一个新的度量。通过将这种广义$IoU$（$GIoU$）作为一个损失到国家的最先进的对象检测框架，我们显示了一致的改进，他们的性能使用标准，$IoU$为基础，和新的，$GIoU$为基础，性能指标流行的目标检测基准，如PASCAL VOC和MS COCO。
2019-04-15 cs.AI cs.CV cs.LG
Scaling Law for Stochastic Gradient Descent in Quadratically Parameterized Linear Regression
Peking University（北京大学）
针对以往缩放律理论研究忽略特征学习的问题，本文以二次参数化线性回归为对象，分析无限维幂律衰减数据下SGD的收敛率，明确分离有无特征学习的SGD泛化曲线并给出信息论下界，为模型学习动态提供新刻画。
2025-02-13 cs.LG
A dimensional R2 regression metric
Neuroscience Center University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校神经科学中心）；Kempner Institute for the Study of Natural and Artificial Intelligence（自然与人工智能研究学院）；Harvard University（哈佛大学）
本文提出Dim-R2度量，解决传统R2在高维数据、单标量输出及噪声敏感性方面的不足，通过多维视角提升回归模型的可解释性与灵活性。
2026-05-01 cs.LG
On the benefits of maximum likelihood estimation for Regression and Forecasting
Google Research（谷歌研究院）
我们提倡一种实用的极大似然估计（MLE）方法来设计回归和预测的损失函数，作为对特定目标指标直接经验风险最小化的典型方法的替代方案。MLE方法更适合于捕获归纳偏差，例如数据集中的先验领域知识，并且可以在推理时输出可以优化不同类型的目标度量的事后估计。我们目前的理论结果表明，我们的方法是有竞争力的任何估计的目标度量在一些一般条件下。在两个例子的实际设置，泊松和帕累托回归，我们表明，我们的竞争结果可以用来证明，MLE方法有更好的超额风险界限比直接最小化的目标度量。我们还通过经验证明，我们的方法使用设计良好的通用混合似然家族实例化，可以在具有不同数据分布的时间序列预测和回归数据集的各种任务中获得卓越的性能。
2021-10-09 cs.AI cs.LG stat.ML
Efficient Regression in Metric Spaces via Approximate Lipschitz Extension
Ariel University（阿里尔大学）；Ben-Gurion University（本-古里安大学）；Weizmann Institute of Science（魏茨曼科学研究学院）
我们提出了一个框架，在一般度量空间进行有效的回归。粗略地说，我们的回归器通过计算Lipschitz扩展来预测新点的值-与观察数据一致的最平滑函数-在执行结构风险最小化以避免过拟合之后。我们获得有限样本的风险范围与最小的结构和噪声的假设，和一个自然的速度精度权衡。离线（学习）和在线（预测）阶段可以通过凸规划来解决，但是这种朴素的方法具有运行时复杂性$O(n^3)$，这对于大型数据集是禁止的。相反，我们设计了一个回归算法，其速度和泛化性能取决于该算法适应的数据的内在维度。虽然我们的主要创新是算法，统计结果也可能是独立的利益。
2017-04-24 cs.LG
Kernel ridge regression under power-law data: spectrum and generalization
Departement d’Informatique, École Normale Supérieure, PSL & CNRS（信息学院，巴黎高等师范学院，PSL及CNRS）
本文研究幂律各向异性高斯数据下的高维核岭回归，推导多项式核谱显式刻画并分析超额风险，证明样本复杂度由有效维度决定，优于各向同性数据。
2025-10-06 cs.LG stat.ML
Non-parametric Binary regression in metric spaces with KL loss
我们提出了一个非参数变量的二元回归，其中的假设是正规化的Lipschitz函数采取度量空间[0，1]和损失是对数。这种设置提出了新的计算和统计挑战。在计算方面，我们基于内点方法推导出一种新的高效优化算法;一个有吸引力的特点是它是无参数的（即，不需要调整更新步长）。在统计方面，基于覆盖数和Rademacher技术，无界损失函数提出了经典推广边界的问题。我们绕过这个挑战，通过自适应截断的方法，并提出了一个下界，表明截断是，在某种意义上说，必要的。
2020-10-19 cs.LG
Robustified Multivariate Regression and Classification Using Distributionally Robust Optimization under the Wasserstein Metric
Boston University（波士顿大学）
当协变量和响应/标签都可能被离群值污染时，我们为多元线性回归（MLR）和多类逻辑斯谛回归（MLG）开发了分布鲁棒优化（DRO）公式。DRO框架使用概率模糊集，其被定义为在Wasserstein度量的意义上接近训练集的经验分布的分布球。我们放松的DRO制定成一个正则化的学习问题，其正则化是一个规范的系数矩阵。我们为模型的解决方案建立样本外性能保证，提供关于正则化器在控制预测误差中的作用的见解。实验结果表明，我们的方法将MLR的预测误差提高了7% - 37%，将MLG的鲁棒性指标提高了100%。
2020-06-10 cs.LG stat.ML
Performance Metrics (Error Measures) in Machine Learning Regression, Forecasting and Prognostics: Properties and Typology
GS Research & Consulting（GS研究咨询公司）；Ryerson University（瑞尔森大学）
业绩计量（误差计量）是各个领域评价框架的重要组成部分。本研究的目的是概述各种性能指标和方法，他们的分类。这项研究的主要目标是开发一种类型学，这将有助于提高我们对指标的知识和理解，并促进它们在机器学习回归、预测和预测中的选择。在分析众多性能指标结构的基础上，我们提出了一个指标框架，它包括四（4）类：主要指标，扩展指标，复合指标，和混合集的指标。本文确定了决定主要指标结构和属性的三（3）个关键组件（维度）：确定点距离的方法、归一化方法、数据集上点距离的聚合方法。
2018-09-09 cs.LG stat.ME stat.ML
A First Step Towards Distribution Invariant Regression Metrics
International Computer Science Institute（国际计算机科学研究所）；University of California, Berkeley（加州大学伯克利分校）；University of Bremen（不来梅大学）；DFKI GmbH（德国人工智能研究中心）
回归评估已经进行了几十年。一些指标已被确定为对数据的移动和缩放具有鲁棒性，但考虑到数据的不同分布，更难以解决（不平衡问题），尽管它在很大程度上影响了不同数据集评价之间的可比性。在分类中，人们反复指出，像F-Measure和Accuracy这样的性能指标高度依赖于类分布，并且具有不同分布的不同数据集之间的比较是不可能的。我们发现，同样的问题存在于回归。在机器人应用中的测距参数的分布可以例如在不同的记录会话之间很大程度上变化。在这里，我们需要回归算法，要么对所有函数值执行同样好，要么专注于某些边界区域，如高速。这一点必须反映在评价指标中。我们建议修改已建立的回归指标的函数值$Y$或样本$X$使用自动调整高斯核密度估计的逆分布加权。我们在可重复实验中的合成和机器人数据上显示，经典度量的行为是错误的，而我们的新度量对变化的分布不太敏感，特别是在$X$中的边缘分布进行校正时。我们的新评估概念可以比较具有不同分布的不同数据集之间的结果。此外，它可以揭示回归算法对过度代表的目标值的过度拟合。结果，由于我们校正的度量，非过拟合回归算法将更有可能被选择。
2020-09-10 cs.LG cs.RO stat.ML
Structure and Distribution Metric for Quantifying the Quality of Uncertainty: Assessing Gaussian Processes, Deep Neural Nets, and Deep Neural Operators for Regression
Massachusetts Institute of Technology（麻省理工学院）
我们提出了两个有界的比较指标，可以实现任意尺寸的回归任务。一个是量化不确定性的结构，另一个是量化不确定性的分布。结构度量评估不确定性的形状和位置与真实误差的相似性，而分布度量量化两者之间的支持幅度。我们将这些指标应用于高维和非线性测试用例中的高斯过程（GP），嵌入式深度神经网络（DNN）和嵌入式深度神经运算符（DNO）。我们发现，比较模型的不确定性估计与模型的平方误差提供了一个令人信服的地面真相评估。我们还观察到，DNN和DNO，特别是与GP相比，在高维数据中提供了令人鼓舞的度量值，无论是稀疏还是丰富的数据。
2022-03-09 cs.LG stat.ML
Positive semidefinite support vector regression metric learning
Tianjin University（天津大学）
大多数现有的度量学习方法集中于学习依赖于样本对之间的相似和不相似关系的相似性或距离度量。然而，在许多现实世界的应用中，样本对不能被简单地识别为相似或不相似，例如，多标签学习，标签分布学习。为此，提出了关系对齐度量学习（RAML）框架来处理这些场景中的度量学习问题。但RAML框架使用SVR求解器进行优化。它不能学习度量学习所必需的半正定距离度量。本文提出了两种方法来克服这一弱点。在RAML框架下，通过单标签分类、多标签分类、标签分布学习等实验验证了新方法的有效性。
2020-08-18 cs.LG stat.ML
Uncertainty Quantification Metrics for Deep Regression
Lund University（隆德大学）；Linköping University（林雪平大学）
针对深度回归任务的不确定性量化评估问题，研究四类典型指标在合成数据集下的表现与稳定性，发现校准误差最稳定可解释，推荐用AUSE替代斯皮尔曼等级相关系数。
2024-10-29 cs.LG cs.RO
Robust Deep Network Learning of Nonlinear Regression Tasks by Parametric Leaky Exponential Linear Units (LELUs) and a Diffusion Metric
Independent Researcher（独立研究者）
本研究针对非线性回归任务，提出参数化平滑泄漏指数线性单元（LELU）激活函数以解决现有激活函数的梯度消失或不连续问题，同时提出扩散损失度量用于评估模型过拟合情况，提升了深度网络的回归性能与鲁棒性。
2025-09-28 cs.LG
Local regression on path spaces with signature metrics
Weierstrass Institute (WIAS)（魏泽拉斯研究所）；University of Vienna（维也纳大学）
本文针对路径值数据提出融合 signature transform 与局部核回归的函数型 Nadaraya–Watson 方法，给出有限样本界与稳健变体，并在 SDE 学习和时序分类中验证其精度与计算优势。
2025-10-19 cs.LG math.PR stat.ME
Metric-valued regression
本文提出了一种在两个度量空间间学习映射的高效算法，基于度量中位数，解决了无界损失情况下非理想设定下的可学习性问题。
2022-02-07 cs.LG stat.ML
Improved Scaling Laws via Weak-to-Strong Generalization in Random Feature Ridge Regression
Institute of Science and Technology Austria (ISTA)（奥地利科学与技术研究所）；Department of Applied and Computational Mathematics, Yale University（耶鲁大学应用与计算数学系）；Department of Statistics and Data Science, Yale University（耶鲁大学统计与数据科学系）
本文通过随机特征岭回归的确定性等价分析，揭示了弱教师训练的强学生模型在偏差主导和方差主导场景下均能改进缩放定律，甚至达到极小极大最优率。
2026-06-02 cs.LG stat.ML
On the Asymptotic Learning Curves of Kernel Ridge Regression under Power-law Decay
Tsinghua University（清华大学）；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）
本文在幂律衰减和更现实假设下严格刻画了核岭回归的学习曲线，揭示正则化参数、源条件与噪声的相互作用，并指出良性过拟合仅在噪声水平较小时出现于极宽神经网络中。
2023-09-23 cs.LG math.ST stat.TH
The Eigenlearning Framework: A Conservation Law Perspective on Kernel Regression and Wide Neural Networks
University of California, Berkeley（加州大学伯克利分校）；Generally Intelligent
本文提出特征学习框架，通过守恒律简化核岭回归的泛化分析，并用于解释深度自举、奇偶校验问题难度、对抗鲁棒性及统计物理类比。
2023-10-26 cs.LG stat.ML
Evaluating the Quality of the Quantified Uncertainty for (Re)Calibration of Data-Driven Regression Models
Department of Computing Science（计算科学系）；Institute of Systems Engineering for Future Mobility（未来移动系统工程研究所）；Department for Civil Engineering, Geoinformation and Health Technology（土木工程、地理信息与健康技术系）
本文系统提取并分类回归校准指标，通过实验揭示校准指标的不一致性和依赖性，识别出最可靠的指标。
2026-04-22 cs.LG stat.ML
Optimizing Shortfall Risk Metric for Learning Regression Models
Indian Institute of Technology Madras（印度理工学院马德拉斯学院）
针对回归问题中基于效用的短缺风险（UBSR）优化难题，推导其估计集中界，将优化转化为可达分布空间的伪线性最小化问题，构建梯度与线性最小化预言机，提出二分类算法并证明收敛性。
2025-06-11 cs.LG
On the Consistency of Fairness Measurement Methods for Regression Tasks
Imam Abdulrahman Bin Faisal University（伊玛目阿卜杜勒拉赫曼·本·费萨尔大学）；The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
针对回归任务公平性度量近似算法缺乏一致性验证的问题，本文通过多任务实验对比各类方法的输出一致性，发现不同方法一致性存在差异，呼吁构建更具原则性的回归公平度量方法。
2024-06-19 cs.LG
A Visualization for Comparative Analysis of Regression Models
Laboratoire ICube, Université de Strasbourg, 300 Bd Sébastien Brant, 67400 Illkirch-Graffenstaden, France ENGLAB, Technology \& Strategy Engineering, 3 rue Denis Papin, 67300 Schiltigheim, France
本文提出一种可视化方法，通过残差二维空间、马氏距离和色谱图分析回归模型性能，以更清晰地比较模型差异和误差分布。
2026-03-10 cs.AI cs.LG stat.ML
Data-Informed Model Complexity Metric for Optimizing Symbolic Regression Models
提出一种基于 Hessian 秩的数据知情模型复杂度度量方法，通过将模型表达力与数据集内在维度对齐，有效平衡符号回归模型的准确性与泛化能力。
2025-01-29 cs.LG cs.NE
Metric Effects based on Fluctuations in values of k in Nearest Neighbor Regressor
University of Mumbai（孟买大学）；TIMSCDR；St. John College of Engineering and Management（圣约翰工程与管理学院）
机器学习的回归分支纯粹专注于预测连续值。监督学习分支有许多基于回归的方法，具有参数和非参数学习模型。在本文中，我们的目标是与基于距离的回归模型相关的一个非常微妙的点。所使用的基于距离的模型是K-最近邻回归，这是一种有监督的非参数方法。我们要证明的一点是模型的k参数及其波动对度量的影响。我们使用的指标是均方根误差和R平方拟合优度，以及它们相对于k值的可视化表示。
2022-08-24 cs.LG
Improved Scaling Laws in Linear Regression via Data Reuse
University of California, Berkeley（加州大学伯克利分校）；Google DeepMind（谷歌DeepMind）
本文证明在数据受限的线性回归中，通过多遍SGD重用数据（L>N）可达到比单遍SGD更低的测试误差，从而改进缩放定律。
2025-09-25 cs.LG math.ST stat.ML
Deep Metric Learning-Based Semi-Supervised Regression With Alternate Learning
Faculty of Electrical Engineering
本文介绍了一种新的基于深度度量学习的半监督回归（DML-S2 R）方法，用于参数估计问题。所提出的DML-S2 R方法旨在缓解标记样本量不足的问题，而无需收集具有目标值的任何额外样本。为此，它由两个主要步骤组成：i）使用稀缺的标记数据进行成对相似性建模; ii）使用丰富的未标记数据进行基于三元组的度量学习。第一步的目标是通过使用少量的标记样本来对成对样本相似性进行建模。这是通过用连体神经网络（SNN）估计标记样本的目标值差异来实现的。第二步的目标是学习一个基于三元组的度量空间（其中相似的样本彼此接近，不相似的样本彼此远离）时，标记的样本的数量是不够的。这是通过将第一步的SNN用于基于三元组的深度度量学习来实现的，该深度度量学习不仅利用了标记的样本，还利用了未标记的样本。对于DML-S2 R的端到端训练，我们研究了两个步骤的交替学习策略。由于这种策略，每一步中的编码信息成为另一步学习阶段的指导。实验结果证实了DML-S2 R与最先进的半监督回归方法相比的成功。所提出的方法的代码可在https://git.tu-berlin.de/rsim/DML-S2R上公开获得。
2022-07-12 cs.CV cs.LG
Deep Regression Unlearning
Mavvex Labs（Mavvex实验室）；Kalinga Institute of Industrial Technology（卡林加工业技术学院）；National University of Singapore（新加坡国立大学）
本文针对深度回归模型遗忘问题，提出 Blindspot 权重优化方法和高斯微调方法，并适配回归遗忘指标，在视觉、语言和预测任务上验证了其有效性。
2023-05-31 cs.LG
Deep Fréchet Regression
Department of Statistics, University of California, Davis（加州大学戴维斯分校统计系）
本文提出深度 Fréchet 回归，用深度神经网络处理高维预测变量，并结合流形学习与局部 Fréchet 回归实现度量空间对象的映射和还原，理论上给出收敛速率，实验表明其优于现有方法。
2025-05-10 cs.LG stat.ME
Extreme Regression for Dynamic Search Advertising
Microsoft Research India（微软研究院印度）；Indian Institute of Technology Delhi（印度理工学院德里分校）；University of Washington（华盛顿大学）
本文介绍了一种新的学习范式，称为极限回归（XR），其目标是准确地预测大量标签与数据点的相关程度。XR可以为许多大型排名和推荐应用提供优雅的解决方案，包括动态搜索广告（DSA）。XR可以学习比最近流行的极端分类器更准确的模型，后者错误地假设严格的二进制值标签相关性。传统的回归度量将所有标签上的错误相加，不适合XR问题，因为它们可能会为标签排名质量提供非常宽松的界限。此外，现有的回归算法无法有效地扩展到数百万个标签。本文通过以下方式解决了这些限制：（1）XR的新评估指标，仅对k个最大的回归误差进行求和;（2）一种名为XReg的新算法，将XR任务分解为一系列更小的回归问题，从而实现高效的训练和预测。本文还介绍了XReg中的一个（3）新的标签预测算法，可用于DSA和其他推荐任务。在基准数据集上的实验表明，XReg可以超越最先进的极端分类器以及大规模回归器和排名器，在新的XR错误度量方面减少高达50%，在极端分类中使用的倾向评分精度度量和DSA中使用的点击率度量方面分别提高了2%和2.4%。在Bing中DSA上部署XReg导致查询覆盖率相对增加27%。XReg的源代码可以从http://manikvarma.org/code/XReg/download.html下载。
2020-01-20 cs.LG stat.ML
Variation-Incentive Loss Re-weighting for Regression Analysis on Biased Data
University of Warwick（华威大学）；South China University of Technology（华南理工大学）
分类和回归任务都容易受到训练数据的有偏分布的影响。然而，现有的方法都集中在类不平衡学习，不能适用于学习目标是连续值而不是离散标签的数值回归问题。在本文中，我们的目标是通过解决模型训练过程中的数据偏度/偏差来提高回归分析的准确性。我们首先引入了两个度量，唯一性和异常性，以反映本地化数据分布的角度来看，他们的特点（即，输入）空间和目标（即，输出）空间。结合这两个指标，我们提出了一个变化激励损失重新加权方法（VILoss），以优化基于梯度下降的模型训练回归分析。我们对合成和真实世界的数据集进行了全面的实验。结果表明，当使用VILoss作为训练中的损失标准时，模型质量得到了显着改善（误差减少高达11.9%）。
2021-09-14 cs.LG
Semi-Supervised Ordinal Regression Based on Empirical Risk Minimization
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目中心）；Kyoto University（京都大学）
有序回归的目的是预测有序类标签。在本文中，我们考虑它的半监督制定，其中我们有未标记的数据以及有序标记的数据训练有序回归。有几个度量来评估有序回归的性能，例如平均绝对误差，平均零一误差和均方误差。然而，现有的研究没有考虑评价指标，对模型的选择有限制，没有理论保证。为了克服这些问题，我们提出了一种新的通用框架，半监督有序回归的基础上的经验风险最小化原则，适用于优化上述所有指标。此外，我们的框架具有灵活的模型，代理损失和优化算法的选择，而无需对未标记数据进行常见的几何假设，如聚类假设或流形假设。我们进一步提供了一个估计误差界，以表明我们的风险估计是一致的。最后，我们进行实验，以显示我们的框架的实用性。
2021-06-10 cs.LG stat.ML
Active Learning in Genetic Programming: Guiding Efficient Data Collection for Symbolic Regression
Michigan State University（密歇根州立大学）
本文研究了遗传规划中主动学习的计算不确定性和多样性方法，发现结合模型集成与微分熵不确定性度量能有效选择训练数据，并利用Pareto优化平衡不确定性与相关性多样性，指导符号回归的高效数据收集。
2023-07-31 cs.LG cs.NE
Surface Agnostic Metrics for Cortical Volume Segmentation and Regression
Imperial College London（帝国理工学院）；King’s College London（伦敦国王学院）；Centre for the Developing Brain（发育中的大脑中心）；School of Biomedical Engineering and Imaging Sciences（生物医学工程与成像科学学院）；Dept. Computing, BioMedIA（计算机系，生物医学信息学（BioMedIA））；ISBE（（伦敦国王学院）生物医学工程与成像科学学院（School of Biomedical Engineering and Imaging Sciences））
大脑皮层执行高级大脑功能，因此与一系列认知障碍有关。当前对皮质变化的分析通常通过将表面网格模型拟合到内部和外部皮质边界并调查诸如表面积和皮质曲率或厚度的度量来执行。然而，这些需要很长时间才能运行，并且对运动和图像以及表面分辨率敏感，这可能会禁止它们在临床环境中使用。在本文中，我们提出了一种机器学习解决方案，训练一种新的架构来预测T2 MRI图像中的皮质厚度和曲率指标，同时还返回预测不确定性指标。我们提出的模型进行测试的临床队列（唐氏综合征），基于表面的建模往往失败。结果表明，深度卷积神经网络是预测一系列大脑发育阶段和病理的皮质指标的可行选择。
2020-10-04 cs.CV cs.LG eess.IV
Benchmarking Bayesian neural networks and evaluation metrics for regression tasks
Safran Tech（赛峰科技）；ENSAI（法国国立统计与信息分析学院）；CREST（法国统计与经济研究所）
由于深度神经网络在科学和工程的许多领域中越来越多地被采用，建模和估计其不确定性已变得至关重要。尽管关于深度学习中不确定性量化的文献越来越多，但不确定性估计的质量仍然是一个悬而未决的问题。在这项工作中，我们第一次评估贝叶斯神经网络回归任务的几个近似方法的性能，通过评估的质量的置信区域与几个覆盖度量。所选算法的预测性，核化Stein差异和最大平均差异方面进行了比较，相对于一个参考后，在重量和功能空间。我们的研究结果表明：（i）一些算法具有出色的预测性能，但往往在很大程度上高估或低估了不确定性;（ii）通过微调超参数可以实现良好的准确性和给定的目标覆盖率;（iii）不能完全依赖于有前途的内核Stein差异来评估后验近似。作为该基准的副产品，我们还计算和可视化了所有算法和相应超参数的相似性：有趣的是，我们识别了一些在权重空间中具有相似行为的算法集群，从而对它们如何探索后验分布提供了新的见解。
2023-02-14 cs.LG physics.class-ph
On the good reliability of an interval-based metric to validate prediction uncertainty for machine learning regression tasks
Institut de Chimie Physique, UMR8000 CNRS（法国国家科学研究中心物理化学研究所）；Université Paris-Saclay（巴黎萨克雷大学）
本文提出使用基于区间的指标PICP替代对方差敏感的传统校准指标来验证机器学习回归中的预测不确定性，实验证明该方法能更快速可靠地测试更多数据集并准确估计95%预测区间。
2024-08-26 cs.LG stat.ML
AKRMap: Adaptive Kernel Regression for Trustworthy Visualization of Cross-Modal Embeddings
The Hong Kong University of Science and Technology（香港科技大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
AKRMap是一种新的降维技术，通过在投影空间中学习度量景观的自适应核回归，支持交互式探索，生成比传统方法更准确可信的跨模态嵌入可视化。
2025-05-28 cs.AI cs.CV cs.HC
Learning between the peaks: sharp asymptotics for kernel ridge regression under power-law anisotropy
该研究针对幂律各向异性下的核岭回归，推导高维 regime 中核谱与泛化误差的渐近尖锐表达式，明确各向异性对学习曲线、偏差与方差转变及泛化性能的影响。
2026-08-31 cs.LG stat.ML
Linear Regression in p-adic metric spaces
School of Computing, Australian National University（澳大利亚国立大学计算机学院）；School of Computing, Macquarie University（麦考瑞大学计算机学院）
针对传统欧氏度量难以捕捉层级数据离散分支特性的问题，该研究建立p进度量空间的机器学习理论，证明p进线性回归的最优n维平面过至少n+1个点，并通过NLP应用验证其实际价值。
2025-09-27 cs.CL cs.LG math.NT
Similarity Learning via Adaptive Regression and Its Application to Image Retrieval
Michigan State University（密歇根州立大学）；Alibaba Group（阿里巴巴集团）
研究了相似性学习及其在大规模图像检索中的应用。图像对之间的相似性可以通过它们的高维表示之间的距离来测量，并且学习适当的相似性的问题通常通过距离度量学习来解决。然而，距离度量学习需要学习的度量是一个PSD矩阵，这是计算昂贵的，而不是必要的检索排名问题。另一方面，双线性模型被证明是更灵活的大规模的图像检索任务，因此，我们采用它来学习一个矩阵，估计成对的相似性下的回归框架。通过自适应更新回归中的目标矩阵，我们可以模仿铰链损失，这是更适合于相似性学习问题。虽然回归问题可以有封闭形式的解决方案，计算成本会非常昂贵。计算挑战来自两个方面：图像的数量可能非常大，图像特征具有高维数。我们解决了第一个挑战，压缩数据的随机算法的理论保证。对于高维问题，我们采用低秩假设，利用交替法得到部分矩阵，并使其具有全局最优解。对真实世界图像数据集的实证研究（即，Caltech和ImageNet）证明了所提出的方法的有效性和效率。
2015-12-06 cs.LG
Generalization Error Curves for Analytic Spectral Algorithms under Power-law Decay
Tsinghua University（清华大学）
本文在温和假设下，完整刻画了核梯度下降等解析谱算法在核回归中的泛化误差曲线，揭示了核插值的不一致性和高资格算法的饱和效应，并通过神经正切核理论加深了对宽神经网络泛化行为的理解。
2026-06-08 cs.LG math.ST stat.TH
Resampling strategies for imbalanced regression: a survey and empirical analysis
本文针对回归任务中的不平衡问题，开展广泛的平衡与预测模型实验，并基于回归模型、学习过程和评估指标提出了一种不平衡回归方法的分类法，为重采样策略的应用提供了新见解。
2025-07-16 cs.LG
Riemannian Multinomial Logistics Regression for SPD Neural Networks
University of Trento（特伦托大学）；Cisco Systems（思科系统公司）；Jiangnan University（江南大学）
针对SPD网络传统欧几里得分类器无法准确捕捉流形几何的问题，提出黎曼多项式逻辑回归（RMLR）统一框架，在LEM和LCM度量下构建内蕴分类器，并在雷达、动作和脑电识别任务中验证了有效性。
2024-03-20 cs.LG
A Fast and Easy Regression Technique for k-NN Classification Without Using Negative Pairs
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
本文提出了一种廉价的方法来学习一个有效的相异度函数用于$k$ -最近邻（$k$ -NN）分类。与通过单个变换将查询（未标记）对象和标记对象映射到新坐标的Mahalanobis度量学习方法不同，我们的方法学习标记对象到特征空间中的新点的变换，而查询对象保持在其原始坐标中。该方法与现有的距离度量学习方法相比具有几个优点：（i）在大型文档和图像数据集的实验中，它实现了比最先进的度量学习方法更好或至少可与之媲美的$k$ -NN分类精度。(ii)可以通过解决标准岭回归问题来有效地学习转换。对于文档和图像数据集，训练通常比测试的最快度量学习方法快两个数量级以上。这种加速也是由于所提出的方法消除了对“负”对象对的优化，即，类标签不同的对象。(iii)该公式在减少数据集中度方面具有理论上的合理性。
2020-08-28 cs.LG stat.ML
Ordinality in Discrete-level Question Difficulty Estimation: Introducing Balanced DRPS and OrderedLogitNN
Ghent University（根特大学）；CVAMO Core Lab Flanders Make（CVAMO核心实验室弗拉芒制造）
本文针对离散级别问题难度估计中序数性被忽视和类别不平衡导致评估偏差的问题，提出平衡DRPS指标和OrderedLogitNN模型，在RACE++与ARC上微调BERT验证其在复杂任务上的优越性。
2025-07-03 cs.LG stat.ML
Regression Networks for Meta-Learning Few-Shot Classification
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
我们提出了回归网络的问题，Few-Shot分类，其中一个分类器必须推广到新的类中没有看到的训练集，只有少量的例子，每个类。在高维嵌入空间中，数据的方向通常包含比幅度更丰富的信息。除此之外，最先进的Few-Shot度量方法（将距离与聚合类表示进行比较）已显示出优越的性能。结合这两个见解，我们提出通过回归每个类子空间中的最接近近似值，同时使用回归误差作为距离度量来元学习嵌入点的分类。与最近的少样本学习方法类似，回归网络反映了一种简单的归纳偏差，这在这种有限的数据制度中是有益的，并且它们实现了出色的结果，特别是当可以用多个样本形成更多的聚合类表示时。
2020-06-18 cs.CV cs.LG stat.ML
Deep symbolic regression for physics guided by units constraints: toward the automated discovery of physical laws
Université de Strasbourg（斯特拉斯堡大学）；CNRS（法国国家科学研究中心）；Observatoire astronomique de Strasbourg（斯特拉斯堡天文台）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61）
提出$\Phi$-SO物理符号优化框架，利用深度强化学习并嵌入单位约束，自动发现物理定律，在费曼基准上噪声下性能最优，且对10%噪声稳健。
2023-10-09 astro-ph.IM cs.LG physics.comp-ph
Pairwise Fairness for Ranking and Regression
Google Research（谷歌研究院）
我们提出了成对的公平性指标的排名模型和回归模型，形成类似的统计公平的概念，如平等的机会，平等的准确性，统计奇偶性。我们的成对公式支持离散保护组和连续保护属性。我们表明，由此产生的训练问题，可以有效地解决现有的约束优化和强大的优化技术开发的公平分类。实验说明了这些方法的广泛适用性和权衡。
2020-01-07 cs.LG stat.ML
Fréchet random forests for metric space valued regression with non euclidean predictors
epoch intelligence；Univ. Bordeaux（波尔多大学）；INSERM（法国国家健康与医学研究院）；INRIA（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Bordeaux INP（波尔多国立综合理工学院）；IMB（数学与基础科学研究所）
本文提出Fréchet树和Fréchet随机森林，通过引入新的节点分裂方法和推广预测过程，支持输入输出变量在一般度量空间取值的异构数据回归，并验证了其一致性与有效性。
2024-02-16 cs.LG stat.ME stat.ML
A Regression Approach to Certain Information Transmission Problems
University of Science and Technology of China（中国科学技术大学）；University of Virginia（弗吉尼亚大学）
利用广义互信息的性能指标，研究了在独立同分布高斯码本和最近邻译码规则下的通用信息传输模型。当编码器和解码器知道统计信道模型时，发现最优信道输出处理函数是条件期望算子，从而暗示了回归（机器学习中的经典主题）对于该模型的潜在作用。在不利用统计信道模型的情况下，建立了受机器学习原理启发的问题公式，并引入了合适的性能度量。提出了一种数据驱动的推理算法来解决该问题，并通过数值实验验证了算法的有效性。更一般的信息传输模型的扩展也进行了讨论。
2019-08-22 cs.IT cs.LG math.IT
Machine learning method for return direction forecasting of Exchange Traded Funds using classification and regression models
本文旨在提出并应用一种机器学习方法，利用其组成部分的历史收益数据分析交易所交易基金（ETF）的收益方向，帮助通过交易算法做出投资策略决策。在方法学方面，除了算法误差指标外，还使用了巴西和美国市场的标准数据集，采用了回归和分类模型。在研究结果方面，将它们与相同时间内的朴素预测和买入持有技术所获得的回报进行了分析和比较。在风险和回报方面，这些模型的表现大多优于控制指标，重点是线性回归模型和逻辑回归分类模型，支持向量机（使用LinearSVC模型），高斯朴素贝叶斯和K最近邻，其中在某些数据集中，回报率超过两倍，夏普比率高达买入和持有控制模型的四倍。
2022-06-13 cs.LG econ.EM q-fin.CP
