The Unreasonable Effectiveness of Deep Evidential Regression
Pasteur Labs（巴斯德实验室）；German Aerospace Center（德国航空航天中心）
针对安全关键领域机器学习系统的不确定性推理需求，本文指出深度证据回归（DER）虽在实证上有成效且能区分两类不确定性，但其数学基础存在缺陷，本质是启发式方法而非精确量化手段，并提出了不确定性提取的修正方案。
2023-07-16 cs.LG cs.NE stat.ML
An Evidential Neural Network Model for Regression Based on Random Fuzzy Numbers
Université de technologie de Compiègne（贡比涅技术大学）；CNRS（法国国家科学研究中心）；Institut universitaire de France（法国大学研究院）
我们引入了一个基于距离的神经网络模型的回归，其中预测的不确定性是量化的信念函数上的真正的线。该模型将输入向量到原型的距离解释为由高斯随机模糊数（GRFN）表示的证据，并由广义乘积交集规则（将Dempster规则扩展到随机模糊集的运算符）组合。网络输出是一个GRFN，可以用三个数字来概括，这三个数字表征了最合理的预测值、围绕该值的可变性和认知不确定性。与现有的证据和统计学习算法相比，该方法具有很好的性能。\keywords {证据理论，Dempster-Shafer理论，置信函数，机器学习，随机模糊集。
2022-08-01 cs.LG
REV-INR: Regularized Evidential Implicit Neural Representation for Uncertainty-Aware Volume Visualization
INSIGHT Lab. IIT Kanpur（IIT坎浦实验室）；Oak Ridge National Laboratory（橡树岭国家实验室）；IIT Kharagpur（IIT哈里甘普）；University of Utah（犹他大学）
REV-INR通过正则化证据隐式神经表示，在单次前向传递中实现体数据的高精度重建和不确定性估计，提升体可视化结果的可靠性。
2026-01-25 cs.GR cs.LG
EviDep: Uncertainty-Aware Multimodal Depression Estimation via Disentangled Evidential Learning
School of Computer Science and Technology, University of Science and Technology of China（中国科学技术大学计算机科学与技术学院）；School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院）；Department of Psychiatry, The First Affiliated Hospital of University of Science and Technology of China, Division of Life Sciences and Medicine, University of Science and Technology of China（中国科学技术大学附属第一医院精神科，生命科学与医学学院）
本文提出EviDep框架，通过解耦证据学习量化抑郁严重程度及不确定性，提升多模态抑郁估计的可信度和不确定性校准能力。
2026-09-16 cs.AI cs.LG
Deep Evidential Regression
Massachusetts Institute of Technology（麻省理工学院）
确定性神经网络（NN）越来越多地被部署在安全关键领域，其中校准的，鲁棒的和有效的不确定性度量是至关重要的。在本文中，我们提出了一种新的方法来训练非贝叶斯神经网络估计一个连续的目标，以及其相关的证据，以学习任意和认知的不确定性。我们通过将证据先验放置在原始高斯似然函数上并训练NN来推断证据分布的超参数来实现这一点。我们还在训练过程中施加先验，以便当模型的预测证据与正确的输出不一致时，模型被正则化。我们的方法不依赖于推理过程中的采样或用于训练的分布外（OOD）示例，从而实现了高效和可扩展的不确定性学习。我们展示了在各种基准上学习校准良好的不确定性度量，扩展到复杂的计算机视觉任务，以及对抗性和OOD测试样本的鲁棒性。
2020-11-24 cs.LG cs.NE stat.ML
Deep Evidential Regression for Sparse Forest Height Estimation from Multimodal Satellite Imagery
LMU Munich（慕尼黑大学）；TU Munich（慕尼黑工业大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本研究针对TreeUQ基准数据集，采用融合多模态卫星输入的U-Net架构，提出掩码证据损失函数，应用深度证据回归实现了树高与不确定性的联合预测，性能优于确定性模型。
2026-09-15 cs.CV cs.LG
Is Epistemic Uncertainty Faithfully Represented by Evidential Deep Learning Methods?
Ghent University（根特大学）；German Aerospace Center (DLR)（德国航空航天中心）；University of Munich (LMU)（慕尼黑大学）
本文从理论上分析证据深度学习方法，揭示其二阶损失优化、可辨识性、收敛性及认知不确定性度量仅具相对意义等根本问题。
2024-09-09 cs.AI cs.LG
Evidential Uncertainty Quantification: A Variance-Based Perspective
Johns Hopkins University（约翰斯·霍普金斯大学）；Johns Hopkins University School of Medicine（约翰斯·霍普金斯大学医学院）
本文将基于方差的方法从回归适配到分类，在类别级别量化证据不确定性，通过类协方差分解推导类相关性，实验表明其在主动域自适应中准确率与基于熵方法相当，且能提供逐类不确定性和类间相关性信息。
2023-11-19 cs.CV cs.LG
Continuous Monitoring of Blood Pressure with Evidential Regression
基于光电容积描记图（PPG）信号的血压（BP）估计是现代BP测量的有希望的候选者，因为PPG信号可以以非侵入性方式容易地从可穿戴设备获得，从而允许快速BP测量。然而，现有的基于机器学习的BP测量方法的性能仍然落后于一些BP测量指南，并且其中大多数仅提供收缩压（SBP）和舒张压（DBP）的点估计。在本文中，我们提出了一种尖端的方法，能够从PPG信号中连续监测BP，并满足医疗器械促进协会（AAMI）和英国高血压协会（BHS）标准等医疗标准。此外，所提出的方法通过估计其不确定性来提供预测BP的可靠性，以帮助基于模型预测的医疗状况的诊断。MIMIC II数据库上的实验验证了所提出的方法在几个指标下的最新性能，并能够准确地表示预测中的不确定性。
2021-02-26 cs.LG eess.SP
EviNAM: Intelligibility and Uncertainty via Evidential Neural Additive Models
Clausthal University of Technology（克劳斯塔尔大学）
EviNAM通过结合神经加法模型的可解释性和原理性不确定性估计，实现更可靠和可解释的预测。
2026-01-13 cs.LG
A Comprehensive Survey on Evidential Deep Learning and Its Applications
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Peng Cheng Laboratory（鹏城实验室）
本文综述证据深度学习（EDL）的理论基础、四类技术进展、跨范式应用及未来方向，突出其单次前向传播即可低成本估计不确定性的优势。
2024-09-07 cs.AI cs.LG
Evidential time-to-event prediction with calibrated uncertainty quantification
Saw Swee Hock School of Public Health, National University of Singapore（新加坡国立大学苏瑞福公共卫生学院）；Institute of Data Science, National University of Singapore（新加坡国立大学数据科学研究所）；Université de Technologie de Compiègne, CNRS, Heudiasyc（贡比涅技术大学、法国国家科研中心、Heudiasyc实验室）；Institut universitaire de France（法国大学研究院）
针对事件发生时间预测中存在删失数据、缺乏不确定性校准的问题，提出基于高斯随机模糊数和信任函数的证据回归模型，在多类数据集上表现优于现有最优方法，可辅助临床决策。
2024-12-13 cs.LG
Prediction of wind turbines power with physics-informed neural networks and evidential uncertainty quantification
University of Granada（格拉纳达大学）；Research Centre for Information and Communication Technologies (CITIC-UGR)（信息与通信技术研究中心（CITIC-UGR））；TECNALIA（泰克纳利亚研究中心）；Imperial College London（帝国理工学院）
本研究提出使用物理信息神经网络结合证据不确定性量化方法，复现4台涡轮机历史数据并施加物理约束，准确预测风力涡轮机的功率、扭矩和功率系数，同时提供与绝对误差一致的预测不确定性估计并定义功率曲线置信区间。
2023-07-27 cs.AI cs.LG
Prior and Posterior Networks: A Survey on Evidential Deep Learning Methods For Uncertainty Estimation
IT University of Copenhagen（哥本哈根信息技术大学）；Technical University of Denmark（丹麦技术大学）；Pioneer Centre for Artificial Intelligence（先锋人工智能中心）
用于量化深度神经网络中的预测不确定性的流行方法通常涉及权重或多个模型的分布，例如通过马尔可夫链采样，集成或蒙特卡洛丢弃。这些技术通常由于必须训练多个模型实例而产生开销，或者不能产生非常多样化的预测。这个全面而广泛的调查旨在让读者熟悉基于证据深度学习概念的另一类模型：对于不熟悉的数据，他们的目标是承认“他们不知道的”，并回到先前的信念。此外，它们允许在单个模型中进行不确定性估计，并通过对分布进行参数化来向前传递。这项调查概括了现有的作品，重点是在分类设置的实施，在调查应用相同的范式回归。我们还反映了与其他现有方法相比的优点和缺点，并使用统一的符号提供最基本的推导，以帮助未来的研究。
2023-03-07 cs.AI cs.LG stat.ML
Robust Evidential Learning Through Latent Consistency
University of York（约克大学）；Cyprus University of Technology（塞浦路斯理工大学）
CLEAR是一种轻量级事后方法，通过校准潜在空间几何并检测潜在冲突，在不重训练的情况下增强证据深度学习对分布外和对抗输入的鲁棒性，显著提升AUROC并保持性能。
2026-10-02 cs.LG
Improving evidential deep learning via multi-task learning
Deargen Inc.（Deargen 公司）；Deargen USA Inc.（Deargen 美国公司）
证据回归网络（ENet）估计连续目标及其预测不确定性，而无需昂贵的贝叶斯模型平均。然而，由于ENet的原始损失函数的梯度收缩问题（负对数边际似然（NLL）损失），可能不准确地预测目标。在本文中，目标是提高预测精度的ENet，同时保持其有效的不确定性估计通过解决梯度收缩问题。一个多任务学习（MTL）的框架，被称为MT-ENet，提出来实现这一目标。在MTL中，我们定义Lipschitz修正的均方误差（MSE）损失函数作为另一个损失，并将其添加到现有的NLL损失。Lipschitz修正的MSE损失被设计为通过动态调整其Lipschitz常数来减轻与NLL损失的梯度冲突。通过这样做，Lipschitz MSE损失不会干扰NLL损失的不确定性估计。MT-ENet增强了ENet的预测准确性，而不会失去对合成数据集和真实世界基准的不确定性估计能力，包括药物-靶标亲和力（DTA）回归。此外，MT-ENet在DTA基准上显示出显著的校准和分布外检测能力。
2021-12-17 cs.LG stat.ML
On Regularized Sparse Logistic Regression
Clemson University（克莱姆森大学）
本文提出统一框架求解L1正则化逻辑回归，可扩展至非凸正则项，并用新线搜索保证单调收敛，实验证明算法在二分类中高效实现分类与特征选择。
2023-10-12 cs.AI cs.LG stat.ML
Bregman Distance to L1 Regularized Logistic Regression
Epson Research and Development, Inc.（爱普生研发有限公司）；University of Illinois, Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究了Bregman距离与正则化Logistic回归模型之间的关系。我们提出了一个详细的研究Bregman距离最小化，一个家庭的广义熵的措施与凸函数。我们将L1-正则化逻辑回归转换到这个更一般的框架中，并提出了一个基于原始-对偶方法的参数学习算法。我们将L1正则化逻辑回归转化为Bregman距离最小化，然后应用非线性约束优化技术来估计逻辑模型的参数。
2010-04-21 cs.LG
Bayesian Evidential Deep Learning with PAC Regularization
Heidelberg University（海德堡大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
本文提出了一种新的神经网络预测分布模型的方法。在量化预测不确定性时，我们建立在证据深度学习的基础上，它既易于实现，又能以封闭形式访问预测不确定性。我们用它来模拟任意的不确定性，并将其扩展到考虑到认知的不确定性，将其转换为贝叶斯神经网络。在扩展其不确定性量化功能的同时，我们通过首次执行渐进矩匹配以近似权重边缘化来保持其可分析的预测分布模型。最终的模型引入了大量的超参数来进行稳定的训练。我们克服了这个缺点，推导出一个空洞的PAC界，包括边际似然预测和复杂性惩罚。我们在回归，分类和域外检测基准上观察到，我们的方法改进了模型拟合和不确定性量化。
2021-01-21 cs.LG stat.ML
Performance Analysis Of Regularized Linear Regression Models For Oxazolines And Oxazoles Derivitive Descriptor Dataset
Mangalore University（芒格洛尔大学）
线性回归的正则化回归技术是在过去的几十年中创建的，以减少普通最小二乘回归在预测精度方面的缺陷。本文介绍了在模型选择中使用正则化回归的新方法，并区分了正则化回归发展我们判别模型能力的条件。我们应用了所有五种使用基于惩罚（正则化）收缩的方法来处理恶唑啉和恶唑衍生物描述符数据集，其预测因子远远多于观察值。套索，脊，elasticnet，lars和松弛套索还具有理想的属性，它们同时选择相关的预测描述符，并最佳地估计其效果。在这里，我们比较评估性能的五个正则化线性回归方法的性能评估的每个模型的性能通过基准实验是一个既定的练习。交叉验证和再验证方法通常用来评估识别效率，并与具有可接受特征的识别方法进行比较。用均方根误差（RMSE）和预测因子与观察到的抗结核活性的平均抑制浓度之间的通常相关平方（R平方）评价预测准确性。我们发现，所有五个正则化回归模型都能够产生可行的模型，并有效地捕获数据中的线性。弹性网和lars具有相似的精度，lasso和松弛lasso具有相似的精度，但在RMSE和R平方度量方面优于岭回归。
2013-12-10 cs.LG
Critic Regularized Regression
DeepMind（深度思维）；Google Brain（谷歌大脑）
离线强化学习（RL），也称为批处理RL，提供了在没有在线环境交互的情况下从大型预记录数据集进行策略优化的前景。它解决了关于数据汇集和安全性的成本方面的挑战，这两者都与RL的实际应用特别相关。不幸的是，大多数非策略算法在从固定数据集学习时表现不佳。在本文中，我们提出了一种新的离线RL算法，使用一种形式的临界正则化回归（CRR）从数据中学习策略。我们发现CRR的表现令人惊讶地好，并且可以扩展到具有高维状态和动作空间的任务-在广泛的基准任务上，它的表现远远优于几种最先进的离线RL算法。
2021-09-22 cs.AI cs.LG stat.ML
Evidential Deep Learning: Enhancing Predictive Uncertainty Estimation for Earth System Science Applications
National Center for Atmospheric Research（国家大气研究中心）；Cooperative Institute for Severe and High-Impact Weather Research and Operations（恶劣与高影响天气研究与合作研究所）；National Severe Storms Laboratory（国家强风暴实验室）；University Corporation for Atmospheric Research（大学大气研究公司）；University of Maryland（马里兰大学）；University at Albany, State University of New York（纽约州立大学奥尔巴尼分校）；Colorado State University（科罗拉多州立大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
本研究将证据深度学习引入地球系统科学，通过单一模型同时量化偶然与认知不确定性，在降水分类与通量回归中实现高精度预测与可解释性，并发布Python包MILES-GUESS以促进应用。
2024-02-19 cs.LG
Sharp Threshold for Multivariate Multi-Response Linear Regression via Block Regularized Lasso
Syracuse University（雪城大学）；Carnegie Mellon University（卡内基梅隆大学）
本文研究了一个多变量多响应（MVMR）线性回归问题，该问题包含多个具有不同分布设计矩阵的线性回归模型，以及不同的回归和输出向量。目标是使用$l_1/l_2$正则化Lasso恢复所有回归向量的支持并集。我们的充分和必要条件的样本复杂性\emph{as a sharp threshold}，以保证成功恢复的支持联盟。也就是说，如果样本大小高于阈值，则$l_1/l_2$ -正则化Lasso正确地恢复支持并集;如果样本大小低于阈值，则$l_1/l_2$ -正则化Lasso无法恢复支持并集。特别是，该阈值精确地捕获了回归向量的稀疏性和设计矩阵的统计特性对样本复杂性的影响。因此，阈值函数还捕获了使用多任务Lasso的联合支持联合恢复优于使用单任务Lasso的单独支持恢复的优点。
2013-07-30 cs.LG stat.ML
Optimal Rates of Sketched-regularized Algorithms for Least-Squares Regression over Hilbert Spaces
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本文研究了Hilbert空间上最小二乘回归问题的正则化投影算法，包括再生核Hilbert空间上的非参数回归。我们证明收敛结果的变体的规范，在假设空间的能力假设和正则性条件下的目标函数。其结果是，我们获得最佳率的正则化算法与随机草图，只要草图尺寸是成比例的有效尺寸的对数因子。作为一个副产品，我们得到了类似的结果Nyström正则化算法。我们的结果是第一个最佳的，分布相关的速率，没有任何饱和效应的草图/Nyström正则化算法，考虑到可达到和不可达到的情况。
2018-10-08 cs.LG math.FA stat.ML
Bias Correction for Regularized Regression and its Application in Learning with Streaming Data
Middle Tennessee State University（中田纳西州立大学）
提出了一种降低岭回归和正则化核网络偏差的方法。当应用到一个单一的数据集的新算法具有可比的学习性能与原来的。当应用于增量学习与块明智的流数据的新算法是更有效的，由于偏见减少。理论分析和仿真研究都用来验证这些新算法的有效性。
2016-03-15 cs.LG stat.ML
Ising Model Selection Using $\ell_{1}$-Regularized Linear Regression: A Statistical Mechanics Analysis
The University of Tokyo（东京大学）；Institute for Physics of Intelligence（智能物理研究所）；Kyoto University（京都大学）
我们从理论上分析了典型的学习性能的$\ell_{1}$ -正则化线性回归（$\ell_1$ -LinR）伊辛模型选择使用的副本方法从统计力学。对于顺磁相的典型随机正则图，得到了$\ell_1$ -LinR的典型样本复杂度的精确估计.值得注意的是，尽管模型错误指定，$\ell_1$ -LinR是与$\ell_{1}$ -正则化逻辑回归（$\ell_1$ -LogR）相同的样本复杂性顺序一致的模型选择，即，$M=\mathcal{O}\left(\log N\right)$，其中$N$是伊辛模型的变量数。此外，我们提供了一个有效的方法来准确地预测非渐近行为的$\ell_1$ -LinR中度$M, N$，如精度和召回。模拟结果表明，理论预测和实验结果之间有相当好的一致性，即使是有许多循环的图形，这支持了我们的研究结果。虽然本文主要集中在$\ell_1$ -LinR，我们的方法是很容易适用于精确地表征典型的学习性能的广泛的一类$\ell_{1}$ -正则化$M$ -估计，包括$\ell_1$ -LogR和交互筛选。
2021-11-02 cond-mat.dis-nn cs.AI cs.LG
Error analysis of regularized least-square regression with Fredholm kernel
Hubei University（湖北大学）；Huazhong Agricultural University（华中农业大学）
Fredholm核学习由于能有效利用数据信息提高预测性能而受到越来越多的关注。尽管在理论和实验评估方面取得了快速进展，但其泛化分析尚未在学习理论文献中进行探讨。本文建立了Fredholm核最小二乘正则化回归的推广界，这意味着在较弱的容量条件下可以达到快速学习率O（l^{-1}）.仿真实例表明，该算法能取得满意的预测效果.
2016-11-21 cs.LG math.ST stat.TH
A Unified Framework for Sparse Relaxed Regularized Regression: SR3
University of Washington（华盛顿大学）
正则化回归问题普遍存在于统计建模、信号处理和机器学习中。稀疏回归在科学模型发现中尤其重要，包括压缩传感应用、变量选择和高维分析。我们提出了一个广泛的框架稀疏松弛正则化回归，称为SR 3。关键思想是解决正则化问题的松弛，这与最先进的方法相比有三个优点：（1）松弛问题的解在误差、假阳性和条件方面是优越的，（2）松弛允许用于凸和非凸公式的极快算法，以及（3）该方法适用于复合正则化子，例如全变差（TV）及其非凸变体。我们证明了SR3的优势（计算效率，更高的精度，更快的收敛速度，更大的灵活性）在一系列的正则化回归问题的合成和真实的数据，包括压缩感知，LASSO，矩阵完成，电视正则化，和组稀疏的应用。为了促进可重复的研究，我们还提供了一个配套的MATLAB软件包来实现这些示例。
2018-11-08 cs.LG math.OC stat.ML
Is Ordered Weighted $\ell_1$ Regularized Regression Robust to Adversarial Perturbation? A Case Study on OSCAR
IBM Research（IBM研究院）
许多最先进的机器学习模型，如深度神经网络，最近被证明容易受到对抗性扰动的影响，特别是在分类任务中。受对抗性机器学习的启发，本文研究了具有强相关协变量的稀疏回归模型对对抗性测量噪声的鲁棒性。具体来说，我们考虑家庭的有序加权$\ell_1$（OWL）正则化回归方法和研究的情况下，OSCAR（八角形收缩聚类算法回归）在对抗设置。在一个范数有界的威胁模型下，我们制定的过程中找到一个最大的破坏性噪音OWL-正则化回归作为一个优化问题，并说明了步骤，找到这样的噪音的情况下，OSCAR。实验结果表明，在我们的对抗性设置下，对强相关特征进行分组的回归性能可能会严重下降，即使噪声预算明显小于地面实况信号。
2018-10-03 cs.LG stat.ML
Distributed Coordinate Descent for L1-regularized Logistic Regression
Yandex（扬德克斯）；AVG Consulting（AVG咨询公司）
在分布式环境下求解L1正则化的逻辑斯谛回归是一个重要的问题。当训练数据集非常大并且无法容纳单个机器的内存时，就会出现这个问题。本文提出了一种在分布式环境下求解带L1正则化的逻辑斯谛回归的新算法d-GLMNET。我们的经验表明，它优于分布式在线学习通过截断梯度。
2014-11-24 cs.LG stat.ML
Efficient Regularized Piecewise-Linear Regression Trees
Zalando Research Lab（Zalando研究实验室）；University of Potsdam（波茨坦大学）
我们提出了一个详细的分析类的回归决策树算法，采用了正则化的分段线性节点分裂标准，并在树叶正则化的线性模型。从理论的角度来看，Rademacher复杂性框架的基础上，我们提出了新的高概率上界的泛化误差的建议类的正则化回归决策树算法，包括LASSO型，和$\ell_{2}$正则化的线性模型的叶子。通过考虑一般类型的变量选择过程，进一步扩展了理论结果。此外，在我们的工作中，我们证明了分段线性回归树的类不仅在数值上是稳定的，而且可以通过本文提出的算法实现以及现代GPU技术的帮助变得易于处理。从经验上讲，我们提出了多个数据集上的结果，突出了所提出的树算法的优势和潜在的缺陷，与基于分段常数模型生长树的基线相比。
2019-06-29 cs.LG stat.ML
Stability Analysis for Regularized Least Squares Regression
我们讨论了一类学习算法关于噪声标签的稳定性。我们所考虑的算法是用于回归的，并且它们涉及正则化风险泛函的最小化，例如L（f）：= 1/N sum_i（f（x_i）-y_i）^2 + lambda| |f||_H^2。我们称该算法为“稳定的”，如果当y_i是f*（x_i）的噪声版本时，对于H中的某个函数f*，当正则化项和噪声同时消失时，该算法的输出收敛于f*。我们考虑这个问题的两种类型，一种是N个点的数据集保持固定，另一种是N ->无穷大。对于N ->无穷大的情形，当λ-> 0时，我们给出了收敛到f_E（函数是y（x）对每个x的期望）的条件。对于固定N的情况下，我们描述了限制的“非噪声”，“非正则化”的功能f*，并给出收敛的条件。在这个过程中，我们开发了一套工具来处理泛函，如L（f），这是适用于许多其他问题的学习理论。
2005-02-03 cs.LG
On Coresets For Regularized Regression
IIT Gandhinagar（印度理工学院甘地纳格尔分校）
我们研究了基于范数的正则化对回归问题的核心集大小的影响。具体来说，给定一个矩阵$ \mathbf{A} \in {\mathbb{R}}^{n \times d}$与$n\gg d$和一个向量$\mathbf{b} \in \mathbb{R} ^ n $和$λ> 0$，我们分析了$\|\mathbf{Ax}-\mathbf{b}\|_p^r + λ\|{\mathbf{x}}\|_q^s$形式的正则化回归版本的coreset的大小。先前的工作已经表明，对于岭回归（其中$p,q,r,s=2$），我们可以获得比未正则化对应物（即最小二乘回归）的coreset小的coreset（Avron等人）。我们表明，当$r \neq s$，没有coreset正则化回归可以有大小小于最佳coreset的非正则化版本。众所周知的套索问题属于这一类，因此不允许一个coreset小于最小二乘回归。我们提出了一个修改后的版本的套索问题，并获得它的coreset的大小小于最小二乘回归。我们的经验表明，修改后的版本的套索也诱导稀疏的解决方案，类似于原来的套索。我们还获得了更小的coresets的$\ell_p$回归与$\ell_p$正则化。我们将我们的方法扩展到多响应正则化回归。最后，我们实证证明了修改后的套索和$\ell_1$回归与$\ell_1$正则化的coreset性能。
2020-06-30 cs.DS cs.LG stat.ML
$L_1$-norm Regularized Indefinite Kernel Logistic Regression
School of Statistics and Data Science, Qufu Normal University（统计与数据科学学院，曲阜师范大学）；Dongfang College, ShanDong University of Finance and Economics（东方学院，山东财经大学）
核逻辑斯谛回归（KLR）是一种功能强大的分类方法，广泛应用于不同的领域。在许多现实世界的场景中，不定核比正定核捕获更多的特定于域的结构信息。提出了一种新的$L_1$ -范数正则化不定核逻辑斯谛回归（RIKLR）模型，该模型通过引入$L_1$ -范数惩罚函数来扩展已有的IKLR框架.这种正则化的引入增强了可解释性和推广性，同时将非光滑性和非凸性引入优化领域。为了解决这些挑战，理论上接地和计算效率的近端线性化算法的开发。在多个基准数据集上的实验结果表明，该方法在准确性和稀疏性方面都具有优异的性能。
2025-10-30 cs.LG stat.ML
Regularized Modal Regression on Markov-dependent Observations: A Theoretical Assessment
Xi’an Jiaotong University（西安交通大学）；Huazhong Agriculture University（华中农业大学）
模态回归是一种广泛使用的回归协议，由于其对离群值和重尾噪声的鲁棒性，在统计和机器学习社区中得到了广泛的研究。理解模态回归的理论行为是学习理论的基础。尽管在表征其统计特性方面取得了重大进展，但大多数结果都是基于样本独立且相同分布（i.i.d.）的假设，这对于现实世界的应用来说限制太多。本文研究了正则化模态回归（RMR）在一个重要的依赖结构-马尔可夫依赖下的统计性质。具体地说，我们在适当的条件下建立了RMR估计的上界，并给出了一个明确的学习率。我们的研究结果表明，马尔可夫依赖的方式，将通过一个乘法因子依赖于潜在的马尔可夫链的谱间隙的折扣的样本量的推广误差的影响。这一结果揭示了一个新的光表征的理论基础稳健回归。
2022-03-13 cs.LG stat.ML
Coefficient-based Regularized Distribution Regression
Zhejiang University（浙江大学）；Fudan University（复旦大学）
本文考虑再生核Hilbert空间（RKHS）上基于系数的正则化分布回归，其目的是从概率测度回归到实值响应，其中系数被正则化，核被假定为不确定的.该算法包括两个阶段的采样，第一阶段的样本由分布和第二阶段的样本从这些分布获得。研究了该算法在回归函数不同正则范围内的渐近行为，并通过积分算子技术推导出了学习率。在一定的条件下，得到了与一阶段抽样minimax最优速率相匹配的最优速率。与已有的分布回归的核方法相比，该算法不要求核是对称的和半正定的，从而为设计不确定的核方法提供了一个简单的范例，丰富了分布回归的研究内容.据我们所知，这是第一个不确定核分布回归的结果，我们的算法可以改善饱和效应。
2022-08-26 cs.LG stat.ML
Reproducing Kernel Banach Spaces with the l1 Norm II: Error Analysis for Regularized Least Square Regression
Arizona State University（亚利桑那州立大学）；Sun Yat-sen University（中山大学）
估计正则化学习方案的学习率的典型方法是通过采样误差、假设误差和正则化误差之和来限制近似误差。使用满足线性表示定理的再生核空间带来了自动从和中丢弃假设误差的优点。按照这个方向，我们说明了如何再生核Banach空间与l1范数可以应用于提高学习率估计的l1正则化在机器学习。
2011-01-27 cs.LG math.FA stat.ML
Manifold regularized kernel logistic regression for web image annotation
China University of Petroleum (East China)（中国石油大学（华东））；University of Chinese Academy of Sciences（中国科学院大学）
随着互联网技术和智能设备的快速发展，用户经常需要使用智能设备管理大量的多媒体信息，如个人图像和视频的访问和浏览。这些需求在很大程度上依赖于图像（视频）标注的成功，因此近年来通过创新的机器学习方法进行大规模图像标注引起了广泛关注。其中有代表性的工作是支持向量机。虽然支持向量机在二值分类中表现良好，但它的损失函数不光滑，不能自然地覆盖多类情况。在本文中，我们提出了流形正则化核逻辑回归（KLR）的Web图像标注。与支持向量机相比，KLR具有以下优点：（1）KLR具有光滑的损失函数;（2）KLR产生的是概率的显式估计，而不是类标签;（3）KLR可以自然地推广到多类情况。我们仔细地进行了实验MIR FLICKR数据集，并证明了流形正则化核逻辑回归图像标注的有效性。
2013-12-21 cs.LG cs.MM
An efficient projection neural network for $\ell_1$-regularized logistic regression
Jheronimus Academy of Data Science（杰罗尼莫斯数据科学学院）；Eindhoven University（埃因霍温大学）；Ferdowsi University of Mashhad（马什哈德 Ferdowsi 大学）
$\ell_1$正则化已被用于逻辑回归，以规避过拟合，并使用估计的稀疏系数进行特征选择。然而，这种正则化的挑战在于$\ell_1$范数是不可微的，使得用于凸优化的标准算法不适用于该问题。本文提出了一个简单的投影神经网络的$\ell_1$ -正则化逻辑回归。与文献中许多可用的求解器相比，所提出的神经网络不需要任何额外的辅助变量，也不需要任何平滑逼近，并且其复杂性几乎与无需$\ell_1$正则化的逻辑回归梯度下降的复杂性相同，这要归功于投影算子。我们还研究了建议的神经网络的收敛性，通过使用李雅普诺夫理论，并表明它收敛到任何初始值的问题的解决方案。所提出的神经解决方案在执行时间方面明显优于最先进的方法，并且在准确性和AUROC方面具有竞争力。
2021-05-12 cs.LG stat.ML
Accurate Coresets for Latent Variable Models and Regularized Regression
IIIT Delhi（德里印度信息技术学院）
本文提出统一框架构造精确核心集，覆盖隐变量模型与正则化回归，并证明其核心集大小优于已有方法，尤其在岭回归上实现改进。
2024-12-28 cs.LG stat.ML
Efficient Regularized Regression for Variable Selection with L0 Penalty
Samuel Oschin Comprehensive Cancer Institute, Cedars-Sinai Medical Center（西达赛奈医疗中心塞缪尔·奥斯钦综合癌症研究所）；University of California at Los Angeles（加州大学洛杉矶分校）
高维BIGDATA回归的变量（特征、基因、模型，我们可以互换使用）选择在生物信息学、计算生物学、图像处理和工程学中有许多应用。一种吸引人的方法是L0正则化回归，它直接惩罚模型中非零特征的数量。L0被认为是最基本的稀疏性度量，具有良好的理论性质，而流行的L1正则化只是L0的最佳凸松弛。因此，很自然地期望L0正则化回归比LASSO表现得更好。然而，众所周知，L0优化是NP难的，并且在计算上具有挑战性。到目前为止，大多数出版物都试图解决一个近似问题，而不是直接解决L0问题。在本文中，我们提出了一个有效的EM算法（L0 EM），直接解决L0优化问题。$L_0$ EM对于高维数据是有效的。它也提供了一个自然的解决方案，所有的Lp p在[0，2]的问题。正则化参数可以通过交叉验证或AIC和BIC来确定。L0-正则化估计的理论性质给出了温和的条件下，允许变量的数量远远大于样本容量。我们通过模拟和高维基因组数据展示了我们的方法。结果表明，L0具有更好的性能比LASSO和L0与AIC或BIC具有类似的性能计算密集型交叉验证。所提出的算法在识别非零变量时具有较小的偏差，在选择具有高维BIGDATA的生物学重要基因和途径时是有效的。
2014-07-28 cs.LG stat.ML
Coresets for Vertical Federated Learning: Regularized Linear Regression and $K$-Means Clustering
Nanjing University（南京大学）；Carnegie Mellon University（卡内基梅隆大学）；Fudan University（复旦大学）；Princeton Univeristy（普林斯顿大学）
垂直联邦学习（Vertical Federated Learning，VFL）是机器学习的一个重要研究领域，它将数据特征分布存储在多方。然而，VFL的通信复杂性通常非常高。在本文中，我们提出了一个统一的框架，通过构建coresets在一个分布式的方式通信效率的VFL。我们研究了两个重要的学习任务中的VFL设置：正则化线性回归和$k$均值聚类，并将我们的coreset框架，这两个问题。我们从理论上表明，使用coresets可以大大降低通信复杂性，而几乎保持解决方案的质量。数值实验证实了我们的理论研究结果。
2022-10-26 cs.CG cs.DC cs.DS
Clarifying Trust of Materials Property Predictions using Neural Networks with Distribution-Specific Uncertainty Quantification
University of Michigan（密歇根大学）；Catalysis Science and Technology Institute, University of Michigan（密歇根大学催化科学与技术研究所）
机器学习（ML）模型预测对于高通量催化剂发现方法是可信的是至关重要的。不确定性量化（UQ）方法允许估计ML模型的可信度，但这些方法在多相催化领域还没有得到很好的探索。在本文中，我们研究了应用于晶体图卷积神经网络（CGCNN）的不同UQ方法，以预测来自Open Catalyst 2020（OC 20）数据集（现有最大的非均相催化剂数据集）的分子在合金上的吸附能。我们采用三种UQ方法的吸附能预测，即k倍集成，蒙特卡罗辍学，证据回归。每种UQ方法的有效性都是根据准确度、清晰度、分散度、校准度和紧密度进行评估的。证据回归被证明是一个强大的方法，用于快速获得可调的，有竞争力的值得信赖的UQ估计多相催化应用时，使用神经网络。重新校准模型的不确定性是必不可少的，在实际筛选应用中的催化剂使用的不确定性。
2023-02-06 cs.LG
On regularized polynomial functional regression
University of Genoa（热那亚大学）；Johann Radon Institute for Computational and Applied Mathematics, Austrian Academy of Sciences（奥地利科学院约翰·拉东计算与应用数学研究所）
针对多项式函数回归，本文建立涵盖光滑性、容量与正则化条件的新型有限样本界，推广线性函数回归结果，并用数值实验证明高阶多项式项可提升性能。
2024-05-07 cs.LG cs.NA math.NA
Robust Regularized Low-Rank Matrix Models for Regression and Classification
University of Central Florida（中佛罗里达大学）；State University of New York at Albany（纽约州立大学奥尔巴尼分校）
虽然矩阵变量回归模型已经在许多现有的工作中进行了研究，经典的统计和计算方法的分析的回归系数估计的高度影响高维和噪声矩阵值的预测。为了解决这些问题，本文提出了一个基于秩约束的矩阵变量回归模型框架，向量正则化（例如，稀疏性），以及考虑了三种特殊情况的一般损失函数：普通矩阵回归、稳健矩阵回归和矩阵逻辑斯谛回归。我们还提出了一个交替投影梯度下降算法。通过对有界曲率流形上目标函数的分析，证明了算法的收敛性，迭代的所有聚点都有$O(1/\sqrt{n})$阶的估计误差，且渐近地达到极大极小率.我们的理论分析可以应用到一般的优化问题的流形上有界曲率，可以被认为是一个重要的技术贡献，这项工作。我们通过仿真研究和实际图像数据的例子验证了所提出的方法。
2022-05-14 cs.LG stat.ML
Large Stepsizes Accelerate Gradient Descent for Regularized Logistic Regression
UC Berkeley（加州大学伯克利分校）；Inria（法国国家科学与技术研究院）；PSL University（巴黎社会科学高等学院）；Google DeepMind（谷歌DeepMind）
本文研究了具有线性可分数据的$\ell_2$正则化逻辑斯谛回归的恒定步长梯度下降（GD）问题.经典理论建议小的步长以确保优化目标的单调减少，以$κ$为条件数的$\widetilde{\mathcal{O}}(κ)$步长实现指数收敛。令人惊讶的是，我们表明，这可以加速到$\widetilde{\mathcal{O}}(\sqrtκ)$通过简单地使用一个大的步长-目标的非单调演变。大步长带来的加速扩展到最小化可分离分布的群体风险，改进了最知名的步长上限，以达到接近最优的值。最后，我们描述了GD的局部收敛的最大步长，这也决定了在特殊情况下的全局收敛性。我们的结果扩展了Wu et al.（2024）的分析，从无穷远极小的凸设置到有限极小的强凸情况。
2025-11-03 cs.LG stat.ML
Region-Based Evidential Deep Learning to Quantify Uncertainty and Improve Robustness of Brain Tumor Segmentation
Imperial College London（帝国理工学院）；TECNALIA（TECNALIA（西班牙技术中心））；University of the Basque Country (UPV/EHU)（巴斯克大学）；Royal Brompton Hospital（皇家布朗普顿医院）
尽管最近在脑肿瘤分割的准确性方面取得了进展，但结果仍然存在低可靠性和鲁棒性。不确定性估计是这个问题的有效解决方案，因为它提供了分割结果的置信度。目前基于分位数回归、贝叶斯神经网络、集成和蒙特卡罗退出的不确定性估计方法受到计算成本高和不一致性的限制。为了克服这些挑战，在最近的工作中开发了证据深度学习（EDL），但主要用于自然图像分类。在本文中，我们提出了一个基于区域的EDL分割框架，可以生成可靠的不确定性地图和强大的分割结果。我们使用证据理论将神经网络的输出解释为从输入特征中收集的证据值。根据主观逻辑，证据被参数化为狄利克雷分布，预测概率被视为主观意见。为了评估我们的模型在分割和不确定性估计方面的性能，我们对BraTS 2020数据集进行了定量和定性实验。实验结果表明，该方法在量化分割不确定性和稳健分割肿瘤方面表现出色。此外，我们提出的新框架保持了低计算成本和易于实现的优点，并显示出潜在的临床应用。
2022-08-11 cs.CV cs.LG eess.IV
Robust priors for regularized regression
University College London（伦敦大学学院）；University of Colorado Boulder（科罗拉多大学博尔德分校）；The Alan Turing Institute（阿兰·图灵研究所）
归纳法得益于有用的先验知识。惩罚回归方法，如岭回归，将权重缩小到零，但零关联通常不是合理的先验。受人类使用的简单而强大的决策推理的启发，我们为惩罚回归模型构建了非零先验，这些模型在多个任务中提供了强大且可解释的解决方案。我们的方法使估计从一个约束模型作为一个更一般的模型之前，产生一个原则性的方法来插值模型之间的不同复杂性。我们成功地将这种方法应用于一些决策和分类问题，以及分析模拟的脑成像数据。具有稳健先验的模型具有出色的最差情况性能。解决方案遵循用于推导先验知识的启发式形式。这些新算法可以用于数据分析和机器学习，并有助于理解人们如何从新手过渡到专家。
2021-10-25 cs.LG stat.ML
Multiview Hessian regularized logistic regression for action recognition
China University of Petroleum (East China)（中国石油大学（华东））
随着社会化媒体共享的快速发展，人们经常需要管理日益增长的多媒体数据，如大规模的视频分类和注释，特别是对那些包含人类活动的视频进行组织。最近，流形正则化半监督学习（SSL），探索内在的数据概率分布，然后提高泛化能力，只有少量的标记数据，已成为一个有前途的范例半自动视频分类。此外，人类动作视频通常具有多模态内容和不同的表示。为了解决上述问题，在本文中，我们提出了多视图Hessian正则化逻辑回归（merging）的人体动作识别。与现有的工作相比，merging的优点在于：（1）merging结合了多个Hessian正则化，每个Hessian正则化都是从实例的特定表示中获得的，以利用局部几何的探索;（2）merging自然地处理具有多个表示的多视图实例;（3）merging使用平滑的损失函数，然后可以有效地优化。我们仔细进行了广泛的实验上的非结构化社会活动属性（USAA）数据集和实验结果表明，提出的多视图Hessian正则化逻辑回归的有效性，人类动作识别。
2014-03-03 cs.CV cs.LG stat.ML
High-Dimensional Poisson DAG Model Learning Using $\ell_1$-Regularized Regression
University of Seoul（首尔大学）
在本文中，我们开发了一种新的方法来学习高维泊松有向无环图（DAG）模型，只有观测数据没有强假设，如忠诚和强稀疏。我们的方法的一个关键组成部分是解耦的排序估计或父搜索的问题，可以有效地解决使用$\ell_1$ -正则化回归和均值-方差关系。我们表明，样本量$n = Ω( d^{2} \log^{9} p)$是足够的，我们的多项式时间均值方差比评分（MRS）算法恢复真正的有向图，其中$p$是节点的数量和$d$是最大入度。我们通过模拟验证，我们的算法是统计上一致的，在高维$p>n$设置，并表现良好相比，国家的最先进的ODS，GES，MMHC算法。我们还通过多变量实际计数数据证明，与用于离散数据的其他方法相比，我们的MRS算法非常适合于估计多变量计数数据的DAG模型。
2019-05-27 cs.LG stat.ML
Structured Point Cloud Data Analysis via Regularized Tensor Regression for Process Modeling and Optimization
Arizona State University（亚利桑那州立大学）；Georgia Institute of Technology（佐治亚理工学院）；University of Salento（萨伦托大学）
先进的3D测量技术，如坐标测量机（CMM）和激光3D扫描仪，促进了大量点云数据的收集，有利于过程监测，控制和优化。然而，由于点云的高维性和结构复杂性，其建模和分析仍然是一个挑战。在本文中，我们利用多线性代数技术，并提出了一套张量回归方法来模拟点云的变化模式，并将它们连接到过程变量。所提出的方法的性能进行了评估，通过模拟和车削工艺优化的实际案例研究。
2018-12-01 cs.CV cs.LG stat.ML
Network-regularized Sparse Logistic Regression Models for Clinical Risk Prediction and Biomarker Discovery
State Key Laboratory of Software Engineering, School of Computer, Wuhan University（武汉大学计算机学院软件工程国家重点实验室）；National Center for Mathematics and Interdisciplinary Sciences, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院国家数学与交叉科学中心）
分子谱数据（例如，基因表达）已用于临床风险预测和生物标记物发现。然而，有必要整合其他先验知识，如生物学途径或基因相互作用网络，以提高生物标志物的预测能力和生物学可解释性。在这里，我们首先介绍一个带有正则化项$λ\|\bm{w}\|_1 + η\bm{w}^T\bm{M}\bm{w}$的通用正则化逻辑回归（LR）框架，它可以减少到不同的惩罚，包括Lasso，弹性网络和具有不同$\bm{M}$的网络正则化项。该框架可以通过循环坐标下降算法以统一的方式轻松求解，该算法可以避免逆矩阵运算并加快计算速度。然而，如果这些估计的$\bm{w}_i$和$\bm{w}_j$具有相反的符号，则传统的网络正则化惩罚可能不能很好地执行。为了解决这个问题，我们引入了一个新的网络正则化稀疏LR模型，一个新的惩罚$λ\|\bm{w}\|_1 + η|\bm{w}|^T\bm{M}|\bm{w}|$考虑系数的绝对值之间的差异。最后，我们用模拟数据和实际数据对本文提出的方法进行了测试，并与相关的算法进行了比较，验证了算法的有效性。
2016-09-21 cs.LG q-bio.GN stat.ML
$l_1$-regularized Outlier Isolation and Regression
The University of Hong Kong（香港大学）；The Chinese University of Hong Kong（香港中文大学）；Shenzhen Institutes of Advanced Technology, CAS（中国科学院深圳先进技术研究院）
提出了一种新的回归模型$l_1$ -正则化离群点分离与回归模型（LOIRE），并给出了求解该模型的基于块坐标下降的快速算法。此外，本文还假设异常值是服从Bernoulli过程的粗差，提出了一种Bernoulli估计模型，该模型完全消除了异常值的影响，理论上具有很高的精度和稳健性。虽然这个伯努利估计是很难解决的，它可以近似地通过一个过程中，LOIRE作为一个重要的中间步骤来实现。结果表明，近似Bernoulli估计是Bernoulli估计的准确性和LOIRE回归的效率的良好结合，并进行了几次模拟来强烈验证这一点。此外，LOIRE可以进一步扩展，以实现鲁棒的秩分解，这是强大的恢复低秩分量从大量的腐败。大量的实验结果表明，该方法优于国家的最先进的方法，如RPCA和GoDec的计算速度方面具有竞争力的性能。
2014-11-20 cs.CV cs.LG stat.ML
Subsampling for Ridge Regression via Regularized Volume Sampling
Department of Computer Science University of California Santa Cruz（加州大学圣克鲁兹分校计算机科学系）
给定$n$向量$\mathbf{x}_i\in \mathbb{R}^d$，我们想要拟合噪声标签$y_i\in\mathbb{R}$的线性回归模型。岭估计是解决这个问题的经典方法。然而，当标签昂贵时，我们被迫仅选择向量$\mathbf{x}_i$的一个小子集，我们为其获得标签$y_i$。我们提出了一个新的程序选择的子集的向量，这样的脊估计从该子集中获得的均方预测误差在整个数据集的$n$标记的向量提供了强有力的统计保证。所需标签的数量与问题的统计维度成比例，该问题的统计维度通常比$d$小得多。我们的方法是一个扩展的联合二次抽样程序称为体积采样。第二个主要贡献是，我们加快了批量采样的速度，使其基本上与杠杆分数一样有效，杠杆分数是主要的i.i.d.。本次任务的抽样程序。最后，我们从理论上和实验上表明，体积采样有一个明显的优势，任何独立同分布。标签价格昂贵时的抽样。
2018-02-23 cs.LG
