Perfectly Parallel Fairness Certification of Neural Networks
INRIA(法国国家信息与自动化研究所);École Normale Supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL University(巴黎文理研究大学);MPI-SWS(马克斯·普朗克软件系统研究所);ConsenSys Diligence(ConsenSys安全审计团队)
最近,人们越来越担心,目前辅助甚至自动化决策的机器学习模型会复制,并在最坏的情况下加强训练数据的偏差。因此,开发工具和技术来证明这些模型的公平性或描述其有偏见的行为至关重要。在本文中,我们提出了一个完全并行的静态分析证明因果公平的前馈神经网络用于分类的表格数据。当认证成功时,我们的方法提供了明确的保证,否则,它描述和量化的偏见行为。我们设计的分析是合理的,在实践中也是准确的,并且在可扩展性和精度方面是可配置的,从而实现按需付费认证。我们在一个开源工具中实现了我们的方法,并在使用流行数据集训练的模型上证明了其有效性。
2020-04-21 cs.CY cs.LG cs.LO
Variation-Incentive Loss Re-weighting for Regression Analysis on Biased Data
University of Warwick(华威大学);South China University of Technology(华南理工大学)
分类和回归任务都容易受到训练数据的有偏分布的影响。然而,现有的方法都集中在类不平衡学习,不能适用于学习目标是连续值而不是离散标签的数值回归问题。在本文中,我们的目标是通过解决模型训练过程中的数据偏度/偏差来提高回归分析的准确性。我们首先引入了两个度量,唯一性和异常性,以反映本地化数据分布的角度来看,他们的特点(即,输入)空间和目标(即,输出)空间。结合这两个指标,我们提出了一个变化激励损失重新加权方法(VILoss),以优化基于梯度下降的模型训练回归分析。我们对合成和真实世界的数据集进行了全面的实验。结果表明,当使用VILoss作为训练中的损失标准时,模型质量得到了显着改善(误差减少高达11.9%)。
2021-09-14 cs.LG
Rethinking Inductive Bias in Geographically Neural Network Weighted Regression
本文重新审视GNNWR的归纳偏置,提出融合CNN、RNN和Transformer思想以增强空间回归建模能力,并通过合成数据实验证明其优势及模型性能对数据特征的依赖性。
2025-07-21 cs.LG
Can Test-time Computation Mitigate Reproduction Bias in Neural Symbolic Regression?
Department of Computer Science, Graduate School of Information Science and Technology, The University of Tokyo, Tokyo, Japan(计算机科学系,信息科学和技术研究生学校,东京大学,东京,日本)
本研究分析了神经符号回归中再生产偏差的问题,指出传统逐词生成方法的不足,并提出通过测试时策略缓解该偏差,以提升NSR方法的鲁棒性和通用性。
2026-02-02 cs.LG
Robustness Auditing for Linear Regression: To Singularity and Beyond
MIT(麻省理工学院);EECS(电气工程与计算机科学学院);CSAIL(计算机科学与人工智能实验室)
针对OLS回归结论易受少量样本移除影响的问题,提出高效算法证明线性回归对样本移除的鲁棒性,并在高维大规模数据集上首次给出非平凡证明且理论界限紧致。
2024-10-10 cs.LG
Learning Theory of Distributed Regression with Bias Corrected Regularization Kernel Network
Zhejiang University(浙江大学);Fudan University(复旦大学);Middle Tennessee State University(中田纳西州立大学)
分布式学习是分析大数据的有效方法。在分布式回归中,一种典型的方法是将大数据划分为多个块,对每个块应用基本回归算法,然后简单地对从这些块中学习的输出函数进行平均。由于平均过程将减少方差,而不是偏差,如果基本回归算法是有偏的,则偏差校正有望改善学习性能。正则化核网络是非线性回归分析的一种有效且广泛应用的方法。在本文中,我们将研究正则化核网络的偏差校正版本。当它被应用到一个单一的数据集,当它被应用为分布式回归的基本算法,我们推导出的误差界。我们表明,在某些适当的条件下,最佳的学习率可以达到在这两种情况下。
2017-08-07 cs.LG stat.ML
Bias Correction for Regularized Regression and its Application in Learning with Streaming Data
Middle Tennessee State University(中田纳西州立大学)
提出了一种降低岭回归和正则化核网络偏差的方法。当应用到一个单一的数据集的新算法具有可比的学习性能与原来的。当应用于增量学习与块明智的流数据的新算法是更有效的,由于偏见减少。理论分析和仿真研究都用来验证这些新算法的有效性。
2016-03-15 cs.LG stat.ML
Barely Biased Learning for Gaussian Process Regression
University of Cambridge(剑桥大学);Imperial College London(帝国理工学院)
最近的工作在可扩展的近似高斯过程回归讨论了偏置方差计算权衡时,估计对数边际似然。我们提出了一种方法,自适应地选择计算量估计时使用的对数边际似然,使目标函数的偏差是保证很小。虽然简单的原则上,我们目前的实现方法是没有竞争力的计算与现有的近似。
2021-09-20 cs.LG stat.ML
The Directional Bias Helps Stochastic Gradient Descent to Generalize in Kernel Regression Models
本文研究了非参数统计中的随机梯度下降(SGD)算法:特别是核回归。SGD的方向偏差属性,这是已知的线性回归设置,推广到核回归。更具体地说,我们证明了SGD与温和的退火步长收敛沿的方向对应的最大特征值的革兰氏矩阵的特征向量。此外,具有中等或小步长的梯度下降(GD)沿着对应于最小特征值的方向收敛。这些事实被称为方向偏差属性;它们可以解释SGD计算的估计量如何比GD计算的估计量具有潜在的更小的泛化误差。我们的理论的应用证明了模拟研究和案例研究,是基于FashionMNIST数据集。
2022-04-29 cs.LG stat.ML
On the well-spread property and its relation to linear regression
ETH Zürich(苏黎世联邦理工学院)
我们考虑稳健的线性回归模型$\boldsymbol{y} = Xβ^* + \boldsymbolη$,其中对手不知道的设计$X \in \mathbb{R}^{n \times d}$可能会选择$\boldsymbolη$损坏所有,但(可能消失)的一部分,观察$\boldsymbol{y}$在一个任意的方式。最近的工作[dLN+21,dNS 21]已经引入了有效的算法,一致恢复的参数向量。这些算法主要依赖于设计矩阵的良好分布(如果矩阵的列跨度远离任何稀疏向量,则矩阵是良好分布的)。在本文中,我们发现,存在一个家庭的设计矩阵缺乏良好的传播,使一致恢复的参数向量在上述稳健线性回归模型是信息理论上是不可能的。我们进一步研究了证明随机矩阵良好扩展性的平均情况下的时间复杂度。我们表明,它是可以有效地证明是否一个给定的$n$ -由- $d$高斯矩阵是良好的传播,如果观察的数量是二次的环境尺寸。我们补充这一结果,显示严格的证据-在对低次多项式的下限的形式-的计算硬度时,观察的数量是$o(d^2)$的这个相同的认证问题。
2022-06-16 cs.LG stat.ML
Remember to correct the bias when using deep learning for regression!
University of Copenhagen(哥本哈根大学)
当训练深度学习模型进行最小二乘回归时,我们不能期望在固定训练时间后或基于保持数据集的性能选择的最终模型的训练误差残差总和为零。如果我们对许多数据点上的总聚合性能感兴趣,这可能会引入累积的系统误差。我们建议在训练后调整机器学习模型的偏差作为默认的后处理步骤,这有效地解决了这个问题。在示例性实验中证明了误差累积的精确性和偏差校正的有效性。
2022-03-30 cs.LG stat.ML
An Upper Bound of the Bias of Nadaraya-Watson Kernel Regression under Lipschitz Assumptions
Technische Universität Darmstadt(达姆施塔特工业大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
Nadaraya-Watson核估计是最流行的非参数回归技术之一,这要归功于它的简单性。Rosenblatt在1969年研究了它的渐近偏差,并在许多相关文献中报道。然而,Rosenblatt的分析仅对无穷小带宽有效。相比之下,我们在本文中提出了一个上限的偏见,持有有限的带宽。此外,相反的经典分析,我们允许不连续的一阶导数的回归函数,我们扩展我们的边界的多维域,我们包括知识的界的回归函数时,它存在,如果它是已知的,以获得更严格的限制。我们相信,这项工作在那些需要对误差进行一些硬保证的领域中具有潜在的应用价值
2020-01-30 cs.LG stat.ML
Bias Plus Variance Decomposition for Survival Analysis Problems
metaPattern
为回归和分类问题定义的期望误差的偏差-方差分解是研究和比较不同算法以找到其应用的最佳领域的重要工具。在这里,分解被引入生存分析问题。在我们的实验中,我们研究了两种算法的期望误差的偏差方差部分:原始Cox比例风险回归和CoxPath,路径算法L1正则化Cox回归,在一系列增加的训练集。实验表明,与预期相反,CoxPath不一定比Cox回归具有优势。
2011-09-24 cs.LG stat.ML
A Systematic Bias of Machine Learning Regression Models and Its Correction: an Application to Imaging-based Brain Age Prediction
University of Maryland(马里兰大学);School of Medicine(医学院);Maryland Psychiatric Research Center(马里兰精神病研究中心);The University of Maryland Institute for Health Computing (UM-IHC)(马里兰大学健康计算研究所)
本文揭示机器学习回归模型对极端值预测存在系统性偏差,提出通用约束优化校正方法,并在脑龄预测中验证其有效性,实现无偏预测。
2024-09-04 cs.LG stat.ME stat.ML
An integrated perspective of robustness in regression through the lens of the bias-variance trade-off
Institute of Statistical Mathematics(统计数理研究所);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
该研究提出回归鲁棒性的整合视角,揭示传统抗离群点鲁棒估计与抗假想数据集扰动的鲁棒优化间存在偏差-方差权衡,二者策略大致相反。
2024-07-15 cs.LG stat.ME stat.ML
Correcting the bias in least squares regression with volume-rescaled sampling
University of California, Santa Cruz(加州大学圣克鲁兹分校);Columbia University(哥伦比亚大学)
考虑线性回归,其中示例由$R^d\times R$上的未知分布生成。在没有对噪声的任何假设的情况下,任何i.i.d.样品通常相对于R.T.是有偏差的。在整个分布上的最小二乘最优。然而,我们表明,如果一个i.i.d.任何大小k的样本被某个小的附加样本扩充,则组合样本的解变得无偏。当额外的样本由d个点组成时,我们会显示这一点,这些点根据输入分布联合绘制,该输入分布由点所跨越的平方体积重新缩放。此外,我们提出的算法,从这个体积重新缩放的分布时,数据分布是唯一通过一个i.i.d样本已知的样本。
2018-10-04 cs.LG stat.ML
TranSUN: A Preemptive Paradigm to Eradicate Retransformation Bias Intrinsically from Regression Models in Recommender Systems
Taobao & Tmall Group of Alibaba, Beijing, China(阿里巴巴淘宝与天猫集团,北京,中国)
针对推荐系统回归模型中被忽视的再转化偏差,提出预防性范式TranSUN及其通用族GTS,通过内在联合偏差学习实现理论无偏,并已在淘宝App两大场景成功部署。
2025-10-13 cs.IR cs.LG
Fair Regression under Sample Selection Bias
University of Arkansas(阿肯色大学);University of Illinois(伊利诺伊大学)
近年来,公平回归的研究主要集中在发展新的公平概念和近似方法,因为目标变量甚至敏感属性在回归设置中是连续的。然而,所有以前的公平回归研究假设训练数据和测试数据是从相同的分布。由于训练数据和测试数据之间的样本选择偏差,这一假设在现实世界中经常被违反。在本文中,我们开发了一个框架下的样本选择偏差的公平回归时,从训练数据的一组样本的因变量值丢失作为另一个隐藏的过程的结果。我们的框架采用了经典的Heckman模型的偏差校正和拉格朗日对偶,以实现公平的回归的基础上,各种公平的概念。Heckman模型描述了样本选择过程,并使用称为逆米尔斯比(IMR)的衍生变量来校正样本选择偏差。我们使用公平不等式和等式约束来描述各种公平概念,并应用拉格朗日对偶理论将原问题转化为对偶凸优化问题。对于两个流行的公平性概念,平均差和均方误差差,我们推导出明确的公式,无需迭代优化,和皮尔逊相关,我们推导出它的条件,实现强对偶。我们在三个真实世界的数据集上进行了实验,实验结果证明了该方法在效用和公平性指标方面的有效性。
2021-10-08 cs.AI cs.CY cs.LG
Are Direct Links Necessary in RVFL NNs for Regression?
Częstochowa University of Technology(琴斯托霍瓦理工大学)
随机向量函数连接网络(RVFL)被广泛用作分类和回归问题的通用逼近器。RVFL的最大优点是快速训练,无需反向传播。这是因为隐藏节点的权重和偏置是随机选择的,并且没有经过训练。最近,开发了具有随机学习的替代架构,其不同于RVFL,因为它们在输出层中没有直接链接和偏置项。在这项研究中,我们研究了直接链接和输出节点偏差对RVFL回归性能的影响。对于产生的隐藏节点的随机参数,我们使用的经典方法和两个新的方法最近提出的文献。我们测试了几个函数逼近问题的RVFL性能与不同性质的目标函数:非线性,非线性强波动,非线性线性与线性分量和线性。令人惊讶的是,我们发现,直接链接和输出节点的偏见并没有发挥重要作用,提高RVFL的精度为典型的非线性回归问题。
2020-03-29 cs.LG stat.ML
Robust Gaussian Process Regression with a Bias Model
Florida State University(佛罗里达州立大学);University of Dayton Research Institute(代顿大学研究院);Air Force Research Laboratory(空军研究实验室);Luna Innovations Incorporated(露娜创新公司)
本文提出了一种新的稳健高斯过程(GP)回归方法。大多数现有的方法取代离群倾向高斯似然与非高斯似然诱导的重尾分布,如拉普拉斯分布和学生t分布。然而,使用非高斯似然将导致需要在后验推断中进行计算上昂贵的贝叶斯近似计算。所提出的方法将离群值建模为未知回归函数的噪声和有偏观测,因此,可能性包含偏差项以解释与回归函数的偏差程度。我们需要如何准确地估计偏差与其他超参数的正则化最大似然估计。在有偏估计的条件下,稳健GP回归可以简化为具有预测均值和方差估计的分析形式的标准GP回归问题。因此,所提出的方法是简单的,非常有吸引力的计算。它还为许多测试场景提供了非常稳健和准确的GP估计。对于数值评估,我们进行了全面的模拟研究,以评估所提出的方法与现有的强大的GP方法在不同的离群值比例和不同的噪声水平的各种模拟场景下的比较。该方法适用于从两个测量系统,其中的预测是基于强大的环境参数测量和响应变量利用更复杂的化学传感方法,包含一定比例的离群值的数据。通过计算效率高的GP回归和偏差模型,提高了测量系统的实用性和环境数据的价值。
2020-01-14 cs.LG stat.ME stat.ML
Implicit Bias of Mirror Flow for Shallow Neural Networks in Univariate Regression
该研究分析单变量回归下浅层神经网络镜像流的隐式偏差,证明宽网络下镜像流的惰性训练特性,刻画ReLU网络的偏差形式,引入缩放势并揭示其对偏差的调控作用,拓展了已有梯度流相关结论。
2025-03-19 cs.LG stat.ML
Optimal Implicit Bias in Linear Regression
California Institute of Technology(加利福尼亚理工学院)
本文研究过参数化线性回归中,通过渐近分析确定使泛化误差最小的最优凸隐式偏差,并给出紧下界及达到该下界的充分条件。
2025-06-20 cs.LG stat.ML
Local Law 144: A Critical Analysis of Regression Metrics
Holistic AI
在招聘中使用自动化决策工具已受到越来越多的关注。2021年11月,纽约市议会通过了一项立法(第144号地方法),要求对自动就业决策工具进行偏见审计。从2023年4月15日起,使用自动化工具招聘或晋升员工的公司必须由独立实体对这些系统进行审计。要求审计员计算偏倚指标,以比较不同群体的结果,至少基于性别/性别和种族/民族类别。Local Law 144为回归任务(自动化系统用连续范围的值对候选人进行评分的场景)提出了新的偏差度量。该立法的前一版本提出了一个偏见指标,比较了不同群体的平均得分。新修订的偏见指标比较了每组中超过中位数的候选人比例。在本文中,我们认为,这两个指标未能捕捉整个域的分布差异,因此不能可靠地检测偏差。我们首先介绍两个指标,作为立法指标的可能替代品。然后,我们比较这些指标在一系列的理论例子,立法提出的指标似乎低估了偏见。最后,我们研究了真实的数据,并表明立法指标在现实世界的招聘应用程序中同样会失败。
2023-02-08 cs.AI cs.LG
Certifying Robustness of Learning-Based Keypoint Detection and Pose Estimation Methods
Carnegie Mellon University(卡内基梅隆大学);The Boeing Company(波音公司)
本文首次提出将基于关键点的6D位姿估计局部鲁棒性认证转化为神经网络分类验证问题,通过凸包输入规范、模型改造和误差阈值分配实现系统级认证,并在真实扰动上验证了框架的可靠性与完备性。
2024-07-31 cs.CV cs.LG cs.RO
Neural Conjugate Aggregation: Identifiable Unsupervised Multi-Sensor Regression under Heterogeneous Sensor Bias
Istanbul Technical University(伊斯坦布尔理工大学);University of Washington(华盛顿大学)
提出神经共轭聚合模型(NCAM),一种结合神经网络与共轭高斯推理的无监督多源融合框架,通过传感器锚定和方差正则化解决非可识别性,并集成自适应蒙特卡洛共形预测提供有限样本保证。
2026-10-09 cs.AI cs.LG
Failure and success of the spectral bias prediction for Kernel Ridge Regression: the case of low-dimensional data
EPFL(洛桑联邦理工学院);Institute of Physics, EPFL(洛桑联邦理工学院物理研究所)
最近,包括复制方法在内的几种理论对核岭回归的推广误差进行了预测。在某些情况下,他们预测该方法具有“谱偏差”:在内核的本征基上分解真函数$f^*$,它很好地拟合与O(P)最大本征值相关的系数,其中$P$是训练集的大小。这种预测在图像等基准数据集上效果非常好,但这些方法对数据的假设在实践中从未得到满足。为了澄清光谱偏差预测何时成立,我们首先关注一维模型,在该模型中获得了严格的结果,然后使用缩放参数来概括和测试我们在更高维度的发现。我们的预测包括分类情况$f(x)=$符号$(x_1)$,数据分布在决策边界$p(x)\sim x_1^χ$处消失。对于$χ>0$和Laplace核,我们发现:(i)存在交叉脊$λ^*_{d,χ}(P)\sim P^{-\frac{1}{d+χ}}$,使得对于$λ\gg λ^*_{d,χ}(P)$,副本方法适用,但不适用于$λ\llλ^*_{d,χ}(P)$;(ii)在无脊的情况下,谱偏差仅在极限$d\rightarrow\infty$中预测正确的训练曲线指数。
2022-02-16 cond-mat.stat-mech cs.LG
OCKELM+: Kernel Extreme Learning Machine based One-class Classification using Privileged Information (or KOC+: Kernel Ridge Regression or Least Square SVM with zero bias based One-class Classification using Privileged Information)
IIT Indore(印度理工学院印多尔分校)
基于核方法的单类分类器主要用于离群点或新颖性检测。在这封信中,基于核岭回归(KRR)的一类分类器(KOC)已被扩展为使用特权信息的学习(LUPI)。基于LUPI的KOC方法被称为KOC+。此特权信息可作为数据集的一个特征,但仅用于训练(不用于测试)。KOC+通过使用所谓的校正功能,与正常特征信息相比,以不同的方式利用特权信息。隐藏的信息有助于KOC+实现更好的泛化性能,这是在这封信中通过测试分类器与没有特权信息。现有的和建议的分类器进行评估的数据集从UCI机器学习库和MNIST数据集。实验结果表明,KOC+算法优于KOC算法和基于支持向量机(SVM)的单类分类器。
2019-04-13 cs.LG stat.ML
Spurious Correlations in High Dimensional Regression: The Roles of Regularization, Simplicity Bias and Over-Parameterization
Institute of Science and Technology Austria (ISTA)(奥地利科学与技术研究所)
本文研究了高维回归中模型依赖虚假特征的问题,量化了线性回归学到的虚假相关性,揭示了其与分布内测试损失间的权衡,并证明了随机特征模型等价于正则化线性回归。
2025-05-27 cs.LG stat.ML
The Road to Learning Explainable Inverse Kinematic Models: Graph Neural Networks as Inductive Bias for Symbolic Regression
Faculty of Computer Science, Otto-von-Guericke-University Magdeburg(马格德堡奥托·冯·格里克大学计算机科学学院);Fraunhofer Institute for Transportation and Infrastructure Systems IVI(弗劳恩霍夫运输与基础设施系统研究所IVI)
本文利用图神经网络学习逆运动学模型,泛化至不同连杆长度的机械臂,并作为归纳偏置用于符号回归生成解析方程。
2025-01-23 cs.LG cs.RO
Implicit Bias of Gradient Descent for Mean Squared Error Regression with Two-Layer Wide Neural Networks
University of California, Los Angeles(加州大学洛杉矶分校);Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学科学研究所)
本文证明宽浅层 ReLU 网络梯度下降训练在函数空间中的隐式偏置等价于带曲率惩罚的最小二阶导数范数问题,并推广到多变量回归与样条轨迹刻画。
2023-05-28 cs.LG stat.ML
Regression-Based Estimation of Causal Effects in the Presence of Selection Bias and Confounding
TU Dortmund University(多特蒙德工业大学);University Alliance Ruhr(鲁尔大学联盟)
针对连续变量因果效应估计问题,本文推导了存在选择偏差与混杂时的可识别条件,提出线性两步回归估计器(TSR),经模拟验证其在对应场景下的正确性且方差更低。
2026-08-24 cs.LG stat.ME stat.ML
Beyond RMSE and MAE: Introducing EAUC to unmask hidden bias and unfairness in dyadic regression models
LIDIA Group, CITIC, Universidade da Coruña(LIDIA小组、CITIC、科鲁纳大学)
本文指出二元回归模型存在“偏心偏差”导致关键情况下预测劣于随机,因传统 RMSE 无法捕捉此问题,故提出新指标 EAUC 量化偏差并验证其有效性,为系统公平性提供评估方法。
2025-05-28 cs.AI cs.IR cs.LG
Bias-variance decomposition of overparameterized regression with random linear features
Boston University(波士顿大学)
在经典统计学中,偏差-方差权衡描述了如何改变模型的复杂性(例如,拟合参数的数量)影响其做出准确预测的能力。根据这种权衡,当模型具有足够的表达能力来捕捉数据中的趋势,但又不太复杂以至于过度拟合训练数据的特殊特征时,就可以实现最佳性能。最近,人们已经清楚地认识到,这种对偏差方差的经典理解必须从根本上重新审视,因为“过度参数化模型”具有令人难以置信的预测性能-即使拟合参数的数量足够大,可以完美拟合训练数据,也可以避免过度拟合的模型。在这里,我们给出了一个最简单的过参数化模型的结果:具有随机线性特征的回归(即具有线性激活函数的双层神经网络)。使用零温腔方法,我们推导出训练误差,测试误差,偏差和方差的解析表达式。我们发现,线性随机特征模型表现出三个相变:两个不同的过渡到插值制度的训练误差为零,随着制度之间的额外过渡与大的偏见和最小的偏见。使用随机矩阵理论,我们展示了如何产生每个过渡由于小的非零特征值的海森矩阵。最后,我们比较和对比的随机线性特征模型的随机非线性特征模型和普通回归的相图,突出了新的相变,从使用线性基函数的结果。
2022-03-10 cond-mat.dis-nn cs.LG stat.ML
Implicit Bias of Gradient Descent for Logistic Regression at the Edge of Stability
Johns Hopkins University(约翰斯·霍普金斯大学);Rice University(莱斯大学);Princeton University(普林斯顿大学)
本研究证明在稳定性边缘下,任意常数步长的梯度下降可使逻辑回归损失最小化,并揭示其隐式偏差,同时指出指数损失可能发散,凸显逻辑损失优势。
2023-10-15 cs.LG stat.ML
The Implicit Bias of Benign Overfitting
Weizmann Institute of Science(魏茨曼科学研究所)
本文研究线性预测器良性过拟合的隐式偏差,证明在一般回归中最小范数插值通常不一致,而在分类中最大间隔预测器渐近偏向最小化加权平方 hinge 损失,从而为分类任务中的良性过拟合提供了新刻画。
2023-04-17 cs.LG stat.ML
Conditional independence testing under misspecified inductive biases
University of Michigan(密歇根大学)
本文研究基于回归的条件独立性检验在模型归纳偏置错误设定下的表现,提出依赖错误设定误差的检验误差上界,并设计鲁棒的RBPT方法,通过实验验证其有效性。
2023-10-27 cs.LG math.ST stat.ME
Double logistic regression approach to biased positive-unlabeled data
University of Life Sciences, Warsaw(华沙生命科学大学);Polish Academy of Sciences(波兰科学院);Warsaw University of Technology(华沙理工大学);Nicolaus Copernicus University(哥白尼大学)
本文针对有偏正样本-无标签学习问题,突破SCAR常数倾向假设,提出联合最大似然与交替最大化两种双重逻辑回归估计方法,实验证明其性能优于或可比于现有EM方法。
2023-10-31 cs.LG stat.ML
Reducing Racial Bias in Facial Age Prediction using Unsupervised Domain Adaptation in Regression
University of California, San Diego(加州大学圣迭戈分校)
我们提出了一种无监督的领域自适应方法,用于根据给定的人脸图像估计某人的年龄。为了避免种族偏见在大多数公开可用的人脸图像数据集中传播到在其上训练的模型的无效性中,我们执行领域自适应以激励预测器学习对种族不变的特征,从而提高来自不同种族背景的人的面部的泛化性能。利用年龄的有序性,我们还对模型的预测施加了排名约束,并设计了我们的模型,使其将一对图像作为输入,并输出相对年龄差和第一身份相对于其他身份的排名。此外,我们实现多维缩放来检索绝对年龄从预测的年龄差异从两个标记的图像从域要适应。我们用一个带有年龄标签的公开数据集进行实验,根据种族标签将其划分为子集,并评估我们的方法在来自与模型训练的种族不同的种族的数据上的性能。此外,我们施加了一个约束,以保持相对和绝对年龄预测的合理性,另一个用于确保预测相对于输入的平滑性。我们进行了广泛的实验并比较了回归任务的各种领域自适应方法。
2021-04-05 cs.CV cs.LG
Understanding the Under-Coverage Bias in Uncertainty Estimation
Salesforce Research(赛富时研究院);University of California, Berkeley(加州大学伯克利分校)
估计回归任务中的数据不确定性通常通过学习分位数函数或以输入为条件的真实标签的预测区间来完成。经常观察到分位数回归--一种学习具有渐近保证的分位数的普通算法--倾向于\emph{under-cover}而不是现实中期望的覆盖水平。虽然已经提出了各种解决方案,但对于为什么这种覆盖不足的偏见首先发生的更根本的理解仍然难以捉摸。本文对分位数学习中的不确定性估计算法的覆盖率进行了严格的理论研究。我们证明了分位数回归存在固有的覆盖不足偏差,在香草设置中,我们学习了一个可实现的线性分位数函数,并且数据比参数多。更定量地,对于$α>0.5$和小$d/n$,通过分位数回归学习的$α$分位数大致实现覆盖$α- (α-1/2)\cdot d/n$,而不管噪声分布如何,其中$d$是输入维度,而$n$是训练数据的数量。我们的理论表明,这种覆盖不足的偏见源于一定的高维参数估计误差,这是不暗示现有的理论分位数回归。模拟和真实数据上的实验验证了我们的理论,并进一步说明了各种因素,如样本大小和模型容量的影响下覆盖偏差在更实际的设置。
2021-06-10 cs.LG math.ST stat.ML
Improving Nonparametric Classification via Local Radial Regression with an Application to Stock Prediction
Kyoto University(京都大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);The Institute of Statistical Mathematics(统计数学研究所);NOMURA Asset Management Co., Ltd.(野村资产管理株式会社)
对于监督分类问题,本文考虑估计查询的标签概率,通过局部回归使用观察到的协变量。著名的非参数核平滑器和$k$ -最近邻($k$ -NN)估计,它采取标签平均超过一个球周围的查询,是一致的,但渐近偏置,特别是对于一个大半径的球。为了消除这种偏差,局部多项式回归(LPoR)和多尺度$k$ -NN(MS- $k$ -NN)通过查询周围的局部回归来学习偏差项,并将其外推到查询本身。然而,它们的理论最优性已被证明是无限数量的训练样本的限制。为了用较少的观测值校正渐近偏差,结合LPoR和MS- $k$ -NN的优点,提出了一种\emph{local radial regression (LRR)}及其逻辑斯谛回归变体\emph{local radial logistic regression~(LRLR)}.这个想法很简单:我们通过仅将径向距离作为解释变量来将局部回归拟合到观察到的标签,然后将估计的标签概率外推到零距离。所提出的方法的实用性的理论和实验。我们证明了$L^2$风险LRR的收敛速度参考MS- $k$ -NN,我们的数值实验,包括现实世界的股票指数数据集,表明LRLR优于LPoR和MS- $k$ -NN。
2022-07-22 cs.AI cs.LG stat.ME
On the eigenvector bias of Fourier feature networks: From regression to solving multi-scale PDEs with physics-informed neural networks
University of Pennsylvania(宾夕法尼亚大学)
物理信息神经网络(PINN)在将物理模型与有间隙和噪声的观测数据相结合方面表现出了显着的前景,但在要近似的目标函数表现出高频或多尺度特征的情况下,它们仍然很难实现。在这项工作中,我们通过神经切线核(NTK)理论的镜头调查这种限制,并阐明PINNs是如何偏向于学习功能沿其限制NTK的主导特征方向。利用这一观察结果,我们构建了采用时空和多尺度随机傅立叶特征的新架构,并证明了这种坐标嵌入层如何能够产生鲁棒和准确的PINN模型。数值例子提出了几个具有挑战性的情况下,传统的PINN模型失败,包括波传播和反应扩散动力学,说明所提出的方法可以用来有效地解决正问题和反问题,涉及偏微分方程与多尺度行为。本手稿随附的所有代码和数据将在\url{https://github.com/PredictiveIntelligenceLab/MultiscalePINNs}上公开。
2020-12-18 cs.AI cs.LG stat.ML
How Does the ReLU Activation Affect the Implicit Bias of Gradient Descent on High-dimensional Neural Network Regression?
Georgia Institute of Technology(佐治亚理工学院)
本文通过原始-对偶分析,研究了高维随机数据下浅层ReLU模型平方损失梯度下降的隐式偏差,证明其以高概率近似最小ℓ2范数解,差距为Θ(√(n/||λ||₁))。
2026-06-18 cs.LG math.OC stat.ML
Asymptotic Theory and Phase Transitions for Variable Importance in Quantile Regression Forests
Juntendo University(千叶大学);Keio University(Keio大学)
本文研究了分位数回归森林中变量重要性的渐近理论,揭示了子采样率对推断有效性的影响,提出了通过偏差校正恢复有效推断的方法。
2025-11-28 cs.LG math.ST stat.ML
Evaluating and Mitigating Skin Color Bias in Skin Lesion Classificatio
School of Computer Science and DAIM University of Hull(计算机科学学院和DAIM赫尔大学)
针对肤色张量数据的公平性研究缺口,提出无需标注的公平性评估方法(将肤色转概率分布后用统计距离度量捕捉细粒度公平差异),以及基于贝叶斯回归多项式颜色距离估计的偏差缓解训练方法,提升ML模型肤色处理的公平性与精细度。
2026-11-18 cs.AI cs.CV cs.LG
More Data Can Hurt for Linear Regression: Sample-wise Double Descent
Harvard University(哈佛大学)
在这篇简要的笔记中,我们描述了过参数化线性回归中的一个令人惊讶的现象,其中维度超过了样本的数量:存在一种制度,其中梯度下降发现的估计量的测试风险随着样本的增加而增加。换句话说,更多的数据实际上会伤害估计器。这种行为是隐含在最近的理论工作分析“双下降”现象的线性模型。在本说明中,我们在一个非常简单的设置中隔离和理解这种行为:具有各向同性高斯协变量的线性回归。特别是,这是由于超参数化机制中的非常规类型的偏差-方差权衡而发生的:偏差随着样本的增加而减少,但方差增加。
2019-12-16 cs.LG cs.NE math.ST
Penalized Fair Regression for Multiple Groups in Chronic Kidney Disease
Department of Health Policy, Stanford University(健康政策系,斯坦福大学);Stanford University(斯坦福大学);Department of Epidemiology and Population Health, Stanford University(流行病学与人口健康系,斯坦福大学)
本文提出了一种针对多重群体慢性肾病的惩罚公平回归方法,通过优化公平性与准确性,提升了不同种族和民族群体在医疗决策中的公平性。
2026-10-23 cs.CY cs.LG stat.AP