A Theoretical Analysis on Independence-driven Importance Weighting for Covariate-shift Generalization
Tsinghua University(清华大学);The Hong Kong University of Science and Technology(香港科技大学)
本文从理论上证明了独立性驱动重要性加权算法在协变量偏移泛化中的有效性,将其解释为特征选择过程,并引入最小稳定变量集,在理想条件下可识别该集合,且通过合成实验验证了理论。
2023-10-17 cs.LG stat.ML
Estimating and Explaining Model Performance When Both Covariates and Labels Shift
Stanford University(斯坦福大学)
部署的机器学习(ML)模型经常遇到与其训练数据不同的新用户数据。因此,估计给定模型在新数据上的表现是迈向可靠ML应用的重要一步。然而,这是非常具有挑战性的,因为数据分布可以以灵活的方式变化,并且我们可能没有新数据上的任何标签,这在监控设置中经常发生。在本文中,我们提出了一个新的分布移位模型,稀疏联合移位(SJS),它考虑了两个标签和一些特征的联合移位。这统一和推广了几个现有的移位模型,包括标签移位和稀疏协变量移位,其中只考虑边缘特征或标签分布移位。我们描述的数学条件下,SJS是可识别的。我们进一步提出了SEES,一个算法框架来描述SJS下的分布偏移,并在没有任何标签的情况下估计模型在新数据上的性能。我们在几个真实世界的数据集上进行了大量的实验,使用了各种ML模型。在不同的数据集和分布偏移,SEES实现了显着的(高达一个数量级)偏移估计误差的改善,超过现有的方法。
2022-09-18 cs.AI cs.LG stat.AP
Unsupervised Calibration under Covariate Shift
Stanford University(斯坦福大学)
如果概率模型的预测概率与相应的经验频率相匹配,则该概率模型被称为已校准。校准对于安全关键应用中的不确定性量化和决策非常重要。虽然分类器的校准已被广泛研究,我们发现,校准是脆弱的,很容易失去最小的协变量偏移。现有的技术,包括领域自适应技术,主要集中在预测精度上,并且在理论上和实践中都不能保证校准。在这项工作中,我们正式介绍的问题下域移位的校准,并提出了一个重要性采样为基础的方法来解决它。我们评估和讨论我们的方法在真实世界的数据集和合成数据集的有效性。
2020-06-29 cs.LG stat.ML
Bridging Multicalibration and Out-of-distribution Generalization Beyond Covariate Shift
Carnegie Mellon University(卡内基梅隆大学);Tsinghua University(清华大学)
本文通过扩展多校准以联合考虑协变量和标签,建立了其与不变性的等价关系,提出了统一鲁棒学习框架及后处理算法MC-Pseudolabel,在协变量和概念偏移下实现了分布外泛化。
2024-06-02 cs.AI cs.LG
Tackling covariate shift with node-based Bayesian neural networks
Aalto University(阿尔托大学);University of Helsinki(赫尔辛基大学);University of Manchester(曼彻斯特大学)
贝叶斯神经网络(BNN)通过提供认知不确定性的原则性概率表示,承诺在协变量移位下改进泛化。然而,基于权重的BNN通常会与大规模架构和数据集的高计算复杂度作斗争。基于节点的BNN最近被引入作为可扩展的替代方案,其通过将每个隐藏节点与潜在的随机变量相乘来诱导认知不确定性,同时学习权重的点估计。在本文中,我们将这些潜在的噪声变量解释为训练过程中简单和领域不可知的数据扰动的隐式表示,从而产生在由于输入损坏导致的协变量偏移下表现良好的BNN。我们观察到隐式腐败的多样性取决于潜变量的熵,并提出了一种直接的方法来增加这些变量在训练过程中的熵。我们评估的方法在分布图像分类基准,并显示改进的不确定性估计的基于节点的BNN下的协变量转移由于输入扰动。作为副作用,该方法还提供了对噪声训练标签的鲁棒性。
2022-06-09 cs.LG stat.ML
Beyond Reweighting: On the Predictive Role of Covariate Shift in Effect Generalization
Harvard University(哈佛大学);Columbia University(哥伦比亚大学);Stanford University(斯坦福大学)
该研究通过两项大规模多站点复制研究的实证分析,提出协变量偏移可预测未知条件偏移强度的新作用,结合理论解释并验证其能提升部分观测数据泛化任务的不确定性量化效果,为分布偏移问题提供新研究方向。
2024-12-12 cs.LG stat.AP stat.ME
General and Estimable Learning Bound Unifying Covariate and Concept Shifts
Department of Statistics and Financial Mathematics, South China University of Technology, Guangzhou, China(统计与金融数学系,华南理工大学,广州,中国)
本文利用熵最优传输提出与支撑集无关的协变量和概念偏移定义,推导出统一误差界,并开发DataShifts算法以在广泛实际应用中量化偏移并估计误差界。
2025-08-22 cs.LG stat.ML
Robust Fairness under Covariate Shift
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);California Institute of Technology(加州理工学院)
对受保护群体的成员资格(种族、性别、年龄等)做出公平的预测已经成为分类算法的重要要求。现有技术从采样标记数据中导出公平模型,依赖于训练数据和测试数据从相同分布中相同且独立地抽取(iid)的假设。在实践中,当与机器学习系统交互的个体的特征改变时,在训练和测试数据集之间可能并且确实发生分布偏移。我们研究了协变量偏移下的公平性,这是对iid假设的放松,其中输入或协变量发生变化,而条件标签分布保持不变。在这些假设下,我们在具有未知标签的目标数据上寻求公平的决策。我们提出了一种方法,获得的预测,是强大的最坏情况下的目标性能,同时满足目标的公平性要求和匹配的统计特性的源数据。我们展示了我们的方法对基准预测任务的好处。
2021-02-06 cs.LG stat.ML
Adapting to Continuous Covariate Shift via Online Density Ratio Estimation
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所人工智能项目);Nanjing University(南京大学)
本文针对连续协变量偏移场景,提出在线密度比估计方法以重用历史信息,实现预测器累积风险最小化,并给出动态遗憾界与超额风险保证。
2024-05-27 cs.LG stat.ML
A Learning Based Hypothesis Test for Harmful Covariate Shift
University of Toronto(多伦多大学)
在测试时快速准确地识别协变量偏移的能力是部署在高风险领域中的安全机器学习系统的关键且经常被忽视的组成部分。虽然存在用于检测何时不应对分布外测试示例进行预测的方法,但识别训练和测试时间之间的分布水平差异可以帮助确定何时应从部署设置中删除模型并重新训练。在这项工作中,我们将有害的协变量偏移(HCS)定义为可能削弱预测模型泛化的分布变化。为了检测HCS,我们使用在训练数据上一致而在测试数据上不一致的分类器集合之间的不一致性。我们推导出一个损失函数训练这个合奏,并表明,不一致率和熵代表HCS强大的判别统计。从经验上讲,我们证明了我们的方法检测有害的协变量偏移与统计确定性的各种高维数据集的能力。在众多领域和模式,我们显示了最先进的性能相比,现有的方法,特别是当观察到的测试样本的数量是小的。
2023-03-01 cs.LG
Algorithmic Fairness Generalization under Covariate and Dependence Shifts Simultaneously
Baylor University(贝勒大学);The University of Texas at Dallas(德克萨斯大学达拉斯分校);University of Arkansas(阿肯色大学);University of Florida(佛罗里达大学)
针对跨域场景下协变量与依赖两类分布偏移共存时公平分类器泛化难的问题,提出基于底层变换模型扩充合成域、学习公平不变分类器的方法,在四个基准数据集上性能超越现有最优水平。
2024-05-21 cs.AI cs.CY cs.LG
Score-based Conditional Out-of-Distribution Augmentation for Graph Covariate Shift
Institute for Clarity in Documentation(文档清晰研究所);Inria Paris-Rocquencourt(巴黎-罗克琴堡研究所);Rajiv Gandhi University(拉贾·甘地大学);Tsinghua University(清华大学);Palmer Research Laboratories(帕勒姆研究实验室);The Pennsylvania State University(宾夕法尼亚州立大学)
本文提出基于分数的条件图生成策略,用于增强图学习中对分布外泛化的鲁棒性,通过合成未见环境来提升模型性能。
2025-12-09 cs.AI cs.LG
JAWS: Auditing Predictive Uncertainty Under Covariate Shift
Johns Hopkins University(约翰斯·霍普金斯大学)
我们提出了一系列包装方法\textbf{JAWS},分布自由的不确定性量化任务下的协变量偏移,集中在核心方法\textbf{JAW},\textbf{JA} ckknife+ \textbf{W}与数据相关的似然比权重。JAWS还包括使用高阶影响函数\textbf{JAWA}的JAW的计算高效的\textbf{A}近似。理论上,我们表明,JAW放宽刀切+的假设,即使在协变量偏移的数据交换,以实现相同的有限样本覆盖保证。JAWA在一般规律性假设下,在样本大小或影响函数阶数的限制下进一步逼近了JAW保证。此外,我们提出了一种通用的方法来重新利用预测区间生成方法及其对反向任务的保证:基于用户指定的错误标准(例如真实标签周围的安全或可接受的公差阈值)估计预测错误的概率。然后,我们提出\textbf{JAW-E}和\textbf{JAWA-E}作为这个\textbf{E}错误评估任务的重新用途的建议方法。实际上,JAWS优于国家的最先进的预测推理基线在各种有偏见的现实世界的数据集的间隔生成和错误评估预测不确定性审计任务。
2022-11-23 cs.LG stat.ML
Backward Conformal Prediction under Covariate Shift
The Ohio State University(俄亥俄州立大学);Munich RE(慕尼黑再保险公司)
针对协变量偏移场景,本文通过重要性加权扩展反向共形预测(BCP),提出基于排序得分向量估计密度比的方法,改进了BCP的未覆盖率估计,且基于得分的加权效果优于基于嵌入的加权。
2026-10-14 cs.LG stat.ML
Quantifying Uncertainty in the Presence of Distribution Shifts
本文提出了一种适应性先验的贝叶斯框架,用于在存在分布偏移时提高神经网络的不确定性估计性能。
2025-12-18 cs.LG stat.ML
Exploring Covariate and Concept Shift for Detection and Calibration of Out-of-Distribution Data
Georgia Institute of Technology(佐治亚理工学院);Samsung Research America(三星美国研究院)
超越对分布内数据的测试,对分布外(OOD)检测的工作最近越来越受欢迎。最近尝试对OOD数据进行分类,引入了近和远OOD检测的概念。具体而言,现有的作品定义的OOD数据的检测难度方面的特点。我们建议使用两种类型的分布偏移来表征OOD数据的频谱:协变量偏移和概念偏移,其中协变量偏移对应于风格的变化,例如,噪音和概念转移表明语义的变化。这种特性表明,对每种类型的偏移的灵敏度对于OOD数据的检测和置信度校准是重要的。因此,我们研究了捕获对每种类型的数据集偏移的敏感性的评分函数以及改进它们的方法。为此,我们从理论上推导出两个得分函数OOD检测,协变量偏移得分和概念偏移得分,基于KL-分歧的分解,这两个得分,并提出了一个几何启发的方法(几何ODIN),以提高OOD检测下的两个移位,只有在分布数据。此外,所提出的方法自然会导致一个富有表现力的事后校准函数,该函数在分布内和分布外数据上都具有最先进的校准性能。我们是第一个提出一种方法,以及在OOD检测和校准,并根据不同类型的变化。在https://sites.google.com/view/geometric-decomposition上查看项目页面。
2021-11-21 cs.CV cs.LG
KMM-CP: Practical Conformal Prediction under Covariate Shift via Selective Kernel Mean Matching
Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校西贝尔计算与数据科学学院)
本文提出KMM-CP框架,通过核均值匹配修正协变量偏移,利用RKHS矩差异控制偏差方差,提升低支持重叠区域的稳定性,实验显示覆盖差距减少超50%。
2026-03-27 cs.AI cs.LG stat.AP
Confidence-calibrated covariate shift correction for few-shot classification in Vision-Language Models
School of Mathematics and Computer Science, Institute of Business Administration(商业管理学院数学与计算机科学学院);Center for Research in Computer Vision, University of Central Florida(中佛罗里达大学计算机视觉研究中心);National University of Computer and Emerging Sciences(国家计算机与新兴科学大学)
本文提出CalShift方法,通过结合Fisher信息惩罚和置信度失准惩罚,同时缓解协变量偏移和过度自信问题,在少样本视觉-语言分类中显著改善模型校准与鲁棒性。
2025-04-08 cs.CV cs.LG
Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift
University of Cambridge(剑桥大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Alan Turing Institute(艾伦图灵研究所)
现代神经网络已被证明是功能强大的函数逼近器,在许多应用中提供最先进的性能。然而,他们缺乏量化预测信心的能力-这在涉及关键决策的高风险应用中至关重要。贝叶斯神经网络(BNN)的目标是通过在网络参数上放置先验分布来解决这个问题,从而诱导出封装预测不确定性的后验分布。虽然基于蒙特卡罗丢弃的BNN的现有变体对分布内数据产生可靠的(尽管是近似的)不确定性估计,但它们倾向于在对特征分布与训练数据不同的目标数据进行的预测中表现出过度自信,即,协变量偏移设置。在本文中,我们开发了一个近似的贝叶斯推断计划的基础上后验正则化,其中未标记的目标数据被用作“伪标签”的模型的信心,用于正则化模型的损失标记的源数据。我们表明,这种方法显着提高了协变量移位数据集的不确定性量化的准确性,对底层模型架构的修改最小。我们证明了我们的方法在全球不同人群中转移前列腺癌预后模型的背景下的实用性。
2020-06-26 cs.LG stat.ML
Unleashing the Power of Graph Data Augmentation on Covariate Distribution Shift
Shanghai Jiao Tong University(上海交通大学);University of Science and Technology of China(中国科学技术大学);Ant Group(蚂蚁集团)
针对图数据协变量分布偏移问题,提出对抗性不变增强(AIA)策略,通过外推生成新环境并保留稳定特征,增强图分类模型的泛化能力,实验验证其优越性。
2023-12-21 cs.LG
Environment-Adaptive Covariate Selection: Learning When to Use Spurious Correlations for Out-of-Distribution Prediction
Department of Statistics, University of Michigan, Ann Arbor(统计系,密歇根大学,安阿伯分校)
针对分布外预测中协变量选择问题,提出环境自适应算法,根据环境特征动态选择协变量集,在模拟和实际数据中优于静态方法。
2026-11-10 cs.LG stat.ME
Diagnosing Low-Confidence Patient Profiles via Localized Harmful Covariate Shift Detection
Université de Sherbrooke(舍布鲁克大学);Montreal Children’s Hospital(蒙特利尔儿童医院);Research Institute of the McGill University Health Centre(麦吉尔大学健康中心研究所);McGill University(麦吉尔大学)
本文提出结合MED3pa与Detectron的统一诊断流程,在MIMIC-IV的临床预测任务中,可局部定位不可检测的年龄偏移,为识别受性能下降影响的患者亚组提供方法。
2026-10-20 cs.AI cs.LG
Out of the Ordinary: Spectrally Adapting Regression for Covariate Shift
Columbia University(哥伦比亚大学);University of Waterloo(滑铁卢大学);Vector Institute(向量研究所);Google Research(谷歌研究院);University of Toronto(多伦多大学)
针对回归任务中的协变量偏移问题,本文通过特征谱分解分析OLS风险,提出轻量级谱自适应方法调整预训练模型末层权重,提升分布外性能。
2023-12-29 cs.LG stat.ML
Conformalized Signal Temporal Logic Inference under Covariate Shift
University of California, Riverside(加州大学河滨分校);Boston University(波士顿大学);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
本文提出一种符合性STL推理框架,解决训练与部署数据集间的协变量偏移问题,通过模板无关的可微STL推理方法和有限部署数据集优化,提升部署时的符号学习可靠性。
2026-03-28 cs.LG stat.ML
Distributionally Robust Coreset Selection under Covariate Shift
Nagoya University(名古屋大学);RIKEN(理化学研究所);Nagoya Institute of Technology(名古屋工业大学);DENSO CORPORATION(电装公司)
针对部署阶段协变量分布未知且可能偏移的问题,提出DRCS,通过最小化最坏情形测试误差上界估计选择鲁棒核心集,并验证其在凸模型及近似深度学习中的有效性。
2025-02-18 cs.LG stat.ML
Distance Matters For Improving Performance Estimation Under Covariate Shift
Imperial College London(帝国理工学院)
本文提出一种基于测试样本与训练分布距离的“距离检查”方法,用于改善协变量偏移下的模型性能估计,在13个图像分类任务上取得显著提升。
2023-08-14 cs.CV cs.LG
Maximum Likelihood Estimation is All You Need for Well-Specified Covariate Shift
Princeton University(普林斯顿大学);University of Chicago(芝加哥大学)
本文证明在良设定的协变量偏移下,纯用源数据的经典最大似然估计(MLE)能达到极小极大最优,无需密度比有界条件,并指出错误设定下MWLE更优。
2023-11-27 cs.LG math.ST stat.ML
Adapting to Covariate Shift in Real-time by Encoding Trees with Motion Equations
Kyushu University(九州大学);The University of Tokyo(东京大学)
本文提出自适应满二叉树算法 Xenovert,利用运动方程实时划分输入空间并映射偏移分布,使神经网络无需重训即可在 5 个偏移数据集中的 4 个取得更好效果。
2024-04-08 cs.LG
Training on Test Data with Bayesian Adaptation for Covariate Shift
University of California, Berkeley(加州大学伯克利分校);Department of Electrical Engineering and Computer Sciences(电气工程与计算机科学系)
当在测试时面临分布偏移时,深度神经网络通常会用不可靠的不确定性估计做出不准确的预测。虽然提高神经网络的鲁棒性是缓解这个问题的一种很有前途的方法,但对于所有可能的测试时间偏移,鲁棒网络的一个有吸引力的替代方案是直接使它们适应我们在测试时遇到的特定分布偏移的未标记输入。然而,这提出了一个具有挑战性的问题:在监督学习的标准贝叶斯模型中,当标签未被观察时,未标记的输入有条件地独立于模型参数,那么未标记的数据在测试时能告诉我们什么关于模型参数的信息?在本文中,我们推导出一个贝叶斯模型,提供了一个定义良好的关系下的分布转移和模型参数的未标记的输入,并显示在这个模型中的近似推理可以实例化一个简单的正则化熵最小化过程在测试时。我们评估我们的方法对各种分布偏移,图像分类,包括图像损坏,自然分布偏移,领域自适应设置,并表明我们的方法提高了准确性和不确定性估计。
2021-09-27 cs.LG
Robust Estimation of Loss-Based Measures of Model Performance under Covariate Shift
我们提出的方法,估计损失为基础的措施的预测模型的性能在目标人群中,不同于源人口的模型开发,在设置中的结果和协变量数据可从源人口,但只有协变量数据可在一个简单的随机样本从目标人口。先前的工作调整两个人口之间的差异使用了各种加权估计与反优势或密度比权重。在这里,我们为目标人群风险(预期损失)开发了更稳健的估计器,可以与数据自适应(例如,基于机器学习的)干扰参数的估计。我们研究了估计量的大样本性质,并在模拟中评估有限样本性能。最后,我们将这些方法应用于肺癌筛查的数据,这些数据来自国家健康和营养检查调查(NHANES)的全国代表性数据,并将我们的方法扩展到NHANES复杂的调查设计。
2022-10-05 stat.ME
Pooling Versus Ensembling for Ridge Regression Under Covariate Shift
Simons Institute for the Theory of Computing(西蒙斯理论计算研究所);UC Berkeley(加州大学伯克利分校)
该研究针对协变量偏移下的岭回归,对比池化与集成方法的性能,推导了固定和随机效应下的相关结论,推广了现有风险分析的适用场景。
2026-08-05 math.ST stat.TH
Extreme Dimension Reduction for Handling Covariate Shift
MIT(麻省理工学院);Duke University(杜克大学)
在协变量偏移学习场景中,训练协变量分布和测试协变量分布不同,因此预测变量在训练分布和测试分布上的平均损失也不同。在这项工作中,我们探讨了潜在的极端降维,即非常低的尺寸,在提高性能的重要性加权方法处理协变量偏移的转变,这失败的高维由于潜在的高训练/测试协变量的分歧和无法准确地估计所需的密度比。我们首先制定和解决一个问题,优化线性子空间的预测效用和训练/测试发散的组合。将其应用于模拟和真实数据,我们表明极端的降维有时会有帮助,但并不总是,由于降维引入的偏见。
2018-03-12 cs.AI cs.LG stat.ML
Robust Covariate Shift Prediction with General Losses and Feature Views
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
协变量偏移通过允许不同的训练和测试输入分布来放松广泛使用的独立同分布(IID)假设。不幸的是,解决协变量偏移的常用方法,试图通过使用重要性加权来消除训练和测试分布之间的偏差,通常在理论上提供较差的性能保证,在实践中提供具有高方差的不可靠预测。最近开发的方法,构建一个预测,固有的强大的学习困难下协变量偏移的限制,以最大限度地减少对数损失,并可能过于保守,当面对高维学习任务。我们以两种方式解决这些限制:通过稳健地最小化各种损失函数,包括非凸函数,在测试分布下;以及根据输入变量和示例标签之间关系的不同基于特征的视图,分别塑造协变量偏移的影响。这些推广使得稳健的协变量偏移预测适用于更多的任务场景。我们证明了分类的好处下协变量偏移任务。
2017-12-28 cs.LG stat.ML
Generalization and Informativeness of Weighted Conformal Risk Control Under Covariate Shift
King’s College London(伦敦国王学院);University College London(伦敦大学学院);Technion—Israel Institute of Technology(以色列理工学院)
本研究推导了加权共形风险控制在协变量偏移下的效率界限,揭示了预测集信息量、偏移程度与校准集大小的关系,并通过定位实验验证。
2025-01-20 cs.AI cs.IT cs.LG
Class Prior Estimation under Covariate Shift: No Problem?
Independent researcher
我们表明,在分类的上下文中的属性的源和目标分布相关的协变量转移可能会丢失,如果捕获的协变量中的信息内容减少,例如通过下降组件或映射到一个较低的维度或有限的空间。因此,在协变量漂移的情况下,简单的分类计数式的先验估计方法无论有无调整都是不可行的。我们证明了变换的协变量,保持协变量移位属性的统计意义上的完整的协变量集是必要的。提出了一种探测算法作为协变量移位下类先验估计的替代方法。
2022-08-15 cs.LG math.ST stat.ML
Effective Sample Size, Dimensionality, and Generalization in Covariate Shift Adaptation
University of São Paulo(圣保罗大学);Advanced Institute for Artificial Intelligence (AI2)(高级人工智能研究所);Experian DataLab LatAm(益百利拉丁美洲数据实验室)
在监督学习中,训练和测试数据集通常从不同的分布中采样。因此,需要域自适应技术。协变量移位自适应产生良好的泛化性能时,域不同的边缘分布的功能。协变量偏移自适应通常使用重要性加权来实现,根据常识,由于有效样本量(ESS)较小,这可能会失败。以前的研究认为,这种情况在高维环境中更常见。然而,如何有效的样本量,维数和模型的性能/泛化正式相关的监督学习,考虑到协变量转移适应的背景下,在文献中仍然有些模糊。因此,一个主要的挑战是提出一个统一的理论连接这些点。因此,在本文中,我们专注于建立一个统一的视图连接ESS,数据维度,并在协变量转移自适应的背景下推广。此外,我们还展示了如何降维或特征选择可以增加ESS,并认为我们的研究结果支持降维协变量转移适应之前作为一个很好的做法。
2022-01-09 cs.AI cs.LG stat.ME
Federated Covariate Shift Adaptation for Missing Target Output Values
University of Science and Technology of China(中国科学技术大学);Quzhou University(衢州学院)
最新的多源协变量移位算法是一种有效的超参数优化算法,用于丢失目标输出。在本文中,我们将该算法扩展到联邦学习的框架。针对联邦学习和协变量移位自适应中的数据孤岛问题,提出了目标风险的联邦域自适应估计,该估计是渐近无偏的,具有期望的渐近方差性质.我们为目标任务构建了一个加权模型,并提出了联邦协变量移位自适应算法,该算法在我们的环境中工作得更好。我们的方法的有效性是合理的理论和经验。
2023-02-28 cs.LG stat.ML
Simulator Calibration under Covariate Shift with Kernels
NEC(日本电气股份有限公司);AIST(产业技术综合研究所);EURECOM(欧洲通信学院)
我们提出了一种新的计算机模拟器的校准方法,处理协变量移位的问题。协变量移位是指训练和测试的输入分布不同的情况,在仿真应用中普遍存在。我们的方法是基于贝叶斯推断与内核平均嵌入的分布,并使用一个重要性加权再生核协变量移位自适应。我们提供了一个理论分析所提出的方法,包括一个新的理论结果的条件均值嵌入,以及实证调查表明其在实践中的有效性。实验包括工业制造过程中广泛使用的模拟器的校准,在那里我们还演示了如何所提出的方法可能是有用的模型参数的敏感性分析。
2020-03-19 cs.LG stat.ML
Fair Classification under Covariate Shift and Missing Protected Attribute -- an Investigation using Related Features
本研究使用一种简单的方法研究了协变量偏移和缺失保护属性下的公平分类问题,该方法基于使用重要性权重来处理协变量偏移,并使用Related Features arXiv:2104.14537来处理缺失保护属性。
2022-04-17 cs.CY cs.LG
Analysis of Kernel Mean Matching under Covariate Shift
University of Alberta(阿尔伯塔大学)
在实际的监督学习场景中,训练样本和测试样本遵循不同的概率分布并不罕见,因此有必要校正采样偏差。针对一个特殊的协变量偏移问题,我们得到了核均值匹配(KMM)估计的高概率置信界,其收敛速度依赖于回归函数的一些正则性度量,也依赖于核的一些容量度量。通过比较KMM和自然插入估计,我们建立了前者的优越性,从而提供了具体的证据/理解下的协变量偏移的KMM的有效性。
2012-06-18 cs.LG stat.ML
Contrastive Identification of Covariate Shift in Image Data
Oregon State University(俄勒冈州立大学)
识别协变量偏移对于使机器学习系统在现实世界中具有鲁棒性以及检测未反映在测试数据中的训练数据偏差至关重要。然而,检测协变量偏移是具有挑战性的,特别是当数据由高维图像组成时,以及当多种类型的局部协变量偏移影响数据的不同子空间时。虽然自动化技术可以用来检测协变量偏移的存在,我们的目标是帮助人类用户的特点的程度协变量偏移在大型图像数据集的接口,无缝集成从检测算法获得的信息。在本文中,我们设计和评估一个新的可视化界面,便于比较的局部分布的训练和测试数据。我们对多属性面部数据进行了定量用户研究,以比较两种不同的学习低维潜在表示(预训练的ImageNet CNN与密度比)和两种用户分析工作流程(最近邻与聚类)。我们的研究结果表明,我们的密度比模型的潜在表示,结合最近邻比较,是最有效的帮助人类识别协变量偏移。
2021-08-19 cs.AI cs.HC cs.LG
Expectation Consistency Loss: Rethink Confidence Calibration under Covariate Shift
School of Automation, Central South University, Changsha, China(中南大学自动化学院,长沙,中国)
本文针对协变量偏移下的置信度校准问题,提出了一种无监督域适应损失(ECL),该方法在理论和实践中均表现出色,能够有效校准目标域的置信度。
2026-05-20 cs.LG stat.ML
Kernel Robust Bias-Aware Prediction under Covariate Shift
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
在协变量偏移下,训练(源)数据和测试(目标)数据在输入空间分布上不同,但共享相同的条件标签分布。这提出了一个具有挑战性的机器学习任务。鲁棒偏差感知(RBA)预测提供了条件标签分布,该条件标签分布对目标分布的最坏情况对数损失是鲁棒的,同时匹配来自源分布的特征期望约束。然而,采用具有不足特征约束的RBA可能导致针对大部分源数据的高确定性预测,同时为目标数据预测留下太多不确定性。为了克服这个问题,我们扩展的代表定理的RBA设置,使正则化的预期目标风险最小化的源分布下的重新加权的内核期望。通过应用核方法,我们建立了一致性保证,并证明了更好的性能的RBA分类器比竞争的方法在综合偏置UCI数据集,以及数据集,有自然的协变量偏移。
2017-12-28 cs.AI cs.LG stat.ML
Computational Efficiency under Covariate Shift in Kernel Ridge Regression
Swiss Finance Institute (SFI) EPFL(瑞士金融研究所(SFI)EPFL);MaLGa, DIBRIS University of Genova(MaLGa,热那亚大学DIBRIS分校);DIMA University of Genova(热那亚大学DIMA分校);IIT CBMM, MIT(IIT CBMM,麻省理工学院)
针对核方法在协变量偏移下计算成本高的问题,研究RKHS中随机子空间假设的随机投影方法,可在不损失学习性能的同时大幅提升计算效率,实现精度与效率的平衡。
2025-05-20 cs.LG stat.ML
Resonance in Weight Space: Covariate Shift Can Drive Divergence of SGD with Momentum
University of Alberta(阿尔伯塔大学)
带动量的随机梯度下降(SGDm)的大多数收敛保证依赖于iid采样。然而,SGDm通常在此机制之外使用,在具有时间相关输入样本的设置中,例如持续学习和强化学习。已有的工作表明,具有衰减步长的SGDm可以在马尔可夫时间相关性下收敛。在这项工作中,我们表明,SGDm下协变量偏移与固定的步长可以是不稳定的和发散。特别是,我们显示SGDm下协变量偏移是一个参数振荡器,因此可以遭受称为共振的现象。我们近似的学习系统作为一个时变系统的常微分方程,并利用现有的理论来表征系统的发散/收敛的共振/非共振模式。理论结果仅限于具有周期性协变量偏移的线性设置,因此我们根据经验补充了该结果,以表明即使在非周期性协变量偏移、具有神经网络的非线性动力学和SGDm以外的优化器下,共振现象也会持续存在。
2022-03-22 cs.LG stat.ML
Conformal Predictive Systems Under Covariate Shift
Ghent University(根特大学);imec(校际微电子中心);IDLab
本文提出加权保形预测系统(WCPS),利用训练与测试协变量分布间的似然比处理协变量偏移,扩展了CPS的适用范围,并在理论与实验上验证了其有效性与概率校准性。
2024-09-16 cs.LG stat.ML
A new similarity measure for covariate shift with applications to nonparametric regression
University of Chicago(芝加哥大学);UC Berkeley(加州大学伯克利分校)
我们在非参数回归的背景下研究协变量偏移。我们引入了一个新的措施之间的源和目标分布的分布不匹配的基础上,在一个给定的半径的球的概率的积分比。我们使用这个措施的缩放相对于半径的特点的极小极大估计率在一个家庭的Hölder连续函数下协变量移位。与最近提出的转移指数的概念相比,该措施导致更快的收敛速率,并且更细粒度。我们伴随着我们的理论与具体的协变量转移的例子,说明了这种尖锐的差异。
2022-02-06 cs.LG math.ST stat.ML
Off-Policy Evaluation and Learning for External Validity under a Covariate Shift
CyberAgent Inc.(CyberAgent公司);Cornell University(康奈尔大学)
我们考虑通过使用从不同策略获得的历史数据来评估和训练用于评估数据的新策略。离策评估(OPE)的目标是估计新策略在评估数据上的期望回报,而离策学习(OPL)的目标是找到一个新策略,使评估数据上的期望回报最大化。尽管标准OPE和OPL假设历史数据和评价数据之间的协变量分布相同,但通常存在协变量变化,即,历史数据的协变量的分布不同于评价数据的协变量的分布。在本文中,我们得到了协变量移位下的OPE的效率界。然后,我们提出了双稳健和有效的估计OPE和OPL下的协变量转移通过使用非参数估计的历史和评估数据分布之间的密度比。我们还讨论了其他可能的估计和比较他们的理论性质。最后,我们通过实验证实了所提出的估计的有效性。
2020-10-16 cs.LG econ.EM stat.ML
On the Use of Sparse Filtering for Covariate Shift Adaptation
The University of Manchester(曼彻斯特大学)
在本文中,我们正式分析使用稀疏滤波算法进行协变量偏移适应。我们提供了一个稀疏滤波的理论分析,通过评估所需的条件进行协变量偏移适应。我们证明了稀疏滤波可以执行自适应,只有当标签的条件分布具有由余弦度量解释的结构。为了克服这一局限性,我们提出了一种新的算法,命名为周期性稀疏滤波,并进行了相同的理论分析协变量偏移适应。我们表明,周期性稀疏滤波可以执行适应下的宽松和更现实的要求,条件分布的标签具有周期性的结构,这可能是满足,例如,由用户相关的数据集。我们用合成数据验证了我们的理论结果。此外,我们将周期性稀疏滤波应用于真实世界的数据集,以证明这种简单且计算效率高的算法能够实现具有竞争力的性能。
2017-09-11 cs.LG stat.ML
Calibrated Prediction with Covariate Shift via Unsupervised Domain Adaptation
University of Pennsylvania(宾夕法尼亚大学)
可靠的不确定性估计是帮助自主智能体或人类决策者理解和利用预测模型的重要工具。然而,现有的估计不确定性的方法在很大程度上忽略了协变量偏移的可能性--即,其中真实世界数据分布可能不同于训练分布。因此,现有的算法可能会高估确定性,可能会对预测模型产生错误的信心。我们提出了一种算法,用于校准预测,占协变量偏移的可能性,给定标记的例子从训练分布和未标记的例子从现实世界的分布。我们的算法使用重要性加权来校正从训练到真实世界分布的转变。然而,重要性加权依赖于训练和真实世界分布足够接近。基于领域自适应的思想,我们还学习了一个试图均衡这两个分布的特征图。在实证评估中,我们表明,我们提出的方法优于现有的方法校准预测时,有协变量偏移。
2020-05-21 cs.LG stat.ML
Controlling Covariate Shift using Balanced Normalization of Weights
Facebook AI Research(Facebook人工智能研究院)
我们引入了一种新的归一化技术,该技术使用层权重的变换而不是层输出来表现出批量归一化的快速收敛特性。所提出的技术保持正和负权重对层输出的贡献平衡。我们在一组标准基准测试上验证了我们的方法,包括CIFAR-10/100,SVHN和ILSVRC 2012 ImageNet。
2019-05-10 cs.LG stat.ML
Mitigating Both Covariate and Conditional Shift for Domain Generalization
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
领域泛化(DG)的目的是在多个源领域上学习一个模型,希望该模型能够很好地泛化到未知的目标领域。域之间的分布偏移包含协变量偏移和条件偏移,模型必须能够处理这两种偏移以获得更好的泛化能力。提出了一种新的基于视觉对齐和不确定性引导的信念增强(VAUE)的分布式预测方法来处理分布偏移。针对协变量偏移,设计了视觉对齐模块,将图像风格的分布对齐到共同的经验高斯分布,从而消除视觉空间中的协变量偏移。对于条件转移,我们采用了基于主观逻辑和Dempster-Shafer理论的不确定性引导的信念集成策略。给定一个测试样本的条件分布是由源域的条件分布的动态组合来估计的。在四个广泛使用的数据集上进行了全面的实验,以证明所提出的方法的优越性能,即,家庭、VLCS、TerraIncognita和PACS。
2022-09-17 cs.AI cs.CV cs.LG
Self-Tuning Bandits over Unknown Covariate-Shifts
Columbia University(哥伦比亚大学)
有协变量的强盗,也就是。上下文强盗(contextual bandits)解决了在给定时间$t$的最佳动作(或武装)取决于上下文$x_t$的情况,例如,一个新病人的病史一个消费者过去的购买记录虽然可以理解上下文的分布可能随时间而改变,由于季节性,或部署到新的环境中,大量的研究关注的是最不利的这种变化,导致遗憾的界限,往往是最坏的情况下的性质。另一方面,协变量偏移在分类中被认为是一种中间形式,可以捕获分布中的轻微到相对严重的变化。我们认为非参数土匪在这样的中间地带的情况下,并得出新的遗憾的界限,紧紧抓住上下文分布的连续变化。此外,我们表明,这些速率可以自适应地达到没有知识的时间的转变,也没有转移量。
2021-02-21 cs.LG stat.ML
Information Geometrically Generalized Covariate Shift Adaptation
SOKENDAI, Graduate University for Advanced Studies(综合研究大学院大学);The Institute of Statistical Mathematics(统计数学研究所);RIKEN(理化学研究所)
本文利用信息几何统一现有协变量偏移适应方法,提出几何推广框架并实现高效参数搜索,实验证明其性能优于所涵盖的现有方法。
2023-04-19 cs.LG