On the Conservativeness of Robust Variance Estimators in Propensity Score Weighted Cox Models
Tokyo Medical University（东京医科大学）；Juntendo University Graduate School of Medicine（顺天堂大学研究生院医学部）；Juntendo Shizuoka Hospital（顺天堂静冈医院）
研究评估了在倾向分数加权Cox模型中使用非ATE加权方案时稳健方差的性能，发现其不一定是保守的，建议使用考虑权重估计的方差估计器。
2026-04-16 stat.ME
Propensity score weighted Cox regression for survival outcomes in observational studies with multiple or factorial treatments
Qiuzhen College, Tsinghua University（清华大学邱耀学院）；Duke University（杜克大学）
本文提出了一种基于倾向评分加权的Cox回归方法，用于估计多重或因子治疗在观察性研究中生存结局的因果危险比，并开发了相应的R包。
2026-01-30 stat.ME
Diffusion Self-Weighted Guidance for Offline Reinforcement Learning
Initiative for Data & AI, Universidad de Chile（数据与人工智能倡议，智利大学）；AMTC & Dept. of Electrical Eng., Universidad de Chile（AMTC与电气工程系，智利大学）；Department of Mathematics, Imperial College London（数学系，伦敦帝国学院）
本文提出自加权引导方法，通过扩散模型直接生成所需分数，无需额外网络，实现高效的离线强化学习
2025-12-23 cs.LG stat.ML
Covariate-Balancing-Aware Interpretable Deep Learning models for Treatment Effect Estimation
University of Pennsylvania（宾夕法尼亚大学）
估计处理效应对于许多具有观察数据的生物医学应用是非常重要的。特别地，处理效应的可解释性对于许多生物医学研究者是优选的。本文首先从理论上分析了强可重复性假设下平均处理效应（ATE）估计的偏差，并给出了其上界。通过利用加权能量距离的吸引力属性，我们的上限比文献中报道的更紧。受理论分析的启发，我们提出了一种新的目标函数估计ATE，使用能量距离平衡得分，因此不需要正确的规范的倾向得分模型。我们还利用最近开发的神经添加模型来提高用于潜在结果预测的深度学习模型的可解释性。我们进一步增强了我们提出的模型与能量距离平衡得分加权正则化。我们提出的模型优于当前国家的最先进的方法证明了在半合成实验中使用两个基准数据集，即IHDP和ACIC。
2022-06-24 cs.LG stat.ML
Closed-form variance estimators for weighted and stratified dose-response function estimators using generalized propensity score
倾向得分法广泛用于观察性研究，用于评价边际处理效应。广义倾向得分（GPS）是倾向得分框架的扩展，历史上是在二元暴露的情况下开发的，用于定量或连续暴露。本文提出了连续结局下处理效应估计量的方差估计。剂量反应函数（DRF）通过对GPS倒数加权或使用分层进行估计。使用蒙特卡罗模拟评价方差估计量。尽管使用稳定的权重，DRF的加权估计量的变异性特别高，并且没有方差估计量（基于自举的估计器、特别开发以考虑GPS的估计步骤的闭合形式估计器和三明治估计器）能够充分捕获这种可变性，导致覆盖率低于标称值，特别是当协变量解释的定量暴露的变化比例大于1时。分层估计量更稳定，方差估计量（基于Bootstrap的估计量、合并线性化估计量和合并基于模型的估计量）在捕获DRF参数的经验变异性方面更有效。合并方差估计往往高估的方差，而自助估计，它本质上考虑到GPS的估计步骤，导致正确的方差估计和覆盖率。这些方法被应用到一个真实的数据集，目的是评估产妇体重指数对新生儿出生体重的影响。
2020-07-06 stat.AP
Analysis of survival data with non-proportional hazards: A comparison of propensity score weighted methods
当存在混杂因素时，研究人员比较不同治疗的生存结局的最常见方法之一是使用Cox回归。这种模式受到其潜在的比例风险假设的限制;在某些情况下，可能会发生重大违规行为。在这里，我们提出和比较的方法，试图解决这个问题，包括Cox模型随时间变化的风险比;参数加速失效时间模型; Kaplan-Meier曲线;和伪观测。为了调整治疗组之间的差异，我们使用基于倾向得分的治疗权重逆概率。我们检查了可以计算并直接比较每种方法的具有临床意义的结局指标，即T时的生存概率、中位生存期和限制平均生存期。我们在一系列场景下进行模拟研究，并确定每种方法的平均处理效应的偏倚、覆盖率和标准误。然后，我们将这些方法应用于两项已发表的癌症治疗后生存观察研究。第一个研究了肉瘤的化疗，最初的生存率非常相似，但两年后化疗组显示出获益。另一项研究是比较肾癌的手术技术，随着时间的推移，生存差异会减弱。
2021-01-29 stat.AP
Improving operating characteristics of clinical trials by augmenting control arm using propensity score-weighted borrowing-by-parts power prior
University of Nebraska Medical Center（内布拉斯加医学中心大学）；Medical College of Wisconsin（威斯康星医学院）；Daffodil International University（达佛西尔国际大学）
本文提出一种结合倾向分数加权和灵活贝叶斯方法的PSW-BPP，用于改善临床试验中外部数据借用的效率和稳健性。
2026-01-07 stat.ME
Regularized calibrated estimation of propensity scores with model misspecification and high-dimensional data
倾向得分法广泛用于估计观察性研究的处理效应。一种流行的方法是基于逻辑斯谛回归通过极大似然然估计倾向得分，然后应用逆概率加权估计或扩展来估计处理效应。然而，一个具有挑战性的问题是，这种包括双重鲁棒方法的逆概率加权方法即使在逻辑模型如通过常规技术检查的那样看起来足够时也可能表现不佳。此外，在处理大量协变量时，适当估计倾向得分的难度越来越大。为了解决这些问题，我们研究校准估计作为替代极大似然估计拟合逻辑倾向得分模型。我们发现，与可能的模型误设定，最大限度地减少校准估计的预期校准损失涉及减少预期的似然损失和相对误差的测量，控制逆概率加权估计的均方误差。此外，我们提出了一个正则化的校准估计最小化的校准损失与Lasso惩罚。我们开发了一种新的Fisher评分下降算法计算建议的估计，并提供了一个高维分析所产生的逆概率加权估计的人口手段，利用控制校准估计的相对误差。我们提出了一个模拟研究和实证应用，以证明所提出的方法相比，极大似然和正则化的优势。
2017-10-23 stat.ME
A tutorial for propensity score weighting methods under violations of the positivity assumption
North Carolina State University（北卡罗来纳州立大学）；Duke Clinical Research Institute（杜克临床研究所）；Duke University School of Medicine（杜克大学医学院）；Duke University（杜克大学）
本教程针对阳性假设违反导致传统因果估计量无法识别的问题，回顾倾向评分加权方法最新进展，提供估计量选择、实施及诊断指导，并通过模拟和两个真实案例验证方法，还配有R包ChiPS。
2025-11-13 stat.AP stat.ME
Augmented match weighted estimators for average treatment effects
North Carolina State University（北卡罗来纳州立大学）；University of Pennsylvania（宾夕法尼亚大学）
本文提出一种结合匹配和加权估计量优点的AMW估计量，具有双稳健性和半参数效率下限，通过可变K提升稳定性并支持非参数自助法推断。
2025-12-11 stat.ME
Efficient estimation of modified treatment policy effects based on the generalized propensity score
连续治疗对因果推断提出了重大挑战，无论是在制定和确定科学上有意义的影响，还是在其稳健估计方面。传统上，重点放在适用于具有较少水平的二元或分类治疗的技术上，从而允许相对容易地应用基于倾向得分的方法。努力适应连续治疗介绍了广义倾向得分，但这个滋扰参数的估计通常利用参数回归策略，大大限制了因果效应参数的逆概率加权估计的鲁棒性和效率。我们制定和调查一种新的，灵活的估计广义倾向得分的基础上的非参数函数估计，可证明收敛在一个适当的速度快的目标功能，以方便统计推断。有了这个估计，我们证明了建设的非参数逆概率加权估计的一类因果效应估计量的连续治疗。为了确保我们提出的估计的渐近有效性，我们概述了几个非限制性的选择程序，利用筛估计框架下平滑估计的广义倾向得分。我们提供了第一个表征，这样的逆概率加权估计实现非参数效率界的设置与连续治疗，证明了这一点在数值实验。我们进一步评估我们提出的估计的高阶效率，推导和数值研究相应的有效的影响函数在非参数模型中的二阶剩余。开源软件实现我们提出的估计技术，haldensify R包，简要讨论。
2022-06-28 stat.ME
Augmenting treatment arms with external data through propensity-score weighted power-priors: an application in expanded access
针对扩大可及性外部患者数据扩充治疗组的问题，提出结合倾向评分加权与修正幂先验的ProPP方法，提升精度并控制I类错误率。
2023-06-02 stat.AP stat.ME
Baselines and Score Centering in Policy Gradient Estimation
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Perplexity AI（Perplexity AI公司）
本研究针对强化学习中策略梯度估计的基线与得分中心化问题，提出协方差视角，明确两种中心化方式的差异及在不同重要性采样级别下的适用性。
2026-10-16 cs.LG
Consistent Estimation of Propensity Score Functions with Oversampled Exposed Subjects
通常采用过采样暴露受试者的观察性队列研究，以了解罕见暴露的因果效应。由于样本中暴露受试者的分布与源人群不同，因此倾向得分函数的估计（即，给定基线协变量的暴露概率）以非参数化的不可识别参数为目标。倾向得分函数的一致估计是各种因果推断估计的重要组成部分，包括双稳健机器学习和逆概率加权估计。本文开发了一个灵活的计算实现，可以使用任何算法，允许观察加权产生相合估计量的倾向得分函数的暴露从源人口的概率。模拟研究和一个假设的卫生政策干预数据分析表明，这些倾向得分函数估计与观察权重在有限样本的经验偏差和方差低。
2019-02-13 stat.ME stat.ML
Doubly Robust Estimation of Local Average Treatment Effects Using Inverse Probability Weighted Regression Adjustment
我们重新审视的问题，估计的局部平均处理效应（LATE）和局部平均处理效应的治疗（LATT）时，控制变量是可用的，要么使工具变量（IV）适当的外源性或提高精度。与以前的方法不同，我们的双重鲁棒（DR）估计程序使用准似然方法加权的IV倾向得分的倒数-所谓的逆概率加权回归调整（IPWRA）估计。通过正确选择倾向评分和结果模型的模型，确保拟合值在由响应变量确定的逻辑范围内，从而产生具有吸引人的小样本性质的LATE和LATT的DR估计量。无论是分析还是使用非参数自助法，推断都相对简单。我们的DR LATE和DR LATT估计器在模拟中运行良好。我们还提出了一个DR版本的Hausman检验，可用于评估unconfoundedness假设，通过比较不同的估计值的平均处理效应的治疗（ATT）在单侧不遵守。与比较OLS和IV估计值的常用检验不同，该程序对处理效应异质性具有稳健性。
2022-11-15 econ.EM stat.ME
Covariate Balancing Propensity Score by Tailored Loss Functions
在观察性研究中，倾向得分通常通过最大似然估计，但即使在规范检索后，也可能无法平衡高维治疗前协变量。我们介绍了一个通用的框架，统一和概括了最近的几个建议，以提高协变量的平衡时，设计一个观察性研究。本文提出了一种优化特殊损失函数--协变量平衡评分规则（CBSR）来估计倾向得分的方法，以代替传统的似然函数. CBSR由GLM中的链接函数和被估量（加权平均处理效应）唯一确定。我们发现CBSR在估计加权平均处理效应时并不输于Bernoulli似然的渐近有效性，但在有限样本下CBSR更稳健。借用统计学习中开发的工具，我们提出了在丰富的函数类中平衡协变量函数的实用策略。这对于估计逆概率加权（IPW）估计的最大偏差和构造有限样本下的诚实置信区间是有用的。最后，我们提供了几个数值例子来证明的权衡偏差和方差的IPW型估计和权衡平衡不同的函数类的协变量。
2017-03-20 stat.ME
On true versus estimated propensity scores for treatment effect estimation with discrete controls
本文推导了离散控制变量下逆倾向加权估计量的有限样本方差，发现估计倾向得分在渐近理论中优于真实得分，但对修正估计量的分析表明真实倾向函数的先验知识在估计平均处理效应时具统计优势。
2023-05-18 math.ST stat.ME stat.TH
Balancing Covariates via Propensity Score Weighting
协变量平衡对于无混杂的描述性或因果关系比较至关重要。然而，缺乏平衡在观察性研究中很常见。本文考虑平衡协变量的加权策略。我们定义了一个通用的权重类-平衡权重-平衡治疗组之间协变量的加权分布。这些权重结合了倾向得分，以将每组与分析师选择的目标人群进行加权。这个类统一了现有的加权方法，包括常用的权重，如作为特例的逆概率权重。基于这些权重的非参数估计的一般大样本结果。我们进一步提出了一个新的加权方案，重叠权重，其中每个单元的权重是成比例的概率，该单元被分配到相对的组。重叠权重是有界的，并且最小化平衡权重类之间的加权平均处理效应的渐近方差。重叠权重也具有理想的小样本精确平衡属性，基于此，我们提出了一种新的方法，实现精确平衡的手段，任何选定的协变量集。两个应用程序说明了这些方法，并与其他方法进行比较。
2016-11-15 stat.ME
Balancing Covariates via Propensity Score Weighting
协变量平衡对于无混杂的描述性或因果关系比较至关重要。然而，缺乏平衡在观察性研究中很常见。本文考虑平衡协变量的加权策略。我们定义了一个通用的权重类-平衡权重-平衡治疗组之间协变量的加权分布。这些权重结合了倾向得分，以将每组与分析师选择的目标人群进行加权。这个类统一了现有的加权方法，包括常用的权重，如作为特例的逆概率权重。基于这些权重的非参数估计的一般大样本结果。我们进一步提出了一个新的加权方案，重叠权重，其中每个单元的权重是成比例的概率，该单元被分配到相对的组。重叠权重是有界的，并且最小化平衡权重类之间的加权平均处理效应的渐近方差。重叠权重也具有理想的小样本精确平衡属性，基于此，我们提出了一种新的方法，实现精确平衡的手段，任何选定的协变量集。两个应用程序说明了这些方法，并与其他方法进行比较。
2016-09-29 stat.ME
Kernel-weighted specification testing under general distributions
本文研究回归元分布含奇异成分且不绝对连续时参数条件均值的核加权设定检验，建立了极限理论，并通过模拟揭示了条件变量分布对检验功效的重要影响。
2023-05-25 econ.EM stat.ME
Propensity Score Weighting for Causal Inference with Multiple Treatments
在观察性研究中，多组之间的因果或无混杂的描述性比较很常见。从卫生服务研究中的种族差异研究的动机，我们提出了一个统一的倾向得分加权框架，平衡权重，估计因果关系的影响与多种治疗。这些权重包括广义倾向得分，以平衡每个治疗组的加权协变量分布，所有权重均朝向共同的预先指定的目标人群。这类平衡权包括几种现有的方法，如逆概率权和修剪权作为特殊情况。在这个框架内，我们提出了一套基于线性对比的目标被估量。我们进一步发展了广义重叠权重，构造为逆概率权重和广义倾向得分的调和平均值的乘积。广义重叠加权方案对应于多种治疗之间协变量重叠最多的目标人群。这些权重是有界的，因此绕过了极端倾向的问题。我们证明了广义重叠权重最小化了平衡权重类内两两对比的矩加权估计量的总渐近方差。我们考虑两个平衡检查准则，并提出了一个新的三明治方差估计估计广义重叠权重的因果效应。我们应用这些方法来研究种族之间的差异，在医疗支出的几个种族群体使用2009年医疗支出面板调查（MEPS）数据。仿真结果与现有方法进行了比较。
2019-06-29 stat.ME
Covariate Distribution Balance via Propensity Scores
本文提出了新的估计的倾向得分，旨在最大限度地提高协变量分布平衡不同的治疗组。启发式地，我们提出的程序试图通过使不同治疗组的潜在协变量分布尽可能接近来估计倾向评分模型。我们的估计是数据驱动的，不依赖于调谐参数，如带宽，承认一个渐进的线性表示，并可用于估计不同的治疗效果参数在不同的识别假设，包括unconfoundedness和本地处理效应。我们推导出的平均，分布，和分位数的处理效应的基础上提出的倾向得分估计的逆概率加权估计的渐近性质，并说明其有限样本性能通过蒙特卡罗模拟和两个实证应用。
2020-04-04 econ.EM math.ST stat.ME
Quantile Treatment Effects and Bootstrap Inference under Covariate-Adaptive Randomization
本文研究协变量自适应随机化下分位数处理效应的估计和推断。我们提出两种估计方法：（1）简单分位数回归和（2）逆倾向得分加权分位数回归。对于这两个估计，我们得到了他们的渐近分布均匀分布在一个紧凑的一组分位数指标，并表明，当治疗分配规则没有达到强平衡，逆倾向得分加权估计有一个更小的渐近方差比简单的分位数回归估计。对于方法（1）的推论，我们证明了使用加权bootstrap标准误的Wald检验在拒绝下。但对于方法（2），其渐近规模等于名义水平。我们还表明，对于这两种方法，Wald检验使用协变量自适应引导标准误的渐近大小等于标称水平。我们说明了使用模拟和真实数据集的新的估计和推断方法的有限样本性能。
2020-02-25 stat.ME
Models for the Propensity Score that Contemplate the Positivity Assumption and their Application to Missing Data and Causality
通常假设广义线性模型拟合倾向得分，用于计算逆概率加权（IPW）估计。为了得到IPW估计量的渐近性质，假定倾向得分是有界远离cero的。这个条件在文献中称为严格正性（或正性假设），在实践中，当它不成立时，IPW估计量非常不稳定，并且具有很大的可变性。虽然经常假设严格的正性，但当某些协变量是连续的时，它并不成立。在这项工作中，我们试图调和严格的积极性条件和广义线性模型的理论，通过纳入一个额外的参数，这导致在一个明确的下限的倾向得分。
2017-04-23 stat.AP stat.ME
An Inverse Probability Weighted Regression Method that Accounts for Right-censoring for Causal Inference with Multiple Treatments and a Binary Outcome
比较有效性研究通常涉及使用观察数据评估两种或更多种治疗之间感兴趣事件的风险差异。通常，关注的治疗后结局是事件是否在预先指定的时间窗内发生，这导致二元结局。估计因果处理效应的偏倚来源之一是混杂因素的存在，通常使用基于倾向得分的方法进行控制。偏倚的另一个来源是右删失，当由于脱落、研究终止或在关注事件发生前治疗转换而无法完全获得关注结局的信息时发生。我们提出了一种基于逆概率加权回归的估计，可以同时处理混杂和右删失，称为CIPWR方法，字母C突出了删失组件。CIPWR通过对从使用加权得分函数拟合的逻辑斯谛回归模型获得的预测结果求平均值来估计平均处理效应。CIPWR估计量具有双重稳健性，因此当正确指定结局模型或治疗和删失模型时，可以实现估计一致性。我们建立了CIPWR估计进行推断的渐近性质，并通过模拟研究，比较其有限样本性能与几个替代方案。将比较的方法应用于来自保险索赔数据库的前列腺癌患者队列，以比较晚期前列腺癌的四种候选药物的不良反应。
2022-05-17 stat.ME
Re-examining and calibrating weighted survival analysis for causal inference
College of Economics, China Jiliang University（中国计量大学经济管理学院）；Department of Statistics, Rutgers University（罗格斯大学统计学系）；Institute for Health, Health Care Policy, and Aging Research, Rutgers University（罗格斯大学健康、医疗政策和老龄化研究所）
本文重新审视加权Kaplan-Meier方法，并开发新的校准方法以改进生存分析的统计特性，通过模拟和实证研究验证了其有效性。
2026-05-15 stat.ME
Undersmoothed LASSO Models for Propensity Score Weighting and Synthetic Negative Control Exposures for Bias Detection
Brigham and Women’s Hospital, Harvard Medical School（Brigham and Women's Hospital, 哈佛医学院）；University of Michigan（密歇根大学）；University of Washington（华盛顿大学）；Massachusetts General Hospital, Harvard Medical School（Massachusetts General Hospital, 哈佛医学院）
本文提出使用低平LASSO模型和合成负对照暴露来改进倾向评分加权中的偏倚检测方法。
2025-12-16 stat.ME
Outcome Regression Methods for Analyzing Hybrid Control Studies: Balancing Bias and Variability
本文针对混合对照研究，提出增强、G计算和加权回归三种结局回归方法，探讨偏倚与方差权衡，模拟与实例表明加权回归在提升效率方面表现更优。
2025-01-29 stat.ME
Weighted Aggregation of Conformity Scores for Classification
City University of Hong Kong（香港城市大学）；Alpha Benito Research（阿尔法贝尼托研究院）
本文提出一种结合多个得分函数并最小化预测集大小的共形预测方法，在保持有效覆盖的同时提升了分类任务中预测的效率与实用性。
2025-03-04 cs.LG stat.ML
Optimal Variance Control of the Score Function Gradient Estimator for Importance Weighted Bounds
Technical University of Denmark（丹麦技术大学）；University of Copenhagen（哥本哈根大学）；Rigshospitalet, Copenhagen University Hospital（哥本哈根大学医院国立医院）
本文介绍了重要加权变分界（IWAE）的得分函数梯度估计的新结果。我们证明，在大的$K$（重要性样本数）的限制，可以选择控制变量，使信号噪声比（SNR）的估计增长为$\sqrt{K}$。这与标准路径梯度估计器相反，在标准路径梯度估计器中，SNR随着$1/\sqrt{K}$而减小。基于我们的理论研究结果，我们开发了一种新的控制变量，扩展到VIMCO。经验上，对于连续和离散生成模型的训练，所提出的方法产生优异的方差减小，从而导致IWAE的SNR随着$K$而增加，而不依赖于重新参数化技巧。在训练生成模型时，新的估计器与最先进的无重新参数化梯度估计器（如重新加权唤醒-睡眠（RWS）和热力学变分目标（TVO））具有竞争力。
2020-12-08 cs.LG stat.ML
Classification using Ensemble Learning under Weighted Misclassification Loss
Brown University（布朗大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Academic Model Providing Access to Healthcare (AMPATH)（学术模式提供医疗保健（AMPATH））；Moi University（莫伊大学）
基于协变量的二进制分类规则通常依赖于简单的损失函数，如0 - 1误分类。某些情况下可能需要更复杂的损失函数。例如，对接受抗逆转录病毒治疗（ART）的艾滋病毒感染者进行个体水平的监测，需要定期评估治疗失败情况，治疗失败的定义是病毒载量（VL）值高于某个阈值。在一些资源有限的环境中，VL测试可能会受到成本或技术的限制，诊断是基于其他临床标志物。根据不同的情况，可能会对避免假阳性给予更高的重视，这会带来更大的成本和减少的治疗选择。这里，通过最小化加权误分类损失/风险来确定最优规则。我们提出了一种方法，发现和交叉验证加权误分类损失下的最佳二进制分类规则。我们专注于规则，包括一个预测分数和相关的阈值，其中的分数是使用集成学习器。仿真和示例表明，与首先推导分数并根据分数有条件地推导截止值的方法相比，我们联合推导分数和阈值的方法更准确地估计了总体风险，并且具有更好的操作特性，尤其是对于有限样本。
2019-05-10 cs.LG stat.ML
Mitigating Long-Tailed Anomaly Score Distributions with Importance-Weighted Loss
R\&D Division ELROILAB Inc. Seoul, Republic of Korea
本文提出了一种重要加权损失方法，用于缓解长尾异常分数分布问题，通过重要性采样对齐分布，提升异常检测性能。
2026-01-05 cs.AI cs.LG stat.ML
Recovering Weighted Tangent Geometry from a Single-Scale Score Field
School of Computer Science and Engineering（计算机科学与工程学院）；Southeast University（东南大学）
该研究针对分支点处的加权切几何恢复问题，基于单尺度得分场建立切测度模型，通过线性方程组校准等方法实现几何参数与测度的恢复，在平面情形中验证了方法的有效性。
2026-08-25 cs.LG stat.ML
Feature Selection via Robust Weighted Score for High Dimensional Binary Class-Imbalanced Gene Expression Data
United Arab Emirates University（阿联酋大学）
本文提出ROWSU方法，通过合成少数类样本平衡数据、贪婪搜索选取最小基因子集，并结合支持向量加权鲁棒得分筛选高判别力基因，在6个基因表达数据集上验证其优于现有特征选择方法。
2024-01-23 cs.LG stat.ML
A comprehensive theoretical framework for the optimization of neural networks classification performance with respect to weighted metrics
University of Padova（帕多瓦大学）；University of Genova（热那亚大学）
本文针对神经网络训练中损失函数最小化与加权分类分数最大化之间的差异，提出一个完整理论框架，将加权分类指标形式化并构建相应损失函数以优化目标指标，且涵盖多种成熟方法。
2023-05-22 cs.LG cs.NA math.NA
Maximum Likelihood Training of Score-Based Diffusion Models
Stanford University（斯坦福大学）；University of Edinburgh（爱丁堡大学）
基于分数的扩散模型通过反转将数据扩散为噪声的随机过程来合成样本，并且通过最小化分数匹配损失的加权组合来训练。基于分数的扩散模型的对数似然可以通过与连续归一化流的连接来可追踪地计算，但是对数似然不能通过分数匹配损失的加权组合来直接优化。我们表明，对于一个特定的加权方案，客观上界的负对数似然，从而使近似极大似然训练的分数为基础的扩散模型。我们根据经验观察到，极大似然训练一致地提高了基于分数的扩散模型在多个数据集、随机过程和模型架构中的似然性。我们最好的模型在CIFAR-10和ImageNet 32 x32上实现了2.83和3.76 bits/dim的负对数似然，而没有任何数据增强，与这些任务中最先进的自回归模型相当。
2021-10-21 cs.LG stat.ML
Fisher meets Feynman: score-based variational inference with a product of experts
Flatiron Institute（Flatiron研究所）；Columbia University（哥伦比亚大学）
本文提出一种基于专家乘积的变分推断族，利用 Feynman 恒等式实现采样，并通过迭代优化 Fisher 散度快速收敛，适用于复杂分布。
2025-10-24 cs.LG stat.ML
AECSF: Adaptive Ensemble Conditional Score Filtering for High-Dimensional Nonlinear Data Assimilation
Tongji University（同济大学）；Wuhan University（武汉大学）；University of South Carolina（南卡罗来纳大学）
针对高维非线性数据同化中贝叶斯状态估计的统计保真度与计算可行性矛盾，提出免训练的自适应集成条件分数滤波器AECSF，利用条件Tweedie恒等式和共享自适应加权提议集成高效估计噪声后验分数，提升后验采样与非线性滤波精度。
2026-10-05 cs.LG cs.NA math.NA
Data Weighted Training Strategies for Grammatical Error Correction
Google Research（谷歌研究院）
语法错误纠正（GEC）任务的最新进展是通过解决数据稀疏性来推动的，这既包括通过新方法生成大型和嘈杂的预训练数据，也包括通过在2019年共享任务中发布小型和更高质量的微调数据。基于神经机器翻译（NMT）的最新工作，我们利用这两种数据，基于更小、更高质量的数据集，在我们的大型预训练数据上获得示例级别的分数。在这项工作中，我们进行了实证研究，以发现如何最好地将增量对数困惑，一种类型的例子评分，到GEC的训练计划。在这样做的时候，我们进行实验，阐明的功能和适用性的delta-log困惑。在评分数据上训练的模型在常见的GEC测试集上获得了最先进的结果。
2020-09-09 cs.CL stat.ML
Kernel-based Optimally Weighted Conformal Time-Series Prediction
H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（H. Milton Stewart工业与系统工程学院，佐治亚理工学院）
本文提出了一种基于核的最优加权符合预测方法，通过学习最优数据自适应权重，在时间序列预测中实现了更窄的置信区间同时保持覆盖性。
2026-02-11 cs.LG math.ST stat.ML
