Nonparametric Pricing Analytics with Customer Covariates
University of Toronto（多伦多大学）；The Hong Kong University of Science and Technology（香港科技大学）
个性化定价分析正在成为零售业的重要工具。在观察每个到达客户的个性化信息后，公司需要根据收入，教育背景，过去的购买历史等协变量制定相应的价格，以获取更多的收入。对于新进入者来说，缺乏历史数据可能会严重限制个性化定价的能力和盈利能力。我们提出了一个非参数定价策略，同时学习客户的偏好的基础上的协变量，并在有限的时间内最大化的预期收入。该策略不依赖于关于个性化信息如何影响消费者偏好的任何先验假设（例如线性模型）。它自适应地将协变量空间划分为更小的bin（超矩形），并根据协变量和偏好对客户进行聚类，为属于同一聚类的客户提供类似的价格，权衡粒度和准确性。我们表明，该算法实现了遗憾的顺序$O(\log(T)^2 T^{(2+d)/(4+d)})$，其中$T$是地平线的长度和$d$是维度的协变量。它改善了目前的遗憾，在文献\citep{slivkins2014contextual}，温和的技术条件下，在定价的背景下（平滑和本地的价格）。我们还证明，没有政策可以实现一个遗憾小于$O(T^{(2+d)/(4+d)})$为一个特定的实例，从而证明了近最优的建议政策。
2020-02-16 cs.LG stat.ML
Multi-CATE: Multi-Accurate Conditional Average Treatment Effect Estimation Robust to Unknown Covariate Shifts
Ludwig-Maximilians-University of Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；Cornell University（康奈尔大学）；University of Southern California（南加州大学）
提出Multi-CATE方法，通过多准确预测器后处理CATE T-learners和DR-learner，结合观察与随机数据集，提升对未知协变量偏移的鲁棒性，降低偏差和均方误差，实现因果推断的外部有效性。
2024-10-17 cs.LG stat.ME stat.ML
Doubly Robust Off-Policy Learning on Low-Dimensional Manifolds by Deep Neural Networks
Georgia Tech（佐治亚理工学院）
因果推理探索行为与结果奖励之间的因果关系。最近深度学习在因果推理方面取得了显著的成绩，但现有的统计理论不能很好地解释这种经验上的成功，特别是当协变量是高维的时候。因果推理中的大多数理论结果是渐近的，受到维数灾难的影响，并且只适用于有限作用场景。为了弥合理论与实践之间的差距，本文研究了基于深度神经网络的双重鲁棒离策略学习。当协变量位于一个低维流形上，我们证明了非渐近遗憾界，这取决于流形的内在维度收敛速度快。我们的结果涵盖了有限和连续的行动方案。我们的理论表明，深度神经网络能够适应协变量的低维几何结构，并部分解释了深度学习在因果推理方面的成功。
2020-11-03 cs.LG stat.ML
Estimation and Validation of Ratio-based Conditional Average Treatment Effects Using Observational Data
Stanford University（斯坦福大学）；Biogen International GmbH（渤健国际有限公司）；PwC Data & Analytics（普华永道数据与分析部）；NeuroTransData（神经转归数据公司）
虽然随机临床试验中的样本量足够大，可以很好地估计平均处理效应，但它们通常不足以估计对研究数据驱动的精准医学至关重要的治疗-协变量相互作用。来自现实世界实践的观测数据可能在缓解这一问题方面发挥重要作用。试验中的一种常见方法是在每个治疗组中使用单独的回归模型预测关注的结果，并基于预测的对比估计处理效应。不幸的是，当回归模型被错误指定时，这种简单的方法可能会在观察性研究中诱导虚假的治疗-协变量相互作用。出于对多发性硬化患者复发次数建模的需要，复发率的比率是治疗效果的自然选择，我们建议将条件平均处理效应（CATE）估计为预期潜在结果的比率，并在治疗协变量相互作用的半参数模型中推导出该CATE的双重稳健估计。我们还提供了一个验证过程，以检查独立样本的估计量的质量。我们进行模拟，以证明有限样本的性能，所提出的方法，并通过检查富马酸二甲酯的处理效应相比特立氟胺在多发性硬化症患者的实际数据，说明其优势。
2020-04-21 cs.LG stat.ME stat.ML
Off-Policy Deep Reinforcement Learning by Bootstrapping the Covariate Shift
Google Brain（谷歌大脑）
在本文中，我们重新审视了由Hallak等人（2017）开创的强化学习（COP-TD）的政策外校正方法。在这种方法下，在线更新的价值函数被重新加权，以避免发散问题典型的离策略学习。而Hallak等人的解是吸引人的，它不能容易地转移到非线性函数逼近。首先，它需要一个投影到概率单纯形上的步骤;其次，即使描述离策略学习算法的预期行为的算子是收敛的，但它并不知道是一个收缩映射，因此在实践中可能更不稳定。我们通过在COP-TD中引入折扣因子来解决这两个问题。我们分析了贴现COP-TD的行为，发现它从理论上表现得更好。我们还提出了一种替代的软归一化惩罚，可以最大限度地减少在线和避免需要一个明确的投影步骤。我们补充我们的分析与实证评估的两种技术在关闭政策设置的游戏乒乓从雅达利域，我们发现折扣COP-TD在实践中表现得更好，比软正常化处罚。最后，我们在Atari域的5个游戏中对折扣COP-TD进行了更广泛的评估，在那里我们找到了我们方法的性能增益。
2019-01-27 cs.LG stat.ML
An introduction to flexible methods for policy evaluation
本章涵盖了评估治疗或干预措施对相关结果的因果影响的政策评估的不同方法。作为对因果推断的介绍，讨论从随机治疗的实验评价开始。然后回顾了基于可观察量选择的评价方法（假设在给定观察协变量的情况下进行准随机治疗）、工具变量（诱导治疗中的准随机变化）、差异中的差异和变化中的变化（利用随时间推移的结局变化）以及回归不连续性和扭结（使用运行变量的某个阈值下治疗分配的变化）。本章讨论了特别适用于具有许多观察结果的数据的方法，用于处理效应的灵活（即半参数或非参数）建模，和/或通过应用机器学习以数据驱动的方式选择和控制协变量的许多（即高维）观察协变量。这不仅可用于通过控制例如共同影响治疗和结局的因素来解决混杂问题，而且还可用于根据可观察协变量定义的亚组之间的学习效应异质性，并最佳地针对治疗最有效的那些组。
2019-10-01 econ.EM stat.ME stat.ML
Mitigating Covariate Shift in Imitation Learning via Offline Data Without Great Coverage
Cornell University（康奈尔大学）；Amazon Search & AI（亚马逊搜索与人工智能）
本文研究了离线模仿学习（IL），其中一个代理学习模仿一个专家演示没有额外的在线环境交互。相反，向学习者呈现来自潜在的不太熟练的行为策略的状态-动作-下一状态转换三元组的静态离线数据集。我们介绍了基于模型的IL从离线数据（MILO）：一个算法框架，利用静态数据集，有效地解决离线IL的问题，在理论和实践中。在理论上，即使行为政策是高度次优的专家相比，我们表明，只要从行为政策的数据提供足够的覆盖专家的状态-动作的痕迹（并没有必要在整个状态-动作空间的全球覆盖），MILO可以证明打击IL的协变量偏移问题。补充我们的理论结果，我们还表明，我们的方法的实际实施减轻基准MuJoCo连续控制任务的协变量偏移。我们证明，与行为政策的性能是不到一半的专家，MILO仍然成功地模仿了极低数量的专家状态-动作对，而传统的离线IL方法，如行为克隆（BC）完全失败。源代码在https://github.com/jdchang1/milo上提供。
2022-01-31 cs.LG stat.ML
Online Policy Learning and Inference by Matrix Completion
Hong Kong University of Science and Technology（香港科技大学）；University of Michigan（密歇根大学）
针对缺乏个性化协变量的在线决策问题，提出矩阵补全bandit框架，结合$\varepsilon$-greedy策略与在线梯度下降进行两阶段策略学习，并开发基于逆倾向加权的在线去偏推断方法，在旧金山停车定价项目中表现优于基准策略。
2024-12-19 cs.LG stat.ML
Positivity-free Policy Learning with Observational Data
Inria（法国国家信息与自动化研究所）；University of Montpellier（蒙彼利埃大学）；Université Paris Cité（巴黎西岱大学）；CNRS（法国国家科学研究中心）；North Carolina State University（北卡罗来纳州立大学）
针对现实数据中正性假设难以满足的问题，提出无正性随机策略学习框架，通过增量倾向得分策略调整倾向值，结合半参数效率理论实现高效估计，并经数值实验验证其稳健性与可靠性。
2023-10-10 cs.LG stat.ME stat.ML
Triply Robust Off-Policy Evaluation
Caltech（加州理工学院）
我们提出了一个强大的回归方法，离线政策评估（OPE）的上下文土匪。我们将OPE框架为协变量偏移问题，并利用现代强大的回归工具。我们的方法是一个通用的方法，可以用来增强任何现有的OPE方法，利用直接方法。当增广双鲁棒方法时，我们称所得到的方法为三重鲁棒。我们证明了上界的偏差和方差，以及推导出新的极大极小界的基础上强大的极大极小分析的协变量偏移。我们的稳健回归方法与深度学习兼容，因此适用于需要强大函数逼近器的复杂OPE设置。最后，我们在标准的OPE基准测试中展示了优越的经验性能，特别是在日志记录策略未知并且必须从数据中估计的情况下。
2019-11-16 cs.LG stat.ML
Causal inference with Machine Learning-Based Covariate Representation
针对高维协变量下现有因果推断方法可靠性不足的问题，提出机器学习辅助的协变量表示方法，结合同平台历史数据降维，配套设计与估计方法并证明其统计可靠性，经数值实验验证有效。
2023-11-03 stat.ME stat.ML
Externally Valid Policy Evaluation Combining Trial and Observational Data
Uppsala University（乌普萨拉大学）
针对随机试验人群与目标人群差异导致的政策评估外部有效性问题，提出结合目标人群协变量数据的非参数方法，可在指定模型校准误差范围及有限样本下保证评估有效性，并通过模拟和真实数据验证。
2024-10-29 cs.LG stat.ME stat.ML
An AI-powered Bayesian generative modeling approach for causal inference in observational studies
Department of Biostatistics, Yale University（耶鲁大学生物统计学系）；Department of Statistics, Stanford University（斯坦福大学统计学系）
CausalBGM通过学习个体特定的低维潜在特征集，提升高维协变量和大规模数据集中的因果推断性能。
2026-02-19 cs.AI cs.LG stat.ME
Doubly Robust Fusion of Many Treatments for Policy Learning
针对多治疗组中数据稀疏和协变量不平衡问题，提出校准加权治疗融合程序，双重稳健恢复潜在结构，理论保证且模拟和真实数据验证优于现有方法。
2025-05-24 stat.ME stat.ML
Adversarial Balancing-based Representation Learning for Causal Effect Inference with Observational Data
Eindhoven University of Technology（埃因霍温理工大学）；University at Buffalo（布法罗大学）
从观测数据中学习因果效应对医疗保健、教育和社会学等各个领域都有很大的好处。例如，人们可以估计新药对特定个体的影响，以帮助临床计划并提高生存率。本文主要研究从观测数据中估计条件平均治疗效应（CATE）的问题。这个问题的挑战是双重的：一方面，我们必须推导出一个因果估计量估计的因果量从观察数据，存在混杂偏倚;另一方面，我们必须处理的识别CATE时，治疗组和对照组的协变量的分布是不平衡的。为了克服这些挑战，我们提出了一个神经网络框架，称为基于对抗平衡的表示学习因果效应推理（ABCEI），基于表示学习的最新进展。为了确保CATE的识别，ABCEI使用对抗学习来平衡潜在表征空间中治疗组和对照组中协变量的分布，而不对治疗选择/分配函数的形式进行任何假设。此外，在表示学习和平衡过程期间，来自原始协变量空间的高度预测信息可能丢失。ABCEI可以通过在互信息估计的正则化下保留用于预测因果效应的有用信息来解决这种信息损失问题。实验结果表明，ABCEI是强大的治疗选择偏见，并匹配/优于国家的最先进的方法。我们的实验在几个数据集上显示了有希望的结果，这些数据集代表了不同的医疗保健领域。
2020-10-16 cs.LG stat.ML
Cause-Effect Deep Information Bottleneck For Systematically Missing Covariates
Harvard John A Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院，哈佛大学）；University of Basel（巴塞尔大学）
由于混杂因素的存在，从高维观测数据中估计干预措施的因果效应是困难的。由于在测试时我们的数据中可能有系统性的缺失，这项任务通常会变得复杂。我们的方法使用的信息瓶颈进行低维压缩的协变量，明确考虑的相关性的信息。基于充分减少的协变量，我们将相关信息转移到测试时数据缺失的情况下，使我们能够可靠准确地估计干预措施的效果，即使数据不完整。我们的结果因果推断基准和治疗败血症的实际应用表明，我们的方法达到了最先进的性能，而不牺牲可解释性。
2020-02-28 cs.LG stat.ML
Robust Offline Policy Learning with Observational Data from Multiple Sources
Stanford University（斯坦福大学）
针对多源异构观测数据下的个性化决策策略学习问题，提出一种结合双重鲁棒离线策略评估与无遗憾学习的极小化极大遗憾优化算法，确保在源分布混合下实现一致较低的遗憾并达到最小最坏情况混合遗憾。
2024-10-11 cs.LG stat.ML
Causal Inference with Noisy and Missing Covariates via Matrix Factorization
Cornell University（康奈尔大学）
观察性研究中有效的因果推断通常需要控制混杂因素。然而，在实践中，混杂因素的测量可能是嘈杂的，并可能导致因果效应的有偏估计。我们表明，我们可以减少测量噪声所造成的偏见，使用大量的噪声测量的潜在混杂因素。我们提出了使用矩阵分解来推断噪声协变量的混杂因素，这是一个灵活和原则性的框架，适用于缺失值，适应各种数据类型，并可以增强许多因果推断方法。我们对诱导的平均处理效应估计量的误差进行了限制，并使用指数族矩阵完备化预处理，证明了它在线性回归设置中是一致的。我们证明了所提出的方法的有效性，在数值实验与合成数据和真实的临床数据。
2018-06-03 cs.LG stat.ML
Efficient adjustment for complex covariates: Gaining efficiency with DOPE
本文提出DOPE方法，通过调整协变量信息提升ATE估计效率，适用于高维和复杂数据。
2025-12-05 math.ST stat.ME stat.ML
Combining observational and experimental data to find heterogeneous treatment effects
Facebook Artificial Intelligence Research（Facebook人工智能研究院）；Facebook News Feed（Facebook动态消息）
每一种设计选择都会对不同的单元产生不同的影响。然而，传统的A/B测试往往不足以识别这些异质性效应。当单元级属性的集合是高维的，并且我们的先验关于哪些特定协变量是重要的是弱的时，这尤其正确。然而，经常有更大数量级的观测数据集。我们提出了一种方法来结合这两个数据源来估计异质性治疗效果。首先，我们使用观测时间序列数据来估计从协变量到单位水平效应的映射。这些估计值可能有偏差，但在某些条件下，偏差保留了单位级的相对秩序。如果这些条件成立，我们只需要足够的实验数据，以确定一个单调的，一维的转换，从观察预测的治疗效果，真正的治疗效果。这大大降低了功率需求，并使异质效应的检测更加容易。作为一个应用程序，我们展示了如何使用我们的方法来改善Facebook页面推荐。
2016-11-08 cs.AI stat.ML
Estimating heterogeneous survival treatment effect in observational data using machine learning
在观察性数据中估计异质性处理效应的方法主要集中在连续或二元结局上，相对较少审查生存结局。在反事实框架中使用灵活的机器学习方法是一种很有前途的方法，可以解决由于复杂的个体特征而带来的挑战，需要针对这些特征量身定制治疗方法。为了评估近期生存机器学习方法用于估计处理效应异质性的操作特征，并为更好的实践提供信息，我们进行了一项全面的模拟研究，该研究提供了一系列描述混杂异质生存处理效应和不同程度协变量重叠的设置。我们的研究结果表明，在加速失效时间模型（AFT-BART-NP）的框架内的非参数贝叶斯加性回归树始终产生最好的性能，在偏差，精度和预期的遗憾。此外，当协变量重叠至少为中度时，AFT-BART-NP的可信区间估计值为个体生存期处理效应提供了接近标称频率论的覆盖范围。在AFT-BART-NP模型公式中包括非参数估计的倾向得分作为额外的固定协变量，可以进一步提高其效率和频率覆盖率。最后，我们展示了灵活的因果机器学习估计器的应用，通过一个全面的案例研究，检查两种放射治疗方法对局部高危前列腺癌的异质性生存影响。
2021-05-19 stat.AP stat.ML
Active Learning for Decision-Making from Imbalanced Observational Data
Aalto University（阿尔托大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
机器学习可以通过学习模型来预测个体处理效应（ITE），从而帮助个性化决策支持。这项工作研究的可靠性预测为基础的决策任务，决定采取何种行动$a$目标单元后，观察其协变量$\tilde{x}$和预测结果$\hat{p}(\tilde{y} \mid \tilde{x}, a)$。一个例子是个性化医疗和决定给予患者何种治疗。从观测数据中学习这些模型时的一个常见问题是不平衡，即处理/控制协变量分布的差异，已知这会增加预期ITE估计误差的上限。我们建议通过估计ITE模型的S型错误率来评估决策可靠性，S型错误率是模型推断处理效应错误的概率。此外，我们使用估计的可靠性作为主动学习的标准，以收集新的（可能是昂贵的）观察结果，而不是基于不可靠的预测进行强制选择。我们在两个决策任务中证明了这种决策感知主动学习的有效性：具有二元结果的模拟数据和具有合成和连续治疗结果的医疗数据集。
2019-06-06 cs.LG stat.ML
Confounding-Robust Policy Improvement
Cornell University（康奈尔大学）
我们研究了从观测数据中学习个性化决策策略的问题，同时考虑可能的未观察到的混淆。以前的方法，假设不混淆，即，没有未观察到的混杂因素影响治疗分配和结果，这可能导致当存在一些未观察到的混杂因素时，引入伤害而不是益处的政策，这通常是观察数据的情况。相反，由于政策的价值和遗憾可能无法点识别，我们研究了一种方法，最大限度地减少最坏情况下的估计遗憾的候选政策对基线政策的不确定性集的倾向权重，控制未观察到的混淆的程度。我们证明了泛化保证，确保我们的政策将是安全的，当应用于实践中，实际上将获得尽可能最好的统一控制范围内的所有可能的人口遗憾，同意可能的程度混淆。我们开发了有效的算法解决方案来计算这种令人困惑的强大的政策。最后，我们评估和比较我们的方法在合成和半合成数据。特别是，我们认为个性化激素替代疗法的观察数据的基础上，我们验证我们的结果的随机实验的案例研究。我们证明，隐藏的混杂可能会阻碍现有的策略学习方法，并导致不必要的伤害，而我们强大的方法保证安全性，并侧重于证据充分的改善，使个性化的治疗政策，从观察数据在实践中可靠的必要性。
2019-11-04 cs.LG stat.ML
Policy Learning with Observational Data
在许多领域，从业者寻求使用观察数据来学习满足应用特定约束的治疗分配策略，例如预算，公平性，简单性或其他功能形式约束。例如，策略可以被限制为基于有限的一组容易观察到的个体特征而采取决策树的形式。我们提出了一种新的方法来解决这个问题的动机半参数有效估计理论。我们的方法可用于优化二进制处理或无穷小的轻推连续治疗，并可以利用观察数据，其中因果关系的影响，确定使用各种策略，包括选择可观察变量和工具变量。鉴于分配给每个人的治疗的因果效应的双重鲁棒估计，我们开发了一个算法来选择谁来治疗，并建立强有力的保证所产生的政策的渐进功利遗憾。
2020-09-04 cs.LG econ.EM math.ST
Policy Learning for Optimal Dynamic Treatment Regimes with Observational Data
针对观测数据下的最优动态治疗方案学习问题，提出一种基于分类的双重鲁棒反向归纳方法，通过最大化各阶段增广逆概率加权估计量学习策略，实现了福利遗憾的$n^{-1/2}$最优收敛速率。
2025-05-20 econ.EM math.ST stat.ME
Model-Predictive Policy Learning with Uncertainty Regularization for Driving in Dense Traffic
Courant Institute, New York University（纽约大学库朗研究所）；Microsoft Research（微软研究院）；Facebook AI Research（脸书人工智能研究院）
仅使用观察数据学习策略是具有挑战性的，因为它在执行时诱导的状态分布可能与训练期间观察到的分布不同。我们建议通过在多个时间步长上展开环境动态的学习模型来训练策略，同时显式地惩罚两个成本：策略寻求优化的原始成本，以及表示其与训练状态的偏差的不确定性成本。我们通过使用动态模型关于其自身预测的不确定性来测量第二个成本，使用来自深度网络的不确定性估计的最新想法。我们使用从交通摄像头记录的驾驶行为的大规模观测数据集来评估我们的方法，并表明我们能够从纯粹的观测数据中学习有效的驾驶策略，而无需环境交互。
2019-01-08 cs.AI cs.LG stat.ML
Optimal Policy Learning with Observational Data in Multi-Action Scenarios: Estimation, Risk Preference, and Potential Failures
CNR-IRCRES；Research Institute on Sustainable Economic Growth（可持续经济增长研究所）；National Research Council of Italy（意大利国家研究委员会）
本文系统研究多动作场景下基于观测数据的最优策略学习，从估计方法、风险偏好影响及重叠性与无混杂性假设失效导致的潜在问题三方面展开分析，并通过真实数据验证风险态度对策略平均遗憾的影响。
2024-03-29 cs.AI cs.LG stat.ML
Cross-Balancing for Data-Informed Design and Efficient Analysis of Observational Studies
本文提出跨平衡方法，通过样本分割分离特征构建和权重估计误差，提升观察性研究中因果推断的效率与准确性。
2025-11-19 math.ST stat.AP stat.ME
Ranking Policy Learning via Marketplace Expected Value Estimation From Observational Data
eBay Search Ranking and Monetization（eBay搜索排名与商业化部门）
本研究提出一个决策框架，将双边电商市场的排序策略学习转化为基于观测数据的期望奖励优化问题，引入上下文价值分布并构建考虑异质性与分布偏移的实证估计，通过贝叶斯推理训练策略，在电商搜索任务中验证了相关权衡关系。
2024-10-06 cs.AI cs.IR cs.LG
Policy Learning with Observational Data: The Case of Hepatitis C Treatment for HIV/HCV Co-Infected Patients
McGill University（麦吉尔大学）
本文提出在弱假设下通过观测数据推导多行动政策规则的方法，应用于HIV/HCV共感染患者抗病毒治疗，发现部分患者无需治疗即可自愈，优化治疗分配可降低成本并提升健康效益。
2026-10-23 econ.EM stat.AP stat.ML
