Machine Learning for Variance Reduction in Online Experiments
Princeton University(普林斯顿大学);Facebook
我们考虑在随机对照试验中通过使用与结果相关但与治疗无关的协变量来减少方差的问题。我们提出了一个机器学习回归调整的处理效应估计,我们称之为MLRATE。MLRATE使用结果的机器学习预测器来减少估计方差。它采用交叉拟合,以避免过度拟合的偏见,我们证明了一致性和渐近正态性在一般条件下。MLRATE对来自机器学习步骤的不良预测具有鲁棒性:如果预测与结果不相关,则估计量的性能渐近地不比标准均值差估计量差,而如果预测与结果高度相关,则效率增益很大。在A/A测试中,对于Facebook实验中通常监测的一组48个结果指标,估计量的方差比简单的均值差估计量低70%以上,比仅针对结果的实验前值进行调整的常见单变量过程低约19%。
2022-01-06 cs.LG stat.ML
Estimating Kullback-Leibler Divergence Using Kernel Machines
UCLA(加州大学洛杉矶分校)
最近,已经提出了一种使用神经网络的称为互信息神经估计(MINE)的方法来估计两个分布之间的互信息以及更一般地Kullback-Leibler(KL)发散。该方法使用Donsker-Varadhan表示来估计KL散度,并且在可扩展性和灵活性方面优于现有的估计器。MINE算法的输出不能保证是一致的估计量。我们提出了一个新的估计,而不是搜索功能之间的特点,神经网络搜索功能的再生核希尔伯特空间。我们证明了所提出的估计是一致的。我们进行了模拟,并表明,当数据集是小的,建议的估计是更可靠的比MINE估计,当数据集是大的,这两种方法的性能接近。
2019-08-17 cs.LG stat.ML
Debiased Machine Learning without Sample-Splitting for Stable Estimators
Stanford University(斯坦福大学);Harvard University(哈佛大学)
对因果参数的估计和推断通常被简化为广义矩估计问题,其涉及对应于回归或分类问题的解决方案的辅助函数。去偏机器学习的最新工作路线显示了如何使用通用机器学习估计器来解决这些辅助问题,同时保持目标参数的渐近正态性和根$n$一致性,同时仅需要辅助估计算法的均方误差保证。文献通常要求将这些辅助问题拟合在单独的样本上或以交叉拟合的方式拟合。我们表明,当这些辅助估计算法满足自然留一稳定性,则样本分裂是不需要的。这允许样品重复使用,这在中等大小的样品方案中可能是有益的。例如,我们表明,我们提出的稳定性是满意的集成袋装估计,建立通过子采样没有替换,在机器学习实践中的一种流行的技术。
2022-11-14 cs.LG econ.EM math.ST
Distributed Inference for Linear Support Vector Machine
Shanghai Jiao Tong University(上海交通大学);New York University(纽约大学)
现代数据规模的不断增长给现有的统计推断方法和理论带来了许多新的挑战,并要求发展分布式推断方法。本文研究了线性支持向量机(SVM)用于二元分类任务的分布式推理。尽管有大量关于SVM的文献,但对SVM的推理特性知之甚少,特别是在分布式环境中。在本文中,我们提出了一个多轮分布式线性型(MDL)估计进行推理的线性SVM。所提出的估计是计算效率。特别是,它只需要一个初始的SVM估计,然后通过解决简单的加权最小二乘问题,逐步完善的估计。在理论上,我们建立了估计量的Bahadur表示。在此基础上,进一步导出了渐近正态性,表明MDL估计达到了最优统计效率,即,与经典线性SVM在单个机器设置中应用于整个数据集的效率相同。此外,我们的渐近结果避免了机器或数据批次的数量,这是通常假设在分布估计文献中的条件,并允许发散维的情况下。我们提供模拟研究,以证明所提出的MDL估计的性能。
2019-09-20 cs.LG stat.ME stat.ML
Robust Orthogonal Machine Learning of Treatment Effects
City University of Hong Kong(香港城市大学);Renmin University of China(中国人民大学)
因果学习是获得稳定预测和回答决策中的\textit{what if}问题的关键。在因果学习中,寻求从观察数据估计平均处理效应(ATE)的方法是核心。双偏/去偏机器学习(DML)是估计ATE的常用方法之一。然而,DML估计器可能遭受\textit{error-compounding issue},甚至在倾向得分接近0或1时给出极端估计。以往的研究都是通过倾向得分修正等经验技巧来克服这一问题的,但还没有从理论上解决这一问题。在本文中,我们提出了一个\textit{Robust Causal Learning (RCL)}方法,以弥补不足的DML估计。理论上,RCL估计满足(高阶)正交条件,与DML估计一样是\textit{consistent and doubly robust},并且避免了误差复合问题.综合实验表明:i)RCL估计比DML给出了更稳定的因果参数估计; ii)在模拟和基准数据集以及WGAN生成的模拟消费信贷数据集上应用不同的机器学习模型时,RCL估计优于传统估计及其变体。
2022-12-06 cs.LG econ.EM q-fin.ST
Partially Interpretable Estimators (PIE): Black-Box-Refined Interpretable Machine Learning
University of Iowa(爱荷华大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们提出了部分可解释估计器(PIE),它通过可解释模型将预测归因于单个特征,而PIE预测的一小部分(可能)归因于通过黑盒模型的特征相互作用,其目标是在保持可解释性的同时提高预测性能。因此,可解释的模型捕获特征的主要贡献,而黑盒模型试图通过捕获特征交互的“细微差别”作为细化来补充可解释的部分。我们设计了一个迭代训练算法来联合训练这两类模型。实验结果表明,PIE是非常有竞争力的黑箱模型,同时优于可解释的基线。此外,PIE的可理解性与通过人工评估验证的简单线性模型相当。
2021-05-06 cs.AI cs.LG
Towards On-Board Implementation of ML-Based Helicopter Weight Estimator
该研究提出符合EASA及Eurocae ED-324标准的长短期记忆循环神经网络重量估计器,利用空客在役机队数据,可在传统航电计算机上实现机载部署用于关键告警功能。
2026-08-21 cs.AI cs.LG
SurvBeX: An explanation method of the machine learning survival models based on the Beran estimator
Higher School of Artificial Intelligence(高等人工智能学院);Peter the Great St.Petersburg Polytechnic University(彼得大帝圣彼得堡理工大学)
SurvBeX通过改进的Beran估计器作为替代模型,在局部区域生成样本并最小化生存函数距离来求解特征影响系数,从而解释机器学习生存黑盒模型,实验证明其优于SurvLIME和SurvSHAP。
2023-08-07 cs.AI cs.LG stat.ML
Causal machine learning for heterogeneous treatment effects in the presence of missing outcome data
London School of Hygiene & Tropical Medicine(伦敦卫生与热带医学院);University College London(伦敦大学学院);Ghent University(根特大学)
针对异质性处理效应估计中缺失结局数据导致亚组代表性不足的问题,提出整合删失权重逆概率的mDR-learner和mEP-learner两种去偏估计器,证明其oracle效率,模拟及GBSG2试验应用显示优于现有方法,为实践者提供实施指导。
2025-04-13 cs.LG stat.ML
High resolution microprice estimates from limit orderbook data using hyperdimensional vector Tsetlin Machines
Centre for Artificial Intelligence Research(人工智能研究中心);University of Agder(阿格德大学)
本文提出一种基于超维向量Tsetlin机器的微价格纠错模型,利用订单簿高阶不平衡动态调整微价格估计,实现对未来价格的高频稳健预测。
2024-11-18 cs.LG q-fin.ST q-fin.TR
Markov Chain Importance Sampling -- a highly efficient estimator for MCMC
Zalando Research, Zalando SE(Zalando研究部,Zalando公司);Zuse Institute Berlin(柏林Zuse研究所)
马尔可夫链(Markov chain,MC)算法在机器学习和统计学等许多学科中普遍存在。通常,这些算法可以被公式化为接受拒绝方法。在这项工作中,我们提出了一种新的估计适用于这些方法,称为马尔可夫链重要性抽样(MCIS),有效地利用被拒绝的建议。对于未调整的Langevin算法,它提供了一种新的方法来校正离散误差。我们的估计满足一个中心极限定理,并提高了每个CPU周期的错误,往往在很大程度上。作为一个副产品,它可以估计归一化常数,这是贝叶斯机器学习和统计学中的一个重要量。
2020-08-06 cs.LG stat.ML
Graph Machine Learning based Doubly Robust Estimator for Network Causal Effects
UC San Diego(加州大学圣地亚哥分校);Johns Hopkins University(约翰斯·霍普金斯大学);Duke University(杜克大学)
本文提出基于图机器学习和双重机器学习的方法,用于估计社交网络中的因果效应,通过模拟验证其准确性、稳健性和可扩展性。
2026-02-19 cs.LG cs.SI stat.ME
Modified Adaptive Tree-Structured Parzen Estimator for Hyperparameter Optimization
Warsaw University of Technology(华沙理工大学);AGH University of Krakow(克拉科夫AGH大学)
本文回顾了机器学习超参数优化方法,重点针对ATPE算法提出多项修改,并在标准基准函数上验证了其显著提升优化效果,具有实际应用价值。
2025-02-02 cs.LG
Stability-Aware Training of Machine Learning Force Fields with Differentiable Boltzmann Estimators
Google Deepmind(谷歌DeepMind)
针对机器学习力场模拟不稳定问题,提出StABlE训练方法,结合量子计算与观测量监督,迭代并行MD模拟并纠正不稳定,提升稳定性、数据效率及观测量一致性,支持更大时间步长。
2025-02-25 cond-mat.dis-nn cond-mat.mtrl-sci cs.LG
TensorFlow Estimators: Managing Simplicity vs. Flexibility in High-Level Machine Learning Frameworks
Google, Inc.(谷歌公司);Uptake Technologies, Inc.(Uptake技术公司)
我们提出了一个框架,用于指定,训练,评估和部署机器学习模型。我们的重点是简化从业者的尖端机器学习,以便将这些技术投入生产。认识到深度学习领域的快速发展,我们没有尝试在特定领域语言(DSL)或类似的配置语言中捕获所有可能的模型架构的设计空间。我们允许用户编写代码来定义他们的模型,但提供了抽象,指导开发人员以有利于生产化的方式编写模型。我们还提供了一个统一的Estimate接口,使得独立于模型实现编写下游基础设施(例如分布式训练,超参数调优)成为可能。我们通过提供不同抽象级别的API来平衡灵活性和简单性的竞争需求,使通用模型架构开箱即用,同时提供旨在加速模型架构实验的实用程序库。为了使开箱即用的模型在广泛的问题中灵活可用,这些固定估计器不仅在传统的超参数上进行参数化,而且还使用特征列进行参数化,特征列是一种描述如何解释输入数据的声明性规范。我们讨论了在研究和生产环境中使用该框架的经验,并展示了对代码健康、可维护性和开发速度的影响。
2017-08-08 cs.DC cs.LG
Inject Machine Learning into Significance Test for Misspecified Linear Models
Shanghai University of Finance and Economics(上海财经大学);Tsinghua University(清华大学)
由于线性回归具有很强的可解释性,在社会科学中得到了广泛的应用,在传统的统计推断中,显著性检验通过线性回归提供了模型或系数的显著性水平。然而,线性回归方法依赖于地面真值函数的线性假设,这在实践中不一定成立。因此,即使对于简单的非线性情况,线性回归也可能无法报告正确的显著性水平。在本文中,我们提出了一个简单而有效的线性和非线性情况下的线性逼近的无偏方法。首先,我们应用机器学习方法来拟合训练集上的地面真值函数并计算其线性近似。之后,我们通过添加基于验证集的调整来获得估计量。我们证明了我们的估计量的浓度不等式和渐近性质,从而导致相应的显著性检验。实验结果表明,我们的估计显着优于线性回归的非线性地面真值函数,表明我们的估计可能是一个更好的工具的显着性测试。
2020-06-04 cs.LG stat.ML
Double Machine Learning for Conditional Moment Restrictions: IV Regression, Proximal Causal Learning and Beyond
University of Oxford(牛津大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出DML-CMR,一种两阶段CMR估计量,通过双重/去偏机器学习框架减少偏差,在IV回归和近端因果学习等问题上实现O(N^{-1/2})的极小极大最优收敛速率,优于现有方法。
2025-06-23 cs.LG stat.ME stat.ML
MACEst: The reliable and trustworthy Model Agnostic Confidence Estimator
Gravity Exploration Institute(引力探索研究所);Cardiff University(卡迪夫大学);Oracle AI Apps(甲骨文人工智能应用);Oracle(甲骨文公司)
可靠的置信度估计对于任何机器学习模型真正有用都非常重要。在本文中,我们认为任何基于标准机器学习点预测算法的置信度估计都存在根本性缺陷,并且在具有大量认知不确定性的情况下可能是不可信的。为了解决这些问题,我们提出了MACEst,一个模型不可知的信心估计,它提供了可靠和值得信赖的信心估计。该算法不同于目前的方法,通过独立地估计置信度作为一个局部量,明确占任意和认知的不确定性。此方法不同于使用全局点预测模型作为置信度估计的起点的标准校准方法。
2021-09-02 cs.LG
Prediction-Powered Causal Inference by Automatic Debiased Machine Learning and Semi-Supervised Riesz Regression
University of Tokyo(东京大学)
研究半监督设置下因果参数的半参数有效估计,通过结合去偏机器学习和半监督Riesz回归,提出DML-PPCI和TMLE-PPCI方法,实现比仅用标注数据更小的渐近方差。
2026-06-12 cs.LG econ.EM math.ST
Algorithm as Experiment: Machine Learning, Market Design, and Policy Eligibility Rules
Yale University(耶鲁大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
本文提出以算法决策为工具变量的因果效应估计量,并用于评估 CARES Act 对医院的数百亿美元救济,发现其对 COVID-19 相关医院活动影响甚微,而朴素估计存在选择偏差。
2023-12-06 cs.LG econ.EM stat.ME
Debiased maximum-likelihood estimators for hazard ratios under kernel-based machine-learning adjustment
School of Medicine, Nihon University, Itabashi, Tokyo, 1738610, Japan(日本大学医学部)
针对Cox模型估计的风险比因基线风险未指定而不可解释的问题,提出用基于核的机器学习建模风险集变化,结合Neyman正交性构造去偏最大似然估计量,模拟验证其低偏差,为观察性数据因果推断提供新方法。
2025-09-03 cs.LG stat.ML
A Unified Theory for Causal Inference: Direct Debiased Machine Learning via Bregman-Riesz Regression
本文提出因果推断的统一理论,通过Bregman-Riesz回归整合Riesz回归、协变量平衡、DRE、TMLE和匹配估计器,揭示它们在ATE估计中的对偶与等价关系,并证明TMLE可消除主导偏差项。
2025-10-30 cs.LG econ.EM math.ST
A nonasymptotic law of iterated logarithm for general M-estimators
CREST(统计与经济研究中心);ENSAE(国立统计与经济管理学院)
M-估计量在机器学习和统计学习理论中无处不在。它们既用于定义预测策略,也用于评估其精度。在本文中,我们提出了第一个非渐近的“任意时间”的偏差界一般M-估计,其中“任意时间”的意思是,该界保持一个指定的概率为每个样本量。这些界限是重对数律的非渐进版本。它们是在一般假设下建立的,如损失函数的Lipschitz连续性和人口风险的(局部)曲率。机器学习中使用的大多数示例都满足这些条件,包括确保对离群值和重尾分布的鲁棒性的示例。作为应用的一个例子,我们考虑了参数随机多臂强盗设置中的最佳臂识别问题。我们表明,所建立的界限可以转换成一个新的算法,可证明的最佳理论保证。数值实验表明该算法的有效性。
2019-05-24 cs.LG math.ST stat.TH
Manipulation-Proof Machine Learning
Brown University(布朗大学);U.C. Berkeley(加州大学伯克利分校)
越来越多的决策由机器学习算法指导。在许多情况下,从消费信贷到刑事司法,这些决定是通过对个人观察到的行为数据进行估计来做出的。但是,当重要的决定被编码在规则中时,个人可能会战略性地改变他们的行为,以实现预期的结果。本文提出了一种新的估计,是稳定的操纵下,即使决策规则是完全透明的。我们明确地模拟操纵不同行为的成本,并确定在均衡中稳定的决策规则。通过在肯尼亚的一个大型现场实验,我们表明,我们的战略稳健的方法估计的决策规则优于那些基于标准的监督学习方法。
2020-04-08 cs.LG econ.EM econ.TH
Self-Distillation is Optimal Among Spectral Shrinkage Estimators
Department of Statistics, Harvard University(哈佛大学统计学系);Department of Mathematics & Statistics, Boston University(波士顿大学数学与统计学系)
本文研究了自蒸馏在带噪协方差模型中的表现,证明了在谱收缩估计器中,s步自蒸馏在性能上最优,并展示了其在统计和机器学习中的优势。
2026-11-09 cs.LG math.ST stat.ME
Machine learning in policy evaluation: new tools for causal inference
虽然近年来机器学习(ML)方法受到了很多关注,但这些方法主要用于预测。另一方面,进行政策评估的实证研究人员则专注于因果问题,试图回答反事实的问题:如果没有政策,会发生什么?因为这些反事实永远无法直接观察到(被描述为“因果推断的基本问题“),所以ML文献中的预测工具不能很容易地用于因果推断。在过去的十年中,已经发生了重大创新,将监督ML工具纳入因果参数的估计器中,例如平均处理效应(ATE)。这有望减少模型错误指定问题,并增加模型选择的透明度。一个特别成熟的文献链包括在\textit{unconfoundedness}和阳性假设(也称为交换和重叠假设)下将监督ML方法纳入二元治疗的ATE估计的方法。本文回顾了流行的监督机器学习算法,包括超级学习者。然后,介绍和说明了机器学习在处理效应估计中的一些具体用途,即(1)在处理组和对照组之间建立平衡,(2)估计所谓的滋扰模型(例如,倾向得分或结果的条件期望)以因果参数为目标的半参数估计量(例如,目标极大似然估计或双ML估计),以及(3)在具有大量协变量的情况下使用机器学习进行变量选择。
2019-03-01 cs.LG stat.ML
From Monte Carlo to Las Vegas: Improving Restricted Boltzmann Machine Training Through Stopping Sets
Toyota Technological Institute at Chicago(芝加哥丰田理工学院);Purdue University(普渡大学)
我们提出了一个拉斯维加斯变换的马尔可夫链蒙特卡罗(MCMC)估计的限制玻尔兹曼机(RBM)。我们表示我们的方法马尔可夫链拉斯维加斯(MCLV)。MCLV提供统计保证,以换取随机运行时间。MCLV使用从训练数据构建的停止集,并且具有最大马尔可夫链步骤数K(称为MCLV-K)。我们提出了RBM的MCLV-K梯度估计器(LVS-K),并探讨了LVS-K和对比发散(CD-K)之间的对应关系和差异,LVS-K在MNIST数据集上显著优于CD-K训练RBM,表明MCLV是学习生成模型的一个有前途的方向。
2017-11-22 cs.LG stat.ML
Doing Great at Estimating CATE? On the Neglected Assumptions in Benchmark Comparisons of Treatment Effect Estimators
University of Cambridge(剑桥大学);UCLA(加州大学洛杉矶分校);The Alan Turing Institute(艾伦·图灵研究所)
用于从观察数据估计异质性治疗效果的机器学习工具箱正在迅速扩展,但其许多算法仅在非常有限的半合成基准数据集上进行了评估。在本文中,我们表明,即使在可以说是最简单的设置-估计下的可验证性假设-这种实证评估的结果可能是误导性的,如果(i)基准数据集的数据生成机制的假设和(ii)它们与基线算法的相互作用没有得到充分的讨论。我们详细考虑了两个流行的机器学习基准数据集,用于评估异质性治疗效果估计器-IHDP和ACIC 2016数据集。我们确定了它们当前使用的问题,并强调基准数据集的固有特征有利于某些算法-这一事实很少被承认,但对于解释经验结果具有巨大的相关性。最后,我们讨论了影响和可能的下一步措施。
2021-07-28 cs.LG stat.ME
Orthogonal machine learning for conditional odds and risk ratios
New York University Grossman School of Medicine(纽约大学格罗斯曼医学院)
本文提出基于正交风险函数的非参数估计方法,用于估计条件比值和风险比,通过蒙特卡洛模拟比较不同估计器的性能,展示其在真实世界复杂场景中的优势。
2026-04-12 cs.LG stat.ME stat.ML
Optimal Guarantees for Auditing Rényi Differentially Private Machine Learning
Massachusetts Institute of Technology(麻省理工学院);Stony Brook University(石溪大学)
本文研究了声称具有Rényi差分隐私(RDP)保证的机器学习算法的黑盒审计问题,提出了一种基于假设检验的审计框架,利用Donsker-Varadhan(DV)变分估计器直接估计相邻执行之间的Rényi散度,并通过类受限DV估计器得出非渐近的置信区间,证明了样本复杂度保证在信息论上最优,首次建立了通过DV估计器审计RDP的最优保证。
2026-05-21 cs.CR cs.IT cs.LG
Roundtrip: A Deep Generative Neural Density Estimator
Tsinghua University(清华大学);Stanford University(斯坦福大学)
密度估计是统计学和机器学习中的一个基本问题。在这项研究中,我们提出了Roundtrip作为基于深度生成模型的通用神经密度估计器。Roundtrip保留了生成对抗网络(GANs)的生成能力,但也提供了密度值的估计。与以前的神经密度估计器不同,它对从潜在空间到数据空间的转换提出了严格的条件,Roundtrip允许使用更一般的映射。在一系列实验中,Roundtrip在各种密度估计任务中实现了最先进的性能。
2020-09-04 cs.LG stat.ME stat.ML
Adversarial Estimators
Stanford University(斯坦福大学)
我们发展了对抗估计量(“A-估计量”)的渐近理论。他们推广最大似然型估计('M-估计'),因为他们的平均目标是最大化的一些参数和最小化的其他。这个类包含了连续更新的广义矩估计法,生成对抗网络以及机器学习和计量经济学中最近的建议。在这些例子中,研究人员指出问题的哪些方面原则上可以用于估计,而对手则学会如何以最佳方式强调这些方面。我们得到了点态和部分识别下A-估计的收敛速度以及参数泛函的正态性。未知函数可以通过筛子(如深度神经网络)近似,我们提供了简化的低级条件。作为一个推论,我们得到了神经网络M-估计的正态性,克服了以前文献中确定的技术问题。我们的理论产生新的结果各种A-估计,提供直观和正式的理由,他们的成功,在最近的应用。
2022-06-17 cs.LG econ.EM math.ST
Learning Decision Policies with Instrumental Variables through Double Machine Learning
Department of Computer Science, University of Oxford(牛津大学计算机科学系);Department of Electrical Engineering and Computer Science, Massachusetts Institute of Technology(麻省理工学院电子工程与计算机科学系)
针对离线数据中隐藏混杂因素导致的虚假相关性问题,提出DML-IV方法,通过双重机器学习框架减少两阶段工具变量回归偏差,实现高性能策略学习,并具备理论保证与实验优势。
2024-06-28 cs.LG stat.ML
Bias-Variance Tradeoffs in Single-Sample Binary Gradient Estimators
Czech Technical University in Prague(布拉格捷克理工大学)
离散的,特别是二进制随机变量出现在许多机器学习模型中,特别是在具有二进制潜在状态的变分自编码器和随机二进制网络中。在学习这种模型时,一个关键工具是相对于二进制变量概率的预期损失梯度的估计。直通(ST)估计器由于其简单性和效率而受到欢迎,特别是在无偏估计不切实际的深度网络中。提出了几种技术来改进ST,同时保持相同的低计算复杂性:Gumbel-Softmax,ST-Gumbel-Softmax,BayesBiNN,FouST。我们对这些方法的偏差和方差进行了理论分析,以了解权衡并验证最初声称的属性。所提出的理论结果可以更好地理解这些方法,并在某些情况下揭示了严重的问题。
2021-10-15 cs.LG cs.NE
Communication-Efficient Accurate Statistical Estimation
Princeton University(普林斯顿大学);Columbia University(哥伦比亚大学)
当数据以分布式方式存储时,由于通信成本和隐私问题,传统统计推断过程的直接应用通常是禁止的。本文开发和研究了两个通信效率的准确统计估计(CEASE),通过迭代算法实现分布式优化。在每次迭代中,节点机并行执行计算并与中央处理器通信,然后中央处理器将聚合信息广播到节点机以进行新的更新。该算法适应节点机上损失函数之间的相似性,当每个节点机具有足够大的样本量时,算法收敛速度较快。此外,他们不需要良好的初始化,并享有线性收敛保证在一般情况下。给出了优化误差的收缩率,并揭示了其对局部样本量的依赖性。此外,改进的统计精度每次迭代推导。通过将所提出的方法视为多步统计估计,我们表明,在典型的统计应用中,可以在有限的步骤中实现统计效率。此外,我们给出了一步CEASE估计是统计有效的条件。大量的数值实验的合成和真实数据验证了理论结果,并证明了我们的算法的优越性能。
2021-08-03 cs.LG math.OC stat.CO
Machine Learning based Framework for Robust Price-Sensitivity Estimation with Application to Airline Pricing
PROS Inc.(PROS公司)
我们考虑的问题,动态定价的产品存在的特征依赖的价格敏感性。开发实用的算法,可以稳健地估计价格弹性,特别是当没有购买(损失)的信息不可用时,以驱动这种自动定价系统是许多行业面临的挑战。基于泊松半参数方法,我们构建了一个灵活且可解释的需求模型,其中价格相关部分是参数的,而模型的其余(滋扰)部分是非参数的,并且可以通过复杂的机器学习来建模(ML)技术。通过直接一阶段回归技术估计该模型的价格敏感性参数可能会导致有偏估计,由于正则化。为了解决这个问题,我们提出了一个两阶段的估计方法,使价格敏感性参数的估计稳健的模型的滋扰参数的估计偏差。在第一阶段中,我们使用复杂的ML估计器(如深度神经网络),根据特征向量构建观察到的购买和价格的估计器。利用第一阶段的估计量,在第二阶段,我们利用贝叶斯动态广义线性模型估计价格敏感性参数。我们从航空业的模拟和真实的销售交易数据的估计方案的性能进行测试。我们的数值研究表明,我们提出的两阶段的方法减少了估计误差的价格敏感性参数从25%到4%,在现实的模拟设置。这项工作中提出的两阶段估计技术允许从业者利用现代ML技术来稳健地估计价格敏感性,同时仍然保持可解释性,并允许轻松验证其各个组成部分。
2022-12-19 cs.LG econ.EM stat.AP
Robust support vector machines via conic optimization
Universidad de los Andes(洛斯安第斯大学);University of Southern California(南加州大学)
本文提出一种基于混合整数优化和锥优化的新损失函数,以更好地逼近0-1损失并保持凸性,从而构建对异常值鲁棒的支持向量机,实验证明其在异常值存在时优于标准SVM。
2024-02-02 cs.LG math.OC stat.CO
Kernel Density Machines
EPFL, Swiss Finance Institute(EPFL,瑞士金融学院);Università della Svizzera italiana and Swiss Finance Institute(意大利语区大学和瑞士金融学院)
核密度机通过最小假设学习概率测度间的Radon-Nikodym导数,提供通用可测空间下的密度估计方法,具有可扩展性和高精度。
2026-03-26 cs.LG math.ST stat.ML
Regularized Orthogonal Machine Learning for Nonlinear Semiparametric Models
University of Virginia(弗吉尼亚大学);University of California, Berkeley(加州大学伯克利分校);Microsoft Research(微软研究院)
针对单指标条件矩约束下的高维稀疏参数,提出了一种Lasso型估计。除了这个参数之外,矩函数还可以依赖于一个滋扰函数,例如倾向得分或条件选择概率,我们可以通过现代机器学习工具来估计。我们首先调整矩函数,使得未来损失函数的梯度相对于第一阶段正则化偏置不敏感(形式上,奈曼正交),保持单索引属性。然后,我们采取的损失函数是一个不定积分的调整后的矩函数的单一指标。建议的Lasso估计收敛于预言机的速度,其中预言机知道滋扰函数,只解决参数问题。我们证明了我们的方法,估计短期异质性影响康涅狄格州的就业第一福利改革实验对妇女的福利参与决策。
2021-09-10 cs.LG econ.EM math.ST