Bivariate least squares linear regression: towards a unified analytic formalism
关于二元最小二乘线性回归，在早期的尝试追求的功能模型的经典方法进行审查，使用一种新的形式主义的偏差（矩阵）的痕迹。在经典误差模型的框架内，根据通常的加性模型，因变量与自变量相关。回归线的线性模型被认为是在一般情况下的相关误差在X和Y的异方差数据。详细地考虑了（C）广义正交回归的特殊情况以及众所周知的子情况。在同方差数据的限制，确定的功能模型的结果进行了比较，与他们的同行有关的极端结构模型。虽然回归线的斜率和截距估计的功能和结构模型必然一致，相反的相关方差估计，即使残差服从高斯分布，有一个例外。天文应用的一个例子被认为是，关于[O/H]-[Fe/H]经验关系推导出的五个样品有关的不同的恒星和/或不同的氧丰度测定方法。对于选定的样本和指定的方法，不同的回归模型产生一致的结果内的误差为异方差和同方差数据。相反，由于存在（仍未检测到的）系统误差，使用不同方法的样本产生不一致的结果，这意味着目前无法做出明确的声明。还比较了回归线斜率和截距方差估计量的不同表达式，发现分数偏差不超过百分之几，在大离差数据的情况下，分数偏差可达20%左右。
2011-03-03 astro-ph.IM math.ST stat.TH
Bivariate phase-type distributions for experience rating in disability insurance
本文在经典马尔可夫链寿险框架下，建立混合泊松分布与异质性团体伤残保险定价的联系，研究含右删失的伤残与康复率收缩估计，提出多元混合泊松模型及EM估计方法，通过模拟数据验证其有效性，发现考虑潜在群体效应相关性可提升预测性能。
2025-11-13 math.ST stat.TH
Kernel estimation of bivariate time-varying coefficient model for longitudinal data with terminal event
我们提出了一个非参数双变量时变系数模型的纵向测量与发生的终端事件，是受右删失。随时间变化的系数捕获协变量效应的纵向轨迹以及随访时间和剩余寿命。所提出的模型扩展了参数条件的方法，终端事件的时间在最近的文献中，从而避免了潜在的模型误指定。我们考虑一个核平滑方法估计回归系数在我们的模型和使用交叉验证带宽选择，在最后的分析中应用欠平滑，以消除渐近偏差的核估计。我们证明了核估计在较弱的正则条件下是渐近正态的，并提供了一个易于计算的夹心方差估计。我们进行了广泛的模拟，显示所提出的方法的理想性能，并应用该方法来分析终末期肾病患者的医疗费用数据。
2021-11-09 stat.ME
Bivariate gamma-geometric law and its induced Lévy process
在这篇文章中，我们介绍了二元指数几何（BEG）定律（Kozubowski和Panorska，2005）的三参数扩展。我们把这种新的分布称为双变量伽玛几何（BGG）定律。如果$N$具有几何分布，则二元随机向量$(X,N)$遵循BGG定律，并且$X$可以（在定律中）表示为$N$独立且同分布的伽马变量之和，其中这些变量独立于$N$。提供了矩生成和特征函数、矩和方差-协方差阵等统计性质。研究了边际律和条件律。我们证明了BBG分布和BEG模型一样是无限可分的。此外，我们提供了BGG分布的替代表示，并表明它具有几何稳定性。讨论了极大似然估计和推断，并提出了一种重新参数化的方法，以获得参数的正交性。我们提出了一个应用程序的真实数据集，我们的模型提供了一个更好的拟合比BEG模型。我们的二元分布导出了一个具有相关gamma和负二项过程的二元Lévy过程，它扩展了Kozubowski等人（2008）提出的二元Lévy运动。我们的Lévy运动的边缘是伽玛和负二项过程的混合，我们称之为${BMixGNB}$运动。给出了该过程的随机自相似性和协方差阵等基本性质。本文还研究了${BMixGNB}$过程在固定时刻的二元分布，得到了一些结果，包括对极大似然估计和推断的讨论。
2013-02-18 stat.ME
The Elliptically Optimal Confidence Interval: A Bivariate Extension of Wilson's Score Method
本文提出椭圆最优置信区间，通过闭式优化投影椭圆区域构造二项比例差的最短得分区间，保证覆盖且不欠覆盖，并精确量化极端比例下的过度覆盖。
2026-09-11 math.ST q-fin.ST stat.CO
The bivariate current status model
对于单变量当前状态，更一般地说，对于区间删失模型，已经为未知分布函数的最大似然估计（MLE）和平滑最大似然估计（SMLE）开发了分布理论，参见例如，[12]、[7]、[4]、[5]、[6]、[10]、[11]和[8]。对于双变量当前状态和区间删失模型，这种类型的分布理论仍然是缺乏的，甚至我们可以期望合理的估计收敛的速度是未知的。我们定义了一个纯离散的插入估计的分布函数，局部收敛率n^{1/3}，并得出其（正常）的极限分布。与MLE或SMLE不同，该估计量不是适当的分布函数。由于估计量是纯离散的，它表明，n^{1/3}收敛速度原则上是可能的MLE，但这是否实际上适用于MLE仍然是一个悬而未决的问题。如果立方根n速率对MLE成立，这意味着MLE的局部1维速率在2维中继续成立，这是一个（也许）有点令人惊讶的结果。然而，模拟结果似乎与这一假设并不矛盾。我们比较的行为的插件估计的行为的MLE在筛子和SMLE在模拟研究。这表明插入估计量和SMLE比筛选的MLE具有更小的方差但更大的偏差。如果我们使用n ^{-1/6}阶带宽，则SMLE被证明具有n^{1/3}-收敛速率。我们推导出它的（正常）极限分布，使用这个假设。最后，我们证明了[1]中二元区间删失数据的极大似然估计和极小似然估计的行为，这已经被许多作者讨论过了，例如，[18]、[3]、[2]和[15]。
2013-06-15 math.ST stat.CO stat.TH
MLE for the parameters of bivariate interval-valued models
本文针对双变量区间值数据，推导了协方差参数的极大似然估计量并建立其渐近性质，将Le-Rademacher和Billard仅限单变量均值与方差估计的早期结果推广为特例，为回归、主成分分析等方法提供基础。
2023-05-29 stat.AP stat.ME
Pseudo-variance quasi-maximum likelihood estimation of semi-parametric time series models
本文提出基于高斯拟似然和参数化伪方差的半参数时间序列估计方法，推导其渐近性质与限制检验，证明其不受伪方差误设影响且效率更高，并通过模拟和实证验证其有效性。
2025-07-18 math.ST stat.ME stat.TH
An unbiased minimum variance non-parametric analytic and likelihood estimator for discrete and continuous score spaces
这份手稿开发了一个通用的内积规范的肯德尔\(τ\)和斯皮尔曼的\(ρ\)，它作为一个公正的MLE，即使在关系的存在。我们推导并证明了严格的亚高斯的Kemeny范数空间，从而反驳结论\textcite{kendall1948}和\textcite{diaconis1977}开发的适当的，有限的样本，概率分布和检验统计量的性质。所有双变量对的非参数MLE框架的开发，从而解决了\textcite{olkin1994}的假设有关的指数多元分布的顺序统计量，通过显示，对于有限的样本，分布是非指数的。非参数线性估计也构造了多元相关性和扩展，线性可分解的非参数多维线性方程组的非参数因子分析。
2022-08-02 stat.ME
A comparison of multiple imputation methods for bivariate hierarchical outcomes
在整群随机试验中，缺失观察值很常见。处理此类缺失数据的方法包括：完整病例分析、忽略聚类的单水平多重插补、每个聚类具有固定效应的多重插补和多水平多重插补。我们进行了一项模拟研究，以评估这些方法的性能，在置信区间覆盖率和经验偏差的估计处理效应。采用全因子设计模拟随机缺失聚类数据情景。进行了方差分析，以研究模拟因素对每个性能指标的影响。当随机化治疗组与缺失相关时，完整病例分析导致处理效应估计值存在偏倚。在考虑的所有缺失数据机制中，多重插补方法提供的估计值偏倚可忽略不计。固定效应多重插补后置信区间覆盖率通常超过标称水平（高达99.8%），单水平多重插补后置信区间覆盖率过低。多水平多重插补导致整个覆盖水平约为95%。处理缺失数据的方法是对偏倚和覆盖率影响最大的因素。在每种方法中，最重要的因素是聚类的数量和大小，以及组内相关系数。
2014-07-17 stat.ME
Bivariate least squares linear regression: towards a unified analytic formalism. II. Extreme structural models
关于二元最小二乘线性回归，在早期的尝试极端结构模型获得的经典结果进行审查，使用一种新的形式主义的偏差（矩阵）的痕迹，homoscedastic数据，减少到通常的数量，留下一个不必要的（但尺寸）乘法因子。在经典误差模型的框架内，根据通常的加性模型，因变量与自变量相关。所考虑的线性模型类是在X和Y的不相关误差极限下的回归线。对于同方差数据，结果取自早期尝试，并使用更紧凑的符号重写。对于异方差数据，从与函数模型相关的程序推断结果。天文应用的一个例子被认为是，关于[O/H]-[Fe/H]经验关系推导出的五个样品有关的不同的恒星和/或不同的氧丰度测定方法。对于低分散的样品和分配的方法，不同的回归模型产生的结果是在异方差和同方差数据的误差范围内的协议，而相反的大分散的样品。在任何情况下，由于存在（仍未检测到）系统误差，与不同方法相关的样本产生不一致的结果，这意味着目前无法做出明确的声明。渐近表达式近似回归线斜率和截距方差估计，正常的残差，以更好的程度相对于早期的尝试。相关的分数差异不超过百分之几的低分散数据，这增长到约10%的大分散数据。一般结构模型的形式主义的延伸是留给即将到来的文件。
2017-11-16 astro-ph.IM math.ST stat.TH
Asymptotic analysis for a simple explicit estimator in Barndorff-Nielsen and Shephard stochastic volatility models
本文对离散观测的Barndorff-Nielsen和Shephard模型给出了一个简单的显式估计，在方差过程的平稳分布的所有矩都是有限的这一单一假设的基础上，证明了严格的相合性和渐近正态性，并给出了渐近协方差矩阵的显式表达式.本文详细讨论了一类非扩散但允许跳的二元模型的鞅估计函数方法。我们不使用遍历性论证。我们假设对数收益率和瞬时方差都在一个固定宽度的离散网格上被观测到，并且观测范围趋于无穷大。由于瞬时方差在实际中是不可观测的，我们的结果不能立即应用。我们的目的是提供一个理论分析的起点和基准，进一步发展有关的最优鞅估计函数，理论和实证研究，取代方差过程的替代品，如数量或交易量或隐含的方差从期权数据。
2008-07-22 math.PR math.ST q-fin.ST
Asymptotic Theory for Estimation of the Husler-Reiss Distribution via Block Maxima Method
本文研究了块极大值法下Hüsler-Reiss分布参数的最大似然估计，证明了MLE的渐近正态性并刻画了其偏差，为多元极值分布参数估计提供了理论基础。
2024-10-15 math.ST stat.TH
Maximum likelihood estimators uniformly minimize distribution variance among distribution unbiased estimators in exponential families
我们采用无参数分布估计框架，其中估计量是广义过程，并利用Kullback-Leibler（KL）散度作为损失函数。Wu和Vos [J. Statist.计划推论142（2012）1525-1536]表明，当从i.i.d.样本被看作是一个广义过程，当估计量是一个实值随机变量时，估计量的KL风险以与均方误差分解平行的方式分解。在本文中，我们探讨如何条件版本的分布期望（$E^{\dagger}$）可以定义，使分布版本的Rao-Blackwell定理成立。我们定义了分布期望和方差（$V^{\dagger}$），也提供了一个分解的KL风险指数和混合物的家庭。对于指数族，我们证明了最大似然估计（视为一个广义过程）是分布无偏的，是唯一的均匀最小分布方差无偏（UMV $^{\dagger}$ U）估计。此外，我们表明，MLE是强大的对模型规格，如果真的分布不属于指数族，MLE是UMV $^{\dagger}$ U的KL投影的真的分布到指数族提供这两个分布有相同的期望的典型统计量。为了让估计值以外的指数家庭，我们包括KL投影的结果，并定义一个扩展的投影，以适应不存在的MLE的离散样本空间的家庭。提供了说明性的例子。
2015-09-18 math.ST stat.TH
Improved Estimator of the Conditional Tail Expectation in the case of heavy-tailed losses
在本文中，我们研究了极值方法，提出了一个改进的估计的条件尾期望（$CTE$）的损失分布具有有限的均值，但无限的方差。本文基于重尾分布高分位数的偏差缩减估计，提出了一种新的$CTE$估计。在模拟研究中，建立并检验了所提出的估计量的渐近正态性。此外，我们比较，在偏差和均方误差，我们的估计与已知的旧估计。
2020-02-09 math.ST stat.TH
Asymptotics for penalized additive B-spline regression
本文研究了二元可加模型中惩罚样条估计的渐近性。本文的重点是通过回拟算法获得的惩罚样条估计量。证明了算法的收敛性和解的唯一性。利用边际一元模型中惩罚样条估计的渐近结果，得到了惩罚样条估计的渐近偏差和方差。给出了估计量的渐近正态性，并由此得到了估计量的近似置信区间。一些数值实验证实了理论结果。
2011-04-27 math.ST stat.TH
Bivariate Hierarchical Bayesian Model for Combining Summary Measures and their Uncertainties from Multiple Sources
将来自多个数据来源的类似数量的现有估计数结合起来往往是有意义的。当每个估计值的相应方差也可用时，模型应考虑估计值本身的不确定性以及方差估计的不确定性。此外，如果估计值与其方差之间存在强关联，则还应考虑这两个量之间的相关性。在本文中，我们提出了一个双变量层次贝叶斯模型，联合模型的估计和估计方差假设这两个措施之间的相关性。我们进行模拟，以探讨所提出的双变量贝叶斯模型的性能，并比较它与其他常用的方法在不同的相关性的情况下。提出的双变量贝叶斯模型具有广泛的应用。我们说明了它的应用程序在三个非常不同的领域：PET脑成像研究，荟萃分析和小面积估计。
2021-09-15 stat.ME
Characterization of Order Statistics in Two Runs Using Conditional Expectation
游程测试是一个众所周知的测试，用于检查样本数据序列元素之间的独立性。一些运行测试基于最长运行，而另一些则基于总运行。本文考虑了两次运行统计量的顺序统计量，得到了它们的概率质量函数。此外，利用传统的条件期望，推导了顺序统计量的均值和方差。
2014-10-29 stat.ME
Maximum Likelihood Estimation for Maximal Distribution under Sublinear Expectation
极大似然估计是从给定样本估计概率分布的参数的常用方法。本文在次线性期望的框架下引入了极大似然估计。通过求解相应的极大极小问题，得到了极大分布参数的极大似然估计，这与Jin和Peng \cite{JP21}给出的最优无偏估计一致.并给出了结构相依样本的一般估计方法。这一结果为金融界广泛应用的G-VaR预测模型中上下方差的估计提供了理论基础。
2023-01-13 math.PR math.ST stat.TH
Road safety of passing maneuvers: a bivariate extreme value theory approach under non-stationary conditions
在过去几十年中，观察到的事故一直是道路安全分析的主要来源。虽然这种依赖似乎很简单，但这些事件的罕见性质使得安全性难以评估，特别是对于新的和创新的交通处理。替代安全措施使人们能够摆脱传统的安全性能功能，在不依赖事故记录的情况下分析安全性能。近年来，使用极值理论（EV）模型结合替代安全措施来估计事故概率已在安全界得到普及。在本文中，我们扩展现有的努力EV的事故概率估计两个相关的替代措施。使用详细的轨迹数据从驾驶模拟器，我们模拟的联合概率的头部和尾部碰撞通过演习。在我们的估计中，我们考虑了驾驶员的具体特征和道路基础设施变量。我们表明，考虑到这些因素，提高了迎面碰撞概率估计。这项工作强调了在评估相关安全事件时考虑驾驶员和道路异质性的重要性，这与车载和基于基础设施的解决方案的干预措施有关。这些功能对于满足对事故现象综合分析的替代安全措施的期望至关重要。
2018-12-17 stat.AP
A new method for the estimation of variance matrix with prescribed zeros in nonlinear mixed effects models
当高斯随机效应的方差阵具有指定的零点模式（PPZ）时，提出了一种非线性混合效应模型的极大似然估计（MLE）的新方法.该方法包括耦合最近开发的迭代条件拟合（ICF）算法与期望最大化（EM）算法。它为任何样本量提供了正定估计，并且不依赖于PPZ的任何结构假设。它可以很容易地适应许多版本的EM。
2008-11-25 stat.ME
Interpretable Scalar-on-Image Linear Regression Models via the Generalized Dantzig Selector
University of Arizona（亚利桑那大学）
提出广义Dantzig选择器，联合施加稀疏性和平滑性约束，提高标量对图像回归中系数函数的可解释性，并通过理论和实验验证其优势。
2026-06-16 stat.ME
Simultaneously accounting for the winner's curse and sample structure in Mendelian randomization: bivariate rerandomized inverse variance weighted estimator
Tongji Medical College, Huazhong University of Science and Technology（华中科技大学同济医学院）；Guangzhou Medical University（广州医科大学）；Guangzhou First People’s Hospital（广州市第一人民医院）
本文提出双变量RIVW估计量，同时解决孟德尔随机化中的赢家诅咒和样本结构问题，提高因果效应估计的准确性。
2026-08-31 stat.ME
Cluster-Robust Estimators for Bivariate Mixed-Effects Meta-Regression
荟萃分析通常包括基于一组共同的研究参与者报告多个效应量的试验。这些效应量通常是相关的。稳健方差-协方差估计是合成相依效应的有效方法。然而，当研究数量较少时，最先进的稳健估计量可能会产生膨胀的1型错误。为了提高小样本估计的性能，本文提出了两种新的聚类稳健估计。对于这两个新的估计量的想法是转换的残差估计方差的帽子矩阵的对角线项。我们的建议是渐近等价于以前提出的集群鲁棒估计，如偏差减少线性化方法。我们将这些方法应用于现实世界的数据，并在广泛的模拟研究中比较和对比它们的性能。我们专注于二元元回归，虽然这些方法可以更普遍地应用。
2022-03-04 stat.CO stat.ME
A Novel Bivariate Generalized Weibull Distribution with Properties and Applications
本文提出了一种新的二元广义 Weibull 分布族，推导了其统计性质与 copula，采用极大似然和贝叶斯方法估计参数，并通过模拟和实际数据验证了其有效性。
2021-07-26 math.ST stat.ME stat.TH
A bivariate likelihood approach for estimation of a pooled continuous effect size from a heteroscedastic meta-analysis study
DerSimonian-Laird（DL）加权平均法已被广泛用于估计汇总数据荟萃分析研究的合并效应量。它主要因在存在异质性研究效应量的情况下低估了合并效应量的标准误而受到批评。在计算该标准误时，未考虑研究间方差估计值的不确定性。由于这种负属性，在文献中已经提出了许多替代的估计方法。一种方法是由Hardy和Thompson（HT）开发的，他们实施了轮廓似然方法，而不是DL的基于矩的方法。其他人进一步扩展了似然方法，并提出了高阶似然推断（例如，Bartlett型校正）。基于似然的方法比DL方法更好地解决了估计研究间方差的不确定性，但所有这些方法都假设研究内标准差已知，并且等于研究效应量的观测标准误。在这里，我们将观察到的标准误视为研究内变异性的估计量，并提出了一种双变量似然方法，该方法联合估计合并效应量、研究间方差和潜在异方差研究内方差。我们通过仿真研究了该方法的性能，并将其与DL，HT和高阶似然方法进行了比较。我们提出的方法似乎对研究的数量不太敏感，并且在异方差的情况下偏差较小。
2021-04-07 stat.AP stat.ME
Mean and Variance of Brownian Motion with Given Final Value, Maximum and ArgMax: Extended Version
考虑了布朗运动的条件期望和条件方差，给出了argmax，B（t| argmax），以及具有附加信息的那些：B（t| close，argmax），B（t| max，argmax），B（t| close，max，argmax），其中close是最终值：B（t=1）=c且t在[0，1]中。我们计算布朗曲流在时间上的期望和方差。通过拼接两条布朗曲折线，计算了约束过程的均值和方差。计算结果显示的期望值和方差的时间。比较的模拟与理论值时，关闭和argmax。
2021-06-02 math.PR math.ST stat.ME
Self-Normalization for CUSUM-based Change Detection in Locally Stationary Time Series
FH Aachen（亚琛应用科学大学）
本文提出一种新的双变量部分和过程，用于局部平稳时间序列中的变化检测，通过自归一化CUSUM检验统计量实现对均值变化的检测。在局部平稳条件下，通过双变量部分和过程构建自归一化检验统计量，克服了传统自归一化方法的限制，具有良好的渐近性质和有限样本性能。
2026-04-14 math.ST stat.ME stat.TH
Computing the variance of a conditional expectation via non-nested Monte Carlo
计算条件期望的方差在不确定性量化中经常是重要的。Sun等人介绍了一种无偏嵌套蒙特卡罗估计量，他们称之为$1\frac{1}{2}$级模拟，因为随着计算预算的增加，最佳内部水平样本量是有界的。在这封信中，我们构造无偏非嵌套蒙特卡罗估计的基础上所谓的挑选冻结计划，由于Sobol '。我们的方法来计算高阶矩的条件期望的扩展也进行了讨论。
2016-09-27 stat.CO stat.ME
Non-parametric estimation of Expectation and Variance of event count and of incidence rate in a recurrent process -- where intensity of event-occurrence changes with the occurrence of each higher order event
针对事件发生强度随高阶事件发生而变化的复发事件，提出了一种新的方差函数的期望和最大值的非参数估计方法.这类经常发生的事件，经常观察到在临床试验中的心血管事件，也在许多社会实验，涉及吸毒成瘾，持械抢劫等模拟数据被用来证明新的方法来估计的均值和方差的这种经常发生的事件和结果相比，纳尔逊Aalen估计的结果。
2020-12-17 stat.ME
Variance Reduction Methods for Dirichlet Expectations
Columbia University（哥伦比亚大学）
本文提出针对大n的方差缩减方法，用于估计Dirichlet分布下指数函数的期望，结合Laplace方法改进重要性采样和控制变量选择，应用于文本主题分析。
2026-04-05 stat.ME
Empirical sandwich variance estimator for iterated conditional expectation g-computation
针对ICE g计算中方差估计计算量大问题，提出基于堆叠估计方程的经验三明治方差估计量，模拟与应用示例表明该方法准确且比bootstrap更快。
2024-08-19 stat.CO stat.ME
Geom-SPIDER-EM: Faster Variance Reduced Stochastic Expectation Maximization for Nonconvex Finite-Sum Optimization
CNRS（法国国家科学研究中心）；Ecole Polytechnique（巴黎综合理工学院）；The Chinese University of Hong Kong（香港中文大学）
期望最大化（EM）算法是隐变量模型中推理的关键参考;不幸的是，其计算成本在大规模学习设置中是过高的。在本文中，我们提出了一个扩展的随机路径集成微分估计EM（SPIDER-EM），并推导出复杂性界限，这种新的算法，旨在解决光滑非凸有限和优化问题。我们表明，它达到了相同的国家的最先进的复杂性界限的SPIDER-EM，并提供了线性收敛速度的条件。数值结果支持我们的研究结果。
2020-11-24 cs.LG stat.ME stat.ML
Constructing unbiased gradient estimators with finite variance for conditional stochastic optimization
针对条件随机优化中嵌套期望梯度难以无偏估计的问题，论文证明 multilevel Monte Carlo 梯度估计器可在一定条件下实现无偏、有限方差与有限期望成本，并给出另一特殊构造。
2022-09-13 cs.NA math.NA stat.ME
Estimating Great Expectations Under Autoregressive Language Models with Potentials
ETH Zürich（苏黎世联邦理工学院）；Columbia University（哥伦比亚大学）
本文提出利用采样副产品的下一词元条件概率，通过可加分解测试函数的前缀势函数构造估计量，推导其降方差条件，开发实用势函数并在相当计算成本下实现显著方差降低，提升了自回归语言模型下期望估计的效率。
2026-10-22 cs.AI cs.LG stat.ME
Application of Mathematical Optimization Procedures to Intervention Effects in Structural Equation Models
对于一个给定的统计模型，经常会发生需要对模型进行干预以减少输出变量的方差。在结构方程模型中，这可以通过干预改变路径系数的值来实现。首先，我们解释了期望和方差矩阵可以分解为几个部分的总效应。然后，我们表明，一个算法，以获得干预方法，最大限度地减少加权和的方差可以制定为一个凸二次规划。这一提法使我们能够为干预施加边界条件，以便我们能够找到切实可行的解决办法。我们还处理了一个问题，以调整对目标的期望。
2011-08-15 stat.ME
ARSM: Augment-REINFORCE-Swap-Merge Estimator for Gradient Backpropagation Through Categorical Variables
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
为了解决通过分类变量反向传播梯度的挑战，我们提出了增强-增强-交换-合并（ARSM）梯度估计，它是无偏的，具有低方差。ARSM首先使用变量增广、REINFORCE和Rao-Blackwellization将梯度重新表示为Dirichlet分布下的期望，然后使用变量交换来构造不同表达但等价的期望，最后在这些期望之间共享公共随机数以实现显著的方差减小。实验结果表明，ARSM在单变量环境下的优化性能与真梯度非常相似，在分类变分自动编码器中的性能大大优于现有的估计器;提出了一种离散动作策略梯度的“试试看自我批评”方差缩减方法，其通过生成伪动作的随机数并估计它们的动作值函数来消除估计基线的需要。
2019-12-21 cs.LG stat.CO stat.ME
