Bayesian density regression for count data
尽管连续响应的分位数回归模型越来越受欢迎，但计数数据的模型迄今为止很少受到关注。用于计数数据的主要分位数回归技术涉及添加均匀随机噪声或“抖动”，从而克服条件分位数函数不是感兴趣的参数的连续函数的问题。虽然抖动允许估计条件分位数，但其缺点是，对于响应变量$Y,$的小值，添加的噪声可能对估计的分位数具有较大的影响。此外，分位数回归可导致“交叉”分位数。提出了一种基于贝叶斯Dirichlet过程（DP）的计数数据分位数回归方法.该方法基于COM-Poisson回归模型的自适应DP混合（DPM），并通过估计数据密度来确定分位数，从而消除了所有上述问题。利用交换算法，建议MCMC算法可以应用于分布上的可能性只能计算到一个归一化常数。
2014-06-07 stat.ME
On posterior concentration rates for Bayesian quantile regression based on the misspecified asymmetric Laplace likelihood
非对称拉普拉斯密度（ALD）被用作贝叶斯分位数回归的工作似然。Sriram等人（2013）基于错误指定的ALD推导出贝叶斯线性分位数回归的后验一致性。虽然他们的论文也主张$\sqrt{n}-$的一致性，但Sriram和Ramamoorthi（2017）强调，该论点仅适用于小于$\sqrt{n}$的比率。因此，$\sqrt{n}-$率的问题仍然没有得到解决，但有必要进行有意义的贝叶斯推断的基础上的ALD。在本文中，我们得出的结果，以获得后验一致率贝叶斯分位数回归的基础上误指定的ALD。我们得出我们的结果在一个稍微一般的设置，分位数函数可能是非线性的。特别地，我们给出了使用ALD的贝叶斯线性分位数回归的$\sqrt{n}-$一致性的充分条件。我们还提供了贝叶斯非线性分位数回归的例子。
2020-08-08 math.ST stat.TH
Bayesian joint quantile autoregression
本文提出完全贝叶斯的联合分位数自回归（QAR）框架，扩展 Koenker-Xiao 与 Tokdar-Kadane 的方法，给出 QAR(p)、多元 QAR(1) 和空间 QAR(1) 模型，并用模拟和西班牙阿拉贡温度数据验证。
2023-05-30 math.ST stat.ME stat.TH
General Bayesian quantile regression for counts via generative modeling
本文提出一种面向计数数据的通用贝叶斯分位数回归框架，利用潜在连续变量与贝叶斯非参数核混合建模联合分布，并通过优化获得后验，显著提升估计精度与实际可解释性。
2025-07-25 stat.ME
Bayesian Non-parametric Quantile Process Regression and Estimation of Marginal Quantile Effects
多个条件分位数的灵活估计在许多应用中是令人感兴趣的，例如研究妊娠相关因素对低出生体重和高出生体重的影响。我们提出了一个贝叶斯非参数方法，同时估计非交叉，非线性分位数曲线。我们扩展了响应的条件分布函数在I-样条基函数的协变量依赖系数建模使用神经网络。通过利用样条函数和神经网络的逼近能力，我们的模型可以逼近任何连续的分位数函数。与现有的模型相比，我们的模型估计所有的分位数，而不是一个有限的子集，规模以及高维，估计的不确定性。虽然该模型是任意灵活的，可解释的边际分位数效应估计使用累积局部效应图和变量的重要性措施。仿真研究表明，当数据稀疏时，我们的模型可以更好地恢复响应分布的分位数，并对出生体重数据进行了分析。
2021-08-29 stat.ME
Learning rates for the risk of kernel based quantile regression estimators in additive models
可加模型在半参数统计中起着重要的作用。本文给出了正则化核方法的学习率。这些学习率比较有利，特别是在高维度的最佳学习率为纯粹的非参数正则化内核为基础的分位数回归使用高斯径向基函数内核的最近的结果，提供了一个加性模型的假设是有效的。另外，通过一个具体例子说明了只依赖于一个变量的高斯函数位于由加性高斯核生成的再生核Hilbert空间中，而不属于由相同方差的多元高斯核生成的再生核Hilbert空间.
2014-05-14 stat.ML
Uniform Inference for High-dimensional Quantile Regression: Linear Functionals and Regression Rank Scores
对于维数远大于样本量的模型，假设检验只有在成功地消除初始估计偏差后，才能像经典的学生化检验那样进行公式化。去偏估计量的理论可以在固定分位值的分位数回归模型的背景下发展。然而，通常需要基于分位数回归过程来制定测试，因为这会导致更稳健的测试和更稳定的置信集。此外，分位数回归中的推断需要估计所谓的稀疏函数，其取决于误差的未知密度。在本文中，我们考虑一个去偏的一致测试问题的方法。我们开发了高维回归秩分数，并展示了如何使用它们来估计稀疏函数，以及如何使它们适应涉及分位数回归过程的推断。此外，我们开发了一个Kolmogorov-Smirnov测试的位置移动的高维模型和置信集，是一致有效的许多分位数值。主要的技术成果是发展的Bahadur表示的去偏估计，是均匀的分位数和均匀收敛的分位数过程的布朗桥过程，这是独立的利益。模拟研究表明，我们的程序的有限样本特性。
2017-02-20 stat.ML
An Efficient Multi Quantile Regression Network with Ad Hoc Prevention of Quantile Crossing
University of Kassel（卡塞尔大学）
本文提出了SCQRNN模型，通过在训练中集成ad hoc排序机制有效防止分位数交叉，在降低计算复杂度并加快收敛速度的同时，为多领域自感知系统提供了更可靠的预测不确定性评估。
2024-05-31 cs.LG stat.ML
Improved conformalized quantile regression
University of Aveiro（阿威罗大学）
针对保形分位数回归单一保形步骤缺乏自适应性的问题，提出基于排列重要性加权解释变量的优化k-means聚类并执行k个保形步骤，在开放数据集上验证其更适应异方差且优于经典方法。
2022-11-06 cs.LG stat.ML
Censored Quantile Regression Forest
University of California San Diego（加州大学圣地亚哥分校）；Alexa AI（Alexa人工智能部门）
随机森林是一种功能强大的非参数回归方法，但在存在随机删失观测值的情况下，其使用受到严重限制，并且由于所产生的偏差，天真地应用可能会表现出较差的预测性能。基于随机森林的一种局部自适应表示，研究了随机删失回归分位数模型的回归调整。回归调整是基于一个新的估计方程，适应删失，并导致分位数得分时，数据不显示删失。所提出的程序命名为{ \it删失分位数回归森林}，允许我们估计的时间到事件的分位数，而无需任何参数建模假设。我们建立了温和的模型规格下的一致性。数值研究表明，所提出的程序的一个明显的优势。
2020-01-08 cs.LG stat.ML
Probabilistic Energy Forecasting using Quantile Regressions based on a new Nearest Neighbors Quantile Filter
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
参数分位数回归是创建概率能源预测的有用工具。尽管如此，由于经典分位数回归是使用不可微的成本函数训练的，因此使用复杂的数据采掘技术（例如，人工神经网络）可能是复杂的。本文提出了一种方法，使用一个新的最近邻分位数过滤器，以获得独立的分位数回归所利用的数据采掘技术，没有不可微的成本函数。此后，使用2014年全球能源预测竞赛的数据集进行验证所提出的方法。结果表明，所提出的方法是能够解决类似的准确性，在类似的时间竞争的冠军的竞争任务，但需要一个强大得多的计算机。该属性可能与在线预测服务相关，对于该在线预测服务，需要使用不那么强大的机器来快速计算概率预测。
2019-03-18 cs.LG stat.ML
Regularization Strategies for Quantile Regression
Google Research（谷歌研究院）
我们研究了不同的方法来正则化分位数回归时预测的一个子集的分位数或完整的逆CDF。我们表明，即使只预测一个特定的分位数时，最大限度地减少预期的弹球损失的连续分布的分位数是一个很好的正则化。对于预测多个分位数，我们建议通过使用将分位数视为单调输入特征的深度网格网络来实现非交叉分位数的经典目标，并且我们讨论了为什么其他特征的单调性是分位数回归的适当正则化器。我们表明，晶格模型使正则化的预测分布的位置-规模的家庭。最后，我们建议应用速率约束来改进特定兴趣子集上的分位数预测的校准，并提高公平性度量。我们展示了我们的贡献模拟，基准数据集，和真正的分位数回归问题。
2021-02-09 cs.LG stat.ME stat.ML
Conformalized Quantile Regression
共形预测是一种构造预测区间的技术，该预测区间在有限样本中达到有效覆盖，而无需进行分布假设。尽管有这种吸引力，现有的保形方法可能是不必要的保守，因为它们形成的区间恒定或弱变化的长度跨越输入空间。在本文中，我们提出了一种新的方法，是完全适应异方差。它结合了共形预测和经典的分位数回归，继承了两者的优点。我们建立了有效覆盖的理论保证，并在流行的回归数据集上进行了广泛的实验。我们比较了保形分位数回归的效率，其他保形方法，表明我们的方法往往产生较短的间隔。
2019-05-08 stat.ME stat.ML
Semismooth Newton Coordinate Descent Algorithm for Elastic-Net Penalized Huber Loss Regression and Quantile Regression
本文提出了一种半光滑牛顿坐标下降算法（SNCD），用于高维环境下的弹性网惩罚Huber损失回归和分位数回归。与现有的坐标下降型算法不同，SNCD在每次迭代中同时更新每个回归系数及其相应的次梯度。它结合了坐标下降和半光滑牛顿算法的优点，有效地解决了维数和非光滑性带来的计算挑战。我们建立了算法的收敛性。此外，我们提出了一个自适应版本的“强规则”筛选预测，以获得额外的效率。通过数值实验，我们证明了该算法是非常有效的，可扩展到超高的维度。我们通过一个真实的数据示例来说明该应用程序。
2016-05-20 stat.CO stat.ML
A new asymmetric $ε$-insensitive pinball loss function based support vector quantile regression model
Indian Institute of Technology Delhi（德里印度理工学院）；South Asian University（南亚大学）
在本文中，我们提出了一种新的非对称$ε$不敏感弹球损失函数的分位数估计。存在一些弹球损失函数，试图将$ε$不敏感区域方法纳入其中，但它们未能在真正意义上扩展分位数估计的$ε$不敏感方法。所提出的非对称$ε$不敏感弹球损失函数可以在数据周围形成一个固定宽度的非对称$ε$不敏感区域，并使用$τ$值对其进行划分，以估计第$τ$分位数。在支持向量分位数回归（SVQR）模型中引入非对称$ε$不敏感弹球损失函数，显著提高了模型的预测能力。它也带来了稀疏性在SVQR模型。此外，通过在人工和真实世界数据集上进行的几个实验获得的数值结果经验性地显示了所提出的“$ε$ -支持向量分位数回归”（$ε$ -SVQR）模型优于其他现有SVQR模型的功效。
2019-08-19 cs.LG stat.ML
Twin support vector quantile regression
Zhejiang University of Technology（浙江工业大学）；Hainan University（海南大学）
提出孪生支持向量分位数回归（TSVQR），通过两个较小二次规划生成非平行平面捕捉数据异质性与非对称性，实验表明其优于以往方法。
2023-05-06 cs.LG stat.ML
Censored Quantile Regression Forests
Department of Mathematics University of California San Diego（加利福尼亚大学圣地亚哥分校数学系）
随机森林是一种功能强大的非参数回归方法，但在存在随机删失观测值的情况下，其使用受到严重限制，并且由于所产生的偏差，天真地应用可能会表现出较差的预测性能。基于随机森林的局部自适应表示，我们开发了随机截尾回归分位数模型的回归调整。回归调整是基于新的估计方程，适应删失，并导致分位数得分时，数据不显示删失。所提出的方法被称为删失分位数回归森林，允许我们在没有任何参数建模假设的情况下估计事件发生时间的分位数。我们建立了温和的模型规格下的一致性。数值研究表明，所提出的程序的一个明显的优势。
2019-02-08 cs.LG econ.EM stat.ME
SPQR: An R Package for Semi-Parametric Density and Quantile Regression
我们开发了一个R包SPQR，它实现了Xu和Reich（2021）中的半参数分位数回归（SPQR）方法。该方法首先使用单调样条拟合灵活的密度回归模型，其权重使用人工神经网络建模为数据相关函数。随后，条件密度和分位数过程的估计都可以得到。与许多假设线性模型的分位数回归方法不同，SPQR允许协变量和响应分布之间的几乎任何关系，包括非线性效应和不同分位数水平上的不同效应。为了提高SPQR的可解释性和透明度，Apley和Zhu（2020）开发的模型不可知统计用于估计和可视化协变量效应及其对分位数函数的相对重要性。在本文中，我们将详细介绍如何在SPQR中实现此框架，并通过模拟和真实数据示例说明如何在实践中使用此包。
2022-10-26 stat.CO stat.ME stat.ML
Multi-Fidelity Quantile Regression
National University of Singapore（新加坡国立大学）
本文提出一种双阶段、模型无关的多保真度分位数回归方法，通过局部分位数链接将高保真度分位数表示为低保真度分位数在协变量依赖水平上的评估，从而估计水平函数以提高估计精度，并通过实验验证方法的有效性。
2026-06-06 stat.AP stat.ME stat.ML
Quantile regression with deep ReLU Networks: Estimators and minimax rates
分位数回归是从已知协变量的集合中估计指定百分位响应（如中位数）的任务。我们研究了分位数回归，使用修正线性单元（ReLU）神经网络作为所选的模型类。我们推导出用于估计一组协变量条件下的任何分位数的ReLU网络的预期均方误差的上界。该上界仅取决于最佳可能的近似误差、网络中的层数以及每层的节点数。我们进一步表明，上界是紧的两大类功能：组成的Hölder功能和成员的Besov空间。这些严格的界限意味着具有分位数回归的ReLU网络可以为广泛的函数类型集合实现极大极小化率。与现有的工作不同，理论结果保持在最小的假设条件下，并适用于一般的误差分布，包括重尾分布。对一套合成响应函数的实证模拟表明，理论结果可以转化为ReLU网络的实际实现。总的来说，理论和实证结果提供了对ReLU神经网络在广泛的函数类和误差分布中进行分位数回归的强大性能的深入了解。本文的所有代码都可以在https://github.com/tansey/quantile-regression上公开获得。
2020-12-18 math.ST stat.ML stat.TH
Regression via Arbitrary Quantile Modeling
AInnovation Technology Ltd.（创新奇智科技有限公司）
在回归问题中，L1和L2是最常用的损失函数，它们产生具有不同偏差的平均预测。然而，这些预测既不稳健也不够充分，因为它们只捕获了一些条件分布，而不是整个分布，特别是对于小数据集。为了解决这个问题，我们提出了任意分位数建模来调节预测，这取得了更好的性能相比，传统的损失函数。更具体地说，提出了一种新的分布回归方法，深度分布回归（DDR），估计响应变量的任意分位数。我们的DDR方法由两个模型组成：Q模型，它预测任意分位数的相应值，和F模型，它预测任意值的相应分位数。此外，Q和F模型之间的对偶性使我们能够设计一个新的损失函数的联合训练和执行双重推理机制。我们的实验表明，我们的DDR-joint和DDR-disjoint方法优于以前的方法，如AdaBoost，随机森林，LightGBM和神经网络的平均值和分位数预测。
2019-11-13 cs.AI cs.LG stat.ML
Sparse Quantile Huber Regression for Efficient and Robust Estimation
我们考虑新的配方和稀疏分位数回归在高维设置的方法。分位数回归在许多应用中起着重要作用，包括基因选择中的异常值稳健探索性分析。此外，考虑到分位数回归中的稀疏性，在给定预测变量的情况下，可以探索响应变量的整个条件分布，因此可以更全面地了解重要的预测变量。我们提出了一个广义的OMP算法的变量选择，以失配损失是传统的分位数损失或光滑的版本，我们称之为分位数Huber，并比较所得的贪婪方法与凸稀疏正则化的配方。我们应用最近提出的内点方法来有效地解决所有凸公式以及凸子问题的广义OMP设置，提供- vide一致估计的理论保证，并证明我们的方法使用模拟和基因组数据集的实证研究的性能。
2014-02-19 cs.DS math.OC stat.ME
Fair quantile regression
Yale University（耶鲁大学）
分位数回归是一种学习条件分布的工具。在本文中，我们研究了分位数回归的设置时，一个受保护的属性是不可用的模型拟合。这可能导致“不公平”的分位数估计量，其有效分位数对于受保护属性定义的子总体非常不同。我们提出了一个程序，用于调整估计的holdout样本的保护属性是可用的。本文的主要结果是一个经验过程分析表明，调整导致一个公平的估计，目标分位数被带入平衡，在统计意义上，我们称之为$\sqrt{n}$ -公平。我们说明的想法和调整程序的数据集的200,000活产婴儿，其目标是描述的依赖性的婴儿出生体重的人口统计属性的生母;受保护的属性是母亲的种族。
2019-07-19 cs.LG math.ST stat.ML
Quantile Regression using Random Forest Proximities
BlackRock, Inc.（贝莱德集团）
本文提出利用随机森林学习到的邻近度推断目标变量条件分布的新分位数回归方法，在条件分布和预测区间近似上优于QRF，且计算效率显著更高。
2024-08-05 cs.LG q-fin.ST q-fin.TR
Online Quantile Regression for Nonparametric Additive Models
Department of Statistics and Data Science, Southwestern University of Finance and Economics（西南财经大学统计与数据科学系）
本文提出了一种投影函数梯度下降算法（P-FGD）用于在线设置下的非参数加性分位数回归模型训练，通过扩展函数随机梯度下降框架到pinball损失，实现了更高效的计算复杂度和预测能力，证明了其在minimax最优一致性率上的优越性。
2026-04-10 cs.LG math.ST stat.ML
Nonparametric Quantile Regression: Non-Crossing Constraints and Conformal Prediction
The Hong Kong Polytechnic University（香港理工大学）；The Chinese University of Hong Kong（香港中文大学）
我们提出了一种非参数分位数回归方法，使用深度神经网络与整流线性单位罚函数，以避免分位数交叉。该罚函数在多维非参数分位数回归中对非交叉约束的处理是可行的。我们建立了所提出的非参数分位数回归函数估计的超额风险的非渐近上界。我们的误差界达到最佳的极小极大收敛速度的持有人类，和前因子的误差界多项式依赖于预测的维度，而不是指数。基于提出的非交叉惩罚深度分位数回归，我们构造了完全适应异质性的共形预测区间。在合理的条件下，建议的预测区间具有良好的性能，在有效性和准确性。我们还推导出了所提出的非交叉共形预测区间和理论预言区间之间的长度差的非渐近上界。数值实验，包括模拟研究和实际数据的例子来证明所提出的方法的有效性。
2022-10-18 cs.LG math.ST stat.ML
Bayesian Quantile Regression with Subset Selection: A Decision Analysis Perspective
从贝叶斯决策分析视角提出针对分位数回归的估计、不确定性量化与子集选择方法，引入以分位数为中心的平方误差损失实现高效闭式计算，在模拟和真实数据中显著提升了估计精度与变量选择表现。
2024-11-16 math.ST stat.AP stat.CO
