A new asymmetric $ε$-insensitive pinball loss function based support vector quantile regression model
Indian Institute of Technology Delhi(德里印度理工学院);South Asian University(南亚大学)
在本文中,我们提出了一种新的非对称$ε$不敏感弹球损失函数的分位数估计。存在一些弹球损失函数,试图将$ε$不敏感区域方法纳入其中,但它们未能在真正意义上扩展分位数估计的$ε$不敏感方法。所提出的非对称$ε$不敏感弹球损失函数可以在数据周围形成一个固定宽度的非对称$ε$不敏感区域,并使用$τ$值对其进行划分,以估计第$τ$分位数。在支持向量分位数回归(SVQR)模型中引入非对称$ε$不敏感弹球损失函数,显著提高了模型的预测能力。它也带来了稀疏性在SVQR模型。此外,通过在人工和真实世界数据集上进行的几个实验获得的数值结果经验性地显示了所提出的“$ε$ -支持向量分位数回归”($ε$ -SVQR)模型优于其他现有SVQR模型的功效。
2019-08-19 cs.LG stat.ML
Beyond Pinball Loss: Quantile Methods for Calibrated Uncertainty Quantification
Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学)
在回归设置中量化不确定性的许多方法中,指定完整的分位数函数是有吸引力的,因为分位数可以解释和评估。在所有分位数水平上预测每个输入的真实条件分位数的模型可以正确有效地表示潜在的不确定性。为了实现这一点,目前许多基于分位数的方法专注于优化所谓的弹球损失。然而,这种损失限制了适用回归模型的范围,限制了针对许多期望属性(例如校准,锐度,中心间隔)的能力,并且可能产生不良的条件分位数。在这项工作中,我们开发了新的分位数方法来解决这些缺点。特别是,我们提出的方法,可以适用于任何类别的回归模型,允许选择校准和锐度之间的权衡,优化校准的中心间隔,并产生更准确的条件分位数。我们提供了一个彻底的实验评估,我们的方法,其中包括一个高维的不确定性量化任务,在核聚变。
2021-12-09 cs.LG stat.ML
Composite Quantile Regression With XGBoost Using the Novel Arctan Pinball Loss
Radboud University(拉德堡德大学);Alliander(Alliander公司);Institute for Computing and Information Sciences, Radboud University(拉德堡德大学计算与信息科学学院)
本文提出专为 XGBoost 设计的 arctan pinball loss,通过提供较大的二阶导数解决传统 pinball loss 难以用于二阶近似的问题,实现了高效的同时多分位数预测并大幅减少了分位数交叉现象。
2024-06-04 cs.LG stat.ML
A Robust Quantile Huber Loss With Interpretable Parameter Adjustment In Distributional Reinforcement Learning
University of Toronto(多伦多大学)
本文提出一种基于 Wasserstein 距离的广义分位数 Huber 损失函数,通过估计数据噪声实现可解释参数调整,增强了对异常值的鲁棒性,并在 Atari 游戏和对冲策略中验证了其有效性。
2024-01-07 cs.LG stat.ML
Quantile Risk Control: A Flexible Framework for Bounding the Probability of High-Loss Predictions
Princeton University(普林斯顿大学);Columbia University(哥伦比亚大学);Harvard University(哈佛大学);University of Toronto(多伦多大学);Vector Institute(向量研究所)
严格保证预测算法的性能是必要的,以确保其负责任的使用。以前的工作主要集中在边界的预测的预期损失,但这是不够的,在许多风险敏感的应用程序中,错误的分布是很重要的。在这项工作中,我们提出了一个灵活的框架,以产生一个家庭的界限的分位数的损失分布的预测。我们的方法利用了观测损失值的顺序统计量,而不是仅仅依赖于样本均值。我们表明,分位数是量化预测性能的一种信息方式,我们的框架适用于各种基于分位数的指标,每个指标都针对数据分布的重要子集。我们分析了我们提出的方法的理论特性,并证明了它能够严格控制几个真实世界的数据集上的损失分位数。
2022-12-27 cs.LG stat.ML
A Novel Smoothed Loss and Penalty Function for Noncrossing Composite Quantile Estimation via Deep Neural Networks
Lehigh University(理海大学)
针对神经网络复合分位数估计的分位数交叉问题,提出新型平滑损失与惩罚函数,在2014年全球能源预测竞赛风能数据集上验证,性能优于多个基准模型且避免分位数重叠。
2026-08-10 cs.LG econ.EM eess.SP
Beyond MSE: Improving Precipitation Nowcasting with Multi-Quantile Regression
Department of Information and Computing Sciences, Utrecht University(信息与计算科学系,乌特勒支大学)
本文提出将确定性降水临近预报模型的训练目标从均方误差(MSE)改为多分位数回归损失,使用SmaAt-UNet模型在荷兰雷达降水数据上验证,使中心确定性预测的测试集MSE降低8.6%,并输出高分位数预测以改善强降水预测。
2026-05-31 cs.AI cs.LG
EX-DRL: Hedging Against Heavy Losses with EXtreme Distributional Reinforcement Learning
University of Toronto(多伦多大学);York University(约克大学)
针对分布式强化学习在期权对冲中极端分位数估计不精确的问题,提出EX-DRL方法,利用广义帕累托分布建模损失分布尾部并引入补充数据,提升了极端分位数预测精度及金融风险度量可靠性。
2024-08-27 cs.LG q-fin.RM q-fin.ST
Regression via Arbitrary Quantile Modeling
AInnovation Technology Ltd.(创新奇智科技有限公司)
在回归问题中,L1和L2是最常用的损失函数,它们产生具有不同偏差的平均预测。然而,这些预测既不稳健也不够充分,因为它们只捕获了一些条件分布,而不是整个分布,特别是对于小数据集。为了解决这个问题,我们提出了任意分位数建模来调节预测,这取得了更好的性能相比,传统的损失函数。更具体地说,提出了一种新的分布回归方法,深度分布回归(DDR),估计响应变量的任意分位数。我们的DDR方法由两个模型组成:Q模型,它预测任意分位数的相应值,和F模型,它预测任意值的相应分位数。此外,Q和F模型之间的对偶性使我们能够设计一个新的损失函数的联合训练和执行双重推理机制。我们的实验表明,我们的DDR-joint和DDR-disjoint方法优于以前的方法,如AdaBoost,随机森林,LightGBM和神经网络的平均值和分位数预测。
2019-11-13 cs.AI cs.LG stat.ML
The Earth Mover's Pinball Loss: Quantiles for Histogram-Valued Regression
The University of Sydney(悉尼大学);Sydney Institute for Astronomy(悉尼天文研究所)
虽然直方图数据在科学中无处不在,但它并没有受到深度学习社区的广泛关注。虽然标量和矢量数据的回归和分类任务通常由神经网络解决,但文献中缺乏用于估计作为输入矢量或图像的函数的直方图标签的原理性方法。我们提出了一种用于基于深度学习的直方图回归的专用方法,该方法结合了交叉箱信息并产生可能直方图上的分布,由每个箱中累积直方图的分位数$τ$表示。我们的方法的关键是通过将弹球损失应用于累积直方图而获得的新损失函数,其对于1D直方图在中值($τ= 0.5$)的特殊情况下减少到地球移动器的距离(EMD),并将其推广到任意分位数。我们验证我们的方法与说明性的玩具的例子,足球相关的任务,和天体物理学的计算机视觉的问题。我们表明,与我们的损失函数,预测的中值直方图的准确性是非常相似的标准EMD的情况下(和高于每箱损失函数,如交叉熵),而预测变得更加翔实,几乎没有额外的计算成本。
2021-06-03 astro-ph.IM cs.LG stat.ML
Simultaneously Reconciled Quantile Forecasting of Hierarchically Related Time Series
UT Austin(德克萨斯大学奥斯汀分校);IntuitAI(Intuit人工智能部门)
许多现实生活中的应用涉及同时预测多个时间序列,这些时间序列通过聚合或分解操作在层次上相关。例如,商业组织通常希望同时预测商店、城市和州级别的库存,以用于资源规划目的。在这种应用中,重要的是,预测除了相当准确之外,还相互一致。尽管经济学家和数据科学家一直在追求预测这种分层时间序列,但目前最先进的模型使用强有力的假设,例如,所有预测均为无偏估计,噪声分布为高斯分布。此外,最先进的模型还没有利用现代非线性模型的力量,特别是基于深度学习的模型。在本文中,我们建议使用一个灵活的非线性模型,优化分位数回归损失加上适当的正则化条款,以保持跨层次的预测的一致性。本文介绍的理论框架可以应用于具有潜在可微损失函数的任何预测模型。我们所提出的方法的最优性的证明。一系列数据集的模拟研究突出了我们方法的有效性。
2021-02-25 cs.LG
On Learning the Tail Quantiles of Driving Behavior Distributions via Quantile Regression and Flows
Technical University of Munich(慕尼黑工业大学)
针对自动驾驶中人类驾驶行为分布尾部建模问题,采用分位数回归与自回归分位数流进行行为克隆,并在highD上验证其极端行为预测与仿真能力。
2023-07-27 cs.LG cs.RO
Generalized Distribution Prediction for Asset Returns
Reykjavik University(雷克雅未克大学);University of Southampton(南安普顿大学)
提出基于LSTM的两阶段分位数预测方法,结合资产特征与市场数据,通过核密度估计生成资产收益概率分布,在合成与真实数据上显著优于基线模型。
2025-01-28 cs.LG q-fin.ST
Stock Index Prediction using Cointegration test and Quantile Loss
Yonsei University(延世大学);CODIT Corp.(CODIT公司);Chungbuk National University(忠北国立大学)
最近使用深度学习方法进行股票预测的研究已经得到了积极的研究。这是根据历史趋势预测未来股票价格走势的任务。仅根据图表上的历史运动模式而不是基本值来预测运动的方法称为技术分析,在回归任务中可以分为单变量和多变量方法。根据后一种方法,重要的是选择不同的因素和输入,以提高模型的性能。此外,其性能可以取决于使用哪个损失来训练模型。然而,大多数研究往往集中在建立模型的结构,而不是如何选择信息因素作为输入训练他们。在本文中,我们提出了一种方法,可以得到更好的性能在收益方面时,使用协整检验选择信息因素和学习模型使用分位数损失。我们比较了两个RNN变量与分位数损失只有五个因素,通过协整检验中收集的整个15个股票指数的因素在实验中。使用累积收益率和夏普比率来评估训练模型的性能。我们的实验结果表明,我们提出的方法优于其他传统的方法。
2021-09-29 cs.CE cs.LG q-fin.ST
LOCUS: A Distribution-Free Loss-Quantile Score for Risk-Aware Predictions
Department of Statistics, Federal University of São Carlos(统计系,萨o 卡洛斯联邦大学);Institute of Mathematics and Computer Science, University of São Paulo(数学与计算机科学学院,圣保罗大学);School of Forest, Fisheries, and Geomatics Sciences, University of Florida(森林、渔业与地理科学学院,佛罗里达大学)
LOCUS通过分布无关的损失分位数分数实现风险感知预测,有效降低大损失事件频率。
2026-03-02 cs.LG stat.ML
Statistical Properties of the log-cosh Loss Function Used in Machine Learning
University of British Columbia(不列颠哥伦比亚大学);Carleton University(卡尔顿大学)
本文首次对机器学习中常用的 log-cosh 损失函数进行统计分析,推导其分布、似然及费雪信息,比较稳健估计量,并应用于分位数回归,提出基于 log-cosh 的 M 估计量。
2024-03-15 cs.LG stat.ML
From Distributional to Quantile Neural Basis Models: the case of Electricity Price Forecasting
CNR, Institute of Intelligent Industrial Technologies and Systems for Advanced Manufacturing(CNR,智能工业技术与系统研究所)
该研究提出Quantile Neural Basis Model,将分位数广义可加模型的可解释性融入端到端神经网络,无需参数化分布假设,在电力价格预测中实现了与现有神经网络相当的性能并提供了模型行为见解。
2025-09-17 cs.LG
Colorful Pinball: Density-Weighted Quantile Regression for Conditional Guarantee of Conformal Prediction
School of Economics and Management, Tsinghua University, China(清华大学经济管理学院)
本文提出了一种基于密度加权分位数回归的条件保证置信预测方法,通过改进标准置信预测的条件覆盖性能,提供更精确的非渐近保证。
2026-05-19 cs.LG stat.ME
Usefulness of Quantile-Aware Diffusion Modeling for Highly Imbalanced Tabular Data
Indian Institute of Technology Bhilai(印度理工学院比莱分校);Loughborough University(拉夫堡大学)
针对高度不平衡表格数据,提出分位数正则化去噪的Quantile-TabDDPM方法,结合二次误差与分位数损失,在信用卡欺诈检测中表现稳健有效。
2026-10-06 cs.LG stat.AP
Occupancy-based Quantile Risk Control
Southern University of Science and Technology(南方科技大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Loop Area Institute(深圳河套学院)
针对现有分位数风险控制方法存在过度保守或缺乏有限样本保证的局限,提出OQRC方法,通过有序校准损失划分损失空间实现紧风险控制,在常见基准上可将风险差距降低多达78.64%。
2026-09-04 cs.LG stat.ML
Predicting Conditional Quantiles via Reduction to Classification
Toyota Technological Institute(丰田技术学院);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心);Universidade Federal Fluminense(弗鲁米嫩塞联邦大学)
我们展示了如何减少预测一般顺序统计量(特别是中位数)的过程来解决分类问题。附带的理论陈述表明,在分位数损失下,分类器的遗憾限制了分位数回归的遗憾。我们还在大型现实数据集上对现有的分位数回归方法进行了经验测试,发现它提供了最先进的性能。
2012-06-27 cs.LG stat.ML
Convolution Smoothed Quantile Regression for XGBoost
University of Toronto(多伦多大学)
该研究开发了基于分位数的梯度提升框架QXGB,引入卷积平滑损失,通过模拟数据和PM$_{2.5}$预测应用验证其在分位数估计、尾部表征等方面的优势。
2026-08-18 cs.LG stat.ML
A Cramér Distance perspective on Quantile Regression based Distributional Reinforcement Learning
Amadeus SAS(艾玛迪斯SAS)
分布式强化学习(DRL)扩展了基于值的方法,通过近似未来收益的完整分布而不是仅平均值,提供更丰富的信号,从而提高性能。基于分位数回归(QR)的方法(如QR-DQN)通过最小化1-瓦瑟斯坦距离将任意分布投影到阶梯分布的参数子集中。然而,由于梯度中的偏差,分位数回归损失被用于训练,从而保证相同的最小值并享受无偏梯度。对分位数的非交叉约束已经被证明可以提高QR-DQN对于基于不确定性的探索策略的性能。这项工作的贡献是在固定的分位数水平的设置,是双重的。首先,我们证明了Cramér距离产生一个投影,与1-Wasserstein的一致,并且在非交叉约束下,平方Cramér和分位数回归损失产生共线梯度,揭示了DRL这些重要元素之间的连接。其次,我们提出了一个低复杂度的算法来计算Cramér距离。
2022-02-22 cs.LG stat.ML
Distributional Reinforcement Learning with Dual Expectile-Quantile Regression
Naver Labs Europe(纳维尔实验室欧洲分部);University of Amsterdam(阿姆斯特丹大学)
针对分布强化学习中分位数回归因使用Huber损失导致分布坍缩的问题,提出联合学习期望分位数与分位数的方法,在保持完整回报分布估计的同时实现高效学习,并在Atari基准上达到基线性能。
2025-05-26 cs.AI cs.LG
Matching High-Dimensional Geometric Quantiles for Test-Time Adaptation of Transformers and Convolutional Networks Alike
Computer Science and Information Systems(计算机科学与信息系统)
本文提出了一种架构无关的测试时适应方法,通过匹配高维几何分位数来纠正分布偏移,适用于卷积网络和变换器等通用架构。
2026-01-16 cs.CV cs.LG
ConquerNet: Convolution-Smoothed Quantile ReLU Neural Networks with Minimax Guarantees
Department of Statistics and Data Science(统计与数据科学系)
ConquerNet通过卷积平滑技术解决分位数回归中非光滑损失函数的优化难题,提供非渐近风险界,并在多个分位数水平上提升估计精度和训练效率。
2026-05-07 cs.LG stat.ML
Regularization Strategies for Quantile Regression
Google Research(谷歌研究院)
我们研究了不同的方法来正则化分位数回归时预测的一个子集的分位数或完整的逆CDF。我们表明,即使只预测一个特定的分位数时,最大限度地减少预期的弹球损失的连续分布的分位数是一个很好的正则化。对于预测多个分位数,我们建议通过使用将分位数视为单调输入特征的深度网格网络来实现非交叉分位数的经典目标,并且我们讨论了为什么其他特征的单调性是分位数回归的适当正则化器。我们表明,晶格模型使正则化的预测分布的位置-规模的家庭。最后,我们建议应用速率约束来改进特定兴趣子集上的分位数预测的校准,并提高公平性度量。我们展示了我们的贡献模拟,基准数据集,和真正的分位数回归问题。
2021-02-09 cs.LG stat.ME stat.ML
Autoregressive Quantile Networks for Generative Modeling
DeepMind(深度思维)
我们引入了自回归隐式分位数网络(AIQN),这是一种与常用方法根本不同的生成建模方法,它使用分位数回归隐式地捕获分布。AIQN能够实现卓越的感知质量和评估指标的改进,而不会导致样本多样性的损失。该方法可以应用于许多现有的模型和架构。在这项工作中,我们使用AIQN扩展了PixelCNN模型,并使用Inception score,FID,非樱桃挑选样本和修复结果在CIFAR-10和ImageNet上展示了结果。我们一直观察到,AIQN产生了一个高度稳定的算法,提高了感知质量,同时保持了高度多样化的分布。
2018-06-14 cs.LG stat.ML
Gaussian Process Quantile Regression using Expectation Propagation
Aston University(阿斯顿大学)
直接分位数回归涉及估计响应变量的给定分位数作为输入变量的函数。我们提出了一个新的直接分位数回归的框架,其中一个高斯过程模型的学习,最小化预期的倾斜损失函数。在学习中所需的集成是不容易分析的,所以为了加快学习,我们采用期望传播算法。我们描述了这项工作如何与其他分位数回归方法,并适用于合成和真实数据集的方法。该方法被证明是有竞争力的最先进的方法,同时允许充分利用高斯过程概率框架。
2012-06-27 cs.LG stat.AP stat.ME
Quantile deep learning models for multi-step ahead time series prediction
University of New South Wales(新南威尔士大学)
本文提出一种结合分位数回归的深度学习框架用于多步时间序列预测,在比特币、以太坊及基准数据集上验证其在不损失准确率的前提下提升波动性处理和不确定性量化能力。
2024-11-24 cs.AI cs.LG q-fin.ST
Asymptotic Theory and Phase Transitions for Variable Importance in Quantile Regression Forests
Juntendo University(千叶大学);Keio University(Keio大学)
本文研究了分位数回归森林中变量重要性的渐近理论,揭示了子采样率对推断有效性的影响,提出了通过偏差校正恢复有效推断的方法。
2025-11-28 cs.LG math.ST stat.ML
Membership Inference Attacks on Diffusion Models via Quantile Regression
Amazon AWS AI/ML(亚马逊AWS人工智能/机器学习部门);Carnegie Mellon University(卡内基梅隆大学);University of Pennsylvania(宾夕法尼亚大学)
针对扩散模型的训练数据泄露风险,提出基于分位数回归和 bootstrap 弱攻击器投票的成员推理攻击,以更低计算成本超越现有最优方法。
2023-12-08 cs.CR cs.LG
Estimating Uncertainty with Implicit Quantile Network
Rensselaer Polytechnic Institute(伦斯勒理工学院)
本文提出用 Implicit Quantile Network 直接建模损失分布以估计预测不确定性,实验表明该方法能显著区分错误预测并在移除高不确定性数据后提升模型准确率,且实现简单,适用于医疗等关键应用。
2024-08-26 cs.AI cs.LG cs.NE
Deep Non-Crossing Quantiles through the Partial Derivative
BSC(巴塞罗那超级计算中心);BBVA(西班牙对外银行)
分位数回归(QR)提供了一种近似单个条件分位数的方法。为了对条件分布进行更详细的描述,QR可以与深度学习技术合并,以同时估计多个分位数。然而,QR-损失函数的最小化不能保证不交叉分位数,这影响了这种预测的有效性,并在某些情况下引入了关键问题。在本文中,我们提出了一种通用的深度学习算法,用于预测任意数量的分位数,确保分位数单调性约束达到机器精度,并保持其相对于替代模型的建模性能。所提出的方法在几个真实世界的数据集上进行评估,获得最先进的结果,并表明它可以扩展到大规模的数据集。
2022-01-30 cs.AI cs.LG math.PR
A PyTorch Framework for Scalable Non-Crossing Quantile Regression
Arizona Department of Education(亚利桑那州教育部门)
本文提出基于PyTorch的CJQR-ALM框架,通过增广拉格朗日方法和可微pinball损失实现非交叉分位数回归,显著降低计算复杂度并提升大规模数据处理效率。
2025-12-12 cs.LG stat.ML
fastkqr: A Fast Algorithm for Kernel Quantile Regression
Department of Statistics and Actuarial Science, University of Iowa(统计与精算科学系,爱荷华大学);Department of Statistics, University of Connecticut(统计系,康涅狄格大学)
本文提出名为 fastkqr 的新算法,通过有限平滑算法和谱技术加速再生核 Hilbert 空间中的分位数回归计算,并扩展至数据驱动交叉惩罚以解决可解释性问题,精度匹配现有算法且速度提升最高达一个数量级。
2025-08-12 cs.LG stat.ML
LogGENE: A smooth alternative to check loss for Deep Healthcare Inference Tasks
BITS Pilani(博拉理工学院);ML Square(ML平方)
针对分位数回归中check损失不可微的问题,提出用log-cosh作为平滑替代的LogGENE方法,在医疗及非医疗的回归、分类任务中实现了高精度,还兼具可解释性与不确定性估计能力。
2023-05-02 cs.LG cs.NE stat.ML