Feature Relevance Bounds for Ordinal Regression
Bielefeld University（比勒费尔德大学）；University of Groningen（格罗宁根大学）；University of Birmingham（伯明翰大学）
有序数据的出现越来越多，主要是社会人口，导致了对有序回归的新的研究兴趣，即有序类的预测。除了模型的准确性，这些模型本身的解释是高度相关的，现有的方法，因此，例如模型稀疏性。然而，对于高维或高度相关的数据，由于强烈的变量依赖性，这可能会产生误导。在这方面的贡献，我们的目标是识别的特征相关性界限-除了识别所有相关功能-明确区分强相关和弱相关功能。
2019-02-20 cs.LG stat.ML
Deep and interpretable regression models for ordinal outcomes
University of Zurich（苏黎世大学）；Zurich University of Applied Sciences（苏黎世应用科学大学）；Konstanz University of Applied Sciences（康斯坦茨应用科学大学）
具有自然顺序的结果通常发生在预测任务中，并且通常可用的输入数据是复杂数据的混合，如图像和表格预测器。深度学习（DL）模型是图像分类任务的最新技术，但通常将有序结果视为无序且缺乏可解释性。相比之下，经典的有序回归模型考虑结果的顺序，并产生可解释的预测效应，但仅限于表格数据。我们提出了有序神经网络转换模型（ONTRAMs），它将DL与经典的有序回归方法相结合。ONTRAM是转换模型的特殊情况，并且通过使用联合训练的神经网络将转换函数附加地分解为图像和表格数据的项来权衡灵活性和可解释性。根据定义，最灵活的ONTRAM的性能相当于使用交叉熵训练的标准多类DL模型，同时在面对有序结果时训练速度更快。最后，我们讨论了如何在两个公开的数据集上解释表格和图像数据的模型组件。
2021-04-20 cs.LG stat.ML
Approximately Unimodal Likelihood Models for Ordinal Regression
Hitotsubashi Institute for Advanced Study（立命馆大学高级研究所）
针对现有单峰似然模型处理非单峰条件概率分布时存在偏差的问题，提出可表示单峰及近单峰分布的近似单峰似然模型，实验验证其在序数数据建模与序数回归任务中有效。
2025-09-30 cs.LG stat.ML
Pairwise Fairness for Ordinal Regression
MPI-IS Tübingen（马克斯·普朗克智能系统研究所图宾根分所）；Amazon（亚马逊）；Fiddler AI（Fiddler人工智能公司）
本文首先研究了有序回归的公平性问题。我们适应两个公平的概念，以前认为在公平的排名，并提出了一个战略，训练的预测，这是近似公平的根据任何一个概念。我们的预测器具有阈值模型的形式，由一个评分函数和一组阈值组成，我们的策略是基于减少到公平的二进制分类学习的评分函数和本地搜索选择的阈值。我们提供泛化保证我们的预测的错误和公平违反，我们说明了我们的方法在广泛的实验中的有效性。
2022-02-11 cs.LG stat.ML
Incremental Sparse Bayesian Ordinal Regression
University of Amsterdam（阿姆斯特丹大学）
有序回归（OR）旨在对不同数据类别之间的排序信息进行建模，这是多标签学习中的一个重要主题。一类重要的OR方法将问题建模为将特征映射到高维非线性空间的基函数的线性组合。然而，大多数基于基函数的算法是耗时的。我们提出了一种增量稀疏贝叶斯方法或任务，并介绍了一种算法，顺序学习相关的基函数在有序的情况下。我们的方法，称为增量稀疏贝叶斯有序回归（ISBOR），自动优化超参数通过类型II最大似然方法。ISBOR通过利用快速边缘似然优化，可以避免大矩阵求逆，这是将基于基函数的算法应用于大规模数据集上的OR任务的主要瓶颈。我们表明，ISBOR可以作出准确的预测与吝啬的基函数，同时提供自动估计的预测不确定性。在合成数据集和真实数据集上的大量实验证明了ISBOR与其他基于基函数的OR方法相比的效率和有效性。
2018-06-18 cs.LG stat.ML
Fenton-Wilkinson Order Statistics and German Tanks: A Case Study of an Orienteering Relay Race
有序回归介于离散值分类和连续值回归之间。有序目标变量可以与排序的随机变量相关联。这些随机变量被称为顺序统计量，它们与有序回归密切相关。然而，使用顺序统计量进行有序回归预测的挑战是找到合适的父分布。在这项工作中，我们提供了一个真实世界的定向越野接力赛的案例研究，将其视为一个随机过程。对于这个过程中，我们表明，准确的顺序统计有序回归预测的最终团队排名，或地方，可以通过假设一个对数正态分布的个人腿时间。此外，我们应用芬顿-威尔金森近似中间转换时间旁边的估计队的总人数在臭名昭著的德国坦克问题。这项工作的目的是，在某种程度上，引发兴趣，在有序回归问题的适用性研究顺序统计量。
2019-12-10 cs.LG stat.ML
Ordinality in Discrete-level Question Difficulty Estimation: Introducing Balanced DRPS and OrderedLogitNN
Ghent University（根特大学）；CVAMO Core Lab Flanders Make（CVAMO核心实验室弗拉芒制造）
本文针对离散级别问题难度估计中序数性被忽视和类别不平衡导致评估偏差的问题，提出平衡DRPS指标和OrderedLogitNN模型，在RACE++与ARC上微调BERT验证其在复杂任务上的优越性。
2025-07-03 cs.LG stat.ML
Quadruply Stochastic Gradient Method for Large Scale Nonlinear Semi-Supervised Ordinal Regression AUC Optimization
Nanjing University of Information Science & Technology（南京信息工程大学）；JD Finance America Corporation（京东金融美国公司）；University of Western Ontario（西安大略大学）；University of Pittsburgh（匹兹堡大学）
半监督有序回归（S $^2$ OR）问题在实际应用中普遍存在，其中只有少数有序样本被标记，而大量样本未被标记.最近的研究表明，在有序回归（OR）问题中，直接优化一致性指数（AUC）比优化传统的出错率可以对数据进行更好的排序。在本文中，我们提出了一个无偏的目标函数的S $^2$或AUC优化的基础上，有序二元分解方法。此外，为了处理大规模的核学习问题，我们提出了一个可扩展的算法称为QS $^3$ ORAO使用双随机梯度（DSG）框架的功能优化。从理论上证明了该方法可以以$O(1/t)$的速度收敛到最优解，其中$t$是随机数据采样的迭代次数。在各种基准数据集和真实世界数据集上的大量实验结果也表明，我们的方法是高效和有效的，同时保持类似的泛化性能。
2019-12-24 cs.LG stat.ML
Transductive Ordinal Regression
Nanyang Technological University（南洋理工大学）
有序回归通常被表述为具有有序约束的多类问题。由于需要大量的标记模式，为有序回归设计准确的分类器的挑战通常随着所涉及的类的数量而增加。然而，序数类标签的可用性通常是昂贵的校准或难以获得。另一方面，未标记的模式通常存在得更丰富，并且可以免费获得。为了充分利用有序回归中大量的未标记模式，本文提出了一种新的有序回归的转导学习范式，即转导有序回归（TOR）。本研究的关键挑战在于同时精确估计未标记数据的有序类标签和有序类的决策函数。拟议的TOR的核心要素包括一个目标函数，该目标函数迎合了在转换设置中铸造的几个常用的损失函数，用于一般的有序回归。一个标签交换计划，有利于严格单调减少的目标函数值也被引入。广泛的数值研究常用的基准数据集，包括现实世界的情绪预测问题，然后展示了所提出的转导有序回归的特点和功效。此外，最近的国家的最先进的顺序回归方法的比较表明，引入的顺序回归的转导学习范式导致了强大的和改进的性能。
2012-09-03 cs.LG
A Novel Variational Autoencoder with Applications to Generative Modelling, Classification, and Ordinal Regression
Aalto University（阿尔托大学）
我们开发了一种新的概率生成模型的基础上变分自动编码器的方法。值得注意的方面，我们的架构是：一种新的方式指定的潜变量之前，并引入了一个序数执行单元。我们描述了如何使用该模型进行监督，无监督和半监督学习，以及名义和顺序分类。我们使用两个基准数据集分析了该方法的生成特性，以及在名义分类和有序分类下的分类有效性。我们的研究结果表明，我们的模型可以在两个分类任务中实现与相关基线相当的结果。
2018-12-19 cs.LG stat.ML
THOR: Threshold-Based Ranking Loss for Ordinal Regression
Bar-Ilan University（巴伊兰大学）
在这项工作中，我们提出了一个基于回归的有序回归算法的监督分类的顺序类别的实例。与之前的方法相比，在这项工作中，类别之间的决策边界是预定义的，并且算法学会根据这些预定义的边界将输入示例投影到其适当的分数上。这是通过增加一个新的基于阈值的成对损失函数，旨在最大限度地减少回归误差，这反过来又最大限度地减少平均绝对误差（MAE）的措施。我们实现了我们提出的架构不可知的方法，使用CNN框架的特征提取。五个真实世界的基准测试结果表明，该算法实现了最好的MAE结果相比，最先进的有序回归算法。
2022-05-10 cs.LG
Continuously Generalized Ordinal Regression for Linear and Deep Models
Booz Allen Hamilton（博思艾伦汉密尔顿）；Univ. of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
有序回归是一种分类任务，其中类具有顺序，并且预测类离真实类越远，预测误差就越大。用于建模有序数据的标准方法涉及拟合优化某个损失函数的平行分离超平面。这种假设通过归纳偏差提供了样本有效学习，但在现实世界的数据集中往往限制性太强，其中特征可能对不同类别产生不同的影响。允许类特定的超平面斜率创建广义逻辑顺序回归，以样本效率为代价增加模型的灵活性。我们探索了广义模型的扩展到所有阈值的逻辑损失，并提出了一个正则化方法，这两个极端之间的插值。我们的方法，我们称之为连续广义有序逻辑，在一组完整的有序回归基准数据集上显着优于标准有序逻辑模型。我们进一步将这种方法扩展到深度学习，并表明它在一系列数据集和模态上与以前的模型相比具有竞争力或更低的预测误差。此外，深度学习有序回归的两个主要替代模型被证明是我们框架的特殊情况。
2022-02-14 cs.LG
Regression with Comparisons: Escaping the Curse of Dimensionality with Ordinal Information
Machine Learning Department（机器学习系）；Department of Statistics and Data Science（统计与数据科学系）；Auton Lab, The Robotics Institute（奥顿实验室（机器人研究所））；Carnegie Mellon University（卡内基梅隆大学）
在监督学习中，我们通常利用完全标记的数据集来设计函数估计或预测的方法。在许多实际情况下，我们能够以较低的成本获得替代反馈。一个广泛的目标是了解有用的，并设计算法来利用，这种替代反馈。在本文中，我们考虑一个半监督回归设置，在那里我们获得额外的顺序（或比较）信息的未标记的样本。我们考虑不同质量的有序反馈，其中我们有一个完美的排序的样本，一个嘈杂的排序的样本或嘈杂的样本之间的成对比较。我们对这些类型的有序反馈在非参数和线性回归中的有用性进行了精确的量化，表明在许多情况下，可以用非常小的标记集准确地估计底层函数，实际上是\emph{escaping the curse of dimensionality}。我们还提出了下限，建立任务的基本限制，并表明我们的算法是最佳的各种设置。最后，我们提出了新的数据集，证明我们的算法的有效性和实用性，并研究其鲁棒性的各种来源的噪声和模型误指定的广泛的实验。
2019-11-07 cs.LG stat.ML
Contrastive Order Learning: A General Framework for Ordinal Regression
该研究提出对比顺序学习框架ConOrd，整合对比学习与顺序学习优势，通过引入基于秩差的对比顺序损失解决相关局限，在面部年龄估计等序数回归任务实验中达最优性能且泛化性好。
2026-07-10 cs.LG
Zero-shot and few-shot time series forecasting with ordinal regression recurrent neural networks
University of Oxford（牛津大学）；Mind Foundry Ltd.（思维铸造有限公司）
循环神经网络（RNN）在几个顺序学习任务中是最先进的，但它们通常需要大量的数据才能很好地概括。对于许多时间序列预测（TSF）任务，在训练时可能只有几十个观测值可用，这限制了这类模型的使用。我们提出了一种新的基于RNN的模型，通过在许多量化时间序列的空间上学习共享特征嵌入来直接解决这个问题。我们展示了这如何使我们的RNN框架能够准确可靠地预测看不见的时间序列，即使在几乎没有训练数据可用的情况下。
2020-03-26 cs.LG stat.ML
Deep Ordinal Regression with Label Diversity
Arm Research（安谋研究）；Center for Mathematical Sciences, Lund University（隆德大学数学科学中心）
通过分类回归（RvC）是深度学习中用于回归问题的常用方法，其中目标变量属于一组连续值。通过将目标离散化为一组不重叠的类，已经表明，与使用标准回归方法相比，训练分类器可以提高神经网络的准确性。然而，目前尚不清楚如何选择离散类的集合以及它如何影响整体解决方案。在这项工作中，我们提出，同时使用几个离散数据表示可以提高神经网络学习相比，一个单一的表示。我们的方法是端到端可微的，可以作为传统学习方法的简单扩展，例如深度神经网络。我们在三个具有挑战性的任务上测试了我们的方法，结果表明，与基线RvC方法相比，我们的方法降低了预测误差，同时保持了相似的模型复杂度。
2020-06-29 cs.LG stat.ML
Explainable Ordinal Factorization Model: Deciphering the Effects of Attributes by Piece-wise Linear Approximation
Xi’an Jiaotong University（西安交通大学）；City University of Hong Kong（香港城市大学）
有序回归预测的对象的标签，表现出自然的顺序，这是很重要的许多管理问题，如信用评分和临床诊断。在这些问题中，解释属性如何影响预测的能力对用户至关重要。然而，大多数，如果不是全部，现有的有序回归模型简化了这样的解释的形式，常数系数的主要和个别属性的相互作用的影响。这样的解释不能表征属性在不同价值尺度上的贡献。为了解决这个问题，我们提出了一个新的可解释有序回归模型，即可解释有序因子分解模型（XOFM）。XOFM使用分段线性函数来近似各个属性及其相互作用的实际贡献。此外，XOFM引入了一种新的顺序变换过程，为每个对象分配属于多个相关类的概率，而不是固定边界来区分类。XOFM是基于因子分解机来处理潜在的稀疏性问题，作为离散化的属性尺度。基准数据集和基线模型的综合实验表明，所提出的XOFM具有优越的可解释性，并导致最先进的预测精度。
2019-11-14 cs.LG stat.ML
DFORD: Directional Feedback based Online Ordinal Regression Learning
Machine Learning Lab, Kohli Center on Intelligent Systems, IIIT Hyderabad, India（机器学习实验室，Kohli智能系统中心，IIIT海得拉尔，印度）；IIIT Hyderabad, India（IIIT海得拉尔，印度）
DFORD通过方向反馈实现在线序回归，采用探索-利用策略并引入核方法，有效降低内存消耗，实现O(log T)的遗憾界。
2025-12-22 cs.LG
Deep Neural Networks for Rank-Consistent Ordinal Regression Based On Conditional Probabilities
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Lightning AI（Lightning人工智能公司）
提出无权重共享限制的秩一致有序回归框架CCORN，通过条件训练集与链式法则获取无条件秩概率，CVM）显著提升了性能，且适用于任意深度神经网络架构。
2023-06-01 cs.CV cs.LG stat.ML
A neural network approach to ordinal regression
University of Central Florida（中佛罗里达大学）
有序回归是一种重要的学习类型，它同时具有分类和回归的性质。在这里，我们描述了一个简单而有效的方法来适应传统的神经网络学习序数类别。我们的方法是有序回归的感知器方法的推广。在几个基准数据集上，我们的方法（NNRank）优于神经网络分类方法。与使用高斯过程和支持向量机的有序回归方法相比，NNRank实现了相当的性能。此外，NNRank具有传统神经网络的优势：在线和批量模式学习，处理非常大的训练数据集，并进行快速预测。这些功能使NNRank成为大规模数据处理任务的有用和补充工具，如生物信息学中的信息检索，网页排名，协同过滤和蛋白质排名。
2007-04-08 cs.AI cs.LG cs.NE
Sex Trafficking Detection with Ordinal Regression Neural Networks
North Carolina State University（北卡罗来纳州立大学）；Alexa AI, Amazon（亚马逊Alexa人工智能部门）；Global Emancipation Network（全球解放网络）
性交易是一种全球流行病。护送网站是销售此类贩运受害者服务的主要工具，因此也是贩运者收入的主要驱动力。许多执法机构没有资源从数十个公共网站上发布的数百万条护送广告中手动识别线索。我们提出了一个有序回归神经网络来识别可能与性交易有关的护送广告。我们的模型使用修改后的成本函数来减轻通常与非参数有序回归相关的预测不一致性，并利用深度学习的最新进展来提高预测准确性。所提出的方法显着改善了以前的国家的最先进的贩运-10 K，一个专家注释的数据集护送广告。此外，由于贩运者使用首字母缩略词，故意印刷错误和表情符号来取代明确的关键字，我们演示了如何通过词嵌入和t-SNE扩展贩运标志的词汇。
2020-01-12 cs.CL cs.LG stat.ML
Ordinal Regression via Binary Preference vs Simple Regression: Statistical and Experimental Perspectives
Microsoft Research Asia（微软亚洲研究院）；Tsinghua University（清华大学）
锚定参考样本有序回归（ORARS）已被提出用于自动预测输入刺激的主观平均意见得分（MOS）。ORARS通过将测试样本与每个预先评分的锚定参考样本配对来解决MOS预测问题。然后，使用经过训练的二元分类器来预测哪个样本（测试或锚）在统计上更好。然后使用二元偏好决策的后验来预测测试样本的MOS。在本文中，严格的框架，分析和实验表明，ORARS是优于简单的回归。本文的主要贡献是：1）通过仿真实验证明了传统回归方法可以转化为多重偏好检验，从而得到更好的结果; 2）将ORARS方法推广到其他回归问题，并验证了其有效性; 3）为ORARS方法的正确应用提供了必要条件。
2022-07-06 cs.LG
Learning Probabilistic Ordinal Embeddings for Uncertainty-Aware Regression
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Beijing Normal University（北京师范大学）
不确定性是唯一的确定性。建模数据不确定性对于回归是必不可少的，特别是在无约束的设置中。传统的直接回归公式被认为是通过修改输出空间的概率分布的某个家庭的不确定性建模。另一方面，基于分类的回归和基于排序的解决方案在实践中更受欢迎，而直接回归方法则受到性能的限制。如何在当今的回归技术中对不确定性进行建模仍然是一个悬而未决的问题。在本文中，我们建议学习概率序数嵌入，它将每个数据表示为多变量高斯分布，而不是潜在空间中的确定性点。提出了一个有序分布约束，以利用回归的有序性。我们的概率序嵌入可以集成到流行的回归方法，并赋予他们的不确定性估计的能力。实验结果表明，我们的方法取得了竞争力的性能。代码可在https://github.com/Li-Wanhua/POEs上获得。
2021-03-25 cs.CV cs.LG
An interpretable neural network-based non-proportional odds model for ordinal regression
The Institute of Statistical Mathematics（统计数理研究所）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Tokyo Medical University（东京医科大学）
本研究提出用于有序回归的可解释神经网络非比例优势模型N$^3$POM，兼具灵活性与可解释性，建立了局部单调性充分条件并给出保单调性训练算法，可应用于多类真实数据集。
2024-03-11 cs.LG stat.ME stat.ML
Inferring ground truth from multi-annotator ordinal data: a probabilistic approach
Yandex Labs（Yandex实验室）；University College London（伦敦大学学院）；University of Oxford（牛津大学）
用于大规模数据注释任务的流行方法是众包，其中每个数据点由多个噪声注释器标记。我们考虑的问题，推断真值从嘈杂的序数标签从不同的和未知的专业知识水平的多个注释。有序数据的注释模型主要是作为其二元/分类对应物的扩展而提出的，并且在众包文献中很少受到关注。我们提出了一个新的模型，众包有序的数据，占例如困难，以及注释专家，并推导出变分贝叶斯推断算法的参数估计。我们分析了二进制/分类标签的几种最先进的注释器模型的序数扩展，并评估了所有模型在两个真实世界数据集上的性能，这些数据集包含通过Amazon的Mechanical Turk收集的序数查询-URL相关性得分。我们的结果表明，所提出的模型表现得更好或与现有的最先进的方法一样好，并且更能抵抗“垃圾”注释器（即，注释者随机分配标签而不实际查看实例）比流行的基线（如平均值、中位数和多数投票）更有效，这些基线不考虑注释者的专业知识。
2013-04-30 cs.LG stat.ML
A Novel Large-scale Ordinal Regression Model
University of Chinese Academy of Sciences（中国科学院大学）；The Chinese University of Hong Kong（香港中文大学）
有序回归（OR）是一种特殊的多类分类问题，其中标签之间存在顺序关系。近年来，人们通过社交网络和电子商务方便地分享自己的观点和情感判断，从而产生了大量的大规模OR问题。然而，很少有研究集中在这类问题。非平行支持向量有序回归（NPSVOR）是一种基于SVM的OR模型，它通过求解一系列独立的子优化问题来学习每个秩的超平面，然后将这些学习到的超平面集成起来进行预测。以往的研究主要集中在非线性的情况下，并取得了较好的测试性能，但其训练耗时，特别是对于大规模数据。在本文中，我们考虑NPSVOR的线性情况下，设计了一个有效的训练方法的基础上的双坐标下降法（DCD）。为了利用标签间的顺序信息进行预测，提出了一种新的预测函数。在文本OR数据集上的大量对比实验表明，精心实现的DCD非常适合于训练大数据。
2018-12-19 cs.AI cs.LG stat.ML
ORDSIM: Ordinal Regression for E-Commerce Query Similarity Prediction
Indiana University-Purdue University Indianapolis（印第安纳大学与普渡大学印第安纳波利斯联合分校）；eBay Inc.（易贝公司）
查询相似性预测任务通常通过具有平方损失的基于回归的模型来解决。这样的模型是不可知的绝对相似性值，它惩罚回归误差在所有范围内的相似性值在同一尺度。然而，为了促进电子商业平台的货币化，重要的是比低级别相似性更准确地预测高级别相似性，因为高度相似的查询根据用户意图检索项目，而中等相似的项目检索相关的项目，这可能不会导致购买。回归模型不能自定义其损失函数，集中在高相似性带，导致查询相似性预测任务的性能较差。我们通过将查询预测视为一个有序回归问题来解决上述挑战，从而提出了一个模型，ORDSIM（ORDinal回归相似性预测）。ORDSIM利用可变宽度的桶来模拟顺序损失，这严厉地惩罚了高级别相似性中的错误，从而使回归模型能够在高相似性值下获得更好的预测结果。我们评估了来自eBay平台的超过1000万个电子商业查询的数据集上的ORDSIM，并表明ORDSIM在该数据集上实现了比竞争回归方法小得多的预测误差。
2022-03-13 cs.LG
Non-parametric Uni-modality Constraints for Deep Ordinal Classification
École de technologie supérieure, Université du Québec（魁北克大学高等技术学院）；McGill University（麦吉尔大学）
我们提出了一个新的约束优化配方深有序分类，其中的单峰的标签分布是通过一组不等式约束隐含地执行所有对相邻的标签。基于c标签的（c-1）约束，我们的模型是非参数的，因此比现有的深度有序分类技术更灵活。与这些不同的是，它不会将学习的表示限制为施加在所有标签上的单个特定参数模型（或惩罚）。因此，它使训练能够探索更大的解决方案空间，同时消除了对临时选择的需要并扩展到大量标签。它可以与任何标准分类损失和任何深层架构结合使用。为了解决随之而来的具有挑战性的优化问题，我们解决了一系列的无约束损失的基础上，一个强大的扩展的日志屏障方法。这有效地处理了竞争约束，并适应深度网络的标准SGD，同时避免了计算昂贵的拉格朗日对偶步骤，并大大优于惩罚方法。此外，我们提出了一个新的性能指标的顺序分类，作为一个代理来衡量分布单峰，称为侧序指数（SOI）。我们报告了几个有序分类任务的基准公共数据集上最先进的方法的全面评估和比较，显示了我们的方法在标签一致性，分类准确性和可扩展性方面的优点。重要的是，与许多现有的有序分类方法不同，使用我们的模型强制标签一致性不会导致更高的分类错误。提供了一个公共的可复制的PyTorch实现。（https：//github.com/sbelharbi/unimodal-prob-deep-oc-free-distribution）
2020-06-11 cs.LG stat.ML
Improving Deep Regression with Ordinal Entropy
National University of Singapore（新加坡国立大学）；Huawei International Pte Ltd（华为国际私人有限公司）
在计算机视觉中，经常观察到将回归问题公式化为分类任务通常会产生更好的性能。我们研究了这一奇怪的现象，并提供了一个推导，以表明分类，交叉熵损失，优于回归与均方误差损失的能力，学习高熵特征表示。基于分析，我们提出了一个有序熵损失，鼓励高熵的特征空间，同时保持有序关系，以提高回归任务的性能。在合成和真实回归任务上的实验证明了增加熵对回归的重要性和好处。
2023-02-28 cs.AI cs.CV cs.LG
Robust Capped lp-Norm Support Vector Ordinal Regression
Northwestern Polytechnical University（西北工业大学）；China Telecom Corp Ltd（中国电信股份有限公司）
针对支持向量序数回归在含异常值训练数据上性能下降的问题，提出带帽 $\ell_{p}$-范数损失及CSVOR模型，通过权重矩阵识别并抑制轻重异常值，并设计具有收敛保证的重加权优化算法，实验表明其尤其在异常场景下优于现有方法。
2024-04-25 cs.LG
Data-driven Prognostics with Predictive Uncertainty Estimation using Ensemble of Deep Ordinal Regression Models
TCS Research（塔塔咨询服务研究中心）
预测或剩余使用寿命（RUL）估计从多传感器时间序列数据是有用的，使基于条件的维护，并确保设备的高操作可用性。我们提出了一种新的基于深度学习的方法，用于预测不确定性量化，这在以下情况下是有用的：（i）由于故障的罕见性，对标记的故障数据的访问是稀缺的（ii）未来的操作条件是不可观察的（iii）传感器读数中存在固有的噪声。上述三种情况都是RUL估计过程中不可避免的不确定性来源，通常会导致不可靠的RUL估计。为了解决（i），我们将RUL估计公式化为有序回归（OR）问题，并提出LSTM-OR：基于深度长短期记忆（LSTM）网络的方法来学习OR函数。我们表明，LSTM-OR自然允许在训练中结合审查的操作实例以及失败的实例，从而实现更强大的学习。为了解决（ii），我们提出了一个简单而有效的方法来量化预测的不确定性，在RUL估计模型的训练LSTM-OR模型的合奏。通过对C-MAPSS涡扇发动机基准数据集的实证评估，我们证明了LSTM-OR明显优于常用的基于深度度量回归的RUL估计方法，特别是当失败的训练实例很少时。此外，我们的不确定性量化方法产生高质量的预测不确定性估计，同时也导致改进的RUL估计相比，单一的最佳LSTM-OR模型。
2021-03-04 cs.LG stat.ML
On the Consistency of Ordinal Regression Methods
INRIA（法国国家信息与自动化研究所）；École normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；Télécom ParisTech（巴黎高等电信学院）；Université Paris-Saclay（巴黎萨克雷大学）
文献中提出的许多有序回归模型可以被看作是最小化0 - 1、绝对或平方损失函数的凸替代的方法。一个关键的属性，允许研究这种近似的统计含义是费舍尔一致性。Fisher一致性是替代损失函数的理想属性，并意味着在总体设置中，即，如果生成数据的概率分布是可用的，则对替代的优化将产生最佳可能模型。在本文中，我们将描述一个丰富的家庭替代损失函数的有序回归，包括支持向量有序回归，ORBoosting和最小绝对偏差的背景下使用的Fisher一致性。我们将看到，对于包含支持向量有序回归和ORBoosting的代理损失函数族，一致性可以完全由实值函数在零处的导数来表征，就像二进制分类中基于凸边缘的代理一样。我们还推导出超额风险界的绝对误差，概括现有的风险界的二元分类的代理。最后，我们的分析提出了一种新的替代平方误差损失。我们将这种新的替代品与9个不同数据集上的竞争方法进行了比较。我们的方法在实践中具有很强的竞争力，在9个数据集中有7个数据集的最小二乘损失优于最小二乘损失。
2017-07-21 cs.LG
Universally Rank Consistent Ordinal Regression in Neural Networks
Mayo Clinic（梅奥诊所）
尽管有序标签在监督学习中普遍存在，但在深度学习中，通常的做法是使用分类交叉熵损失来处理分类分类问题。最近的方法试图解决这个问题，同时尊重有序结构的标签已诉诸转换成一系列的扩展二进制分类子任务的有序回归。然而，由于理论和实践的限制，这些方法的采用仍然不一致。在这里，我们通过证明子任务概率形成马尔可夫链来解决这些限制。我们展示了如何直接修改神经网络架构，以利用这一事实，从而约束预测普遍排名一致。我们还证明了所有的秩一致的解决方案，可以表示在此配方，并推导出一个损失函数产生最大似然参数估计。使用不同的基准和用于COVID-19预测的专用递归神经网络的实际应用，我们证明了这种方法相对于当前最先进技术的实际优势。该方法是开源的，作为用户友好的PyTorch和TensorFlow包。
2022-03-03 cs.LG
Remarks on Loss Function of Threshold Method for Ordinal Regression Problem
本文通过理论与实验研究序数回归阈值方法中数据分布和1DT学习过程对分类性能的影响，发现非单峰分布和分段线性损失导致的1DT值集中会降低性能。
2024-05-22 cs.LG
Teach CLIP to Develop a Number Sense for Ordinal Regression
The Hong Kong University of Science and Technology（香港科技大学）；HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute（香港科技大学深圳香港协同创新研究院）
针对CLIP缺乏数字感而无法处理序数回归的问题，本文提出NumCLIP方法，通过粗分类与细预测两阶段设计及细粒度跨模态排序正则化损失，在三个序数回归任务上显著提升准确率。
2024-08-07 cs.CL cs.CV cs.LG
Multi-Task Ordinal Regression for Jointly Predicting the Trustworthiness and the Leading Political Ideology of News Media
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；SiteGround Hosting EOOD（SiteGround托管有限责任公司）；Harvard University（哈佛大学）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
在假新闻、偏见和宣传的背景下，我们研究了两个重要但相对未被充分探索的问题：（i）可信度估计（3分制）和（ii）整个新闻媒体的政治意识形态检测（7分制的左/右偏见），而不是评估单个文章。特别是，我们提出了一个多任务有序回归框架，模型的两个问题联合。这是由于观察到超党派性往往与低可信度有关，例如，他们倾向于诉诸情感，而不是坚持事实，而中心媒体通常更公正和可信。我们进一步使用几个辅助任务，建模中心，超党派，以及左vs。在粗粒度尺度上的右偏。评估结果表明，相当大的性能增益的联合模型的模型，在孤立的目标问题。
2019-04-01 cs.IR cs.LG stat.ML
Ordinal Regression for Difficulty Estimation of StepMania Levels
University of Kaiserslautern-Landau（凯泽斯劳滕-兰道大学）
StepMania是一款流行的基于节奏的视频游戏的开源克隆。正如流行游戏中常见的那样，有大量的社区设计关卡。玩家和关卡作者通常很难确定这些社区贡献的难度级别。在这项工作中，我们正式和分析StepMania水平的难度预测任务作为一个有序回归（OR）任务。我们标准化了更广泛和多样化的选择，这些数据产生五个数据集，其中两个是以前工作的扩展。我们评估了许多有竞争力的OR和非OR模型，证明基于神经网络的模型显著优于最先进的模型，StepMania级别的数据为深度OR模型提供了一个很好的测试平台。最后，我们通过一个用户实验来展示我们的训练模型优于人类标记。
2023-01-23 cs.LG
Contrastive Learning for Semi-Supervised Deep Regression with Generalized Ordinal Rankings from Spectral Seriation
Department of Electronic and Computer Engineering, The Hong Kong University of Science and Technology（香港科学与技术大学电子与计算机工程系）；School of Science, Sun Yat-sen University（中山大学科学学院）；Institute of Science and Technology for Brain-Inspired Intelligence, Fudan University（复旦大学脑启发式智能科学与技术研究院）
本文提出一种基于谱序列化通用序排名的半监督深度回归对比学习方法，通过引入标记样本和未标记样本构建特征相似性矩阵，提升模型鲁棒性。
2025-12-10 cs.LG
Unimodality-Promoting Regularized Learning for Ordinal Regression
本研究针对有序回归，提出一种规避尺度相关偏差的新型促进单峰性的正则化学习（UPRL）方法，经实验验证其可提升预测性能，尤其适配小或大规模训练数据场景。
2026-08-11 cs.LG
Neural Collapse in Cumulative Link Models for Ordinal Regression: An Analysis with Unconstrained Feature Model
Kyoto University（京都大学）；RIKEN AIP（日本科学技术研究所AIP）
本研究结合累积链接模型与无约束特征模型，探讨了深度序数回归任务中的神经崩溃现象，揭示了“序数神经崩溃”的三大几何特性并在理论与实验上予以证明，强调了固定阈值在序数回归中的应用。
2025-11-03 cs.LG stat.ML
DiffoR: A Unified Continuous Generative Framework for Universal Ordinal Regression
Fudan University（复旦大学）；Kuaishou Technology（快手科技）；Shanghai University of Finance and Economics（上海财经大学）；Tongji University（同济大学）
提出DiffOR框架，将序数回归建模为连续生成任务，利用扩散模型通过迭代去噪恢复连续序数值，并设计双解耦策略（多尺度增量聚合与动态去噪感知）保留序数拓扑，在12个基准上超越现有方法。
2026-05-29 cs.AI cs.CV cs.LG
MOrdReD: Memory-based Ordinal Regression Deep Neural Networks for Time Series Forecasting
University of Oxford（牛津大学）；Oxford-Man Institute of Quantitative Finance（牛津-曼定量金融研究所）；Mind Foundry Ltd.（Mind Foundry有限公司）
时间序列预测在现代世界中无处不在。应用范围从医疗保健到天文学，包括气候建模，金融交易和关键工程设备的监测。为了在这一系列活动中提供价值，模型不仅必须提供准确的预测，而且还必须随着时间的推移量化和调整其不确定性。在这项工作中，我们直接用一种新颖的、完全端到端的深度学习方法来处理这个任务，用于时间序列预测。通过重铸时间序列预测作为一个有序回归任务，我们开发了一个原则性的方法来评估长期预测的不确定性和描述丰富的多模态，非高斯行为，这经常出现在应用环境。值得注意的是，我们的框架是一种完全通用的方法，几乎不需要用户干预。我们在一个大规模的基准测试中展示了这一关键功能，测试中使用了45个数据集，这些数据集来自广泛的现实应用领域，以及一个综合的合成地图列表。这种广泛的比较涵盖了机器学习和统计建模文献中最先进的方法，例如高斯过程。我们发现，我们的方法不仅提供了出色的预测性预测，遮蔽了真实的未来价值，而且还允许我们推断有价值的信息，例如即使在很长一段时间内，也能准确可靠地预测关键事件发生的预测分布。
2018-10-24 cs.LG stat.ML
Parallel Algorithm for Optimal Threshold Labeling of Ordinal Regression Methods
针对序数回归阈值方法的最优阈值标注问题，提出一种可并行算法并给出成功输出最优解的充分条件，实验显示其相较动态规划算法可将整体学习时间降至约60%。
2024-05-21 cs.LG
Classifying Phonotrauma Severity from Vocal Fold Images with Soft Ordinal Regression
Massachusetts Institute of Technology（麻省理工学院）；School of Communication Sciences and Disorders University of Central Florida（中央佛罗里达大学通信科学与障碍学系）；Harvard Medical School（哈佛医学院）；Massachusetts General Hospital（麻省总医院）；Center for Laryngeal Surgery and Voice Rehabilitation（嗓音外科与嗓音康复中心）；Department of Surgery（外科部门）；Institute of Health Professions（健康专业研究所）；Athinoula Martinos Center（阿提尼奥拉马丁诺斯中心）
本文提出了一种基于软序数回归的方法，用于自动分类声音创伤的严重程度，实现了接近临床专家的预测性能并提供可靠的不确定性估计。
2025-12-09 cs.CV cs.LG
Learning Disease State from Noisy Ordinal Disease Progression Labels
Hertie Institute for AI in Brain Health, University of T\"ubingen, Germany Department of Computer Science, University of T\"ubingen, Germany
针对医学影像中噪声有序标签的挑战，提出利用有序疾病进展标签（改善、恶化或稳定）学习疾病状态表征，通过独立编码、反对称等变和有序感知增强泛化，并利用不确定性估计处理噪声，在nAMD活动分类少样本任务中表现优异。
2025-08-07 cs.CV cs.LG
A Neural Approach to Ordinal Regression for the Preventive Assessment of Developmental Dyslexia
University of Málaga（马拉加大学）
发展性阅读障碍（DD）是一种与获得阅读技能有关的学习障碍，影响约5%的人口。DD可能对受影响儿童的智力和个人发展产生巨大影响，因此早期发现是实施语言教学预防策略的关键。研究表明，DD可能有影响音素处理的生物学基础，因此这些症状可能在获得阅读能力之前就可以识别，从而允许早期干预。在本文中，我们提出了一种新的方法来评估DD的风险之前，学生学习阅读。为此，我们提出了一种混合神经模型，该模型可以从5岁时完成的测试中计算阅读障碍的风险水平。我们的方法首先训练一个自动编码器，然后将训练好的编码器与一个优化的有序回归神经网络相结合，以确保预测的一致性。我们的实验表明，该系统是能够检测未受影响的主题前两年，它可以评估的风险DD主要基于语音处理，特异性为0.969，正确率超过0.92。此外，经过训练的编码器可用于将测试结果转换为可解释的受试者空间分布，从而促进风险评估并验证方法。
2020-10-20 cs.LG cs.NE stat.ML
Ordinal Adaptive Correction: A Data-Centric Approach to Ordinal Image Classification with Noisy Labels
School of Computer Engineering, Iran University of Science and Technology（伊朗科学技术大学计算机工程学院）
本文提出了一种数据导向的序数图像分类方法ORDAC，通过利用标签分布学习来建模序数标签的内在模糊性和不确定性，动态调整每个样本的标签分布均值和标准差，从而有效校正噪声标签并提高模型性能。
2026-05-17 cs.AI cs.CV cs.LG
Bayesian Deck-of-cards-based Ordinal Regression with Sequential Preference Elicitation
Poznań University of Technology（波兹南理工大学）；University of Catania（卡塔尼亚大学）
提出B-DOR，一种基于扑克牌式排序的贝叶斯序数回归方法，通过累积链接似然建模偏好强度，采用两种贝叶斯推断算法并支持多步诱导，实验证明其优于现有方法并适用于综合指标构建。
2026-09-30 cs.LG math.OC stat.ML
Improving pronunciation assessment via ordinal regression with anchored reference samples
Microsoft（微软）
句子水平的语音评价是计算机辅助语言学习（CALL）的重要内容。传统的语音发音评估，基于良好的发音（GOP）算法，在评估语音话语有一些弱点：1）音素GOP分数不能很容易地转换成一个简单的平均值的句子分数进行有效的评估; 2）在GOP评分没有很好地利用排序信息提供一个强大的评估，并与人类的评价者的评价很好地相关。在本文中，我们提出了两个新的统计特征，平均GOP（aGOP）和混淆GOP（cGOP），并使用它们来训练一个二元分类器在有序回归与锚定参考样本（ORARS）。在Microsoft mTutor ESL Dataset上进行测试时，与传统的基于GOP的方法相比，Pearson相关系数相对提高了26.9%。性能达到人类同等水平或优于人类评分员。
2020-10-26 cs.LG cs.SD eess.AS
Ranking-aware Reinforcement Learning for Ordinal Ranking
AMAP, Alibaba Group（阿里集团AMAP）
RARL通过整合回归和学习到排名任务，利用排名-aware奖励和响应突变操作提升有序排名性能。
2026-01-28 cs.AI cs.LG
Feature Relevance Determination for Ordinal Regression in the Context of Feature Redundancies and Privileged Information
Bielefeld University（比勒费尔德大学）；University of Groningen（格罗宁根大学）；University of Birmingham（伯明翰大学）
机器学习技术的进步导致了越来越强大的模型，特别是在大数据的背景下。然而，许多应用场景需要鲁棒的可解释模型，而不是最佳的模型精度;例如，如果基于一组给定的测量结果发现潜在的生物标志物或因果因素，情况就是如此。在这方面的贡献，我们专注于特征选择范例，这使我们能够发现一个给定的规律性的相关因素的基础上稀疏模型。我们专注于线性有序回归的重要特定设置，即必须通过线性投影将数据分级到有限数量的有序类别中的一个。与以前的工作不同，我们考虑的情况下，功能可能是冗余的，这样就没有唯一的最小相关功能的存在。我们的目标是识别所有强相关和所有弱相关的功能，以及它们的相关性类型（强或弱）;我们通过确定特征相关性界限来实现这一目标，如果在所有等效模型上搜索，则这些特征相关性界限分别对应于最小和最大特征相关性。此外，我们还将讨论此设置如何使我们能够替换某些功能，例如\以及如何将特征相关区间的框架扩展到特权信息的设置，即潜在相关信息仅可用于训练目的，但不能用于预测本身。
2019-12-10 cs.IR cs.LG stat.ML
Ordinal-ResLogit: Interpretable Deep Residual Neural Networks for Ordered Choices
Ryerson University（瑞尔森大学）
本研究提出了一个有序版本的残差Logit（Ordinal-ResLogit）模型来研究有序响应。我们将标准ResLogit模型集成到CORAL框架中，归类为二进制分类算法，以开发完全可解释的基于深度学习的有序回归模型。由于Ordinal-ResLogit模型的公式化具有残差神经网络概念，因此我们提出的模型解决了机器学习算法的主要约束，称为黑盒。此外，Ordinal-ResLogit模型作为有序数据的二进制分类框架，保证了二进制分类器之间的一致性。我们表明，由此产生的公式能够从数据中捕获潜在的未观察到的异质性，并且是一个可解释的基于深度学习的模型。配方的市场份额，替代模式和弹性。我们比较了有序-ResLogit模型与有序Logit模型的性能，该模型使用行人等待时间的陈述偏好（SP）数据集和行驶距离的显示偏好（RP）数据集。我们的研究结果表明，Ordinal-ResLogit优于传统的有序回归模型的两个数据集。此外，从Ordinal-ResLogit RP模型得到的结果表明，出行属性，如驾驶和运输成本有显着的影响，选择非强制性的行程的位置。在Ordinal-ResLogit SP模型方面，我们的研究结果强调，道路相关的变量和交通状况是影响行人等待时间预测的因素，使得混合交通状况显着增加选择更长等待时间的概率。
2022-04-24 cs.LG
Ordinal-Content VAE: Isolating Ordinal-Valued Content Factors in Deep Latent Variable Models
Samsung AI Center Cambridge（三星人工智能中心剑桥）；Rutgers University（罗格斯大学）
在深度表征学习中，通常希望将特定因素（称为{ \em content}）与其他因素（称为{ \em style}）隔离。内容的构成通常由用户通过数据中的显式标签指定，而所有未标记/未知的因素都被视为风格。最近，已经表明可以通过修改深度潜在因素模型（例如，VAE），使风格和内容在潜在的表征中很好地分离。然而，该方法假设内容因子是分类值的（例如，面部图像数据中的受试者ID，或MNIST数据集中的数字类）。在某些情况下，内容是序值的，也就是说，内容因子采用的值是{ \em有序的}而不是分类的，使得内容标记的VAE，包括它们推断的潜在空间，是次优的。在本文中，我们提出了一种新的VAE扩展，它在内容潜在空间中施加了偏序集（偏序集）结构，同时使其与有序内容值对齐。为此，而不是在现有的方法中采用的iid高斯潜在先验，我们引入了一个条件高斯间距先验模型。该模型承认一个听话的联合高斯先验，但也有效地将可以忽略不计的密度值的内容潜在的配置，违反偏序集约束。为了评估这个模型，我们考虑两个特定的顺序结构的问题：估计一个主题的年龄在一张脸的图像和阐明的热量在一个食物餐图像。我们展示了显着的改进，在内容风格的分离比以前的非有序方法。
2020-09-07 cs.AI cs.LG stat.ML
A generalized framework to predict continuous scores from medical ordinal labels
Martinos Center for Biomedical Imaging（马蒂诺斯生物医学影像中心）；Massachusetts Institute of Technology（麻省理工学院）；Polytechnique Montreal（蒙特利尔理工学院）；Oregon Health and Science University（俄勒冈健康与科学大学）；National Eye Institute（国家眼科研究所）；MGH & BWH Center for Clinical Data Science（麻省总医院与布莱根妇女医院临床数据科学中心）；University of Colorado Anschutz Medical Campus（科罗拉多大学安舒茨医学校区）
本文提出一个仅用离散有序标签即可预测连续评分的广义框架，并在三个临床任务中验证其优于传统多分类模型，且结合MC dropout可更真实地反映潜在连续严重程度。
2023-05-30 cs.CV cs.LG eess.IV
