Robust Deep Ordinal Regression Under Label Noise
IIIT Hyderabad（印度理工学院海得拉巴分校）
真实世界的数据往往容易受到标签噪声的影响，这可能会限制现有的有序回归算法的有效性。现有的有序回归工作不考虑标签噪声。我们提出了一个理论上接地的方法，类条件标签噪声在有序回归问题。我们提出了一个深度学习实现，用于顺序回归的两个常用损失函数，它既对标签噪声具有鲁棒性，又对良好的排名规则具有排名一致性。我们验证了这些属性的算法经验和鲁棒性标签噪声的真实数据和排名的一致性。据我们所知，这是稳健有序回归模型的第一种方法。
2020-01-27 cs.LG stat.ML
Robust Capped lp-Norm Support Vector Ordinal Regression
Northwestern Polytechnical University（西北工业大学）；China Telecom Corp Ltd（中国电信股份有限公司）
针对支持向量序数回归在含异常值训练数据上性能下降的问题，提出带帽 $\ell_{p}$-范数损失及CSVOR模型，通过权重矩阵识别并抑制轻重异常值，并设计具有收敛保证的重加权优化算法，实验表明其尤其在异常场景下优于现有方法。
2024-04-25 cs.LG
On the Consistency of Ordinal Regression Methods
INRIA（法国国家信息与自动化研究所）；École normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；Télécom ParisTech（巴黎高等电信学院）；Université Paris-Saclay（巴黎萨克雷大学）
文献中提出的许多有序回归模型可以被看作是最小化0 - 1、绝对或平方损失函数的凸替代的方法。一个关键的属性，允许研究这种近似的统计含义是费舍尔一致性。Fisher一致性是替代损失函数的理想属性，并意味着在总体设置中，即，如果生成数据的概率分布是可用的，则对替代的优化将产生最佳可能模型。在本文中，我们将描述一个丰富的家庭替代损失函数的有序回归，包括支持向量有序回归，ORBoosting和最小绝对偏差的背景下使用的Fisher一致性。我们将看到，对于包含支持向量有序回归和ORBoosting的代理损失函数族，一致性可以完全由实值函数在零处的导数来表征，就像二进制分类中基于凸边缘的代理一样。我们还推导出超额风险界的绝对误差，概括现有的风险界的二元分类的代理。最后，我们的分析提出了一种新的替代平方误差损失。我们将这种新的替代品与9个不同数据集上的竞争方法进行了比较。我们的方法在实践中具有很强的竞争力，在9个数据集中有7个数据集的最小二乘损失优于最小二乘损失。
2017-07-21 cs.LG
Universally Rank Consistent Ordinal Regression in Neural Networks
Mayo Clinic（梅奥诊所）
尽管有序标签在监督学习中普遍存在，但在深度学习中，通常的做法是使用分类交叉熵损失来处理分类分类问题。最近的方法试图解决这个问题，同时尊重有序结构的标签已诉诸转换成一系列的扩展二进制分类子任务的有序回归。然而，由于理论和实践的限制，这些方法的采用仍然不一致。在这里，我们通过证明子任务概率形成马尔可夫链来解决这些限制。我们展示了如何直接修改神经网络架构，以利用这一事实，从而约束预测普遍排名一致。我们还证明了所有的秩一致的解决方案，可以表示在此配方，并推导出一个损失函数产生最大似然参数估计。使用不同的基准和用于COVID-19预测的专用递归神经网络的实际应用，我们证明了这种方法相对于当前最先进技术的实际优势。该方法是开源的，作为用户友好的PyTorch和TensorFlow包。
2022-03-03 cs.LG
Remarks on Loss Function of Threshold Method for Ordinal Regression Problem
本文通过理论与实验研究序数回归阈值方法中数据分布和1DT学习过程对分类性能的影响，发现非单峰分布和分段线性损失导致的1DT值集中会降低性能。
2024-05-22 cs.LG
Ordinal Regression for Difficulty Estimation of StepMania Levels
University of Kaiserslautern-Landau（凯泽斯劳滕-兰道大学）
StepMania是一款流行的基于节奏的视频游戏的开源克隆。正如流行游戏中常见的那样，有大量的社区设计关卡。玩家和关卡作者通常很难确定这些社区贡献的难度级别。在这项工作中，我们正式和分析StepMania水平的难度预测任务作为一个有序回归（OR）任务。我们标准化了更广泛和多样化的选择，这些数据产生五个数据集，其中两个是以前工作的扩展。我们评估了许多有竞争力的OR和非OR模型，证明基于神经网络的模型显著优于最先进的模型，StepMania级别的数据为深度OR模型提供了一个很好的测试平台。最后，我们通过一个用户实验来展示我们的训练模型优于人类标记。
2023-01-23 cs.LG
Contrastive Learning for Semi-Supervised Deep Regression with Generalized Ordinal Rankings from Spectral Seriation
Department of Electronic and Computer Engineering, The Hong Kong University of Science and Technology（香港科学与技术大学电子与计算机工程系）；School of Science, Sun Yat-sen University（中山大学科学学院）；Institute of Science and Technology for Brain-Inspired Intelligence, Fudan University（复旦大学脑启发式智能科学与技术研究院）
本文提出一种基于谱序列化通用序排名的半监督深度回归对比学习方法，通过引入标记样本和未标记样本构建特征相似性矩阵，提升模型鲁棒性。
2025-12-10 cs.LG
Unimodality-Promoting Regularized Learning for Ordinal Regression
本研究针对有序回归，提出一种规避尺度相关偏差的新型促进单峰性的正则化学习（UPRL）方法，经实验验证其可提升预测性能，尤其适配小或大规模训练数据场景。
2026-08-11 cs.LG
Tackling Ordinal Regression Problem for Heterogeneous Data: Sparse and Deep Multi-Task Learning Approaches
Wayne State University（韦恩州立大学）
许多真实世界的数据集都是用自然顺序标记的，即，序数标签有序回归是一种预测有序标签的方法，在自然科学、健康科学和社会科学等数据丰富的领域有着广泛的应用。大多数现有的有序回归方法通过制定一个单一的有序回归任务，对独立同分布（IID）的情况下工作得很好。然而，对于具有明确定义的局部几何结构的异构非IID实例，例如，多任务学习（MTL）提供了一个有前途的框架来编码任务（子组）相关性，桥接所有任务的数据，并同时学习多个相关任务，以提高泛化性能。尽管MTL方法已被广泛研究，但几乎没有研究具有有序标签的异构数据的MTL的现有工作。我们通过稀疏和深度多任务方法来解决这个重要问题。具体来说，我们开发了一个正则化的多任务有序回归（MTOR）模型，用于较小的数据集和基于深度神经网络的MTOR模型的大规模数据集。我们使用三个真实世界的医疗数据集评估性能，并将其应用于多阶段疾病进展诊断。实验结果表明，与单任务有序回归模型相比，所提出的MTOR模型显著提高了预测性能。
2020-04-27 cs.LG stat.ML
Rank consistent ordinal regression for neural networks with application to age estimation
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Michigan State University（密歇根州立大学）
在许多现实世界的预测任务中，类标签包括关于标签之间的相对排序的信息，这不是由常用的损失函数（如多类别交叉熵）捕获的。最近，深度学习社区采用了有序回归框架来考虑这种排序信息。神经网络通过将有序目标转换为二进制分类子任务来配备有序回归能力。然而，这种方法遭受不同的二进制分类器之间的不一致。为了解决这些不一致性，我们提出了一致的RANK Logits（CORAL）框架，具有强有力的理论保证秩单调性和一致的置信分数。此外，所提出的方法是架构不可知的，可以扩展任意国家的最先进的深度神经网络分类器的顺序回归任务。对一系列用于年龄预测的面部图像数据集的经验评估表明，与参考有序回归网络相比，预测误差大幅降低。
2020-11-13 cs.LG stat.ML
Parallel Algorithm for Optimal Threshold Labeling of Ordinal Regression Methods
针对序数回归阈值方法的最优阈值标注问题，提出一种可并行算法并给出成功输出最优解的充分条件，实验显示其相较动态规划算法可将整体学习时间降至约60%。
2024-05-21 cs.LG
Learning Probabilistic Ordinal Embeddings for Uncertainty-Aware Regression
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Beijing Normal University（北京师范大学）
不确定性是唯一的确定性。建模数据不确定性对于回归是必不可少的，特别是在无约束的设置中。传统的直接回归公式被认为是通过修改输出空间的概率分布的某个家庭的不确定性建模。另一方面，基于分类的回归和基于排序的解决方案在实践中更受欢迎，而直接回归方法则受到性能的限制。如何在当今的回归技术中对不确定性进行建模仍然是一个悬而未决的问题。在本文中，我们建议学习概率序数嵌入，它将每个数据表示为多变量高斯分布，而不是潜在空间中的确定性点。提出了一个有序分布约束，以利用回归的有序性。我们的概率序嵌入可以集成到流行的回归方法，并赋予他们的不确定性估计的能力。实验结果表明，我们的方法取得了竞争力的性能。代码可在https://github.com/Li-Wanhua/POEs上获得。
2021-03-25 cs.CV cs.LG
Semi-Supervised Ordinal Regression Based on Empirical Risk Minimization
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目中心）；Kyoto University（京都大学）
有序回归的目的是预测有序类标签。在本文中，我们考虑它的半监督制定，其中我们有未标记的数据以及有序标记的数据训练有序回归。有几个度量来评估有序回归的性能，例如平均绝对误差，平均零一误差和均方误差。然而，现有的研究没有考虑评价指标，对模型的选择有限制，没有理论保证。为了克服这些问题，我们提出了一种新的通用框架，半监督有序回归的基础上的经验风险最小化原则，适用于优化上述所有指标。此外，我们的框架具有灵活的模型，代理损失和优化算法的选择，而无需对未标记数据进行常见的几何假设，如聚类假设或流形假设。我们进一步提供了一个估计误差界，以表明我们的风险估计是一致的。最后，我们进行实验，以显示我们的框架的实用性。
2021-06-10 cs.LG stat.ML
Learning a binary search with a recurrent neural network. A novel approach to ordinal regression analysis
CépiDc Inserm；Paris Saclay University（巴黎萨克雷大学）
深度神经网络是一系列计算模型，其自然地适合于使用递归神经网络来分析分层数据，例如顺序数据。另一方面，序数回归是一个众所周知的预测建模问题，用于从心理测量到基于深度神经网络的语音建模等不同领域。它们的特殊性在于其结果变量的属性，通常被认为是具有自然排序属性的分类变量，通常允许不同状态之间的比较（“一点”小于“有点”，“有点”本身小于“很多”，允许传递性）。本文研究了深度学习框架提供的序列到序列学习方法在有序回归中的应用，通过将有序回归问题公式化为顺序二分搜索。提出了一种根据有序目标变量可视化模型解释变量的方法，该方法与线性判别分析有一定的相似性。该方法相比，传统的有序回归方法在一些基准数据集，并显示出具有可比或显着更好的预测能力。
2021-01-07 cs.LG stat.ML
A neural network approach to ordinal regression
University of Central Florida（中佛罗里达大学）
有序回归是一种重要的学习类型，它同时具有分类和回归的性质。在这里，我们描述了一个简单而有效的方法来适应传统的神经网络学习序数类别。我们的方法是有序回归的感知器方法的推广。在几个基准数据集上，我们的方法（NNRank）优于神经网络分类方法。与使用高斯过程和支持向量机的有序回归方法相比，NNRank实现了相当的性能。此外，NNRank具有传统神经网络的优势：在线和批量模式学习，处理非常大的训练数据集，并进行快速预测。这些功能使NNRank成为大规模数据处理任务的有用和补充工具，如生物信息学中的信息检索，网页排名，协同过滤和蛋白质排名。
2007-04-08 cs.AI cs.LG cs.NE
Ordinal Regression as Structured Classification
University of Bristol（布里斯托大学）
本文扩展了有序回归模型类的结构化解释的问题，通过应用一种新的治疗编码标签。这样做的净效果是将潜在的问题从有序回归任务转换为我们用条件随机场解决的（结构化）分类任务，从而实现一个连贯的概率模型，其中所有模型参数都是联合学习的。重要的是，我们表明，虽然我们已经铸造有序回归分类，我们的方法仍然属于有序回归本体的分解方法的类。这是一个重要的环节，因为我们的经验是，机器学习在医疗保健方面的许多应用完全忽略了标签排序的重要性质，因此这些方法在这个本体中应该被认为是幼稚的。我们还表明，我们的模型是灵活的，无论是在它如何适应数据流形，并在可供从业者执行的操作。我们的实证评估表明，所提出的方法压倒性地产生优越的，往往是统计上显着的结果超过基线方法对40个流行的有序回归模型，并表明，所提出的模型显着优于合成和真实数据集的基线。我们的实现，以及用于重现这项工作结果的脚本，将在公共GitHub存储库中提供。
2019-05-31 cs.LG stat.ML
Deep Ordinal Regression using Optimal Transport Loss and Unimodal Output Probabilities
Yale University（耶鲁大学）；Bar Ilan University（巴伊兰大学）
通常期望有序回归模型产生单峰预测。然而，在最近的许多作品中，这种特性要么不存在，要么使用软目标实现，这并不能保证推理时的单峰输出。此外，我们认为，标准的极大似然目标是不适合的顺序回归问题，最佳运输更适合这项任务，因为它自然捕捉类的顺序。在这项工作中，我们提出了一个框架，深度有序回归，基于单峰输出分布和最优运输损失。受著名的比例赔率模型的启发，我们建议修改其设计，通过使用一个架构机制，保证模型的输出分布将是单峰的。我们实证分析了我们提出的方法的不同组成部分，并展示了它们对模型性能的贡献。在八个真实世界数据集上的实验结果表明，我们提出的方法与最近提出的几种具有单峰输出概率的深度有序回归深度学习方法的性能一致，并且往往优于这些深度学习方法，同时保证了输出单峰性。此外，我们证明了所提出的方法是不那么过度自信比目前的基线。
2021-11-18 cs.LG stat.ML
Improving Deep Regression with Ordinal Entropy
National University of Singapore（新加坡国立大学）；Huawei International Pte Ltd（华为国际私人有限公司）
在计算机视觉中，经常观察到将回归问题公式化为分类任务通常会产生更好的性能。我们研究了这一奇怪的现象，并提供了一个推导，以表明分类，交叉熵损失，优于回归与均方误差损失的能力，学习高熵特征表示。基于分析，我们提出了一个有序熵损失，鼓励高熵的特征空间，同时保持有序关系，以提高回归任务的性能。在合成和真实回归任务上的实验证明了增加熵对回归的重要性和好处。
2023-02-28 cs.AI cs.CV cs.LG
Feature Relevance Bounds for Ordinal Regression
Bielefeld University（比勒费尔德大学）；University of Groningen（格罗宁根大学）；University of Birmingham（伯明翰大学）
有序数据的出现越来越多，主要是社会人口，导致了对有序回归的新的研究兴趣，即有序类的预测。除了模型的准确性，这些模型本身的解释是高度相关的，现有的方法，因此，例如模型稀疏性。然而，对于高维或高度相关的数据，由于强烈的变量依赖性，这可能会产生误导。在这方面的贡献，我们的目标是识别的特征相关性界限-除了识别所有相关功能-明确区分强相关和弱相关功能。
2019-02-20 cs.LG stat.ML
Deep and interpretable regression models for ordinal outcomes
University of Zurich（苏黎世大学）；Zurich University of Applied Sciences（苏黎世应用科学大学）；Konstanz University of Applied Sciences（康斯坦茨应用科学大学）
具有自然顺序的结果通常发生在预测任务中，并且通常可用的输入数据是复杂数据的混合，如图像和表格预测器。深度学习（DL）模型是图像分类任务的最新技术，但通常将有序结果视为无序且缺乏可解释性。相比之下，经典的有序回归模型考虑结果的顺序，并产生可解释的预测效应，但仅限于表格数据。我们提出了有序神经网络转换模型（ONTRAMs），它将DL与经典的有序回归方法相结合。ONTRAM是转换模型的特殊情况，并且通过使用联合训练的神经网络将转换函数附加地分解为图像和表格数据的项来权衡灵活性和可解释性。根据定义，最灵活的ONTRAM的性能相当于使用交叉熵训练的标准多类DL模型，同时在面对有序结果时训练速度更快。最后，我们讨论了如何在两个公开的数据集上解释表格和图像数据的模型组件。
2021-04-20 cs.LG stat.ML
Approximately Unimodal Likelihood Models for Ordinal Regression
Hitotsubashi Institute for Advanced Study（立命馆大学高级研究所）
针对现有单峰似然模型处理非单峰条件概率分布时存在偏差的问题，提出可表示单峰及近单峰分布的近似单峰似然模型，实验验证其在序数数据建模与序数回归任务中有效。
2025-09-30 cs.LG stat.ML
Pairwise Fairness for Ordinal Regression
MPI-IS Tübingen（马克斯·普朗克智能系统研究所图宾根分所）；Amazon（亚马逊）；Fiddler AI（Fiddler人工智能公司）
本文首先研究了有序回归的公平性问题。我们适应两个公平的概念，以前认为在公平的排名，并提出了一个战略，训练的预测，这是近似公平的根据任何一个概念。我们的预测器具有阈值模型的形式，由一个评分函数和一组阈值组成，我们的策略是基于减少到公平的二进制分类学习的评分函数和本地搜索选择的阈值。我们提供泛化保证我们的预测的错误和公平违反，我们说明了我们的方法在广泛的实验中的有效性。
2022-02-11 cs.LG stat.ML
Incremental Sparse Bayesian Ordinal Regression
University of Amsterdam（阿姆斯特丹大学）
有序回归（OR）旨在对不同数据类别之间的排序信息进行建模，这是多标签学习中的一个重要主题。一类重要的OR方法将问题建模为将特征映射到高维非线性空间的基函数的线性组合。然而，大多数基于基函数的算法是耗时的。我们提出了一种增量稀疏贝叶斯方法或任务，并介绍了一种算法，顺序学习相关的基函数在有序的情况下。我们的方法，称为增量稀疏贝叶斯有序回归（ISBOR），自动优化超参数通过类型II最大似然方法。ISBOR通过利用快速边缘似然优化，可以避免大矩阵求逆，这是将基于基函数的算法应用于大规模数据集上的OR任务的主要瓶颈。我们表明，ISBOR可以作出准确的预测与吝啬的基函数，同时提供自动估计的预测不确定性。在合成数据集和真实数据集上的大量实验证明了ISBOR与其他基于基函数的OR方法相比的效率和有效性。
2018-06-18 cs.LG stat.ML
Ordinal-ResLogit: Interpretable Deep Residual Neural Networks for Ordered Choices
Ryerson University（瑞尔森大学）
本研究提出了一个有序版本的残差Logit（Ordinal-ResLogit）模型来研究有序响应。我们将标准ResLogit模型集成到CORAL框架中，归类为二进制分类算法，以开发完全可解释的基于深度学习的有序回归模型。由于Ordinal-ResLogit模型的公式化具有残差神经网络概念，因此我们提出的模型解决了机器学习算法的主要约束，称为黑盒。此外，Ordinal-ResLogit模型作为有序数据的二进制分类框架，保证了二进制分类器之间的一致性。我们表明，由此产生的公式能够从数据中捕获潜在的未观察到的异质性，并且是一个可解释的基于深度学习的模型。配方的市场份额，替代模式和弹性。我们比较了有序-ResLogit模型与有序Logit模型的性能，该模型使用行人等待时间的陈述偏好（SP）数据集和行驶距离的显示偏好（RP）数据集。我们的研究结果表明，Ordinal-ResLogit优于传统的有序回归模型的两个数据集。此外，从Ordinal-ResLogit RP模型得到的结果表明，出行属性，如驾驶和运输成本有显着的影响，选择非强制性的行程的位置。在Ordinal-ResLogit SP模型方面，我们的研究结果强调，道路相关的变量和交通状况是影响行人等待时间预测的因素，使得混合交通状况显着增加选择更长等待时间的概率。
2022-04-24 cs.LG
Fenton-Wilkinson Order Statistics and German Tanks: A Case Study of an Orienteering Relay Race
有序回归介于离散值分类和连续值回归之间。有序目标变量可以与排序的随机变量相关联。这些随机变量被称为顺序统计量，它们与有序回归密切相关。然而，使用顺序统计量进行有序回归预测的挑战是找到合适的父分布。在这项工作中，我们提供了一个真实世界的定向越野接力赛的案例研究，将其视为一个随机过程。对于这个过程中，我们表明，准确的顺序统计有序回归预测的最终团队排名，或地方，可以通过假设一个对数正态分布的个人腿时间。此外，我们应用芬顿-威尔金森近似中间转换时间旁边的估计队的总人数在臭名昭著的德国坦克问题。这项工作的目的是，在某种程度上，引发兴趣，在有序回归问题的适用性研究顺序统计量。
2019-12-10 cs.LG stat.ML
Ordinality in Discrete-level Question Difficulty Estimation: Introducing Balanced DRPS and OrderedLogitNN
Ghent University（根特大学）；CVAMO Core Lab Flanders Make（CVAMO核心实验室弗拉芒制造）
本文针对离散级别问题难度估计中序数性被忽视和类别不平衡导致评估偏差的问题，提出平衡DRPS指标和OrderedLogitNN模型，在RACE++与ARC上微调BERT验证其在复杂任务上的优越性。
2025-07-03 cs.LG stat.ML
Teach CLIP to Develop a Number Sense for Ordinal Regression
The Hong Kong University of Science and Technology（香港科技大学）；HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute（香港科技大学深圳香港协同创新研究院）
针对CLIP缺乏数字感而无法处理序数回归的问题，本文提出NumCLIP方法，通过粗分类与细预测两阶段设计及细粒度跨模态排序正则化损失，在三个序数回归任务上显著提升准确率。
2024-08-07 cs.CL cs.CV cs.LG
Quadruply Stochastic Gradient Method for Large Scale Nonlinear Semi-Supervised Ordinal Regression AUC Optimization
Nanjing University of Information Science & Technology（南京信息工程大学）；JD Finance America Corporation（京东金融美国公司）；University of Western Ontario（西安大略大学）；University of Pittsburgh（匹兹堡大学）
半监督有序回归（S $^2$ OR）问题在实际应用中普遍存在，其中只有少数有序样本被标记，而大量样本未被标记.最近的研究表明，在有序回归（OR）问题中，直接优化一致性指数（AUC）比优化传统的出错率可以对数据进行更好的排序。在本文中，我们提出了一个无偏的目标函数的S $^2$或AUC优化的基础上，有序二元分解方法。此外，为了处理大规模的核学习问题，我们提出了一个可扩展的算法称为QS $^3$ ORAO使用双随机梯度（DSG）框架的功能优化。从理论上证明了该方法可以以$O(1/t)$的速度收敛到最优解，其中$t$是随机数据采样的迭代次数。在各种基准数据集和真实世界数据集上的大量实验结果也表明，我们的方法是高效和有效的，同时保持类似的泛化性能。
2019-12-24 cs.LG stat.ML
A Novel Variational Autoencoder with Applications to Generative Modelling, Classification, and Ordinal Regression
Aalto University（阿尔托大学）
我们开发了一种新的概率生成模型的基础上变分自动编码器的方法。值得注意的方面，我们的架构是：一种新的方式指定的潜变量之前，并引入了一个序数执行单元。我们描述了如何使用该模型进行监督，无监督和半监督学习，以及名义和顺序分类。我们使用两个基准数据集分析了该方法的生成特性，以及在名义分类和有序分类下的分类有效性。我们的研究结果表明，我们的模型可以在两个分类任务中实现与相关基线相当的结果。
2018-12-19 cs.LG stat.ML
Deep Neural Networks with Ordinal Loss for Medical Applications
Intuit
提出序数交叉熵（OCE）框架，通过序数代价矩阵扩展标准交叉熵，以处理医疗应用中标签的序数结构和非对称误分类代价，实现更平滑的优化和更好的序数一致性。
2026-06-25 cs.LG
DiffoR: A Unified Continuous Generative Framework for Universal Ordinal Regression
Fudan University（复旦大学）；Kuaishou Technology（快手科技）；Shanghai University of Finance and Economics（上海财经大学）；Tongji University（同济大学）
提出DiffOR框架，将序数回归建模为连续生成任务，利用扩散模型通过迭代去噪恢复连续序数值，并设计双解耦策略（多尺度增量聚合与动态去噪感知）保留序数拓扑，在12个基准上超越现有方法。
2026-05-29 cs.AI cs.CV cs.LG
Classifying Phonotrauma Severity from Vocal Fold Images with Soft Ordinal Regression
Massachusetts Institute of Technology（麻省理工学院）；School of Communication Sciences and Disorders University of Central Florida（中央佛罗里达大学通信科学与障碍学系）；Harvard Medical School（哈佛医学院）；Massachusetts General Hospital（麻省总医院）；Center for Laryngeal Surgery and Voice Rehabilitation（嗓音外科与嗓音康复中心）；Department of Surgery（外科部门）；Institute of Health Professions（健康专业研究所）；Athinoula Martinos Center（阿提尼奥拉马丁诺斯中心）
本文提出了一种基于软序数回归的方法，用于自动分类声音创伤的严重程度，实现了接近临床专家的预测性能并提供可靠的不确定性估计。
2025-12-09 cs.CV cs.LG
A generalized framework to predict continuous scores from medical ordinal labels
Martinos Center for Biomedical Imaging（马蒂诺斯生物医学影像中心）；Massachusetts Institute of Technology（麻省理工学院）；Polytechnique Montreal（蒙特利尔理工学院）；Oregon Health and Science University（俄勒冈健康与科学大学）；National Eye Institute（国家眼科研究所）；MGH & BWH Center for Clinical Data Science（麻省总医院与布莱根妇女医院临床数据科学中心）；University of Colorado Anschutz Medical Campus（科罗拉多大学安舒茨医学校区）
本文提出一个仅用离散有序标签即可预测连续评分的广义框架，并在三个临床任务中验证其优于传统多分类模型，且结合MC dropout可更真实地反映潜在连续严重程度。
2023-05-30 cs.CV cs.LG eess.IV
Deep Neural Networks for Rank-Consistent Ordinal Regression Based On Conditional Probabilities
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Lightning AI（Lightning人工智能公司）
提出无权重共享限制的秩一致有序回归框架CCORN，通过条件训练集与链式法则获取无条件秩概率，CVM）显著提升了性能，且适用于任意深度神经网络架构。
2023-06-01 cs.CV cs.LG stat.ML
Sex Trafficking Detection with Ordinal Regression Neural Networks
North Carolina State University（北卡罗来纳州立大学）；Alexa AI, Amazon（亚马逊Alexa人工智能部门）；Global Emancipation Network（全球解放网络）
性交易是一种全球流行病。护送网站是销售此类贩运受害者服务的主要工具，因此也是贩运者收入的主要驱动力。许多执法机构没有资源从数十个公共网站上发布的数百万条护送广告中手动识别线索。我们提出了一个有序回归神经网络来识别可能与性交易有关的护送广告。我们的模型使用修改后的成本函数来减轻通常与非参数有序回归相关的预测不一致性，并利用深度学习的最新进展来提高预测准确性。所提出的方法显着改善了以前的国家的最先进的贩运-10 K，一个专家注释的数据集护送广告。此外，由于贩运者使用首字母缩略词，故意印刷错误和表情符号来取代明确的关键字，我们演示了如何通过词嵌入和t-SNE扩展贩运标志的词汇。
2020-01-12 cs.CL cs.LG stat.ML
Regression with Comparisons: Escaping the Curse of Dimensionality with Ordinal Information
Machine Learning Department（机器学习系）；Department of Statistics and Data Science（统计与数据科学系）；Auton Lab, The Robotics Institute（奥顿实验室（机器人研究所））；Carnegie Mellon University（卡内基梅隆大学）
在监督学习中，我们通常利用完全标记的数据集来设计函数估计或预测的方法。在许多实际情况下，我们能够以较低的成本获得替代反馈。一个广泛的目标是了解有用的，并设计算法来利用，这种替代反馈。在本文中，我们考虑一个半监督回归设置，在那里我们获得额外的顺序（或比较）信息的未标记的样本。我们考虑不同质量的有序反馈，其中我们有一个完美的排序的样本，一个嘈杂的排序的样本或嘈杂的样本之间的成对比较。我们对这些类型的有序反馈在非参数和线性回归中的有用性进行了精确的量化，表明在许多情况下，可以用非常小的标记集准确地估计底层函数，实际上是\emph{escaping the curse of dimensionality}。我们还提出了下限，建立任务的基本限制，并表明我们的算法是最佳的各种设置。最后，我们提出了新的数据集，证明我们的算法的有效性和实用性，并研究其鲁棒性的各种来源的噪声和模型误指定的广泛的实验。
2019-11-07 cs.LG stat.ML
An interpretable neural network-based non-proportional odds model for ordinal regression
The Institute of Statistical Mathematics（统计数理研究所）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Tokyo Medical University（东京医科大学）
本研究提出用于有序回归的可解释神经网络非比例优势模型N$^3$POM，兼具灵活性与可解释性，建立了局部单调性充分条件并给出保单调性训练算法，可应用于多类真实数据集。
2024-03-11 cs.LG stat.ME stat.ML
A Novel Large-scale Ordinal Regression Model
University of Chinese Academy of Sciences（中国科学院大学）；The Chinese University of Hong Kong（香港中文大学）
有序回归（OR）是一种特殊的多类分类问题，其中标签之间存在顺序关系。近年来，人们通过社交网络和电子商务方便地分享自己的观点和情感判断，从而产生了大量的大规模OR问题。然而，很少有研究集中在这类问题。非平行支持向量有序回归（NPSVOR）是一种基于SVM的OR模型，它通过求解一系列独立的子优化问题来学习每个秩的超平面，然后将这些学习到的超平面集成起来进行预测。以往的研究主要集中在非线性的情况下，并取得了较好的测试性能，但其训练耗时，特别是对于大规模数据。在本文中，我们考虑NPSVOR的线性情况下，设计了一个有效的训练方法的基础上的双坐标下降法（DCD）。为了利用标签间的顺序信息进行预测，提出了一种新的预测函数。在文本OR数据集上的大量对比实验表明，精心实现的DCD非常适合于训练大数据。
2018-12-19 cs.AI cs.LG stat.ML
Zero-shot and few-shot time series forecasting with ordinal regression recurrent neural networks
University of Oxford（牛津大学）；Mind Foundry Ltd.（思维铸造有限公司）
循环神经网络（RNN）在几个顺序学习任务中是最先进的，但它们通常需要大量的数据才能很好地概括。对于许多时间序列预测（TSF）任务，在训练时可能只有几十个观测值可用，这限制了这类模型的使用。我们提出了一种新的基于RNN的模型，通过在许多量化时间序列的空间上学习共享特征嵌入来直接解决这个问题。我们展示了这如何使我们的RNN框架能够准确可靠地预测看不见的时间序列，即使在几乎没有训练数据可用的情况下。
2020-03-26 cs.LG stat.ML
Ranking-aware Reinforcement Learning for Ordinal Ranking
AMAP, Alibaba Group（阿里集团AMAP）
RARL通过整合回归和学习到排名任务，利用排名-aware奖励和响应突变操作提升有序排名性能。
2026-01-28 cs.AI cs.LG
Deep Ordinal Regression with Label Diversity
Arm Research（安谋研究）；Center for Mathematical Sciences, Lund University（隆德大学数学科学中心）
通过分类回归（RvC）是深度学习中用于回归问题的常用方法，其中目标变量属于一组连续值。通过将目标离散化为一组不重叠的类，已经表明，与使用标准回归方法相比，训练分类器可以提高神经网络的准确性。然而，目前尚不清楚如何选择离散类的集合以及它如何影响整体解决方案。在这项工作中，我们提出，同时使用几个离散数据表示可以提高神经网络学习相比，一个单一的表示。我们的方法是端到端可微的，可以作为传统学习方法的简单扩展，例如深度神经网络。我们在三个具有挑战性的任务上测试了我们的方法，结果表明，与基线RvC方法相比，我们的方法降低了预测误差，同时保持了相似的模型复杂度。
2020-06-29 cs.LG stat.ML
Explainable Ordinal Factorization Model: Deciphering the Effects of Attributes by Piece-wise Linear Approximation
Xi’an Jiaotong University（西安交通大学）；City University of Hong Kong（香港城市大学）
有序回归预测的对象的标签，表现出自然的顺序，这是很重要的许多管理问题，如信用评分和临床诊断。在这些问题中，解释属性如何影响预测的能力对用户至关重要。然而，大多数，如果不是全部，现有的有序回归模型简化了这样的解释的形式，常数系数的主要和个别属性的相互作用的影响。这样的解释不能表征属性在不同价值尺度上的贡献。为了解决这个问题，我们提出了一个新的可解释有序回归模型，即可解释有序因子分解模型（XOFM）。XOFM使用分段线性函数来近似各个属性及其相互作用的实际贡献。此外，XOFM引入了一种新的顺序变换过程，为每个对象分配属于多个相关类的概率，而不是固定边界来区分类。XOFM是基于因子分解机来处理潜在的稀疏性问题，作为离散化的属性尺度。基准数据集和基线模型的综合实验表明，所提出的XOFM具有优越的可解释性，并导致最先进的预测精度。
2019-11-14 cs.LG stat.ML
Application of machine learning to monster level prediction in tabletop RPG game design
AGH
研究在桌面角色扮演游戏开发中，通过构建数据集，将机器学习用于从怪物属性预测等级，经多种模型比较和评估，发现基于树的集成模型表现优，能近似设计师判断，可辅助怪物平衡及系统设计。
2026-08-26 cs.LG
Improving pronunciation assessment via ordinal regression with anchored reference samples
Microsoft（微软）
句子水平的语音评价是计算机辅助语言学习（CALL）的重要内容。传统的语音发音评估，基于良好的发音（GOP）算法，在评估语音话语有一些弱点：1）音素GOP分数不能很容易地转换成一个简单的平均值的句子分数进行有效的评估; 2）在GOP评分没有很好地利用排序信息提供一个强大的评估，并与人类的评价者的评价很好地相关。在本文中，我们提出了两个新的统计特征，平均GOP（aGOP）和混淆GOP（cGOP），并使用它们来训练一个二元分类器在有序回归与锚定参考样本（ORARS）。在Microsoft mTutor ESL Dataset上进行测试时，与传统的基于GOP的方法相比，Pearson相关系数相对提高了26.9%。性能达到人类同等水平或优于人类评分员。
2020-10-26 cs.LG cs.SD eess.AS
Multi-Task Ordinal Regression for Jointly Predicting the Trustworthiness and the Leading Political Ideology of News Media
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；SiteGround Hosting EOOD（SiteGround托管有限责任公司）；Harvard University（哈佛大学）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
在假新闻、偏见和宣传的背景下，我们研究了两个重要但相对未被充分探索的问题：（i）可信度估计（3分制）和（ii）整个新闻媒体的政治意识形态检测（7分制的左/右偏见），而不是评估单个文章。特别是，我们提出了一个多任务有序回归框架，模型的两个问题联合。这是由于观察到超党派性往往与低可信度有关，例如，他们倾向于诉诸情感，而不是坚持事实，而中心媒体通常更公正和可信。我们进一步使用几个辅助任务，建模中心，超党派，以及左vs。在粗粒度尺度上的右偏。评估结果表明，相当大的性能增益的联合模型的模型，在孤立的目标问题。
2019-04-01 cs.IR cs.LG stat.ML
Data-driven Prognostics with Predictive Uncertainty Estimation using Ensemble of Deep Ordinal Regression Models
TCS Research（塔塔咨询服务研究中心）
预测或剩余使用寿命（RUL）估计从多传感器时间序列数据是有用的，使基于条件的维护，并确保设备的高操作可用性。我们提出了一种新的基于深度学习的方法，用于预测不确定性量化，这在以下情况下是有用的：（i）由于故障的罕见性，对标记的故障数据的访问是稀缺的（ii）未来的操作条件是不可观察的（iii）传感器读数中存在固有的噪声。上述三种情况都是RUL估计过程中不可避免的不确定性来源，通常会导致不可靠的RUL估计。为了解决（i），我们将RUL估计公式化为有序回归（OR）问题，并提出LSTM-OR：基于深度长短期记忆（LSTM）网络的方法来学习OR函数。我们表明，LSTM-OR自然允许在训练中结合审查的操作实例以及失败的实例，从而实现更强大的学习。为了解决（ii），我们提出了一个简单而有效的方法来量化预测的不确定性，在RUL估计模型的训练LSTM-OR模型的合奏。通过对C-MAPSS涡扇发动机基准数据集的实证评估，我们证明了LSTM-OR明显优于常用的基于深度度量回归的RUL估计方法，特别是当失败的训练实例很少时。此外，我们的不确定性量化方法产生高质量的预测不确定性估计，同时也导致改进的RUL估计相比，单一的最佳LSTM-OR模型。
2021-03-04 cs.LG stat.ML
Unimodal Distributions for Ordinal Regression
Faculty of Engineering, University of Porto（波尔图大学工程学院）；INESC TEC
针对有序回归任务中标签顺序信息利用缺乏理论支撑的问题，提出两种融入单峰分布偏好的新方法，实验验证了其性能与单峰性优势。
2025-03-20 cs.AI cs.LG
Measuring Wikipedia Article Quality in One Dimension by Extending ORES with Ordinal Regression
University of Washington（华盛顿大学）
组织复杂的同行生产项目和推进开放式协作的科学知识都取决于衡量质量的能力。英文维基百科的文章质量评级已被维基百科社区成员和学术研究人员广泛使用，用于跟踪知识差距和研究政治极化如何塑造合作等目的。即便如此，衡量质量也提出了许多方法上的挑战。最广泛使用的系统在评估质量时使用离散有序尺度上的标签，但这种标签对于统计和机器学习来说可能是不方便的。先前的工作通过假设不同的质量水平彼此“均匀间隔”来处理这个问题。这个假设与将维基百科条目提升到不同质量水平所需的相对努力程度的直觉背道而驰。此外，来自先前工作的模型适合于对高质量文章进行过采样的数据集。这限制了它们对于文章或修订的代表性样本的准确性。我描述了一种扩展维基媒体基金会的ORES文章质量模型来解决这些限制的技术。我的方法使用加权有序回归模型来构建一维连续质量度量。虽然我的技术和以前的方法的分数是相关的，但我的方法提高了研究数据集的准确性，并提供了证据证明“均匀间隔”的假设在英语维基百科上是没有根据的。最后，我建议在未来的研究中使用质量分数，并包括完整的代码，数据和模型。
2021-08-31 cs.CL cs.CY cs.LG
Neural Collapse in Cumulative Link Models for Ordinal Regression: An Analysis with Unconstrained Feature Model
Kyoto University（京都大学）；RIKEN AIP（日本科学技术研究所AIP）
本研究结合累积链接模型与无约束特征模型，探讨了深度序数回归任务中的神经崩溃现象，揭示了“序数神经崩溃”的三大几何特性并在理论与实验上予以证明，强调了固定阈值在序数回归中的应用。
2025-11-03 cs.LG stat.ML
A Neural Approach to Ordinal Regression for the Preventive Assessment of Developmental Dyslexia
University of Málaga（马拉加大学）
发展性阅读障碍（DD）是一种与获得阅读技能有关的学习障碍，影响约5%的人口。DD可能对受影响儿童的智力和个人发展产生巨大影响，因此早期发现是实施语言教学预防策略的关键。研究表明，DD可能有影响音素处理的生物学基础，因此这些症状可能在获得阅读能力之前就可以识别，从而允许早期干预。在本文中，我们提出了一种新的方法来评估DD的风险之前，学生学习阅读。为此，我们提出了一种混合神经模型，该模型可以从5岁时完成的测试中计算阅读障碍的风险水平。我们的方法首先训练一个自动编码器，然后将训练好的编码器与一个优化的有序回归神经网络相结合，以确保预测的一致性。我们的实验表明，该系统是能够检测未受影响的主题前两年，它可以评估的风险DD主要基于语音处理，特异性为0.969，正确率超过0.92。此外，经过训练的编码器可用于将测试结果转换为可解释的受试者空间分布，从而促进风险评估并验证方法。
2020-10-20 cs.LG cs.NE stat.ML
MOrdReD: Memory-based Ordinal Regression Deep Neural Networks for Time Series Forecasting
University of Oxford（牛津大学）；Oxford-Man Institute of Quantitative Finance（牛津-曼定量金融研究所）；Mind Foundry Ltd.（Mind Foundry有限公司）
时间序列预测在现代世界中无处不在。应用范围从医疗保健到天文学，包括气候建模，金融交易和关键工程设备的监测。为了在这一系列活动中提供价值，模型不仅必须提供准确的预测，而且还必须随着时间的推移量化和调整其不确定性。在这项工作中，我们直接用一种新颖的、完全端到端的深度学习方法来处理这个任务，用于时间序列预测。通过重铸时间序列预测作为一个有序回归任务，我们开发了一个原则性的方法来评估长期预测的不确定性和描述丰富的多模态，非高斯行为，这经常出现在应用环境。值得注意的是，我们的框架是一种完全通用的方法，几乎不需要用户干预。我们在一个大规模的基准测试中展示了这一关键功能，测试中使用了45个数据集，这些数据集来自广泛的现实应用领域，以及一个综合的合成地图列表。这种广泛的比较涵盖了机器学习和统计建模文献中最先进的方法，例如高斯过程。我们发现，我们的方法不仅提供了出色的预测性预测，遮蔽了真实的未来价值，而且还允许我们推断有价值的信息，例如即使在很长一段时间内，也能准确可靠地预测关键事件发生的预测分布。
2018-10-24 cs.LG stat.ML
Bayesian Deck-of-cards-based Ordinal Regression with Sequential Preference Elicitation
Poznań University of Technology（波兹南理工大学）；University of Catania（卡塔尼亚大学）
提出B-DOR，一种基于扑克牌式排序的贝叶斯序数回归方法，通过累积链接似然建模偏好强度，采用两种贝叶斯推断算法并支持多步诱导，实验证明其优于现有方法并适用于综合指标构建。
2026-09-30 cs.LG math.OC stat.ML
Improving Deep Regression with Tightness
National University of Singapore（新加坡国立大学）；Guangdong University of Technology（广东工业大学）
本研究针对深度回归中典型损失难以降低条件熵H(Z|Y)的问题，提出最优传输正则化器与目标复制策略以保留目标相似关系，有效提升了深度回归性能并提供理论解释。
2025-02-13 cs.AI cs.CV cs.LG
Feature Relevance Determination for Ordinal Regression in the Context of Feature Redundancies and Privileged Information
Bielefeld University（比勒费尔德大学）；University of Groningen（格罗宁根大学）；University of Birmingham（伯明翰大学）
机器学习技术的进步导致了越来越强大的模型，特别是在大数据的背景下。然而，许多应用场景需要鲁棒的可解释模型，而不是最佳的模型精度;例如，如果基于一组给定的测量结果发现潜在的生物标志物或因果因素，情况就是如此。在这方面的贡献，我们专注于特征选择范例，这使我们能够发现一个给定的规律性的相关因素的基础上稀疏模型。我们专注于线性有序回归的重要特定设置，即必须通过线性投影将数据分级到有限数量的有序类别中的一个。与以前的工作不同，我们考虑的情况下，功能可能是冗余的，这样就没有唯一的最小相关功能的存在。我们的目标是识别所有强相关和所有弱相关的功能，以及它们的相关性类型（强或弱）;我们通过确定特征相关性界限来实现这一目标，如果在所有等效模型上搜索，则这些特征相关性界限分别对应于最小和最大特征相关性。此外，我们还将讨论此设置如何使我们能够替换某些功能，例如\以及如何将特征相关区间的框架扩展到特权信息的设置，即潜在相关信息仅可用于训练目的，但不能用于预测本身。
2019-12-10 cs.IR cs.LG stat.ML
