Predicting accurate probabilities with a ranking loss
University of California, San Diego（加利福尼亚大学圣迭戈分校）；University of Toronto（多伦多大学）
在机器学习分类器的许多实际应用中，预测样本属于特定类的概率是至关重要的。本文提出了一种简单的技术，预测概率的基础上优化排名损失，其次是保序回归。这种半参数技术提供了良好的排名和回归性能，并且比统计工具（如逻辑回归）更丰富的概率分布集。我们提供的实验结果表明，这种技术在现实世界中的应用概率预测的有效性。
2012-06-18 cs.LG stat.ML
Multivariate Online Linear Regression for Hierarchical Forecasting
Sorbonne University（索邦大学）；Paris Cité University（巴黎城市大学）；CNRS（法国国家科学研究中心）；LOPF；LPSM
本文提出MultiVAW方法，将Vovk-Azoury-Warmuth算法推广至多元在线线性回归，证明其对数遗憾界，并应用于在线分层预测以放宽现有算法的分析假设。
2024-02-22 cs.LG math.OC stat.ML
Predicting Regression Probability Distributions with Imperfect Data Through Optimal Transformations
Stanford University（斯坦福大学）；Google, Inc.（谷歌公司）
回归分析的目标是在给定其他（预测）变量x的联合值向量的情况下预测数值结果变量y的值。通常，特定的x向量不指定y的可重复值，而是指定可能的y值的概率分布，p（y| x）。这个分布有一个位置，规模和形状，所有这些都取决于x，并且需要在给定x的情况下推断y的可能值。回归方法通常假设训练数据y值是从一些良好的拟合p（y）得到的完美数值实现|x）。通常，实际的训练数据y值是离散的、截断的和/或任意删失的。本文提出了一种基于最优变换策略的回归方法，用于估计p（y）的位置、尺度和形状|x）作为x的一般函数，在可能存在这种不完美的训练数据的情况下。此外，验证诊断，以确定解决方案的质量。
2020-01-27 cs.LG stat.ML
Empowering Machines to Think Like Chemists: Unveiling Molecular Structure-Polarity Relationships with Hierarchical Symbolic Regression
Shanghai Jiao Tong University（上海交通大学）；Peking University（北京大学）；Ningbo Institute of Digital Twin, Eastern Institute of Technology（东方理工宁波数字孪生研究院）；Peking University Shenzhen Graduate School（北京大学深圳研究生院）
针对薄层色谱预测中表达能力与可解释性难以兼顾的问题，提出UHiSR框架，通过分层神经网络与符号回归自动提炼极性指数并发现结构-色谱行为的可解释方程。
2024-01-25 cs.AI cs.DB cs.LG
Sparse Hierarchical Regression with Polynomials
Operations Research Center, Massachusetts Institute of Technology（麻省理工学院运筹学中心）
提出了一种新的精确分层稀疏多项式回归方法。我们的回归量是次数$r$多项式，它依赖于最多的$k$输入，最多计数$\ell$单项项，最小化其预测误差的平方和。以前的分层稀疏规范与现代大数据设置非常一致，其中许多输入与预测目的无关，并且需要控制回归量的函数复杂性以避免过度拟合。我们提出了一个两步的方法来解决这个层次稀疏回归问题。首先，我们使用极快的输入排序启发式算法丢弃不相关的输入。其次，我们利用现代切割平面整数优化方法来解决我们所得到的减少层次$(k, \ell)$稀疏问题。我们的方法，以确定所有$k$相关的输入和所有$\ell$单项条款的能力经验表明，经历一个相变。至关重要的是，同样的转变也表现在我们拒绝所有不相关的特征和单项式的能力上。在我们的方法是统计强大的政权，其计算复杂性是有趣的Lasso为基础的几何学。所提出的工作填补了一个空白，缺乏强大的纪律非线性稀疏回归方法在高维设置。经验表明，我们的方法可以扩展到具有输入维度$p\approx 1,000$的$n\approx 10,000$观测的回归问题。
2017-09-28 cs.LG math.OC stat.ML
Hierarchical Mixture-of-Experts Model for Large-Scale Gaussian Process Regression
Imperial College London（帝国理工学院）
提出了一种实用的、可扩展的大规模非线性概率回归高斯过程模型。我们的混合专家模型在概念上是简单的，分层重组计算的一个完整的高斯过程的整体近似。封闭形式和分布式计算允许高效和大规模的并行化，同时保持内存消耗小。如果有足够的计算资源，我们的模型可以处理任意大的数据集，没有显式稀疏近似。我们提供了强有力的实验证据表明，我们的模型可以应用于规模远远超过数百万的大型数据集。因此，我们的模型有可能为一般大规模高斯过程的研究奠定基础。
2014-12-09 cs.AI cs.LG stat.CO
Hierarchical Gaussian Process Models for Regression Discontinuity/Kink under Sharp and Fuzzy Designs
Texas A&M University（德州农工大学）
我们提出了非参数贝叶斯估计的因果推断利用回归不连续/扭结（RD/RK）下尖锐和模糊设计。我们的估计是基于高斯过程（GP）回归和分类。GP方法是强大的概率机器学习方法，其在导数估计和不确定性量化方面是有利的，从而促进RD/RK模型的RK估计和推断。这些估计器被扩展到具有中间贝叶斯神经网络层的分层GP模型，并且可以被表征为混合深度学习模型。蒙特卡罗模拟表明，我们的估计执行的精度，覆盖率和区间长度方面的竞争估计，有时甚至更好。层次GP模型大大改善了单层GP模型。我们应用所提出的方法来估计美国众议院选举的在职优势。我们的估计表明，在选票份额和在下次选举中获胜的可能性方面都有显着的在职优势。最后，我们提出了一个扩展，以适应协变量调整。
2022-02-28 cs.LG econ.EM stat.ML
Strongly Hierarchical Factorization Machines and ANOVA Kernel Regression
Arizona State University（亚利桑那州立大学）
高阶参数模型，包括功能相互作用的条款适用于各种数据采掘任务，其中地面真理取决于功能的相互作用。然而，在数据稀疏的情况下，用于特征交互的高维参数通常面临三个问题：计算昂贵、参数估计困难和缺乏结构。以前的工作已经提出的方法，可以部分地重新解决这三个问题。特别是，具有因子分解参数（例如因子分解机）和稀疏学习算法（例如FTRL-Proximal）的模型可以解决前两个问题，但无法解决第三个问题。关于非结构化参数，应用约束或复杂的正则化项，使得可以施加分层结构。然而，这些方法使优化问题更具挑战性。在这项工作中，我们提出了强层次分解机和ANOVA核回归，所有这三个问题都可以解决，而不会使优化问题更加困难。实验结果表明，所提出的模型显着优于国家的最先进的两个数据采掘任务：冷启动用户响应时间预测和股票波动预测。
2018-01-05 cs.LG
Comparing Multilayer Perceptron and Multiple Regression Models for Predicting Energy Use in the Balkans
Mathematical Institute of the S.A.S.A（塞尔维亚科学与艺术学院数学研究所）；University of Calabria（卡拉布里亚大学）
全球人口和经济变化对能源消耗总量产生关键影响，这就是为什么在预测能源消耗时必须考虑人口和经济参数。本研究是基于应用多元线性回归模型和神经网络模型，特别是多层感知器，预测能源消耗。1995-2014年期间的分析考虑了来自五个巴尔干国家的数据。以国内生产总值、人口总数和CO2排放量为预测变量，以能源消费量为因变量。分析表明，CO2排放量对能源消耗的影响最大，其次是国内生产总值，而人口数量的影响最小。然后将两种分析的结果用于对相同数据进行预测，然后将获得的值与实际值进行比较。据观察，多层感知器模型预测更好的能源消耗比回归模型。
2018-10-26 cs.LG stat.ML
HiPaR: Hierarchical Pattern-aided Regression
Inria（法国国家信息与自动化研究所）；Aalborg University（奥尔堡大学）；University of Rennes 1（雷恩第一大学）
我们介绍了HiPaR，一种新的模式辅助回归方法，用于包含分类和数值属性的表格数据。HiPaR挖掘$p \Rightarrow y = f(X)$形式的混合规则，其中$p$是数据区域的表征，而$f(X)$是关于感兴趣的变量$y$的线性回归模型。HiPaR依赖于模式挖掘技术来识别数据区域，其中目标变量可以通过局部线性模型准确解释。该方法的新颖之处在于结合了一种枚举方法来探索区域空间和有效的搜索指导。这样的策略在选择解释整个数据集的一小组联合准确和人类可读的混合规则时提供了更大的灵活性。正如我们的实验所示，HiPaR比现有的基于模式的回归方法挖掘更少的规则，同时仍然获得最先进的预测性能。
2021-02-24 cs.LG
Predicting the Stability of Hierarchical Triple Systems with Convolutional Neural Networks
Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）；Research Center for the Early Universe, School of Science, The University of Tokyo（东京大学理学部早期宇宙研究中心）
由于其固有的混沌性质，理解分层三重系统的长期演化是具有挑战性的，并且需要计算昂贵的模拟。在这里，我们提出了一个卷积神经网络模型来预测层次三元组的稳定性，通过观察它们在第一个$5 \times 10^5$内部二元轨道的演变。我们采用正则化的少体代码TSUNAMI来模拟$5\times 10^6$层次三元组，从中我们生成一个大型的训练和测试数据集。我们开发了十二种不同的网络配置，使用不同的三重轨道元素的组合，并比较它们的性能。我们的最佳模型使用6个时间序列，即半长轴比，内外偏心率，相互倾斜和近心角。该模型实现了超过$95\%$的曲线下面积，并提供了研究三重系统稳定性的相关参数。所有的训练模型都是公开的，允许预测分层三元系统的稳定性比纯$N$体方法快$200$倍。
2022-09-01 astro-ph.EP astro-ph.SR cs.LG
Regularization Strategies for Quantile Regression
Google Research（谷歌研究院）
我们研究了不同的方法来正则化分位数回归时预测的一个子集的分位数或完整的逆CDF。我们表明，即使只预测一个特定的分位数时，最大限度地减少预期的弹球损失的连续分布的分位数是一个很好的正则化。对于预测多个分位数，我们建议通过使用将分位数视为单调输入特征的深度网格网络来实现非交叉分位数的经典目标，并且我们讨论了为什么其他特征的单调性是分位数回归的适当正则化器。我们表明，晶格模型使正则化的预测分布的位置-规模的家庭。最后，我们建议应用速率约束来改进特定兴趣子集上的分位数预测的校准，并提高公平性度量。我们展示了我们的贡献模拟，基准数据集，和真正的分位数回归问题。
2021-02-09 cs.LG stat.ME stat.ML
Predicting housing prices and analyzing real estate market in the Chicago suburbs using Machine Learning
Neuqua Valley High School（纽卡谷高中）；University of Connecticut（康涅狄格大学）
住房物业的定价由多种因素决定。然而，疫情后芝加哥郊区的市场出现波动，对房价造成很大影响。在这项研究中，对Naperville/Bolingbrook房地产市场进行了分析，通过机器学习模型根据这些住房属性预测房地产价格，并评估这些模型在波动的市场空间中的有效性。从房地产网站Redfin收集数据，从2018年到2022年夏季的销售数据被收集用于研究。通过分析这段时间内的销售情况，我们还可以了解房地产市场的状况，并确定价格趋势。为了对数据建模，使用的模型是线性回归、支持向量回归、决策树回归、随机森林回归和XGBoost回归。为了分析结果，对每个模型的MAE、RMSE和R平方值进行了比较。研究发现，尽管疫情后的情况造成了额外的波动，但XGBoost模型在预测房价方面表现最好。建模后，Shapley值（SHAP）用于评估构建模型时变量的权重。
2022-10-12 cs.LG
Hierarchical Embedded Bayesian Additive Regression Trees
Hamilton Institute, Maynooth University（汉密尔顿研究所，梅努斯大学）；Maynooth University（梅努斯大学）
本文提出 HE-BART，通过在回归树终端节点嵌入随机效应，构建无需预设随机效应结构的非参数混合效应建模方法，并在模拟与真实数据中展现更优预测及方差一致估计。
2023-04-24 cs.LG stat.ME
Predicting conditional probability distributions of redshifts of Active Galactic Nuclei using Hierarchical Correlation Reconstruction
Jagiellonian University（雅盖隆大学）
虽然一般关注于值的预测，但真实数据通常仅允许预测条件概率分布，其能力受条件熵$H(Y|X)$的限制。如果另外估计不确定性，我们可以将预测值视为拉普拉斯分布的高斯中心-理想化，其可以远离真实数据的复杂条件分布。本文应用分层相关重构（HCR）方法来廉价地预测相当复杂的条件概率分布（例如多峰）：通过多个矩参数的独立MSE估计，这允许重构条件分布。为此目的使用线性回归，我们得到可解释的模型：用系数描述特征对条件矩的贡献。本文在原有方法的基础上进行了扩展，特别是采用典型相关分析（CCA）进行特征优化和l1“lasso”正则化，重点研究了基于Fourth Fermi-LAT Data Release 2（4LAC）数据集的活动星系核（AGN）红移预测的实际问题。
2022-06-13 astro-ph.GA astro-ph.HE cs.LG
Predicting Drug Solubility Using Different Machine Learning Methods -- Linear Regression Model with Extracted Chemical Features vs Graph Convolutional Neural Network
Harvard University（哈佛大学）；University of California, Berkeley（加州大学伯克利分校）；Carlmont High School（卡尔蒙特高中）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
本研究比较了线性回归模型与图卷积神经网络在药物溶解度预测中的表现，发现GCNN性能更优但可解释性有限，而线性回归可通过特征重要性分析揭示原子和官能团对溶解度的影响。
2024-01-05 cs.LG q-bio.QM
Early Anomaly Detection in Time Series: A Hierarchical Approach for Predicting Critical Health Episodes
LIAAD-INESC TEC（波尔图LIAAD-INESC技术研究所）；Dalhousie University（达尔豪斯大学）；University of Porto（波尔图大学）；Fraunhofer AICOS Portugal（弗劳恩霍夫葡萄牙AICOS研究所）
在时间序列数据中的异常事件的早期检测在许多应用领域中是必不可少的。在本文中，我们处理的关键健康事件，这是一个重要的原因，死亡率在重症监护病房的医院。及时预测这些事件对于减轻其后果和改善医疗保健至关重要。解决早期异常检测问题的最常见方法之一是标准分类方法。在本文中，我们提出了一种新的方法，使用分层学习架构来解决这些任务。我们的工作的一个关键贡献是预条件事件的想法，这表示任意但可计算的放松版本的事件的兴趣。我们利用这个想法，打破了原来的问题分为两个层次，我们假设更容易解决。结果表明，所提出的方法导致一个更好的性能相对于国家的最先进的关键健康事件预测的方法。
2020-10-22 cs.LG stat.ML
A Study of Clustering Techniques and Hierarchical Matrix Formats for Kernel Ridge Regression
University of Michigan（密歇根大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
我们提出了内存效率和可扩展的算法，用于机器学习的内核方法。使用分层矩阵近似的内核矩阵的内存需求，浮点运算的数量，和执行时间大大减少相比，标准的密集线性代数例程。我们考虑了一般的$\mathcal{H}$矩阵层次格式以及层次半可分（HSS）矩阵。此外，我们研究了几种预处理和聚类技术对层次矩阵压缩的影响。输入的有效聚类导致压缩效率提高十倍。这些算法是使用STRUMPACK求解器库实现的。这些结果证实，-正确调整的超参数-分类使用核岭回归与压缩矩阵不失去预测精度相比，确切的-未压缩-核矩阵，我们的方法可以扩展到$\mathcal{O}(1M)$数据集，其中计算与完整的内核矩阵变得过于昂贵。我们目前的数值实验在分布式内存环境中高达1,024处理器的NERSC的科里超级计算机使用众所周知的数据集的机器学习社区，范围从8到784。
2018-03-27 cs.LG stat.ML
A Hierarchical Regression Chain Framework for Affective Vocal Burst Recognition
Microsoft（微软）
作为一种常见的非语言发声情感信号传递方式，爆发式发声在日常社会交往中发挥着重要作用。理解和建模人类的声音爆发是开发强大的和通用的人工智能必不可少的。探索理解语音爆发的计算方法正吸引越来越多的研究关注。在这项工作中，我们提出了一个分层框架，基于链回归模型，从VB的情感识别，明确考虑多种关系：（一）情绪状态和不同的文化之间;（二）低维（唤醒和效价）和高维（10情感类）的情感空间之间;（三）在高维空间内的各种情感类之间。为了解决数据稀疏性的挑战，我们还使用了具有逐层和时间聚合模块的自监督学习（SSL）表示。该系统参加了ACII情感发声（A-VB）挑战赛2022，并在“TWO”和“CULTURE”任务中排名第一。基于ACII Challenge 2022数据集的实验结果证明了该系统的优越性能和使用分层回归链模型考虑多重关系的有效性。
2023-03-14 cs.LG cs.SD eess.AS
Spatio-Temporal Structured Sparse Regression with Hierarchical Gaussian Process Priors
University of Sheffield（谢菲尔德大学）；University of Oxford（牛津大学）
本文介绍了一种新的稀疏时空结构的高斯过程回归的在线和离线贝叶斯推断框架。这是第一个框架，它给出了感兴趣的稀疏信号的分量之间的相互依赖性的时间演化表示。一个分层的高斯过程描述了这样的结构和相互依赖性表示通过先验分布的协方差阵。该推断基于期望传播法，并给出了后验分布的理论推导。的推理框架进行了全面评估合成，真实的视频和脑电图（EEG）数据的时空演变模式需要重建高精度。与乘子交替方向法、时空稀疏贝叶斯学习法和单层高斯过程模型相比，该方法的F测度提高了15%。此外，所提出的算法所需的内存是小于在一级高斯过程模型。这种结构化的稀疏回归框架具有广泛的适用性，源定位和目标检测问题与稀疏信号。
2018-07-15 cs.LG stat.ML
A Regression Framework for Predicting User's Next Location using Call Detail Records
University of Tehran（德黑兰大学）
随着手机使用量的增长和智能移动设备多样性的增加，在使用这些设备的过程中不断产生大量的数据。在这些数据中，呼叫详细记录（CDR）非常引人注目。由于CDR包含时间和空间标签，CDR的移动性分析是研究者们最喜欢的研究课题之一。用户的下一个位置预测是人类移动性分析领域的主要问题之一。在本文中，我们提出了一个数据处理框架来预测用户的下一个位置。我们提出了特定领域的数据处理策略，并设计了一个基于递归神经元的深度神经网络模型，并执行回归任务。使用这种预测框架，预测的误差从74%降低到55%，相比最差和最好的传统模型。本文的方法、策略、框架和结果可以在城市规划和数字营销等许多应用中提供帮助。
2019-12-22 cs.LG stat.ML
Do not forget interaction: Predicting fatality of COVID-19 patients using logistic regression
University of Michigan（密歇根大学）；Fudan University（复旦大学）；Shenzhen University（深圳大学）
在持续的COVID-19大流行中，高风险的COVID-19患者能否康复，在很大程度上取决于他们在病毒对患者造成不可逆转的后果之前能够尽早得到适当的治疗。在这项研究中，我们报告了一个基于逻辑斯谛回归的可解释、直观和准确的机器学习模型，仅使用三种重要的血液生物标志物，包括乳酸脱氢酶、淋巴细胞（%）和高敏C反应蛋白及其相互作用来预测COVID-19患者的病死率。我们发现，当逻辑斯谛回归模型产生的死亡概率大于0.8时，该模型具有最佳性能，因为它能够预测平均超过11.30天的患者死亡，最大提前34.91天，累积f1得分为93.76%，累积准确率得分为93.92%。该模型可用于识别具有三种血液生物标志物的高风险COVID-19患者，并帮助世界各地的医疗系统在此大流行期间规划关键的医疗资源。
2020-06-30 cs.LG stat.AP
Performance Evaluation of Regression Models in Predicting the Cost of Medical Insurance
Richwell Colleges, Incorporated（里奇韦尔学院公司）；Polytechnic College of Botolan（博托兰理工学院）；Bulacan State University（布拉干州立大学）
本研究基于KDD流程比较三种机器学习回归模型对医疗保险费用的预测性能，发现Gradient Boosting效果最佳，并指出smoker是导致高费用的关键特征。
2023-04-25 cs.LG
Predicting students' learning styles using regression techniques
Princess Sumaya University for Technology（苏玛雅公主科技大学）；Applied Science Private University（应用科学私立大学）
传统的学习系统对COVID大流行做出了快速反应，并转向在线或远程学习。在线学习需要个性化的方法，因为学习者和教师之间的互动是最小的，学习者有一个特定的学习方法，最适合他们。个性化学习的方法之一是检测学习者的学习风格。为了检测学习风格，已经提出了几个作品使用分类技术。然而，当学习者没有主导风格或混合学习风格时，当前的检测模型变得无效。因此，本研究的目的是双重的。首先，构建一个基于回归分析的预测模型，提供了一个概率的方法来推断首选的学习风格。其次，比较了回归模型和分类模型在学习风格识别中的应用。地面我们的概念模型，一组机器学习算法已被实施的基础上收集的样本的72名学生使用视觉，听觉，阅读/写作，动觉（VARK的）库存问卷的数据集。结果表明，回归技术比分类算法更准确，更能代表现实世界的场景，学生可能有多种学习风格，但概率不同。我们相信，这项研究将有助于教育机构从事学习风格在教学过程中。
2022-09-12 cs.CY cs.LG
Hierarchical Regression Network for Spectral Reconstruction from RGB Images
City University of Hong Kong（香港城市大学）；SenseTime Research（商汤科技研究院）；Harbin Institute of Technology（哈尔滨工业大学）
利用高光谱相机获取可见光图像，由于其窄带成像技术，已经成功地应用于许多领域。从RGB图像的高光谱重建表示通过发现逆响应函数的高光谱成像的逆过程。目前的工作主要是RGB图像直接映射到相应的频谱，但没有考虑上下文信息显式。此外，在现有的算法中使用的编码器-解码器对导致信息的丢失。为了解决这些问题，我们提出了一个4级分层回归网络（HRNet）与PixelShuffle层作为层间交互。此外，我们采用了一个剩余的密集块，以消除真实世界的RGB图像的伪影和一个剩余的全局块建立注意机制，扩大感知领域。我们通过参加NTIRE 2020年RGB图像光谱重建挑战赛来评估所提出的HRNet与其他架构和技术。HRNet是轨道2 -真实世界图像的获胜方法，在轨道1 -干净图像中排名第三。请访问项目网页https://github.com/zhaoyuzhi/Hierarchical-Regression-Network-for-Spectral-Reconstruction-from-RGB-Images，尝试我们的代码和预训练模型。
2020-05-10 cs.CV cs.LG eess.IV
Approximate Cross-validated Mean Estimates for Bayesian Hierarchical Regression Models
Pennsylvania State University（宾夕法尼亚州立大学）；University of Florida（佛罗里达大学）；Dalian University of Technology（大连理工大学）
本文提出一种通过以方差-协方差参数为条件、将交叉验证转化为优化问题的方法，从而高效获得贝叶斯分层回归模型的近似交叉验证预测估计，避免逐折重跑昂贵计算，并在理论与实验上验证其有效性。
2024-09-27 cs.LG stat.CO stat.ML
Efficient Multiscale Gaussian Process Regression using Hierarchical Clustering
University of Michigan（密歇根大学）
标准高斯过程（GP）回归是一种功能强大的机器学习工具，但在应用于大型数据集时计算量很大，并且在数据点稀疏分布于高维特征空间时可能不准确。为了解决这些挑战，提出了一种新的多尺度、稀疏GP算法，目标是应用于大型科学计算数据集。在这种方法中，数据被划分为聚类，聚类中心用于定义精简的训练集，从而在训练和评估成本方面优于标准GP。此外，分层技术用于自适应地将局部协方差表示映射到特征空间的底层稀疏性，从而在数据分布高度不均匀时提高预测精度。对该算法的计算复杂性进行了理论分析。这种方法的有效性，然后证明光滑和不连续的分析功能和数据从湍流燃烧的直接数值模拟。
2016-03-07 cs.LG stat.ML
Predicting Conditional Quantiles via Reduction to Classification
Toyota Technological Institute（丰田技术学院）；IBM T. J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Universidade Federal Fluminense（弗鲁米嫩塞联邦大学）
我们展示了如何减少预测一般顺序统计量（特别是中位数）的过程来解决分类问题。附带的理论陈述表明，在分位数损失下，分类器的遗憾限制了分位数回归的遗憾。我们还在大型现实数据集上对现有的分位数回归方法进行了经验测试，发现它提供了最先进的性能。
2012-06-27 cs.LG stat.ML
IntentRec: Predicting User Session Intent with Hierarchical Multi-Task Learning
Netflix
针对用户会话意图感知以提升推荐质量的需求，提出基于分层多任务神经网络的IntentRec框架，利用长短期隐式信号预测意图并用于下一个物品推荐，在Netflix数据集上性能优于现有先进模型。
2025-05-20 cs.IR cs.LG
An Explainable Regression Framework for Predicting Remaining Useful Life of Machines
University of Engineering and Technology（工程技术大学）；Munster Technological University（芒斯特理工大学）；AJOU University（亚洲大学）
预测设备的剩余使用寿命是预测性维护的关键任务之一。该任务被视为一个回归问题，其中机器学习（ML）算法用于预测机器组件的RUL。这些机器学习算法通常被用作黑箱，完全专注于性能，而不确定算法决策背后的潜在原因及其工作机制。我们认为，性能（在均方误差（MSE）等方面）仅凭这些是不足以建立利益相关者对ML预测的信任的，还需要对预测背后的原因有更多的了解。为此，在本文中，我们通过提出一个可解释的回归框架来预测机器的RUL，从而探索可解释AI（XAI）技术的潜力。我们还评估了几种ML算法，包括经典的和基于神经网络（NN）的任务解决方案。对于解释，我们依赖于两种模型不可知的XAI方法，即局部可解释模型不可知解释（LIME）和Shapley加法解释（SHAP）。我们相信，这项工作将为该领域的未来研究提供一个基线。
2022-04-30 cs.AI cs.LG
Predicting Performance on MOOC Assessments using Multi-Regression Models
George Mason University（乔治梅森大学）
在过去的几年里，用于分析从大规模开放式在线课程（MOOC）获得的数据的数据挖掘方法迅速增长。本研究的目的是开发一种方法来预测学生可能达到的分数在给定的等级相关的评估的基础上的信息，被认为是先前的表现或先前的活动在课程中。在尝试评估活动之前，我们开发了一个个性化的线性多元回归（PLMR）模型来预测学生的成绩。开发的模型是实时的，并跟踪学生在MOOC中的参与（通过点击流服务器日志），并预测学生在课程提供中的下一次评估中的表现。我们通过斯坦福大学的一项倡议，对从三个openEdX MOOC获得的数据进行了一组综合性实验。我们的实验结果表明，与基线方法相比，所提出的方法的承诺，也有助于识别与学生的学习习惯和学习行为相关的关键特征。
2016-05-08 cs.CY cs.LG
Interpreting Complex Regression Models
Yahoo Research（雅虎研究院）；Amazon Research（亚马逊研究院）
解释机器学习诱导的模型对于特征工程、调试和合规性至关重要。然而，最好的机器学习模型往往非常复杂。本文提出了一种模型解释的方法，其主要优点是它提供的简单解释总是基于实际的学习示例集。该方法验证的任务，解释一个复杂的回归模型的背景下，一个学术问题-预测一首歌被记录和一个工业-预测邮件用户流失。
2018-02-26 cs.LG stat.ML
Multi-Task Ordinal Regression for Jointly Predicting the Trustworthiness and the Leading Political Ideology of News Media
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；SiteGround Hosting EOOD（SiteGround托管有限责任公司）；Harvard University（哈佛大学）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
在假新闻、偏见和宣传的背景下，我们研究了两个重要但相对未被充分探索的问题：（i）可信度估计（3分制）和（ii）整个新闻媒体的政治意识形态检测（7分制的左/右偏见），而不是评估单个文章。特别是，我们提出了一个多任务有序回归框架，模型的两个问题联合。这是由于观察到超党派性往往与低可信度有关，例如，他们倾向于诉诸情感，而不是坚持事实，而中心媒体通常更公正和可信。我们进一步使用几个辅助任务，建模中心，超党派，以及左vs。在粗粒度尺度上的右偏。评估结果表明，相当大的性能增益的联合模型的模型，在孤立的目标问题。
2019-04-01 cs.IR cs.LG stat.ML
Highly Efficient Hierarchical Online Nonlinear Regression Using Second Order Methods
Bilkent University（比尔肯大学）；Turk Telekom Communications Services Inc.（土耳其电信通信服务公司）
我们介绍了高效的在线非线性回归算法，适用于现实生活中的应用。我们以真正的在线方式处理数据，因此不需要存储，即，数据在使用后被丢弃。对于非线性建模，我们使用分层分段线性方法的概念的基础上的决策树的回归向量的空间是自适应分区的基础上的性能。作为文献中的第一次，我们学习了回归空间的分段线性划分以及使用高效的二阶方法在每个区域中的线性模型，即，Newton-Raphson方法因此，我们通过使用分段线性模型避免了众所周知的过度拟合问题，然而，由于区域边界以及每个区域中的线性模型都是使用二阶方法训练的，我们实现了实质性的性能相比，最先进的。我们证明了我们的收益超过了众所周知的基准数据集，并提供了性能结果，在一个单独的序列方式保证举行，没有任何统计假设。因此，所介绍的算法解决了现实生活中广泛遇到的计算复杂性问题，同时在强确定性意义上提供了优越的保证性能。
2017-01-18 cs.LG
Hierarchical Mixtures-of-Experts for Exponential Family Regression Models with Generalized Linear Mean Functions: A Survey of Approximation and Consistency Results
Northwestern University（西北大学）
研究了一类分层混合专家模型，其中指数族回归模型的广义线性均值函数为psi（ga+fx^Tfgb）.这里psi（.）是反向链接函数。假设真实响应y遵循指数族回归模型，其均值函数属于一类形式为psi（h（fx））的光滑函数，其中h（.）在W_2^infty（[0，1]^{s}上的Sobolev类）中。结果表明，HME概率密度函数在Lp范数下以O（m^{-2/s}）的速度逼近真密度，在Kullback-Leibler散度下以O（m^{-4/s}）的速度逼近真密度.这些速率可以在具有不超过s层的HME结构族内实现，其中s是预测因子fx的维度。它还表明，基于HME的似然推理是一致的恢复真相，在这个意义上，作为样本大小n和专家的数量m都增加，预测的平均响应的均方误差为零。这样的结果举行的条件进行了说明和讨论。
2013-01-30 cs.LG stat.ML
Integrating feature selection and regression methods with technical indicators for predicting Apple Inc. stock prices
Birjand University of Technology（比尔詹德理工大学）；Yazd University（亚兹德大学）
本研究利用苹果公司13年数据，结合123个技术指标与10种回归模型，通过特征选择显著提升股价预测精度，最佳组合为3天窗口下线性回归与岭回归，MSE为0.00025。
2025-10-15 cs.LG q-fin.ST
Enhancing Supply Chain Resilience: A Machine Learning Approach for Predicting Product Availability Dates Under Disruption
General Electric Research Center（通用电气研究中心）；General Electric Gas Power（通用电气燃气动力公司）
针对供应链中断下产品到货日期不确定的问题，结合GE燃气电力部门真实货运数据，测试多种回归模型后发现树基算法RF与GBM预测精度最优，可助力企业降本控险。
2023-04-28 cs.LG
Predicting Indian stock market using the psycho-linguistic features of financial news
Institute for Development and Research in Banking Technology (IDRBT)（银行技术发展与研究院）；University of Hyderabad（海得拉巴大学）；Indian Institute of Technology Kharagpur（印度理工学院卡哈拉格普尔分校）
利用新闻文章进行财务预测是一个新兴领域。本文提出了一种基于混合智能模型的股票市场预测方法，该方法使用从新闻文章中提取的心理语言变量（LIWC和TAALES）作为预测变量。为了预测的目的，我们采用了各种智能技术，如多层感知器（MLP），组数据处理方法（GMDH），一般回归神经网络（GRNN），随机森林（RF），分位数回归随机森林（QRRF），分类和回归树（CART）和支持向量回归（SVR）。我们对12家在孟买证券交易所（BSE）上市的公司股票的数据进行了实验。我们采用卡方和最大相关性和最小冗余（MRMR）的心理语言学功能，从新的文章等获得的功能选择技术，经过广泛的实验，使用Diebold-Mariano测试，我们得出结论，GMDH和GRNN是统计上最好的技术，在该顺序相对于MAPE和NRMSE值。
2019-11-07 cs.LG q-fin.ST
Predicting kernel regression learning curves from only raw data statistics
本研究提出通过Hermite特征结构假设预测学习曲线，展示了在真实数据集上通过数据统计预测模型性能的可行性。
2026-10-07 cs.AI cs.LG
A Hierarchical Bayesian Linear Regression Model with Local Features for Stochastic Dynamics Approximation
University of Washington（华盛顿大学）；University of Maryland, College Park（马里兰大学帕克分校）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
基于模型的随机动态系统控制的挑战之一是涉及状态转移动力学，并且不容易或有效地对状态进行高质量的预测。此外，大多数自治系统的代表性模型并不多，因为要建立一个紧凑的模型来捕捉整个动态的微妙之处和不确定性并不容易。在这项工作中，我们提出了一个分层贝叶斯线性回归模型与本地功能学习的动力学的微型机器人系统以及两个简单的例子，包括一个随机的质量弹簧阻尼器和一个随机的双倒立摆推车。该模型是分层的，因为我们假设模型参数的非平稳先验。这些非平稳先验通过在模型的先验上施加先验而使模型更加灵活。为了解决这个分层模型的最大似然（ML）问题，我们使用变分期望最大化（EM）算法，并通过引入隐藏的目标变量来增强过程。该算法产生简约的模型结构，并始终为我们所有涉及大型训练集和测试集的示例提供快速准确的预测。这证明了该方法在学习随机动力学中的有效性，这使得它适合于将来在诸如基于模型的强化学习的范例中使用，以实时的计算最优控制策略。
2018-08-01 cs.LG stat.ML
Predicting Surgery Duration with Neural Heteroscedastic Regression
University of California, San Diego（加利福尼亚大学圣地亚哥分校）
由于临床环境的根本不确定性以及与预订不足和超额相关的风险和成本，手术安排是一项具有挑战性的任务。我们研究神经回归算法来估计手术病例持续时间的参数，重点是异方差问题。我们寻求同时估计每个手术的持续时间，以及我们对手术持续时间的不确定性的特定手术概念。估计这种不确定性可以导致更微妙和有效的调度策略，因为我们能够更有效地调度手术，同时允许知情和特定病例的误差幅度。使用手术记录%从加州大学圣地亚哥分校卫生系统，从一个大型的美国卫生系统，我们证明了潜在的改进，在20%的顺序（在分钟超额预订）相比，目前的调度技术。此外，我们证明了手术持续时间确实是异方差的。我们发现，估计特定情况下的不确定性的模型更好地拟合数据（对数似然）。此外，我们表明，异方差预测可以更好地权衡超过和预订分钟，特别是当空闲时间和调度冲突赋予不同的成本。
2017-07-13 cs.LG cs.NE stat.ML
Hierarchical Bayesian Regression for Multi-Site Normative Modeling of Neuroimaging Data
Radboud University（拉德堡德大学）；Radboud University Medical Centre（拉德堡德大学医学中心）；University of Oslo（奥斯陆大学）；Oslo University Hospital（奥斯陆大学医院）；King’s College London（伦敦国王学院）
临床神经影像学最近见证了数据可用性的爆炸性增长，这使得研究临床队列中的异质性成为人们关注的焦点。规范建模是实现这一目标的一个新兴统计工具。然而，其应用在技术上仍然具有挑战性，这是由于在适当地处理干扰变化方面的困难，例如由于图像采集设备的可变性。在这里，在一个完全概率的框架，我们提出了一个应用程序的层次贝叶斯回归（HBR）多站点规范建模。我们的实验结果证实了HBR的优越性，在获得更准确的规范范围的大型多站点神经影像学数据相比，广泛使用的方法。这提供了以下可能性：i）在大型多站点数据上学习结构和功能大脑测量的规范范围; ii）在本地小数据上重新校准和重用学习的模型;因此，HBR关闭了将规范建模应用为精神障碍诊断和预后的医学工具的技术循环。
2020-05-25 cs.LG stat.AP stat.ML
Hierarchical Routing Mixture of Experts
Carnegie Mellon University（卡内基梅隆大学）
在回归任务中，数据的分布往往过于复杂，无法用单一模型拟合。相比之下，开发基于分区的模型，其中数据被划分并由局部模型拟合。这些模型划分了输入空间，并且没有利用多模分布式数据的输入-输出依赖性，并且需要强大的本地模型来进行良好的预测。针对这些问题，我们提出了一个二叉树结构的分层路由混合专家模型（HRME）模型，分类器作为非叶节点专家和简单的回归模型作为叶节点专家。分类器节点基于多模态数据的自然分离性对输入输出空间进行联合软划分。这使得简单的叶专家能够有效地进行预测。此外，我们开发了一个概率框架的HRME模型，并提出了一个递归的期望最大化（EM）为基础的算法来学习的树结构和专家模型。一组回归任务的实验验证了我们的方法的有效性相比，各种其他回归模型。
2019-03-18 cs.LG stat.ML
Modeling groundwater levels in California's Central Valley by hierarchical Gaussian process and neural network regression
California Institute of Technology（加州理工学院）；Jet Propulsion laboratory（喷气推进实验室）
针对加州中央谷地井数据稀疏含噪导致地下水位建模困难的问题，提出结合高斯过程与深度神经网络的分层回归方法，有效量化不确定性并揭示2017和2019丰水年未能有效补充干旱期地下水损失。
2024-10-12 cs.LG physics.geo-ph
Predicting Alzheimer's Disease by Hierarchical Graph Convolution from Positron Emission Tomography Imaging
Yuanpei College Peking University（北京大学元培学院）；Massachusetts General Hospital（麻省总医院）；College of Computer Science Zhejiang University（浙江大学计算机学院）
基于影像学的阿尔茨海默病（AD）早期诊断已成为一种有效的方法，特别是通过使用核医学成像技术，如正电子发射断层扫描（PET）。在各种文献中，已经发现PET图像可以更好地建模为在网络（非欧几里德）结构上定义的信号（例如，florbetapir的摄取），该网络结构由其病理进展和代谢连通性的基础图形模式控制。为了有效地将深度学习框架应用于PET图像分析，以克服其在欧几里得网格上的局限性，我们开发了一种在广义的基于图的CNN架构（PETNet）下进行3D PET图像表示和分析的解决方案，该架构分析了在按组推断的图结构上定义的PET信号。PETNet中的计算在非欧几里德图（网络）域中定义，因为它通过对图上的频谱滤波信号进行卷积操作和基于分层图聚类的池化操作来执行特征提取。PETNet的有效性在阿尔茨海默病神经成像倡议（ADNI）数据集上进行了评估，该数据集显示了比深度学习和其他基于机器学习的方法更好的性能。
2019-10-01 cs.LG eess.IV stat.ML
Denoising the US Census: Succinct Block Hierarchical Regression
Google Research（谷歌研究）
本研究提出BlueDown方法，通过简洁的层次回归技术提升人口普查数据的准确性与一致性，满足隐私和结构约束，显著改善县和普查区层面的评估指标。
2026-03-10 cs.CR cs.LG
Hierarchical Bayesian Regression for Multi-Location Sales Transaction Forecasting
Microsoft（微软）
本文应用分层贝叶斯回归模型预测多地点全天销售交易，通过跨组共享推断解决单点数据不足问题，在保证可扩展性的同时提升了预测准确度。
2023-06-30 cs.LG stat.AP
Advancing Speech Synthesis using EEG
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在本文中，我们介绍了注意力回归模型，以证明预测从脑电图（EEG）的功能记录在平行的口语句子的声学特征。首先，我们展示了使用我们的注意力模型直接从EEG特征预测声学特征，然后我们展示了使用两步方法从EEG特征预测声学特征，在第一步中，我们使用我们的注意力模型从EEG特征预测发音特征，然后在第二步中，训练另一个注意力回归模型将预测的发音特征转换为声学特征。我们提出的注意力回归模型与作者在[1]中介绍的回归模型相比，在测试期间使用他们的数据集对大多数受试者进行测试时，表现出优越的性能。本文提出的结果进一步推进了作者在[1]中描述的工作。
2020-05-03 cs.LG cs.SD eess.AS
The supervised hierarchical Dirichlet process
Google Inc.（谷歌公司）；University of Edinburgh（爱丁堡大学）
我们提出了监督分层狄利克雷过程（sHDP），一组观测值和一个与整个组直接相关的响应变量的联合分布的非参数生成模型。我们比较sHDP与另一种领先的分组数据回归方法，监督潜在狄利克雷分配（sLDA）模型。我们评估我们的方法在两个现实世界的分类问题和两个现实世界的回归问题。贝叶斯非参数回归模型的基础上的狄利克雷过程，如狄利克雷过程广义线性模型（DP-GLM）先前已被探索，这些模型允许灵活的非线性关系建模。然而，到目前为止，分层狄利克雷过程（HDP）混合物在分组数据的监督问题中还没有得到显着的应用，因为HDP在分组数据上的直接应用会导致无法预测响应的学习聚类。sHDP通过允许从组结构和分配给每个组的标签中联合学习集群来解决这个问题。
2014-12-17 cs.LG stat.ML
Predicting Nearly As Well As the Optimal Twice Differentiable Regressor
Bilkent University（比尔肯特大学）
我们以单独的序列方式研究实值数据的非线性回归，在那里我们提供的结果保证在没有任何统计假设的情况下保持不变。我们解决了传统非线性回归方法的收敛和训练不足问题，并引入了一种算法，该算法通过增量分层结构（即，经由增量决策树）。特别地，我们提出了一个分段线性（或非线性）回归算法，该算法以数据驱动的方式划分回归空间，并在每个区域学习线性模型。与传统的方法不同，我们的算法逐渐增加的不相交的分区的数量在回归空间中的顺序方式，根据观察到的数据。通过这种数据驱动的方法，我们的算法顺序和渐近实现的性能的最佳二次可微回归函数的任何数据序列与未知的和任意长度。在一定的正则性条件下，该算法的计算复杂性仅为数据长度的对数。我们提供了明确的描述算法，并证明了显着的收益为著名的基准真实数据集和混沌信号。
2014-10-06 cs.LG stat.ML
Linear Regression in p-adic metric spaces
School of Computing, Australian National University（澳大利亚国立大学计算机学院）；School of Computing, Macquarie University（麦考瑞大学计算机学院）
针对传统欧氏度量难以捕捉层级数据离散分支特性的问题，该研究建立p进度量空间的机器学习理论，证明p进线性回归的最优n维平面过至少n+1个点，并通过NLP应用验证其实际价值。
2025-09-27 cs.CL cs.LG math.NT
Predicting the energetic proton flux with a machine learning regression algorithm
INAF-Istituto di Astrofisica e Planetologia Spaziali（意大利国家天体物理研究所天体物理学与行星空间研究所）
针对太阳质子事件预测多采用分类模型的现状，提出仅用电子通量特征的机器学习回归算法，可提前1小时预测高能质子通量，适用于深空近地辐射监测及火星等无实时耀斑数据的航天任务。
2024-06-18 astro-ph.IM astro-ph.SR cs.LG
A hierarchical Vovk-Azoury-Warmuth forecaster with discounting for online regression in RKHS
Institute of Mathematics, Mechanics and Computer Sciences of the Southern Federal University（南方联邦大学数学、力学与计算机科学学院）；Regional Scientific and Educational Mathematical Center of the Southern Federal University（南方联邦大学区域科学与教育数学中心）
本文针对 RKHS 中的在线回归问题，提出一种结合随机特征近似与 DVAW 框架的自适应分层算法 H-VAW-D，能同时学习折扣因子和特征数量，并证明了其最优的期望动态遗憾界。
2025-06-27 cs.LG stat.ML
DeepPySR -- A Symbolic Regression Framework with Dynamic Pruning, Pareto Selection, and Hierarchical Composition for Real-World Scientific Discovery
International Centre for Radio Astronomy Research (ICRAR), University of Western Australia（国际射电天文学研究中心（ICRAR），西澳大利亚大学）；The Raine Study, University of Western Australia（雷恩研究中心，西澳大利亚大学）；Menzies Institute for Medical Research, University of Tasmania（孟席斯医学研究所，塔斯马尼亚大学）；Nutrition & Health Innovation Research Institute, School of Medical and Health Sciences, Edith Cowan University（营养与健康创新研究所，伊迪斯科文大学医学与健康科学学院）
针对符号回归面临的高维输入等挑战，DeepPySR通过动态变量剪枝、指数帕累托选择标准和分层符号组合架构来解决，在多个数据集上表现出色，能产生与领域风险因素一致的可解释公式。
2026-07-10 cs.LG
