Analyzing Upper Bounds on Mean Absolute Errors for Deep Neural Network Based Vector-to-Vector Regression
Georgia Institute of Technology（佐治亚理工学院）；University of Science and Technology of China（中国科学技术大学）
在本文中，我们证明了，在利用深度神经网络（DNN）的向量到向量回归中，预测和期望特征向量之间的广义平均绝对误差损失（MAE）的上限是近似误差，估计误差和优化误差之和。利用统计学习理论和非凸优化理论中的误差分解技术，我们推导出上述三种误差的上界，并对DNN模型施加必要的约束。此外，我们评估我们的理论结果，通过一组图像去噪和语音增强实验。我们提出的基于DNN的向量到向量回归的MAE上界得到了实验结果的证实，并且在使用和不使用“过度参数化”技术的情况下，上界都是有效的。
2020-08-04 cs.LG eess.SP stat.ML
Neural interval-censored survival regression with feature selection
Instituto de Ciencias Matemáticas, CSIC（数学科学研究所（西班牙高等科学研究理事会））；Universidad Autónoma de Madrid（马德里自治大学）；Harvard University（哈佛大学）；Université Paris 1 Panthéon-Sorbonne（巴黎第一大学先贤祠-索邦大学）；University of North Carolina, Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出一种基于加速失效时间模型的神经区间删失生存回归预测框架，结合稀疏神经网络进行变量选择，在非线性场景下优于传统算法。
2024-08-22 cs.LG stat.ME stat.ML
On Feature Selection Using Anisotropic General Regression Neural Network
University of Lausanne - Faculty of Geosciences and Environment（洛桑大学地球科学与环境学院）；Scientific Computing and Research Support Unit Computer Center UNIL（洛桑大学计算机中心科学计算与研究支持单元）
输入数据集中不相关特征的存在往往会降低机器学习模型的可解释性和预测质量。因此，开发识别不相关特征的特征选择方法是机器学习中的一个重要课题。在这里，我们展示了如何使用具有各向异性高斯核的一般回归神经网络来执行特征选择。利用模拟数据进行了大量的数值实验，以研究所提出的方法的鲁棒性及其对样本量的敏感性。最后，与其他四种特征选择方法进行了比较，在几个真实世界的数据集。
2020-10-12 cs.AI cs.LG stat.ML
Gradient Descent Finds Over-Parameterized Neural Networks with Sharp Generalization for Nonparametric Regression
Arizona State University（亚利桑那州立大学）；VecML Inc.（VecML公司）
本文证明带早停的梯度下降训练过参数化两层神经网络可在有界协变量无分布假设下达到与经典核回归相同的锐利非参数回归风险速率，并解决了停止时间、网络宽度下界和恒定学习率等开放问题。
2025-11-06 cs.IT cs.LG math.IT
Consistency for Large Neural Networks: Regression and Classification
Department of Data Science and Statistics, National University of Singapore（数据科学与统计系，新加坡国立大学）
本研究通过理论分析揭示了大规模神经网络在回归与分类任务中的一致性机制，证明了参数增加时近似误差下降，正则化保持泛化误差有界，并展示了深度网络在多任务中的统计一致性。
2026-01-02 cs.LG math.ST stat.ML
Distributional Regression for Arbitrary Response Variables Using ReLU Neural Networks
University of California, Los Angeles（加州大学洛杉矶分校）；Washington University in St Louis（华盛顿大学圣路易斯分校）
本文提出基于ReLU神经网络的任意响应变量分布回归统一框架，构建两类互补估计量并推导误差界与收敛速率，经模拟及真实数据实验验证其有效性。
2026-10-14 cs.LG math.ST stat.ME
Analysis and Design of Quadratic Neural Networks for Regression, Classification, and Lyapunov Control of Dynamical Systems
Concordia University（康考迪亚大学）；Queens University（女王大学）
本文讨论了二次神经网络的分析和设计，这是最近在文献中介绍的，以及它们在回归、分类、系统辨识和动态系统控制中的应用。这些网络提供了几个优点，其中最重要的是架构是设计的副产品，并且不是先验确定的，它们的训练可以通过求解凸优化问题来完成，从而实现权重的全局最优，并且输入-输出映射可以通过二次形式解析地表示。从几个例子中还可以看出，这些网络仅使用一小部分训练数据就能非常好地工作。本文的结果将回归、分类、系统辨识、稳定性和控制器设计等问题归结为凸优化问题，可以用多项式时间算法有效地求解。几个例子将显示二次神经网络在应用中的有效性。
2022-07-26 cs.LG math.OC
Neural Scaling Laws for Deep Regression
Asia Pacific Center for Theoretical Physics（亚太理论物理中心）；Department of Physics（物理系）；Pohang University of Science and Technology（坡山科学技术大学）
研究深度回归模型中神经扩展定律，通过参数估计模型探讨回归性能与训练数据量和模型容量的幂律关系，发现损失与这些因素呈1到2之间的幂律关系。
2025-11-24 cond-mat.other cs.LG
Regression and Classification with Single-Qubit Quantum Neural Networks
National Laboratory of Scientific Computing (LNCC)（国家科学计算实验室）
该研究提出单量子比特量子神经网络（SQQNN），结合新型数据上传技术，分别采用梯度下降与多项式回归启发的训练方法，在回归和分类任务中表现优异，适用于近期量子设备。
2026-08-12 cs.AI cs.LG quant-ph
An integrated recurrent neural network and regression model with spatial and climatic couplings for vector-borne disease dynamics
UC Irvine（加州大学尔湾分校）
我们开发了一个集成的循环神经网络和非线性回归时空模型的媒介传播疾病的演变。我们将气候数据和季节性作为与疾病传播昆虫（例如苍蝇）相关的外部因素，以及来自感兴趣区域周围邻近地区的溢出感染。气候数据通过推荐系统激励的二次嵌入方案编码到模型中。相邻区域的影响由一个长短期记忆神经网络来模拟。综合模型通过随机梯度下降进行训练，并在斯里兰卡2013-2018年发生感染暴发的利什曼病数据上进行测试。我们的模型在许多高感染地区的表现优于ARIMA模型，相关的消融研究支持我们的建模假设和想法。
2022-01-23 cs.LG cs.NA math.NA
On the rate of convergence of a deep recurrent neural network estimate in a regression problem with dependent data
Technische Universität Darmstadt（达姆施塔特工业大学）；Concordia University（康考迪亚大学）
考虑了一类非独立数据的回归问题。正则性假设的依赖性的数据进行了介绍，它表明，在适当的结构假设的回归函数的深度循环神经网络估计是能够规避灾难的维数。
2020-10-31 cs.LG stat.ML
Global quantitative robustness of regression feed-forward neural networks
Institute for Mathematics, Carl von Ossietzky University Oldenburg（奥尔登堡卡尔·冯·奥西茨基大学数学研究所）
神经网络是许多复杂学习任务不可或缺的模型类。尽管神经网络和许多不同的建立技术的稳定和鲁棒性的训练文献的流行和重要性，从鲁棒统计的经典概念很少被认为是迄今为止在神经网络的上下文中。因此，我们适应的回归故障点的概念，回归神经网络和计算故障点不同的前馈网络配置和污染设置。在一个广泛的模拟研究中，我们比较的性能，测量的样本外损失，由代理的故障率和训练步骤，非鲁棒性和鲁棒性的回归前馈神经网络在过多的不同配置。这些结果确实促使我们在神经网络训练中使用鲁棒的损失函数。
2022-11-18 cs.LG stat.ML
Neural Regression Trees
Carnegie Mellon University（卡内基梅隆大学）
通过分类回归（Regression-via-Classification，RvC）是将回归问题转换为分类问题的过程。RvC的当前方法使用ad-hoc离散化策略并且是次优的。我们提出了一个RvC的神经回归树模型。在这个模型中，我们采用了一个联合优化框架，在这个框架中，我们学习最佳离散化阈值，同时优化树中每个节点的特征。我们通过在两个具有挑战性的回归任务上测试我们的模型，以实证的方式证明了我们模型的有效性，在这两个任务中，我们建立了最先进的技术。
2019-04-03 cs.LG stat.ML
Neural Network Models for Contextual Regression
Department of Statistics, Chulalongkorn University（朱拉隆功大学统计系）
本文提出了一种用于上下文回归的神经网络模型，通过将上下文特征确定主动子模型和拟合模型的算法分离，实现了结构化且可解释的架构，参数更少。数学上证明该架构足以用标准神经网络组件表示上下文线性回归模型，并通过数值实验表明所提模型在参数数量相当的情况下，具有更低的均方误差和更稳定的性能。
2026-05-19 cs.LG stat.ML
Benchmarking the Neural Linear Model for Regression
University of Cambridge（剑桥大学）
神经线性模型是一种简单的自适应贝叶斯线性回归方法，最近已被用于从贝叶斯优化到强化学习的许多问题。尽管它在这些环境中取得了明显的成功，但据我们所知，还没有系统地探索它在简单回归任务上的能力。在这项工作中，我们的UCI数据集，贝叶斯回归模型的一个流行的基准，以及最近推出的UCI的“差距”数据集，这是更好的测试分布不确定性的特征。我们证明了神经线性模型是一种简单的方法，在这些任务上表现出良好的性能，但需要良好的超参数调整的成本。
2019-12-18 cs.LG stat.ML
Neural Networks as Linear Regression: An Introduction for Statisticians
Department of Mathematics Statistics and Computer Science（数学统计与计算机科学系）；Macalester College（麦克莱斯特学院）；Department of Biostatistics（生物统计学系）；University of Michigan（密歇根大学）
本文从频率学派统计学视角，通过将神经网络近似为线性回归来降低入门门槛，并介绍常见定制化方法作为进一步学习的基础。
2026-06-23 cs.LG stat.ML
Twin Neural Network Regression
Perimeter Institute for Theoretical Physics（圆周理论物理研究所）；University of Ottawa（渥太华大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）；University of Waterloo（滑铁卢大学）；National Research Council of Canada（加拿大国家研究委员会）
介绍了孪生神经网络（TNN）回归方法。该方法预测两个不同数据点的目标值之间的差异，而不是目标本身。然后，通过在未看见的数据点的目标和所有训练数据点的目标之间的所有预测差异的集合上求平均来获得传统回归问题的解。尽管集合的产生通常是昂贵的，但TNN回归本质上创建了两倍于训练集大小的预测集合，同时只训练单个神经网络。由于集成已被证明是更准确的比单一的模型，这个属性自然转移到TNN回归。我们表明，与其他最先进的方法相比，TNN能够竞争或产生更准确的预测不同的数据集。此外，TNN回归受到自洽条件的约束。我们发现，违反这些条件提供了一个估计的预测不确定性。
2020-12-29 cs.LG stat.ML
Structure and Distribution Metric for Quantifying the Quality of Uncertainty: Assessing Gaussian Processes, Deep Neural Nets, and Deep Neural Operators for Regression
Massachusetts Institute of Technology（麻省理工学院）
我们提出了两个有界的比较指标，可以实现任意尺寸的回归任务。一个是量化不确定性的结构，另一个是量化不确定性的分布。结构度量评估不确定性的形状和位置与真实误差的相似性，而分布度量量化两者之间的支持幅度。我们将这些指标应用于高维和非线性测试用例中的高斯过程（GP），嵌入式深度神经网络（DNN）和嵌入式深度神经运算符（DNO）。我们发现，比较模型的不确定性估计与模型的平方误差提供了一个令人信服的地面真相评估。我们还观察到，DNN和DNO，特别是与GP相比，在高维数据中提供了令人鼓舞的度量值，无论是稀疏还是丰富的数据。
2022-03-09 cs.LG stat.ML
Rank consistent ordinal regression for neural networks with application to age estimation
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Michigan State University（密歇根州立大学）
在许多现实世界的预测任务中，类标签包括关于标签之间的相对排序的信息，这不是由常用的损失函数（如多类别交叉熵）捕获的。最近，深度学习社区采用了有序回归框架来考虑这种排序信息。神经网络通过将有序目标转换为二进制分类子任务来配备有序回归能力。然而，这种方法遭受不同的二进制分类器之间的不一致。为了解决这些不一致性，我们提出了一致的RANK Logits（CORAL）框架，具有强有力的理论保证秩单调性和一致的置信分数。此外，所提出的方法是架构不可知的，可以扩展任意国家的最先进的深度神经网络分类器的顺序回归任务。对一系列用于年龄预测的面部图像数据集的经验评估表明，与参考有序回归网络相比，预测误差大幅降低。
2020-11-13 cs.LG stat.ML
Tensor-on-tensor Regression Neural Networks for Process Modeling with High-dimensional Data
School of Industrial and Systems Engineering, Georgia Institute of Technology（工业与系统工程学院，佐治亚理工学院）
本文提出张量对张量回归神经网络（TRNN），统一张量几何保持与非线性表达能力，用于高维数据过程建模，解决现有方法线性或破坏结构的局限。
2025-10-06 cs.LG stat.ML
Learning a binary search with a recurrent neural network. A novel approach to ordinal regression analysis
CépiDc Inserm；Paris Saclay University（巴黎萨克雷大学）
深度神经网络是一系列计算模型，其自然地适合于使用递归神经网络来分析分层数据，例如顺序数据。另一方面，序数回归是一个众所周知的预测建模问题，用于从心理测量到基于深度神经网络的语音建模等不同领域。它们的特殊性在于其结果变量的属性，通常被认为是具有自然排序属性的分类变量，通常允许不同状态之间的比较（“一点”小于“有点”，“有点”本身小于“很多”，允许传递性）。本文研究了深度学习框架提供的序列到序列学习方法在有序回归中的应用，通过将有序回归问题公式化为顺序二分搜索。提出了一种根据有序目标变量可视化模型解释变量的方法，该方法与线性判别分析有一定的相似性。该方法相比，传统的有序回归方法在一些基准数据集，并显示出具有可比或显着更好的预测能力。
2021-01-07 cs.LG stat.ML
Towards a mathematical framework to inform Neural Network modelling via Polynomial Regression
uc3m-Santander Big Data Institute, Universidad Carlos III de Madrid（马德里卡洛斯三世大学-Santander大数据研究所）；Department of Statistics, Universidad Carlos III de Madrid（马德里卡洛斯三世大学统计系）
即使当神经网络被广泛用于大量的应用中，它们仍然被认为是黑箱，并提出了一些困难的尺寸或评估其预测误差。这导致人们对神经网络和更传统的统计方法之间的重叠区域越来越感兴趣，这有助于克服这些问题。在这篇文章中，有关神经网络和多项式回归的数学框架进行了探索，建立一个显式表达式的多项式回归系数从一个给定的神经网络的权重，使用泰勒展开的方法。这是实现单隐层神经网络回归问题。所提出的方法的有效性取决于不同的因素，如突触电位的分布或所选择的激活函数。该方法的性能进行了实证测试，通过模拟的合成数据生成的多项式训练神经网络与不同的结构和超参数，显示出几乎相同的预测时，可以得到满足某些条件。最后，当从多项式生成的数据中学习时，所提出的方法产生局部正确逼近数据的多项式。
2021-02-07 cs.LG stat.ML
metabeta -- A fast neural model for Bayesian mixed-effects regression
Human-Centered AI, Helmholtz Munich, Germany（以人为中心的人工智能，慕尼黑海德堡研究所）
metabeta是一种快速的神经网络模型，用于贝叶斯混合效应回归，通过预训练时间优化计算，实现高效且稳定的性能。
2026-02-04 cs.LG stat.ML
Estimation of Non-Crossing Quantile Regression Process with Deep ReQU Neural Networks
The Hong Kong Polytechnic University（香港理工大学）；Wuhan University（武汉大学）；The Chinese University of Hong Kong（香港中文大学）
我们提出了一种惩罚非参数方法，使用整流器二次单元（ReQU）激活的深度神经网络来估计不可分离模型中的分位数回归过程（QRP），并引入了一种新的惩罚函数来强制分位数回归曲线的非交叉。在光滑性和正则条件下，我们建立了QRP估计的非渐近超额风险界，并得到了QRP估计的均方误差。为了建立这些非渐近风险和估计误差界，我们还开发了一个新的误差界，用于使用ReQU激活的神经网络用$s >0$及其衍生物逼近$C^s$光滑函数。这是ReQU网络的一个新的近似结果，并且具有独立的兴趣，并且可能在其他问题中有用。我们的数值实验表明，所提出的方法是竞争或优于现有的两种方法，包括再生核和随机森林的方法，非参数分位数回归。
2022-07-21 cs.LG stat.ML
Universal Functional Regression with Neural Operator Flows
California Institute of Technology（加州理工学院）；NVIDIA Corporation（英伟达公司）
针对函数空间回归受限于高斯过程先验的问题，提出通用函数回归概念，开发神经算子流（OpFlow）实现非高斯函数空间先验学习，提升回归准确性与不确定性量化能力。
2024-11-26 cs.LG stat.ML
Reliable Neural Networks for Regression Uncertainty Estimation
Massachusetts Institute of Technology（麻省理工学院）；Raytheon BBN Technologies（雷神BBN技术公司）
虽然深度神经网络在广泛的现实世界问题中具有高性能和成功性，但估计其预测不确定性仍然是一项具有挑战性的任务。为了解决这个问题，我们提出并实现了一个损失函数的回归不确定性估计的贝叶斯验证度量（BVM）框架的基础上，同时使用集成学习。建议的损失再现最大似然估计在极限情况下。一系列分布数据的实验表明，该方法是具有竞争力的现有国家的最先进的方法。对分布外数据的实验表明，该方法对统计变化具有较强的鲁棒性，并具有较好的预测能力。
2022-10-13 cs.LG stat.ML
Sup-Norm Convergence of Deep Neural Network Estimator for Nonparametric Regression by Adversarial Training
The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文针对非参数回归中深度神经网络估计器难以实现上确界范数收敛的问题，提出带校正的对抗训练方案，证明其能达到上确界范数意义下的最优速率，并通过实验验证理论结果。
2023-07-08 cs.LG stat.ML
Nash: Neural Adaptive Shrinkage for Structured High-Dimensional Regression
Departments of Statistics and Human Genetics（统计学与人类遗传学系）
本文提出Nash框架，通过神经网络整合协变量特定的侧信息，实现高维稀疏回归，提升模型适应性和准确性。
2026-05-17 cs.LG stat.ML
LALR: Theoretical and Experimental validation of Lipschitz Adaptive Learning Rate in Regression and Neural Networks
BITS Pilani（比尔拉科学技术学院）；PES University（PES大学）；ML Square（ML平方）
我们提出了一个理论框架的平均绝对误差损失函数和分位数损失函数的自适应学习率政策，并评估其有效性回归任务。该框架基于Lipschitz连续性理论，特别是利用损失函数的学习率和Lipschitz常数之间的关系。基于实验，我们发现自适应学习率策略与恒定学习率策略相比，收敛速度快20倍。
2020-05-19 cs.LG stat.ML
Weighted Automata Extraction from Recurrent Neural Networks via Regression on State Spaces
National Institute of Informatics（国立信息学研究所）；The Graduate University for Advanced Studies（综合研究大学院大学）
提出了一种从递归神经网络中提取加权有限自动机的方法。我们的算法是基于WFA学习算法的Balle和Mohri，这又是一个扩展的Angluin的经典\lstar算法。我们的技术新颖性在于使用\emph{regression}方法进行所谓的等价查询，从而利用RNN的内部状态空间来优先考虑反例候选。通过这种方式，我们实现了Weiss，Goldberg和Yahav最近提取DFA的工作的定量/加权扩展。我们实验评估的准确性，表现力和效率的提取WFAs。
2019-11-20 cs.LG stat.ML
Tensor Regression Networks with various Low-Rank Tensor Approximations
RIKEN Center for AIP（理化学研究所AIP中心）；McGill University（麦吉尔大学）
张量回归网络实现了神经网络的高压缩率，同时对性能的影响很小。它们通过对全连接层的权重矩阵施加低张量秩结构来做到这一点。近年来，人们从压缩能力的角度对张量回归网络进行了研究，但对低秩张量结构的正则化效应的研究还不够深入。我们使用各种低秩张量近似来研究张量回归网络，旨在比较不同低秩约束的压缩和正则化能力。我们评估的压缩和正则化性能的建议模型与深和浅的卷积神经网络。我们的实验结果表明，全局平均池层优于张量回归层，当应用于CIFAR-10数据集的深度卷积神经网络时。相反，当使用少量样本进行训练时，具有张量回归层和dropout函数的浅层卷积神经网络的测试误差低于全局平均池和具有dropout函数的全连接层。
2018-11-29 cs.LG stat.ML
Survival Regression with Proper Scoring Rules and Monotonic Neural Networks
University of Oxford（牛津大学）
我们考虑了右删失生存回归模型常用的评分规则，如时间依赖一致性、生存CRPS、综合Brier评分和综合二项式对数似然，并证明了它们都不是一个合适的评分规则。这意味着真实的生存分布可能比不正确的分布评分更差，导致估计不准确。我们证明，与这些分数相比，右删失对数似然是一个适当的评分规则，即，最高的期望分数由真实分布实现。尽管如此，现代前馈神经网络的生存回归模型无法训练和验证直接对右删失对数似然，由于其棘手性，并诉诸上述替代方案，即，不正确的评分规则。因此，我们提出了一个简单的新的生存回归方法，能够直接优化对数似然使用单调限制的时间依赖的权重，创造生存单调网（SuMo网）。SuMo-net在多个数据集上实现了最先进的对数似然分数，与现有的最先进的神经方法相比，在推理上具有20- 100 $\times$的计算加速，并且很容易适用于具有数百万个观测值的数据集。
2022-02-02 cs.LG stat.ML
Uncertainty estimation under model misspecification in neural network regression
ETH Zürich（苏黎世联邦理工学院）
虽然神经网络是功能强大的函数逼近器，但底层建模假设最终定义了可能性，从而定义了它们参数化的假设类。在分类中，这些假设是最小的，因为常用的softmax能够表示任何分类分布。然而，在回归中，通常会对要实现的连续分布类型进行限制性假设，例如通过均方误差及其潜在的高斯假设进行训练的主导选择。最近，建模的进步允许对要建模的连续分布的类型不可知，赋予回归分类模型的灵活性。虽然过去的研究强调这种灵活的回归模型在性能方面的好处，在这里，我们研究的不确定性估计的模型选择的效果。我们强调，根据模型误指定，任意的不确定性没有被正确捕获，贝叶斯处理的误指定模型导致不可靠的认知不确定性估计。总的来说，我们的研究提供了一个概述，如何在回归模型的选择可能会影响不确定性估计，从而任何下游的决策过程。
2021-11-23 cs.LG stat.ML
An Efficient Approach to Regression Problems with Tensor Neural Networks
Central University of Finance and Economics（中央财经大学）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）
针对非参数回归问题，提出整合统计回归与数值积分的张量神经网络TNN，在参数量相当下精度和泛化性优于传统网络，还可通过梯度与拉普拉斯分析定位关键维度以指导实验。
2024-09-13 cs.LG stat.ML
Hybrid Building/Floor Classification and Location Coordinates Regression Using A Single-Input and Multi-Output Deep Neural Network for Large-Scale Indoor Localization Based on Wi-Fi Fingerprinting
Xi’an Jiaotong-Liverpool University（西交利物浦大学）
在本文中，我们提出了混合建筑物/楼层分类和楼层级二维位置坐标回归使用单输入多输出（SIMO）深度神经网络（DNN）的大规模室内定位的基础上的Wi-Fi指纹。所提出的方案利用了建筑物/楼层和楼层位置坐标估计的不同性质，并为每个任务使用不同的估计框架，具有由SIMO DNN架构启用的专用输出和隐藏层。我们使用芬兰坦佩雷理工大学（TUT）提供的新Wi-Fi众包指纹数据集对混合楼层分类和楼层级二维位置坐标回归的性能进行了初步评估，覆盖了一栋五层楼的建筑。实验结果表明，所提出的基于SIMO-DNN的混合分类/回归方案优于现有的计划在地板检测率和平均定位误差。
2018-10-13 cs.LG stat.ML
Theoretical and Experimental Analysis on the Generalizability of Distribution Regression Network
National University of Singapore（新加坡国立大学）；Bioinformatics Institute, A*STAR（A*STAR生物信息学研究所）
人们对在分布之间进行回归产生了兴趣。与对单个实例的预测相反，这些机器学习方法对于基于人群的研究或本质上具有统计性质的问题可能是有用的。与传统的神经网络相比，最近提出的分布回归网络（DRN）在分布到分布的回归任务中表现出了优异的性能。然而，在Kou et al.（2018）和其他一些关于分布回归的工作中，缺乏对方法的理论基础和推广能力的全面比较研究。我们推导了DRN的一些数学性质，并将其与传统的神经网络进行了定性比较。我们还进行了全面的实验，研究分布回归模型的泛化能力，通过研究他们的鲁棒性有限的训练数据，数据采样噪声和任务难度。DRN始终优于传统的神经网络，需要更少的训练数据，并保持稳健的性能与噪声。此外，DRN的理论性质可以用来提供一些解释的能力，DRN实现更好的泛化性能比传统的神经网络。
2019-05-31 cs.LG stat.ML
Logistic Regression, Neural Networks and Dempster-Shafer Theory: a New Perspective
Université de Technologie de Compiègne（贡比涅技术大学）；CNRS（法国国家科学研究中心）；Heudiasyc（Heudiasyc实验室）
我们重新审视逻辑回归及其非线性扩展，包括多层前馈神经网络，通过显示这些分类器可以被视为将输入或更高级别的功能转换为Dempster-Shafer质量函数，并通过Dempster组合规则将其聚合。这些分类器的概率输出是对应于潜在的组合质量函数的归一化平均值。该质量函数比输出概率分布提供更多信息。特别是，它可以区分缺乏证据（当没有特征提供判别信息时）和冲突证据（当不同的特征支持不同的类别时）。质量函数的这种表达能力使我们能够深入了解逻辑回归中每个输入特征所扮演的角色，并解释多层神经网络中的隐藏单元输出。它还使得使用替代决策规则成为可能，例如区间优势，当可用证据不明确地指向单个类时，该规则选择一组类，从而以降低的出错率换取更高的不精确度。
2019-12-12 cs.LG stat.ML
Deep Regression Ensembles
Swiss Finance Institute（瑞士金融研究所）；Yale University（耶鲁大学）；University of Lausanne（洛桑大学）；AQR Capital Management（AQR资本管理公司）；EPFL（洛桑联邦理工学院）
我们介绍了一种设计和训练深度神经网络（DNN）的方法，我们称之为“深度回归集成”（DRE）。它弥补了DNN和用随机特征回归训练的两层神经网络之间的差距。DRE的每一层都有两个组成部分，随机抽取的输入权重和使用线性岭回归进行近视训练的输出权重（就像最终输出层一样）。在一个层中，每个神经元使用不同的输入子集和不同的岭惩罚，构成随机特征岭回归的集合。我们的实验表明，在许多数据集中，单个DRE架构与最先进的DNN相当或超过DNN。然而，由于DRE神经权重要么以封闭形式已知，要么随机抽取，因此其计算成本比DNN小几个数量级。
2022-03-10 cs.LG stat.ML
Multivariate Bayesian Last Layer for Regression with Uncertainty Quantification and Decomposition
Université Paris Saclay（巴黎萨克雷大学）；CEA LIST（法国原子能和替代能源委员会LIST研究所）；CEA（法国原子能和替代能源委员会）
本文提出了一种多变量回归中的贝叶斯最后层模型，通过EM算法实现参数学习，能够分离不确定性并增强神经网络的不确定性感知能力。
2026-01-30 cs.LG stat.ML
Neural Mixture Distributional Regression
LMU Munich（慕尼黑大学）
我们提出了神经混合分布回归（NMDR），一个整体框架来估计由灵活的添加剂预测定义的复杂的有限混合分布回归。我们的框架能够在高维环境中处理大量潜在不同分布的混合物，允许高效和可扩展的优化，并可应用于将结构化回归模型与深度神经网络相结合的最新概念。虽然许多现有的混合模型方法解决了优化这些模型的挑战，并在特定的模型假设下提供了收敛结果，但我们的方法是无约束的，而是利用了深度学习中成熟的优化器。通过大量的数值实验和高维深度学习应用程序，我们提供的证据表明，所提出的方法是有竞争力的现有方法，并在更复杂的情况下工作得很好。
2020-10-14 cs.LG stat.CO stat.ML
Calibrated Multivariate Regression with Application to Neural Semantic Basis Discovery
Princeton University（普林斯顿大学）；Massachusetts Institute of Technology（麻省理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
提出了一种校正多元回归方法CMR，用于拟合高维多元回归模型。与现有的方法相比，CMR校准正则化的每个回归任务的噪声水平，使它同时获得改进的有限样本性能和调谐不敏感性。从理论上给出了CMR在参数估计中达到最优收敛速度的充分条件。在计算上，我们提出了一个有效的平滑近端梯度算法的最坏情况下的数值收敛速度$\cO(1/ε)$，其中$ε$是一个预先指定的精度的目标函数值。我们进行了彻底的数值模拟，以说明CMR始终优于其他高维多元回归方法。我们还应用CMR来解决大脑活动预测问题，并发现它与人类专家创建的手工模型一样具有竞争力。实现所提出的方法的R包\texttt{camel}可在综合R存档网络\url{http://cran.r-project.org/web/packages/camel/}上获得。
2016-07-28 cs.LG stat.ML
Neural-net-induced Gaussian process regression for function approximation and PDE solution
Brown University（布朗大学）
神经网络诱导高斯过程（NNGP）回归继承了深度神经网络（deep NN）的高表达性以及高斯过程（GP）的不确定性量化属性。我们推广目前的NNGP首先包括大量的超参数，随后训练模型的最大似然估计。与以往的工作NNGP的目标分类，在这里，我们适用于广义NNGP函数逼近和求解偏微分方程（PDE）。具体来说，我们开发了一个分析迭代公式来计算由具有误差函数非线性的深度NN引起的GP的协方差函数。我们比较了广义NNGP的性能与GP和全连接NN的函数逼近和PDE解决方案。我们观察到，对于光滑函数，广义NNGP可以产生与GP相同的精度，而NNGP和GP都优于深度NN。对于非光滑函数，广义NNGP优于GP，与深度NN相当或优于深度NN。
2018-06-22 cs.LG stat.ML
On weight and variance uncertainty in neural networks for regression tasks
University of Tehran（德黑兰大学）；Ferdowsi University of Mashhad（马什哈德法尔多西大学）
本文提出在回归任务中引入方差不确定性以提升贝叶斯神经网络的预测性能，并通过实验验证其有效性。
2026-02-28 cs.LG stat.ML
Approximation Bounds for Recurrent Neural Networks with Application to Regression
Wuhan University（武汉大学）；University of Hong Kong（香港大学）；The Hong Kong University of Science and Technology（香港科技大学）
该研究推导了深度ReLU循环神经网络对依赖过去的Hölder光滑函数的近似误差上界，将其应用于回归问题得到经验风险最小化器预测误差的非渐近上界，该界在两类数据假设下达极小极大最优速率，为RNN性能提供统计保证。
2025-10-05 cs.LG stat.ML
Neural Additive Models for Location Scale and Shape: A Framework for Interpretable Neural Regression Beyond the Mean
Clausthal University of Technology（克劳斯塔尔工业大学）；University of Göttingen（哥廷根大学）
针对 NAMs 仅预测均值、无法刻画响应分布其他性质的问题，本文提出 NAMLSS 框架，在保留加性模型可解释性的同时实现分布回归。
2024-02-29 cs.LG stat.ML
Spectrum Dependent Learning Curves in Kernel Regression and Wide Neural Networks
John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）；Center for Brain Science, Harvard University（哈佛大学脑科学中心）
我们从高斯过程和统计物理的理论方法推导出作为训练样本数量的函数的核回归的泛化性能的解析表达式。我们的表达式适用于广泛的神经网络，由于它们的训练和核回归与神经切线核（NTK）之间的等价性。通过计算由于内核的不同谱分量的总的泛化误差的分解，我们确定了一个新的谱原则：随着训练集的大小的增长，内核机器和神经网络适合连续更高的谱模式的目标函数。当数据从高维超球面上的均匀分布中采样时，包括NTK在内的点积核表现出学习阶段，其中学习目标函数的不同频率模式。我们用合成数据和MNIST数据集验证了我们的理论。
2021-02-25 cs.LG stat.ML
Neural Networks for Censored Expectile Regression Based on Data Augmentation
School of Economics and Management, Beihang University, Beijing, China（经济管理学院，北航大学，北京，中国）
本文提出基于数据增强的删失期望回归神经网络DAERNN，用于建模异质性删失数据，无需显式参数设定，性能优于现有方法且接近完全数据模型。
2025-10-23 cs.LG stat.ML
Semi-Structured Distributional Regression -- Extending Structured Additive Models by Arbitrary Deep Neural Networks and Data Modalities
RWTH Aachen（亚琛工业大学）；LMU Munich（慕尼黑大学）；Humboldt-Universität zu Berlin（柏林洪堡大学）
将加性模型和神经网络相结合，可以扩大统计回归的范围，同时通过可解释的结构化加性预测器扩展基于深度学习的方法。然而，现有的尝试将两种建模方法结合起来，仅限于非常特定的组合，更重要的是，涉及可识别性问题。因此，可解释性和稳定的估计通常会丢失。我们提出了一个通用框架，将结构化回归模型和深度神经网络结合到一个统一的网络架构中。为了克服不同模型部分之间固有的可识别性问题，我们构建了一个正交化单元，将深度神经网络投影到统计模型预测器的正交补中。这使得能够正确估计结构化模型部分，从而实现可解释性。我们证明了该框架的数值实验的有效性，并说明其特殊的优点，在基准和现实世界中的应用。
2022-07-09 cs.LG stat.ME stat.ML
Panel semiparametric quantile regression neural network for electricity consumption forecasting
Institute of Statistics and Data Science, Nanjing Audit University（南京审计大学统计与数据科学学院）
在长期深化改革开放的过程中，我国电力工业取得了巨大成就。然而，由于我国区域经济、社会和自然条件复杂，电力资源分布不均，造成我国部分地区缺电。因此，需要建立一个可靠的电力预测模型。在此基础上，本文将人工神经网络与半参数分位数回归相结合，提出了一种面板半参数分位数回归神经网络（PSQRNN）。PSQRNN可以探索变量之间潜在的线性和非线性关系，解释未观察到的省级异质性，同时保持参数模型的可解释性。将惩罚分位数回归与LASSO、岭回归和反向传播算法相结合训练PSQRNN。为了评估预测精度，基于3种情景对1999 - 2018年中国各省用电量进行了实证分析。结果表明，PSQRNN模型在考虑经济和气候因素的情况下，能够更好地预测电力消费量。最后，通过预测，给出了未来$5$年（2019-2023年）中国各省用电量。
2021-03-01 cs.LG econ.EM stat.ML
Improving the Performance of Neural Networks in Regression Tasks Using Drawering
Jagiellonian University（雅盖隆大学）；RTB House
该方法对给定的回归神经网络进行了扩展，使其性能得到改善。修改只影响学习过程，因此在评估过程中可以很容易地忽略扩展，而不会改变预测。这意味着修改后的模型可以像原始模型一样快速评估，但往往表现更好。这种改进是可能的，因为修改提供了更好的表达能力，提供了更好的表现梯度，并作为正则化工作。由临时扩展的神经网络获得的知识包含在与原始神经网络共享的参数中。唯一的代价是学习时间的增加。
2016-12-05 cs.AI cs.LG cs.NE
Nonlinear integro-differential operator regression with neural networks
Cornell University（康奈尔大学）
本文介绍了一种从数据中寻找一类非线性积分微分算子的回归方法。该方法用神经网络和傅立叶变换对空间算子进行参数化，使得它可以适合一类非线性算子，而不需要先验选择的算子库。我们验证了该方法可以恢复的分数阶热方程和Kuramoto-Sivashinsky方程的数值解的空间运营商。
2018-10-19 cs.LG physics.comp-ph physics.data-an
Regression as Classification: Influence of Task Formulation on Neural Network Features
INRIA（法国国家信息与自动化研究所）；ENS PSL Research University（巴黎高等师范学院-巴黎文理研究大学）；Google Brain（谷歌大脑）
神经网络可以通过使用基于梯度的方法来最小化平方损失来训练以解决回归问题。然而，从业者通常更喜欢将回归重新定义为分类问题，观察交叉熵损失的训练会带来更好的性能。通过关注双层ReLU网络，可以通过其特征空间上的度量来完全表征，我们探索了基于梯度的优化引起的隐式偏差如何部分解释上述现象。我们提供的理论证据表明，回归公式产生的措施，其支持可以大大不同于分类，在一维数据的情况下。我们提出的最佳支持直接对应于网络输入层学习的特征。这些支持的不同性质揭示了可能的优化困难的平方损失可能在训练过程中遇到的，我们提出的实证结果说明了这一现象。
2023-03-01 cs.AI cs.LG stat.ML
Kernel Regression with Infinite-Width Neural Networks on Millions of Examples
Google Research（谷歌研究院）；University of Cambridge（剑桥大学）
神经内核在不同的非标准数据模式上大大提高了性能，但需要更多的计算，这在以前将其应用限制在较小的数据集上。在这项工作中，我们通过在许多GPU上大规模并行计算来解决这个问题。我们将其与分布式预处理共轭梯度算法相结合，以实现大规模的核回归（即多达500万个示例）。使用这种方法，我们研究了CIFAR-5 m数据集的几个神经内核在多个数量级上的标度律。使用数据增强将原始CIFAR-10训练数据集扩展20倍，我们获得了91.2%的测试准确度（纯核方法的SotA）。此外，我们还在其他数据模式上探索神经内核，获得了与SotA方法竞争的蛋白质和小分子预测任务的结果。
2023-03-09 cs.CV cs.LG stat.ML
Approximation bounds for norm constrained neural networks with applications to regression and GANs
Wuhan University（武汉大学）；The Hong Kong University of Science and Technology（香港科技大学）
研究了权值具有范数约束的ReLU神经网络的逼近能力。我们证明了这些网络的光滑函数类的逼近误差的上界和下界。下界是通过神经网络的Rademacher复杂性导出的，这可能是独立的兴趣。我们应用这些近似界来分析使用范数约束神经网络的回归和GANs的分布估计的收敛性。特别是，我们得到了过参数化神经网络的收敛速度。研究还表明，当神经网络是一个适当选择的范数约束神经网络时，GANs可以达到最优的学习概率分布率。
2023-03-30 cs.LG cs.NA math.NA
