Streaming Active Learning for Regression Problems Using Regression via Classification
Hitachi, Ltd.（日立制作所）
针对回归任务流式主动学习研究不足的问题，本文提出用regression-via-classification框架将回归转分类，直接复用分类流式主动学习方法，在四个真实数据集上实现了相同标注成本下更高的回归精度。
2023-12-15 cs.LG
On the Equivalence between Online and Private Learnability beyond Binary Classification
University of Michigan（密歇根大学）
Alon et al. [2019]和Bun et al. [2020]最近表明，在线可学习性和私有PAC可学习性在二进制分类中是等价的。我们研究这种等价性是否扩展到多类分类和回归。首先，我们表明，私人的可学习性意味着在这两种情况下的在线可学习性。我们的扩展涉及到研究一种新的变体的Littlestone尺寸，这取决于一个公差参数和适当的泛化的阈值函数的概念超出二进制分类。第二，我们表明，虽然在线学习能力继续意味着私人学习能力在多类分类，目前的证明技术遇到重大障碍，在回归设置。虽然回归的等价性仍然是开放的，但我们提供了非平凡的充分条件，使在线学习类也可以私下学习。
2021-10-09 cs.CR cs.LG stat.ML
Regression Networks for Meta-Learning Few-Shot Classification
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
我们提出了回归网络的问题，Few-Shot分类，其中一个分类器必须推广到新的类中没有看到的训练集，只有少量的例子，每个类。在高维嵌入空间中，数据的方向通常包含比幅度更丰富的信息。除此之外，最先进的Few-Shot度量方法（将距离与聚合类表示进行比较）已显示出优越的性能。结合这两个见解，我们提出通过回归每个类子空间中的最接近近似值，同时使用回归误差作为距离度量来元学习嵌入点的分类。与最近的少样本学习方法类似，回归网络反映了一种简单的归纳偏差，这在这种有限的数据制度中是有益的，并且它们实现了出色的结果，特别是当可以用多个样本形成更多的聚合类表示时。
2020-06-18 cs.CV cs.LG stat.ML
Regression as Classification: Influence of Task Formulation on Neural Network Features
INRIA（法国国家信息与自动化研究所）；ENS PSL Research University（巴黎高等师范学院-巴黎文理研究大学）；Google Brain（谷歌大脑）
神经网络可以通过使用基于梯度的方法来最小化平方损失来训练以解决回归问题。然而，从业者通常更喜欢将回归重新定义为分类问题，观察交叉熵损失的训练会带来更好的性能。通过关注双层ReLU网络，可以通过其特征空间上的度量来完全表征，我们探索了基于梯度的优化引起的隐式偏差如何部分解释上述现象。我们提供的理论证据表明，回归公式产生的措施，其支持可以大大不同于分类，在一维数据的情况下。我们提出的最佳支持直接对应于网络输入层学习的特征。这些支持的不同性质揭示了可能的优化困难的平方损失可能在训练过程中遇到的，我们提出的实证结果说明了这一现象。
2023-03-01 cs.AI cs.LG stat.ML
Regression and Classification with Single-Qubit Quantum Neural Networks
National Laboratory of Scientific Computing (LNCC)（国家科学计算实验室）
该研究提出单量子比特量子神经网络（SQQNN），结合新型数据上传技术，分别采用梯度下降与多项式回归启发的训练方法，在回归和分类任务中表现优异，适用于近期量子设备。
2026-08-12 cs.AI cs.LG quant-ph
One-Class Classification by Ensembles of Regression models -- a detailed study
College of Information Technology, United Arab Emirates University（阿联酋大学信息技术学院）
单类分类（OCC）处理的分类问题，其中的训练数据的数据点只属于目标类。在本文中，我们研究了一类分类算法，一类分类集成回归模型（OCCER），使用回归方法来解决OCC问题。OCCER将OCC问题转化为原始特征空间中的多个回归问题，使得原始特征空间的每个特征都用作其中一个回归问题的目标变量。其他特征被用作因变量所依赖的变量。所有回归模型对数据点的回归误差用于计算数据点的离群值得分。通过在多个数据集上对OCCER算法与现有OCC算法进行比较，验证了该方法的有效性。我们还证明了OCCER算法可以很好地与自动编码器为图像数据集创建的潜在特征空间一起工作。OCCER的实现可在https://github.com/srikanthBezawada/OCCER上获得。
2020-03-07 cs.LG stat.ML
Issues with Neural Tangent Kernel Approach to Neural Networks
Indiana University Bloomington（印第安纳大学布卢明顿分校）；Naval Surface Warfare Center - Crane Division（海军水面作战中心克兰分部）
本文通过严格推导和数值实验，发现神经正切核与神经网络的等价性定理在实践中不成立，添加层时预测误差变化不匹配，且普通高斯过程核回归误差接近NTK，质疑NTK对训练过程的描述能力。
2025-01-19 cs.LG stat.ML
Piecewise linear regression and classification
IMT School for Advanced Studies Lucca（卢卡高等研究院）
本文提出了一种方法，用于解决多元回归和分类问题，使用分段线性预测的多面体分区的特征空间。我们称之为PARC的算法（分段仿射回归和分类）在（i）解决数字目标的岭回归问题、分类目标的softmax回归问题以及分段线性分离的softmax回归或聚类质心计算之间交替，以及（ii）基于平衡预测准确性和分段地-线性可分性我们证明，PARC是一个块坐标下降算法，优化适当构造的目标函数，它收敛在一个有限的步骤，该功能的局部最小值。该算法的准确性在合成和真实世界的数据集上进行了广泛的数值测试，表明该方法提供了线性回归/分类的扩展，当所获得的预测器用作优化模型的一部分时，该方法特别有用。本文中描述的算法的Python实现可在http://cse.lab.imtlucca.it/~bemporad/parc上获得。
2021-03-10 cs.LG stat.ML
Automated Problem Identification: Regression vs Classification via Evolutionary Deep Networks
University of Cape Town（开普敦大学）；African Institute for Mathematical Sciences（非洲数学科学研究所）；South African Astronomical Observatory（南非天文台）
回归还是分类？这可能是在处理新的监督学习问题时面临的最基本的问题。我们提出了一种进化深度学习（EDL）算法，该算法通过高精度地识别问题类型来自动解决这个问题，并提出了一个深度架构。通常，在执行机器学习算法之前需要大量的人类洞察力和准备。例如，当创建深度神经网络时，必须提前选择参数的数量，此外，许多这些选择是基于数据的预先存在的知识（例如使用分类交叉熵）做出的。损失函数。人类能够研究数据集并决定它是否代表分类或回归问题，从而做出将应用于神经网络执行的决策。我们提出了自动问题识别（API）算法，该算法使用TensorFlow的进化算法接口来操作深度神经网络，以决定数据集是代表分类还是回归问题。我们在16个不同的分类、回归和情感分析数据集上测试API，这些数据集包含多达10，000个特征和多达17，000个唯一目标值。API在识别问题类型方面达到了$96.3\%$的平均准确度，而无需对回归或分类问题的一般特征进行硬编码。例如，API成功地识别了1000个目标值的分类问题。此外，该算法推荐使用哪个损失函数，并且还推荐神经网络架构。因此，我们的工作是迈向全自动机器学习的一步。
2017-07-03 cs.AI cs.LG cs.NE
Binary and Multinomial Classification through Evolutionary Symbolic Regression
Ben-Gurion University（本-古里安大学）
我们提出了三种基于进化符号回归的二进制和多项式数据集分类算法：GPLearnClf，CartesianClf和ClaSyCo。测试了超过162个数据集，并与三种最先进的机器学习算法- XGBoost，LightGBM和深度神经网络-进行了比较，我们发现我们的算法具有竞争力。此外，我们演示了如何通过使用最先进的超参数优化器自动为数据集找到最佳方法。
2022-06-25 cs.LG cs.NE
Boosting Ridge Regression for High Dimensional Data Classification
Data Science Research Center, Department of Computer Science, Chiang Mai University（清迈大学计算机科学系数据科学研究中心）；Chiang Mai University（清迈大学）
岭回归是一种成熟的回归估计，可以方便地适用于分类问题。一个令人信服的原因可能是岭回归发出一个封闭形式的解决方案，从而促进了训练阶段。然而，在高维问题的情况下，涉及反转正则化协方差矩阵的封闭形式的解决方案是相当昂贵的计算。这种操作的高计算要求也使得构造岭回归系综的难度增加。在本文中，我们考虑学习岭回归器的集成，其中每个回归器在其自己的随机投影子空间中进行训练。随后通过自适应提升方法组合子空间回归量。基于五个高维分类问题的实验证明了所提出的方法在学习时间方面的有效性，并且在某些情况下可以观察到改进的预测性能。
2020-03-25 cs.LG stat.ML
An Exact Kernel Equivalence for Finite Classification Models
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；University of Arizona（亚利桑那大学）；University of Texas San Antonio（德克萨斯大学圣安东尼奥分校）
本文首次推导出有限规模分类模型经梯度下降训练后作为核机器的精确表示，并与NTK比较，实验证明其可计算性及对理解神经网络泛化机制的价值。
2023-08-09 cs.LG
Classification as Direction Recovery: Improved Guarantees via Scale Invariance
MIT（麻省理工学院）
二进制分类的现代算法依赖于一个中间回归问题的计算易处理性。在本文中，我们建立了分类和回归之间的几何区别，使这两种设置中的风险更精确地相关。特别是，我们注意到，分类风险只取决于回归量的方向，我们利用这种规模不变性，以改善现有的保证，如何分类风险是有界的风险在中间回归问题。建立在这些保证，我们的分析使得有可能更准确地相互比较算法，并建议将分类视为唯一的回归，而不是它的副产品。虽然回归的目的是收敛到位置的条件期望函数，我们建议分类的目的应该是恢复其方向。
2022-05-17 cs.LG stat.ML
Demographic parity in regression and classification within the unawareness framework
CREST（CREST（法国经济统计研究中心））；ENSAE（法国国家统计与经济管理学校）；IP Paris（巴黎理工学院）
本文在禁止差异性对待的无意识框架下，刻画了人口统计均等约束下最小化二次损失的最优公平回归函数，并证明分类器决策集嵌套性是分类与回归等价的充要条件。
2024-09-04 cs.CY cs.LG stat.ML
A Paradigm for Potential Model Performance Improvement in Classification and Regression Problems. A Proof of Concept
提出一种通过辅助模型生成额外信息列以增强分类和回归任务预测性能的方法，并附有概念验证与代码。
2024-02-04 cs.LG
An Analysis of Loss Functions for Binary Classification and Regression
University of Vermont（佛蒙特大学）
本文探讨了基于边缘的损失函数和二进制分类和回归应用程序的一致性之间的联系。它示出了一个大类的基于利润的损失函数的二进制分类/回归结果估计分数相当于对数似然分数加权的一个偶函数。给出了一致性损失函数的一个简单特征，它允许直接比较不同的损失，包括指数损失，逻辑损失等。该特征用于构造Logistic模型的一个新的Huber型损失函数。一个简单的关系之间的利润率和标准化的逻辑斯谛回归残差的推导，证明所有的利润率为基础的损失可以被视为平方标准化的逻辑斯谛回归残差的损失函数。这种关系为指数损失和逻辑损失提供了新的、直接的解释，并有助于理解为什么指数损失对离群值敏感。特别是，它表明，经验指数损失最小化是相当于最小化平方标准化逻辑斯谛回归残差的总和。该关系也为AdaBoost算法提供了新的见解。
2023-01-27 cs.LG stat.ML
Conformal Prediction via Regression-as-Classification
RIKEN Center for AI Project（理化学研究所人工智能项目中心）；SambaNova Systems（桑巴诺瓦系统公司）；Salesforce（赛富时公司）；Apple（苹果公司）
针对回归共形预测在异方差等输出分布下的不稳定问题，提出将回归转分类并优化损失与分类CP技术的方法，在多基准上取得优异效果。
2024-04-12 cs.LG stat.ML
Ensemble Maximum Entropy Classification and Linear Regression for Author Age Prediction
California Institute of Technology（加州理工学院）；Jet Propulsion Laboratory（喷气推进实验室）
互联网的发展在网络上创造了大量的非结构化数据，其中很大一部分是文本。作者侧写的任务是仅仅从文本中基于语言和内容的特征来发现人们的人口统计学特征。描述作者特征的能力在安全和取证以及营销等领域都有应用。我们没有把年龄仅仅看作是一个分类问题，而是把年龄看作是一个回归问题，而是使用了一种集成链方法，结合了分类和回归的力量来学习作者的确切年龄。
2016-10-04 cs.CL cs.LG
Strong Asymptotic Assertions for Discrete MDL in Regression and Classification
我们研究了回归和分类的MDL（或最大惩罚复杂度）估计的性质，其中底层模型类是可数的。我们特别显示了一个有限的界限下唯一的假设，有一个“真正的”模型中包含的类的Hellinger损失。这意味着预测分布以快速的速度几乎必然收敛到真实分布。它对应于所罗门诺夫的中心定理的普遍归纳法，但与一个界限，是指数更大。
2005-02-15 cs.AI cs.IT cs.LG
Generalization bounds for regression and classification on adaptive covering input domains
本文分别探讨了回归与分类任务的泛化界，证明了泛化界与网络参数数量的多项式成反比，强调了过参数化网络的优势并阐明了良性过拟合的条件。
2024-07-29 cs.LG stat.ML
Toward Asymptotic Optimality: Sequential Unsupervised Regression of Density Ratio for Early Classification
NEC Corporation（日本电气股份有限公司）
提出了一种基于理论启发的序贯密度比估计（SDRE）算法，用于时间序列的早期分类。传统的SDRE算法由于内部过归一化问题而不能精确估计DR，这使得基于DR的顺序算法，顺序概率比检验（SPRT），不能达到其渐近贝叶斯最优性。两种新的SPRT算法，B2Bsqrt-TANDEM和TANDEMformer，设计，以避免过度规范化的问题，精确的无监督回归的SDR。这两种算法分别在人工序列高斯数据集和真实数据集（SiW，UCF 101和HMDB 51）上显著降低了DR估计误差和分类误差。该代码可从以下网址获得：https://github.com/Akinori-F-Ebihara/LLR_saturation_problem。
2023-02-20 cs.LG
Task Shift: From Classification to Regression in Overparameterized Linear Models
Georgia Institute of Technology（佐治亚理工学院）
本文研究过参数化线性模型中从分类到回归的任务迁移，证明零样本迁移不可能，并提出利用有限回归数据渐近恢复真实预测器的后处理算法。
2025-02-18 cs.LG stat.ML
NILM as a regression versus classification problem: the importance of thresholding
Universidad de Cádiz（加的斯大学）；Universidad Complutense de Madrid（马德里康普顿斯大学）
本文比较 NILM 的回归与分类建模范式，评估三种阈值化方法及深度学习架构在 UK-DALE 上的表现，并提出阈值方法选择准则。
2020-10-28 cs.LG eess.SP
Two-Point Deterministic Equivalence for Stochastic Gradient Dynamics in Linear Models
John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保罗森工程与应用科学学校）；Center of Mathematical Sciences and Applications, Harvard University（哈佛大学数学科学中心）；Society of Fellows, Harvard University（哈佛大学 fellows 会）；Center for Brain Science, Harvard University（哈佛大学脑科学中心）；Department of Mathematics and Statistics, McGill University（麦吉尔大学数学与统计学系）；Kempner Institute for the Study of Natural and Artificial Intelligence, Harvard University（哈佛大学自然与人工智能研究 institute）
本文推导了随机矩阵残差的两点函数的新确定性等价性，统一了高维线性模型中随机梯度下降的性能分析，涵盖高维线性回归、核回归和线性随机特征模型。
2025-11-10 cond-mat.dis-nn cs.LG stat.ML
Hybrid Building/Floor Classification and Location Coordinates Regression Using A Single-Input and Multi-Output Deep Neural Network for Large-Scale Indoor Localization Based on Wi-Fi Fingerprinting
Xi’an Jiaotong-Liverpool University（西交利物浦大学）
在本文中，我们提出了混合建筑物/楼层分类和楼层级二维位置坐标回归使用单输入多输出（SIMO）深度神经网络（DNN）的大规模室内定位的基础上的Wi-Fi指纹。所提出的方案利用了建筑物/楼层和楼层位置坐标估计的不同性质，并为每个任务使用不同的估计框架，具有由SIMO DNN架构启用的专用输出和隐藏层。我们使用芬兰坦佩雷理工大学（TUT）提供的新Wi-Fi众包指纹数据集对混合楼层分类和楼层级二维位置坐标回归的性能进行了初步评估，覆盖了一栋五层楼的建筑。实验结果表明，所提出的基于SIMO-DNN的混合分类/回归方案优于现有的计划在地板检测率和平均定位误差。
2018-10-13 cs.LG stat.ML
A Generalized Meta-loss function for regression and classification using privileged information
Pakistan Institute of Engineering and Applied Sciences (PIEAS)（巴基斯坦工程与应用科学学院（PIEAS））
使用特权信息的学习（LUPI）是一种强大的异质特征空间机器学习框架，其允许机器学习模型从在训练期间可用的高度信息化或特权特征学习，仅使用在训练和测试期间都可用的输入空间特征来生成测试预测。LUPI可以显著提高各种机器学习问题的预测性能。然而，现有的使用特权信息的学习的大余量和神经网络实现主要是针对分类任务而设计的。在这项工作中，我们提出了一个简单而有效的配方，使我们能够通过自定义损失函数使用特权信息进行回归。除了回归，我们的配方允许一般应用LUPI的分类和其他相关的问题。我们已经验证了我们的方法的正确性，适用性和有效性的回归和分类问题在不同的合成和现实世界的问题。为了测试所提出的模型在现实世界中的问题的有用性，我们已经评估了我们的方法对蛋白质结合亲和力预测的问题。所提出的基于LUPI回归的模型已被证明优于当前最先进的预测器。
2019-03-25 cs.LG stat.ML
Exact Distribution-Free Hypothesis Tests for the Regression Function of Binary Classification via Conditional Kernel Mean Embeddings
SZTAKI: Institute for Computer Science and Control（SZTAKI：计算机科学与控制研究所）；Eötvös Loránd Research Network（厄特沃什·罗兰研究网络）
本文提出了两种基于条件核均值嵌入的二分类回归函数的统计假设检验方法。回归函数是分类中的基本对象，因为它决定了贝叶斯最优分类器和误分类概率。提出了一个基于回归的框架，并结合条件核均值映射的一致点估计，以构造分布自由的假设检验。这些测试以灵活的方式引入，使我们能够控制任何样本量的第一类错误的确切概率。我们还证明了这两种方法在弱统计假设下是一致的，即，第二类错误概率逐点收敛到零。
2021-06-07 cs.LG stat.ML
Soft-SVM Regression For Binary Classification
Boston University（波士顿大学）
二项偏差和SVM铰链损失函数是机器学习中使用最广泛的两种损失函数。虽然它们之间有许多相似之处，但在处理不同类型的数据时，它们也有自己的优势。在这项工作中，我们引入了一个新的指数家庭的基础上的凸松弛的铰链损失函数使用柔软度和类分离参数。这个新的家庭，表示软支持向量机，允许我们规定一个广义线性模型，有效地桥梁之间的逻辑斯谛回归和SVM分类。这种新模型是可解释的，避免了数据可分性问题，通过软参数自动调整数据标签可分性，获得良好的拟合和预测性能。这些结果通过模拟和案例研究得到了经验证实，因为我们比较了正则化的logistic，SVM和Soft-SVM回归，并得出结论，所提出的模型在分类和预测误差方面表现良好。
2022-05-24 cs.LG stat.ML
Gaussian Process Regression and Classification under Mathematical Constraints with Learning Guarantees
Harvard University（哈佛大学）
我们引入了约束高斯过程（CGP），这是一种用于随机函数的高斯过程模型，可以轻松地放置数学约束（例如，非负性、单调性等）。CGP具有封闭形式的密度函数（PDF），其回归和分类的后验分布也是具有封闭形式表达式的CGP。此外，我们表明，CGP固有的高斯过程的最佳理论属性，例如后验收缩率，由于事实上，CGP是一个高斯过程，具有更有效的模型空间。
2019-04-21 cs.LG math.ST stat.ME
Building Bridges between Regression, Clustering, and Classification
Google DeepMind（谷歌DeepMind）
本文针对神经网络回归中均方误差最小化可能次优的问题，借鉴分类与聚类思想，提出由目标编码器和预测解码器重构回归任务的新训练方法，并在多个真实数据集上验证其性能。
2025-02-18 cs.LG stat.ML
Theoretical and Experimental Analyses of Tensor-Based Regression and Classification
Tokyo Institute of Technology（东京工业大学）；The Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；University of Tokyo（东京大学）
我们从理论和实验上研究基于张量的回归和分类。我们的重点是各种张量范数的正则化，包括重叠迹范数，潜在迹范数和缩放潜在迹范数。我们首先给出了使用交替方向乘法器的双重优化方法，当训练样本的数量适中时，该方法计算效率高。然后，我们从理论上推导出每个张量范数的超额风险界，并澄清它们的行为。最后，我们使用模拟和真实数据进行了大量的实验，并证明了基于张量的学习方法优于基于向量和矩阵的学习方法。
2015-09-06 cs.LG stat.ML
Reducing Certified Regression to Certified Classification for General Poisoning Attacks
University of Oregon（俄勒冈大学）
对抗性训练实例会严重扭曲模型的行为。这项工作调查认证的回归防御，它提供了有保证的限制有多少回归的预测可能会改变下中毒攻击。我们的关键见解是，当使用中位数作为模型的主要决策函数时，认证回归简化为基于投票的认证分类。结合我们的减少与现有的认证分类器，我们提出了六个新的回归证明强大的中毒攻击。据我们所知，这是第一个证明个体回归预测的鲁棒性的工作，而无需对数据分布和模型架构进行任何假设。我们还表明，现有的国家的最先进的认证分类器的假设往往过于悲观。我们引入了一个更严格的分析模型的鲁棒性，在许多情况下，结果显着提高认证的保证。最后，我们通过经验证明了我们的方法在回归和分类数据上的有效性，其中在1%的训练集损坏情况下可以保证高达50%的测试预测准确度，在4%的损坏情况下可以保证高达30%的预测准确度。我们的源代码可以在https://github.com/ZaydH/certified-regression上找到。
2022-12-29 cs.CR cs.LG stat.ML
Machine Learning Classification and Portfolio Construction: Does the Loss Function Matter?
College of Business and Economics, California State University, Fullerton（加州州立大学弗ullerton分校商学院与经济学学院）；Trulaske Sr. College of Business, University of Missouri（密苏里大学Trulaske Sr.商学院）
研究分类与回归损失函数在投资组合构建中的表现，发现分类模型优于回归，集成分类模型年化夏普比率达1.83，回归仅1.11，且分类能提取更多收益信息。
2026-08-26 cs.LG econ.GN q-fin.CP
Machine learning method for return direction forecasting of Exchange Traded Funds using classification and regression models
本文旨在提出并应用一种机器学习方法，利用其组成部分的历史收益数据分析交易所交易基金（ETF）的收益方向，帮助通过交易算法做出投资策略决策。在方法学方面，除了算法误差指标外，还使用了巴西和美国市场的标准数据集，采用了回归和分类模型。在研究结果方面，将它们与相同时间内的朴素预测和买入持有技术所获得的回报进行了分析和比较。在风险和回报方面，这些模型的表现大多优于控制指标，重点是线性回归模型和逻辑回归分类模型，支持向量机（使用LinearSVC模型），高斯朴素贝叶斯和K最近邻，其中在某些数据集中，回报率超过两倍，夏普比率高达买入和持有控制模型的四倍。
2022-06-13 cs.LG econ.EM q-fin.CP
