Weakly Supervised Regression with Interval Targets
Chongqing University(重庆大学);Nanyang Technological University(南洋理工大学);Jilin University(吉林大学)
本文研究区间目标回归(RIT)这一弱监督回归问题,提出统计一致的限制预测方法并推导误差界,实验验证其有效性。
2023-06-18 cs.LG
Twin Neural Network Regression is a Semi-Supervised Regression Algorithm
Perimeter Institute for Theoretical Physics(圆周理论物理研究所);University of Waterloo(滑铁卢大学);National Research Council of Canada(加拿大国家研究委员会);Vector Institute for Artificial Intelligence(向量人工智能研究所)
孪生神经网络回归(TNNR)是一种半监督回归算法,只要存在其他标记的锚数据点,它就可以在未标记的数据点上训练。TNNR被训练来预测两个不同数据点的目标值之间的差异,而不是目标本身。通过综合看不见的数据点的目标与所有训练数据点的目标之间的预测差异,可以获得对原始回归问题的非常准确的预测。由于预测差的任何循环的总和应该为零,因此循环可以被提供给训练数据,即使循环内的数据点本身是未标记的。半监督训练显著提高了TNNR的性能,这已经是最先进的了。
2021-06-11 cs.LG
Learning the Kernel for Classification and Regression
Courant Institute of Mathematical Science, New York University(纽约大学库朗数学科学研究所)
我们研究了一系列的学习核问题的多项式组合的基础内核,这将有助于我们解决回归和分类问题。我们还在不同的数据集上进行了一些多项式核的回归和分类任务的数值实验。
2017-12-25 cs.LG
Stochastic Low-Rank Kernel Learning for Regression
CNRS(法国国家科学研究中心);Aix-Marseille Université(艾克斯-马赛大学);Université du Sud-Toulon-Var(南土伦瓦尔大学)
我们提出了一种新的方法来学习基于核的回归函数。它是基于useof圆锥组合的数据为基础的参数化内核和一个新的随机凸优化程序,我们建立收敛保证。整个学习过程具有良好的性质,a)学习的圆锥组合被自动设计为执行手头的回归任务,以及b)优化过程所涉及的更新非常便宜。为了阐明我们的学习策略的恰当性,我们提出了在各种基准数据集上进行实验的经验结果。
2012-01-11 cs.LG
Direct side information learning for zero-shot regression
ArcelorMittal(安赛乐米塔尔);University of Oviedo(奥维耶多大学);Artificial Intelligence Center(人工智能中心)
针对现有零样本回归方法两阶段训练、特征与辅助信息分离优化的不足,提出一种单阶段融合特征与辅助信息的核方法,在人工和真实数据集上实现了更优性能。
2024-02-02 cs.LG
The Common Intuition to Transfer Learning Can Win or Lose: Case Studies for Linear Regression
Ben-Gurion University(本-古里安大学);Stanford University(斯坦福大学);Rice University(莱斯大学)
本文研究了线性回归中的迁移学习方法,通过引入目标参数与源参数距离的正则化优化,证明其在足够相关任务上能解决双下降误差峰值并击败独立任务的MMSE解,揭示了迁移学习扩展解空间的优势及其与常见设计理念的差异。
2024-05-31 cs.LG
Information Hidden in Gradients of Regression with Target Noise
University of Helsinki(赫尔辛基大学)
研究通过梯度揭示Hessian,利用噪声校准提升优化和鲁棒性,提供非渐近保证。
2026-04-07 cs.LG
Dimension Reduction for Symbolic Regression
针对符号回归中公式恢复困难的问题,提出通过搜索小替换并测试函数依赖性来迭代降维,可显著提升多种最先进符号回归算法的性能。
2025-06-24 cs.LG
Multi-task GINN-LP for Multi-target Symbolic Regression
Department of Electrical;Computer Engineering Prairie View A\&M University, Prairie View, TX 77446, USA Email
针对符号回归泛化性受限及仅支持单输出的问题,提出多任务回归GINN-LP模型,集成多任务深度学习与共享幂项逼近块主干,在实际多目标应用中实现了竞争性预测性能与高可解释性,扩展了符号回归的适用场景。
2025-11-17 cs.AI cs.LG
Local Interpretability of Random Forests for Multi-Target Regression
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
多目标回归在许多应用中都很有用。虽然随机森林模型在这些任务中表现良好,但它们通常难以解释。可解释性在机器学习中至关重要,特别是当它可以直接影响人类福祉时。虽然存在用于多目标回归的模型不可知技术,但是针对随机森林模型定制的特定技术不可用。为了解决这个问题,我们提出了一种技术,提供基于规则的解释的实例由随机森林模型的多目标回归,最近的模型特定的技术的影响随机森林可解释性。所提出的技术进行了评估,通过广泛的实验,并显示提供竞争力的解释相比,国家的最先进的技术。
2023-03-29 cs.AI cs.LG
Learning Combinations of Sigmoids Through Gradient Estimation
Northeastern University(东北大学);Stanford University(斯坦福大学)
提出了一种新的隐变量回归模型参数学习方法。简而言之,我们在一组随机点上估计回归函数的梯度,并对估计的梯度进行聚类。聚类的中心被用作隐藏单元的参数的估计。我们证明这种方法通过研究一个玩具模型,其中的回归函数是一个线性组合的S形。我们证明,确实估计的梯度集中周围的隐藏单元的参数向量,并提供所需的样本的数量上的非渐近界。据我们所知,没有类似的保证已被证明为线性组合的S形。
2018-01-17 cs.LG stat.ML
Online Multi-target regression trees with stacked leaf models
University of São Paulo(圣保罗大学);State University of Londrina(隆德里纳州立大学)
当前机器学习面临的挑战之一是如何处理数据流中以越来越高的速率出现的数据。需要新的预测学习策略来应对高吞吐量数据和概念漂移。其中一个需要新的学习策略的数据流挖掘任务是多目标回归,因为它适用于大量的现实问题。虽然已经提出了可靠和有效的学习策略,批量多目标回归,很少有人提出多目标在线学习数据流。此外,大多数现有的解决方案在进行预测时不考虑目标间相关性的发生。在这项工作中,我们提出了一种新的在线学习策略的多目标回归数据流。该策略扩展了现有的在线决策树学习算法,以探索目标间的依赖关系,同时进行预测。为此,所提出的策略,称为堆叠单目标Hoeffding树(SST-HT),使用目标间的依赖关系作为一个额外的信息源,以提高预测精度。在整个广泛的实验设置,我们评估我们的建议对国家的最先进的决策树为基础的算法在线多目标回归。根据实验结果,SST-HT提出了优越的预测精度,在处理时间和内存需求的小增加。
2020-03-10 cs.LG stat.ML
Multi-target regression via output space quantization
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学);Expedia(亿客行);University of Manchester(曼彻斯特大学)
多目标回归涉及使用一组共享的预测变量来预测多个连续的目标变量。多目标回归中的两个关键挑战是:(a)对目标依赖性进行建模,以及(b)对大输出空间的可扩展性。在本文中,提出了一种新的多目标回归方法,试图通过一种新的问题转换方法来共同应对这些挑战。所提出的方法,称为MRQ,是基于量化的输出空间的思想,以转换成一个或多个离散的多个连续的目标。对变换后的输出空间的学习自然能够对目标依赖性进行建模,同时量化策略可以灵活地参数化,以控制预测精度和计算效率之间的权衡。在大量基准数据集上的实验表明,MRQ具有高度的可扩展性,并且在准确性方面与最先进的技术具有竞争力。特别是,一个合奏版本的MRQ获得最佳的整体精度,同时是一个数量级的速度比亚军的方法。
2020-03-22 cs.LG stat.ML
Transferring model structure in Bayesian transfer learning for Gaussian process regression
Institute of Information Theory and Automation (UTIA), Czech Academy of Sciences(捷克科学院信息理论与自动化研究所(UTIA));Trinity College Dublin, the University of Dublin(都柏林大学圣三一学院)
本文将贝叶斯迁移学习(BTL)定义为将目标概率分布与迁移后的源分布相适应的任务。目标全局模型的源和目标之间的相互作用,并在一个独立的本地源建模提供的概率数据预测的条件。采用全概率设计方法解决目标的最优决策问题。通过成功地传输源的高阶矩,目标可以拒绝不可靠的源知识(即,它实现了鲁棒传输)。这种双重建模器框架意味着源将原始数据本地处理为转移的预测分布-具有压缩可能性-通过本地源模型(可能的专业知识)来丰富。此外,全局目标建模器的引入允许考虑源任务和目标任务之间的相关性(如果目标已知的话)。重要的后果出现了。首先,新的计划达到的性能完全建模(即传统的)多任务学习计划在(那些罕见的)情况下,目标模型的误指定是避免的。其次,更重要的是,新的双建模框架对破坏传统多任务学习的模型错误指定具有鲁棒性。我们深入探讨这些问题的关键背景下,相互作用的高斯过程回归任务。来自合成和真实数据设置的实验证据验证了我们的技术发现:所提出的BTL框架在传输中具有鲁棒性,同时对模型错误指定也具有鲁棒性。
2021-01-18 cs.LG
How to get the most out of Twinned Regression Methods
Homes Plus Magazine Inc.(霍姆斯普拉斯杂志公司)
孪生回归方法被设计用于解决原始回归问题的对偶问题,预测回归目标之间的差异,而不是目标本身。原始回归问题的解决方案可以通过集成未知数据点和多个已知锚数据点的目标之间的预测差异来获得。我们探讨了不同方面的孪生回归方法:(1)我们分解不同步骤的孪生回归算法,并检查其对最终性能的贡献,(2)我们检查的内在集成质量,(3)我们结合双神经网络回归与k-近邻回归设计一个更准确和有效的回归方法,(4)我们开发了一个简化的半监督回归方案。
2023-01-03 cs.LG stat.ME
Target Variable Engineering
Robert H. Smith School of Business(罗伯特·H·史密斯商学院);University of Maryland - College Park(马里兰大学帕克分校)
本研究系统比较了回归与分类在目标变量二值化下的性能,发现回归需更多计算资源且对随机性更敏感,分类受益于调参但改进较小,呼吁提高ML流水线的可复制性和效率。
2023-10-13 cs.LG
Copula-based conformal prediction for Multi-Target Regression
HEUDIASYC - UMR CNRS 7253(法国国家科学研究中心7253联合研究单位 启发式与诊断复杂系统实验室);Université de Technologie de Compiègne(贡比涅技术大学)
有相对较少的作品处理多任务学习问题的共形预测,这是特别真实的多目标回归。本文重点讨论了提供有效(即,频率校准)多变量预测。为此,我们建议使用应用于深度神经网络的copula函数进行归纳共形预测。我们表明,所提出的方法,确保效率和有效性的多目标回归问题的各种数据集。
2021-01-28 cs.AI cs.LG stat.ML
CARTGen-IR: Synthetic Tabular Data Generation for Imbalanced Regression
本文提出CARTGen-IR方法,通过相关性和密度引导采样生成不平衡回归的合成表格数据,具有高效执行和高透明度的优势。
2026-03-10 cs.LG
Integration of Feature Selection Techniques using a Sleep Quality Dataset for Comparing Regression Algorithms
Manipal Academy Of Higher Education (MAHE)(马尼帕尔高等教育学院(MAHE))
本研究的目的是检验将各种特征选择方法与回归算法相结合用于睡眠质量预测的有用性。公开可访问的睡眠质量数据集用于分析不同特征选择技术对四种回归算法-线性回归、岭回归、Lasso回归和随机森林回归器-的性能的影响。比较结果以确定特征选择技术和回归算法的最佳组合。该研究结论丰富了目前关于使用机器学习进行睡眠质量预测的文献,对个人个性化睡眠建议具有实际意义。
2023-03-04 cs.LG
Instance Hardness-Based Relevance for Imbalanced Regression
针对不平衡回归问题,提出基于实例硬度的相关性函数InHaR,综合考虑目标分布与学习难度,能在双峰分布下准确识别罕见区域,用于指导重采样策略时可显著提升预测性能。
2026-07-24 cs.LG
A convex formulation for high-dimensional sparse sliced inverse regression
切片逆回归是一种用于充分降维的流行工具,它用协变量的线性组合的最小集合替换协变量,而不会丢失关于给定协变量的响应的条件分布的信息。估计的线性组合包括所有协变量,使得结果难以解释,并且可能是不必要的变量,特别是当协变量的数量很大时。在本文中,我们提出了一个凸公式拟合稀疏切片逆回归在高维。我们的建议估计的子空间的线性组合的协变量直接进行变量选择。我们通过线性化的交替方向方法的乘子算法来解决由此产生的凸优化问题,并建立一个上界的估计和真正的子空间之间的子空间距离。通过数值研究,我们表明,我们的建议是能够识别正确的协变量在高维设置。
2018-09-17 cs.LG stat.ML
Towards meta-learning for multi-target regression problems
Londrina State University(隆德里纳州立大学);University of São Paulo(圣保罗大学);Federal Technology University(联邦理工大学)
近年来,为了提高预测性能,开发了几种多目标回归方法,探索问题中目标间的相关性。然而,这些方法中没有一个在所有问题上都优于其他方法。这促使自动方法的发展,以推荐最合适的多目标回归方法。在本文中,我们提出了一个元学习系统,推荐最好的预测方法,为一个给定的多目标回归问题。我们用总共648个合成数据集生成的元数据集进行了实验。创建这些数据集是为了探索不同的目标间特征,以推荐最有前途的方法。在实验中,我们评估了四种不同的算法,不同的偏见作为元学习者。我们的元数据集由58个元特征组成,基于:统计信息,相关特征,线性地标,来自数据的分布和平滑度,并有四个不同的元标签。结果表明,诱导元模型能够为不同的基础水平数据集推荐最佳方法,使用随机森林元模型的平衡准确率超过70%,在统计学上优于元学习基线。
2019-07-25 cs.LG stat.ML
Multiple-Source Adaptation for Regression Problems
EECS, UC Berkeley(加州大学伯克利分校电气工程与计算机科学系);Courant Institute, NYU(纽约大学柯朗研究所);Google Research(谷歌研究院)
我们提出了一个详细的理论分析的问题,多源适应一般的随机情况下,扩展已知的结果,假设一个单一的目标标签功能。我们的研究结果涵盖了一个更现实的情况下,并显示存在一个单一的强大的预测准确的\emph{any}目标混合源分布。此外,我们提出了一个有效的和实用的优化解决方案,以确定在平方损失的重要情况下的鲁棒预测,通过铸造的问题作为一个DC-编程的实例。我们报告的结果与人工任务和情感分析任务的实验。我们发现,我们的算法优于竞争的方法,产生一个单一的强大的模型,表现良好的任何目标混合物分布。
2017-11-14 cs.LG
Transfer Learning of Linear Regression with Multiple Pretrained Models: Benefiting from More Pretrained Models via Overparameterization Debiasing
Faculty of Computer and Information Science(计算机与信息科学学院)
本文提出通过过度参数化去偏方法,利用多个预训练模型提升线性回归任务的迁移学习效果。
2026-02-18 cs.LG
Target-Aware State-Adaptive $p$-Dirichlet Graph Neural Regression for Non-Invasive Body-Composition Estimation
Louisiana State University(路易斯安那州立大学);Pennington Biomedical Research Center(彭宁顿生物医学研究中心)
该研究针对非侵入式身体成分估计问题,提出$p$SADE-GNR框架,在临床数据验证中其相关加权模型的预测误差优于传统回归方法,为该领域提供了有效解决方案。
2026-09-01 cs.LG
Target inductive methods for zero-shot regression
ArcelorMittal(安赛乐米塔尔);University of Oviedo(奥维耶多大学);Artificial Intelligence Center(人工智能中心)
本文针对气象站污染物预测的零样本回归问题,提出基于相似性聚合和参数学习两种方法,后者通过学习辅助信息与特征模型对应关系,在多个数据集上优于基线。
2024-02-02 cs.LG
Uncoupled Regression from Pairwise Comparison Data
The University of Tokyo(东京大学);RIKEN(理化学研究所)
非耦合回归是从未标记数据和目标值集合中学习模型的问题,而它们之间的对应关系是未知的。在预测涉及敏感信息的匿名化目标时出现这种情况,一个人的年收入。由于现有的解耦回归方法往往需要对真正的目标函数进行强假设,因此,它们的应用范围是有限的,我们引入了一个新的框架,不需要这样的假设在本文中。我们的关键思想是利用成对比较数据,它由成对的未标记数据组成,我们知道哪一个具有更大的目标值。这样的成对比较数据很容易收集,就像在学习排名场景中通常讨论的那样,并且不会破坏数据的匿名性。我们提出了两个实用的方法,从成对比较数据的非耦合回归,并证明了学习的回归模型收敛到最优模型的最佳参数收敛速度时,目标变量均匀分布。此外,我们的经验表明,对于线性模型,所提出的方法是普通的监督回归与标记数据。
2019-06-03 cs.LG stat.ML
A Survey Of Regression Algorithms And Connections With Deep Learning
Suzhou University of Science and Technology(苏州科技大学)
回归最近引起了人们极大的兴趣,因为它在预测值等任务中的有效性。回归在经济、金融、商业、生物等多个领域有着广泛的应用,虽然有大量的研究提出了一些令人印象深刻的模型,但很少有研究提供回归是如何发展的以及发展到什么程度的全貌。为了帮助初学者理解不同回归算法之间的关系,本文对最近的回归算法进行了广泛而周到的选择,对现有的工作和经常使用的模型进行了有组织的全面概述。本文还讨论了回归和深度学习之间的关系,并得出结论,深度学习在未来可以与回归模型结合使用。
2021-04-26 cs.LG
Transfer Regression via Pairwise Similarity Regularization
University of California, Davis(加州大学戴维斯分校)
迁移学习方法解决了这样的情况,其中存在来自“目标”问题的很少的标记训练数据,但是来自相关“源”域的很多训练数据是可用的。然而,绝大多数迁移学习方法是针对简单设置设计的,其中源和目标预测函数几乎相同,限制了迁移学习方法对真实世界数据的适用性。我们提出了一种新的,较弱的,属性的源域,即使在源和目标预测函数发散时,也可以转移。我们的方法假设源函数和目标函数共享一个成对相似性属性,如果源函数对一对实例做出相似的预测,那么目标函数也会如此。我们提出了成对相似正则化转移,一个灵活的基于图的正则化框架,可以将这种建模假设纳入标准的监督学习算法。我们展示了用户如何将领域知识以空间连续性的形式编码到我们的正则化器中,成对的“相似性约束”以及我们的方法如何使用Nystrom近似扩展到大型数据集。最后,我们提出了积极的和消极的结果,真正的和合成数据集,并讨论当我们的成对相似性转移假设似乎在实践中举行。
2017-12-23 cs.LG
White-Box Target Attack for EEG-Based BCI Regression Problems
Huazhong University of Science and Technology(华中科技大学);University of California San Diego(加州大学圣地亚哥分校)
机器学习在许多应用中取得了巨大的成功,包括基于脑电图(EEG)的脑机接口(BCI)。不幸的是,许多机器学习模型容易受到对抗性示例的影响,这些示例是通过向原始输入添加故意设计的扰动来制作的。针对分类问题提出了许多对抗性攻击方法,但很少有人考虑针对回归问题的目标对抗攻击。本文提出了两个这样的方法。更具体地说,我们考虑针对回归问题的白盒目标攻击,其中我们知道关于要攻击的回归模型的所有信息,并且希望设计小的扰动来将回归输出改变预定量。两个BCI回归问题的实验验证了这两种方法的有效性。此外,从这两种方法生成的对抗性示例也是可转移的,这意味着我们可以使用从一个已知回归模型生成的对抗性示例来攻击一个未知回归模型,即,进行黑盒攻击据我们所知,这是第一个基于EEG的BCI回归问题的对抗攻击的研究,这需要更多的关注BCI系统的安全性。
2019-11-07 cs.AI cs.CR cs.LG
Robust Finite Mixture Regression for Heterogeneous Targets
Tsinghua University(清华大学);University of Connecticut(康涅狄格大学);University of Michigan(密歇根大学);Cornell University(康奈尔大学)
有限混合回归(FMR)是指从训练数据集中学习多个回归模型的混合建模方案。他们每个人都负责一个子集。FMR是处理样本异质性的有效方案,其中单个回归模型不足以捕获给定特征的观测样本的条件分布的复杂性。本文提出了一种FMR模型,该模型能够发现样本聚类,同时对多个不完全混合类型目标进行联合建模;实现任务和聚类组件之间的共享特征选择;检测异常任务或任务间的聚类结构,并容纳离群样本。我们提供了一个高维的学习框架下,我们的模型的非渐近预言机的性能界限。所提出的模型进行评估的合成和现实世界的数据集。结果表明,我们的模型可以达到最先进的性能。
2020-10-12 cs.LG stat.ML
Supervised Discrete Hashing with Relaxation
Institute of Intelligent Machines, Chinese Academy of Sciences(中国科学院合肥智能机械研究所);University of Technology Sydney(悉尼科技大学);University of Sydney(悉尼大学)
数据相关哈希最近引起了人们的关注,因为它能够支持高效检索和存储文档、图像和视频等高维数据。在本文中,我们提出了一种新的基于学习的散列方法称为“监督离散散列松弛”(SDHR)的基础上“监督离散散列”(SDH)。SDH采用普通最小二乘回归和传统的类标号信息的0 - 1矩阵编码作为回归目标(码字),从而固定了回归目标。在SDHR中,回归目标被优化。优化后的回归目标矩阵满足每个样本正确分类的大裕度约束。与使用传统的0 - 1矩阵的SDH相比,SDHR利用学习的回归目标矩阵,因此更准确地测量回归模型的分类误差,并且更灵活。正如预期的那样,SDHR通常优于SDH。在两个大规模图像数据集(CIFAR-10和MNIST)和一个大规模人脸数据集(FRGC)上的实验结果证明了SDHR的有效性和效率。
2019-04-07 cs.LG stat.ML
Learning under Target Shift: Optimal Density Ratio Estimation and Importance-Weighted Regression
School of Mathematical Sciences, Zhejiang University(浙江大学数学科学学院)
针对连续输出目标偏移问题,提出RKHS谱正则化密度比估计方法,达到极小极大最优速率,并分析其在重要性加权回归中的误差传播,建立有限样本理论。
2026-09-15 cs.LG stat.ML
Combinations of distributional regression algorithms with application in uncertainty estimation of corrected satellite precipitation products
National Technical University of Athens(雅典国立技术大学)
本文面向卫星降水产品校正的空间预测,提出结合GAMLSS、分布回归森林及堆叠、等权平均的分布回归集成方法,并通过大型多源降水数据验证其在分位数性能与稳定性上的优势。
2025-01-06 cs.LG stat.AP stat.ME
Delving into Deep Imbalanced Regression
MIT Computer Science & Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);Department of Computer Science, Rutgers University(罗格斯大学计算机科学系)
真实世界的数据通常表现出不平衡的分布,其中某些目标值的观测值明显较少。用于处理不平衡数据的现有技术集中于具有分类索引的目标,即,不同的班级然而,许多任务涉及连续的目标,其中类之间不存在硬边界。我们将深度不平衡回归(Deep Inbalanced Regression)定义为从具有连续目标的不平衡数据中学习,处理某些目标值的潜在缺失数据,并推广到整个目标范围。受分类和连续标签空间之间的内在差异的启发,我们提出了标签和特征的分布平滑,明确承认附近目标的影响,并校准标签和学习的特征分布。我们从计算机视觉、自然语言处理和医疗保健领域的常见现实任务中策划和基准测试大规模人工智能数据集。大量的实验验证了我们的策略的优越性能。我们的工作填补了实际不平衡回归问题的基准和技术的空白。代码和数据可在https://github.com/YyzHarry/imbalanced-regression上获得。
2021-05-13 cs.AI cs.CV cs.LG
Volume-Sorted Prediction Set: Efficient Conformal Prediction for Multi-Target Regression
City University of Hong Kong(香港城市大学);Alpha Benito Research(阿尔法贝尼托研究院)
本文提出VSPS方法,利用条件归一化流与共形校准为多目标回归构建灵活非凸预测区域,在保证覆盖概率的同时生成更小、更具信息量的预测区域,有效提升了复杂高维环境下的不确定性建模能力。
2025-03-04 cs.LG stat.ML
Representation Transfer Learning via Multiple Pre-trained models for Linear Regression
University of California, Los Angeles(加州大学洛杉矶分校)
本文提出一种基于多个预训练模型的表示迁移学习方法,通过两阶段训练(表示构建和微调)构建目标回归模型模型,并证明了迁移学习在样本复杂度上的优势,迁移学习的有效性。
2023-06-25 cs.LG stat.ML
Deep Regression Representation Learning with Topology
本研究针对现有表示学习多关注分类、忽略回归的问题,基于信息瓶颈原理建立回归表示拓扑与表示有效性的关联,提出适配特征与目标空间维度及拓扑的PH-Reg正则化器,实验验证了其在回归任务上的有效性。
2024-05-16 cs.CV cs.LG
Estimating Stochastic Linear Combination of Non-linear Regressions Efficiently and Scalably
State University of New York at Buffalo(纽约州立大学布法罗分校)
近年来,许多机器学习和统计模型,如非线性回归模型、单指标模型、多指标模型、变系数模型和两层神经网络模型等,都可以归结为一种新的模型,称为\textit{Stochastic Linear Combination of Non-linear Regressions}模型。然而,由于该问题的高度非凸性,没有以前的工作研究如何估计模型。在本文中,我们提供了关于如何有效地和可扩展地估计模型的第一个研究。具体来说,我们首先表明,与一些温和的假设,如果变量向量$x$是多元高斯,那么有一个算法,其输出向量有$\ell_2$ -范数估计误差$O(\sqrt{\frac{p}{n}})$的概率很高,其中$p$是$x$的尺寸和$n$是样本的数量。证明的关键思想是基于由斯坦引理激发的观察。然后利用零偏变换将我们的结果推广到了$x$是有界的亚高斯情形,这可以看作是经典Stein引理的推广。我们还表明,与一些额外的假设有一个算法,其输出向量有$\ell_\infty$范数估计误差的$O(\frac{1}{\sqrt{p}}+\sqrt{\frac{p}{n}})$具有很高的概率。我们还提供了一个具体的例子来说明,存在一些链接函数,满足上述假设。最后,对于高斯和亚高斯的情况下,我们提出了一个更快的基于子采样的算法,并表明,当子样本的大小是足够大的估计误差不会牺牲太多。这两种情况下的实验支持我们的理论结果。据我…
2020-10-19 cs.LG stat.ML
Distribution Assertive Regression
Harman(哈曼);Zeta Global(泽塔全球);Northwestern University(西北大学)
在回归建模方法中,主要步骤是使回归线尽可能接近目标变量。在这个过程中,大多数算法试图将所有数据拟合在一条直线上,从而一次性拟合目标变量的所有部分。据观察,预测变量和目标变量之间的误差通常在因变量的各个分位数上具有变化的行为,因此像MAPE这样的单点诊断在表示Y(因变量)分布上的适应度水平方面具有局限性。针对这一问题,本文提出了一种新的方法来处理目标变量的不同分位数的回归拟合。使用这种方法,我们已经显着改善了预测值和回归的实际值之间的距离(误差)的偏心行为。我们提出的解决方案是基于对数据内部段的分段行为的理解,以及基于每个分位数行为对数据进行回顾性拟合的方法。我们相信探索和使用这种方法将有助于在大多数现实世界数据建模问题的设置中实现更好,更可解释的结果。
2018-05-04 cs.LG stat.ML
Outlier Robust Extreme Learning Machine for Multi-Target Regression
Federal University of Espírito Santo(圣埃斯皮里图联邦大学)
基于极限学习机(ELM)的算法在过去几年中越来越流行,它可以用于训练单层前馈神经网络(SLFN)。它们已成功应用于广泛的分类和回归任务。最常用的方法是基于最小化误差的$\ell_2$范数的方法,这不适合处理离群值,特别是在回归任务中。在离群鲁棒ELM(OR-ELM)中,提出了$\ell_1$范数的使用,定义为一维输出。本文利用误差$\ell_{2,1}$范数和弹性网络理论,将OR-ELM推广到多目标回归问题,得到一个更稀疏的网络,从而得到我们的方法--广义离群鲁棒ELM(Generalized Outlier Robust ELM,简称OR-ELM)。我们使用交替方向乘法(ADMM)来解决由此产生的优化问题。还提出了一个增量版本的EST-ELM。我们选择了15个公开的真实世界多目标回归数据集来测试我们的方法。我们进行的实验表明,它们在统计学上优于其他基于ELM的技术,当考虑数据污染离群值,并相当于他们,否则。
2019-07-16 cs.LG stat.ML
Target-agnostic Source-free Domain Adaptation for Regression Tasks
City University of Hong Kong(香港城市大学);The Hong Kong University of Science and Technology(香港科技大学)
本文提出TASFAR,一种面向回归任务的目标无关无源域适应方法,利用预测置信度估计目标标签分布来校准源模型,在四个回归任务上平均减少22%误差,性能显著优于现有无源UDA方法。
2023-12-01 cs.AI cs.LG stat.ML
Spectral Manifold Harmonization for Graph Imbalanced Regression
University of Notre Dame(诺丁汉大学);Carnegie Mellon University(卡内基梅隆大学)
针对图结构数据不平衡回归问题,提出谱流形调和方法(SMH),通过生成保留拓扑特性且聚焦特定目标分布的合成图样本,克服传统方法忽略图拓扑或特定领域范围的缺陷,在化学与药物发现基准上显著提升目标领域预测性能。
2025-07-11 cs.LG q-bio.MN
Twin Neural Network Regression
Perimeter Institute for Theoretical Physics(圆周理论物理研究所);University of Ottawa(渥太华大学);Vector Institute for Artificial Intelligence(向量人工智能研究所);University of Waterloo(滑铁卢大学);National Research Council of Canada(加拿大国家研究委员会)
介绍了孪生神经网络(TNN)回归方法。该方法预测两个不同数据点的目标值之间的差异,而不是目标本身。然后,通过在未看见的数据点的目标和所有训练数据点的目标之间的所有预测差异的集合上求平均来获得传统回归问题的解。尽管集合的产生通常是昂贵的,但TNN回归本质上创建了两倍于训练集大小的预测集合,同时只训练单个神经网络。由于集成已被证明是更准确的比单一的模型,这个属性自然转移到TNN回归。我们表明,与其他最先进的方法相比,TNN能够竞争或产生更准确的预测不同的数据集。此外,TNN回归受到自洽条件的约束。我们发现,违反这些条件提供了一个估计的预测不确定性。
2020-12-29 cs.LG stat.ML
Building Bridges between Regression, Clustering, and Classification
Google DeepMind(谷歌DeepMind)
本文针对神经网络回归中均方误差最小化可能次优的问题,借鉴分类与聚类思想,提出由目标编码器和预测解码器重构回归任务的新训练方法,并在多个真实数据集上验证其性能。
2025-02-18 cs.LG stat.ML
An implicit function learning approach for parametric modal regression
Univ. of Alberta(阿尔伯塔大学);Amii(阿尔伯塔机器智能研究院);Vector Institute(向量研究所);Univ. of Toronto(多伦多大学)
对于多值函数-例如当给定输入的目标上的条件分布是多模态时-标准回归方法并不总是可取的,因为它们提供了条件均值。模态回归算法通过找到条件模式来解决这个问题。然而,大多数方法都是非参数方法,因此很难扩展。此外,参数逼近器,如神经网络,有助于学习输入和目标之间的复杂关系。在这项工作中,我们提出了一个参数模态回归算法。我们使用隐函数定理来开发一个目标,用于学习输入和目标上的联合函数。我们在几个合成问题上经验性地证明了我们的方法(i)可以学习多值函数并产生条件模式,(ii)可以很好地扩展到高维输入,(iii)甚至可以更有效地处理某些单峰问题,特别是高频函数。我们证明了我们的方法在现实世界的模态回归问题和两个常规回归数据集上具有竞争力。
2020-10-29 cs.LG stat.ML
Distribution Learning for Molecular Regression
Fundamental AI Research (FAIR) at Meta(Meta基础AI研究院(FAIR));Georgia Institute of Technology(佐治亚理工学院)
本文针对分子性质回归任务中软目标方法的研究不足,分析了现有方法的关键偏差,提出与模型和数据无关的 DMoE 方法,通过结合交叉熵与 L1 距离的损失函数预测目标概率分布,在多个数据集和架构上优于基线。
2024-07-30 cs.LG q-bio.QM
Deep Multimodal Transfer-Learned Regression in Data-Poor Domains
Texas A&M University(德克萨斯农工大学);Army Research Lab(陆军研究实验室)
在深度学习的许多现实应用中,目标的估计可能依赖于各种类型的输入数据模式,例如音频-视频、图像-文本等。在这里,我们提出了一种深度多模态转移学习回归器(DMTL-R),用于在深度回归架构中对图像和特征数据进行多模态学习,有效地预测数据贫乏领域的目标参数。我们的模型能够在少量训练图像数据上微调给定的一组预训练CNN权重,同时在网络训练期间对来自互补数据模式的特征信息进行调节,从而产生比单独使用图像或特征更准确的单目标或多目标回归。我们使用相场模拟微观结构图像与一组附带的物理特征,使用来自各种知名的CNN架构的预训练权重,展示了所提出的多模态方法的有效性。
2020-06-16 cs.CV cs.LG
Implicit Target Shift in Online Learning: Characterization and Correction
Department of Physics(物理系);Washington University in St. Louis(圣路易斯华盛顿大学);Department of Neuroscience(神经科学系)
本文研究了在线学习中目标偏移的本质,提出通过目标修正使在线核学习与离线学习等效,并在图像分类任务中验证了其有效性。
2026-10-06 cs.LG stat.ML
Target-Aware Linear Regression Under Distribution Shift
Department of Statistics(统计学系);Columbia University(哥伦比亚大学)
针对训练与部署间的分布漂移,提出混合损失估计器作为目标感知基准,并开发了约束矩匹配和两阶段估计两种计算可行方案,推导渐近均方误差并比较性能。
2026-06-24 cs.LG stat.ME
Improving Deep Regression with Tightness
National University of Singapore(新加坡国立大学);Guangdong University of Technology(广东工业大学)
本研究针对深度回归中典型损失难以降低条件熵H(Z|Y)的问题,提出最优传输正则化器与目标复制策略以保留目标相似关系,有效提升了深度回归性能并提供理论解释。
2025-02-13 cs.AI cs.CV cs.LG
Near-Optimal Linear Regression under Distribution Shift
Princeton University(普林斯顿大学)
当足够的数据来自源域,而来自目标域的标记数据很少时,迁移学习是必不可少的。我们开发估计,实现最小最大线性风险的线性回归问题下分布偏移。我们的算法涵盖了不同的迁移学习设置,包括协变量偏移和模型偏移。我们还考虑当数据是从线性或一般的非线性模型。我们表明,线性极小极大估计是在一个绝对常数的极小极大风险,甚至在非线性估计的各种源/目标分布。
2021-06-23 cs.LG stat.ML
On the benefits of maximum likelihood estimation for Regression and Forecasting
Google Research(谷歌研究院)
我们提倡一种实用的极大似然估计(MLE)方法来设计回归和预测的损失函数,作为对特定目标指标直接经验风险最小化的典型方法的替代方案。MLE方法更适合于捕获归纳偏差,例如数据集中的先验领域知识,并且可以在推理时输出可以优化不同类型的目标度量的事后估计。我们目前的理论结果表明,我们的方法是有竞争力的任何估计的目标度量在一些一般条件下。在两个例子的实际设置,泊松和帕累托回归,我们表明,我们的竞争结果可以用来证明,MLE方法有更好的超额风险界限比直接最小化的目标度量。我们还通过经验证明,我们的方法使用设计良好的通用混合似然家族实例化,可以在具有不同数据分布的时间序列预测和回归数据集的各种任务中获得卓越的性能。
2021-10-09 cs.AI cs.LG stat.ML
TMPNN: High-Order Polynomial Regression Based on Taylor Map Factorization
本文提出基于Taylor map分解的高阶多项式回归方法TMPNN,实现多目标回归并捕获目标间关系,同时引入微分方程组形式的模型解释,在多个数据集上表现与SOTA相当且在特定任务上更优。
2023-07-30 cs.LG cs.NE