Density-Ratio Losses for Post-Hoc Learning to Defer
KTH(皇家理工学院);Google Research(谷歌研究)
本文研究了后验学习延迟(L2D)问题,通过理想分布的视角定义延迟,并提出基于密度比损失的CPE损失函数,通过阈值判断延迟决策,从而在不重新训练的情况下调整延迟率,同时揭示了Chow规则与专家倾斜贝叶斯后验之间的联系。
2026-11-11 cs.LG stat.ML
Designing Closed Human-in-the-loop Deferral Pipelines
Yale University(耶鲁大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);Amazon AWS AI(亚马逊云服务人工智能);Fiddler AI
在混合人机延迟框架中,分类器可以将不确定的情况推迟给人类决策者(他们自己往往也会犯错)。在同时训练这种分类器和延迟模型方面,以前的工作通常假设在训练期间可以访问oracle,以获得训练样本的真实类标签,但实际上通常没有这样的oracle。相比之下,我们考虑一个“封闭”的决策管道,其中在延迟中使用的相同的易犯错的人类决策者也提供训练标签。如何使用不完美和有偏见的人类专家标签来训练公平和准确的延期框架?我们的关键见解是,通过利用弱先验信息,我们可以将专家与输入示例相匹配,以确保所产生的延迟框架的公平性和准确性,即使在使用不完美和有偏见的专家代替地面真值标签时也是如此。理论分析和两个任务的评价都表明了我们方法的有效性。
2022-02-09 cs.HC cs.LG
No Need for Learning to Defer? A Training Free Deferral Framework to Multiple Experts through Conformal Prediction
SAFiR Lab, University of Sherbrooke, Sherbrooke, Canada(SAFiR实验室,舍布鲁克大学,舍布鲁克,加拿大)
本文提出一种无需训练的延迟框架,通过校准预测量化标签特定不确定性,并利用分离性准则选择最合适的专家,从而在低数据情况下保持预测准确性,减少训练标签数量并降低训练时间。
2026-03-28 cs.HC cs.LG
Identity-Free Deferral For Unseen Experts
University of Oxford(牛津大学)
IFD通过强制排列对称性,解决未见过专家的延迟决策问题,提升泛化能力并减少标注需求。
2026-03-02 cs.HC cs.LG
Sample Efficient Learning of Predictors that Complement Humans
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Massachusetts Institute of Technology(麻省理工学院)
学习算法的目标之一是补充和减轻人类决策者的负担。专家延迟设置,其中算法可以自己预测或将决策推迟到下游专家,有助于实现这一目标。这种设置的一个基本方面是需要学习补充预测器,以改善人类的弱点,而不是学习针对平均误差优化的预测器。在这项工作中,我们提供了第一个理论分析的好处,学习互补的预测专家延期。为了能够有效地学习这样的预测,我们考虑了一个家庭的一致代理损失函数的专家推迟,并分析其理论性质。最后,我们设计主动学习计划,需要最少的人类专家预测的数据,以学习准确的延迟系统。
2022-07-19 cs.AI cs.HC cs.LG
Why Ask One When You Can Ask $k$? Learning-to-Defer to the Top-$k$ Experts
School of Computing, National University of Singapore(新加坡国立大学计算机学院);Fédération ENAC, ISAE-SUPAERO, ONERA, Université de Toulouse(ENAC联合会、ISAE-SUPAERO、ONERA、图卢兹大学);Agency for Science, Technology and Research, Institute for Infocomm Research(科技研究局、信息通信研究所)
提出Top-$k$学习推迟框架,通过将查询分配给最优的$k$个专家,实现多专家协作,并开发了与$k$无关的替代损失函数,在准确性和成本之间取得更优权衡。
2026-06-03 cs.LG stat.ML
RACER: Role-Aligned Competence Estimation for Human-AI Routing
University of Oxford(牛津大学)
RACER提出角色对齐的能力估计框架,利用上下文估计未见专家能力,结合模型后验实现贝叶斯最优的人机路由,在合成和医学影像基准上表现优异。
2026-09-21 cs.LG
One-Stage Top-$k$ Learning-to-Defer: Score-Based Surrogates with Theoretical Guarantees
本文提出首个一阶段 Top-$k$ Learning-to-Defer 框架,通过单一端到端目标联合优化预测与推迟,并引入与 $k$ 无关的凸替代函数及自适应变体 Top-$k(x)$,在理论与实验上均证明了其优越性。
2025-10-13 cs.LG stat.ML
To Defer or Not to Defer? Online Learning with LLMs and Congested Experts
KTH Royal Institute of Technology(瑞典皇家理工学院)
该研究针对结合LLM与拥塞专家的在线决策问题,提出KL-PBD算法,通过Kullback-Leibler下置信界指导延迟决策,在合成与真实问答数据集上验证了其最优遗憾性能。
2026-10-14 cs.AI cs.LG
Principled Approaches for Learning to Defer with Multiple Experts
Courant Institute of Mathematical Sciences(柯朗数学科学研究所);Google Research(谷歌研究院)
本文针对多专家学习延迟决策问题,提出新的替代损失函数族并证明其强 H-一致性界,进而设计相应算法,并在 SVHN 和 CIFAR-10 上验证效果。
2024-03-31 cs.LG stat.ML
Spectral Experts for Estimating Mixtures of Linear Regressions
Stanford University(斯坦福大学)
判别潜变量模型通常使用EM或基于梯度的优化来学习,这会受到局部最优的影响。在本文中,我们开发了一个新的计算效率和可证明的一致性估计的混合线性回归,一个简单的例子,一个判别潜在变量模型。我们的方法依赖于低秩线性回归来恢复对称张量,可以使用张量幂方法将其分解为参数。我们证明了我们的估计的收敛速度,并提供了一个实证评估,说明其相对于局部优化(EM)的优势。
2013-06-17 cs.LG stat.ML
Correlated Product of Experts for Sparse Gaussian Process Regression
Università della Svizzera italiana (USI)(提契诺大学);University of Limerick (UL)(利默里克大学)
高斯过程(GP)是机器学习和统计学中的重要工具,其应用范围从社会科学和自然科学到工程学。它们构成了一个功能强大的核化非参数方法,具有校准良好的不确定性估计,然而,现成的GP推理程序仅限于具有数千个数据点的数据集,因为它们的立方计算复杂性。出于这个原因,在过去的几年中已经开发了许多稀疏GPS技术。在本文中,我们专注于GP回归任务,并提出了一种新的方法的基础上聚合预测从几个本地和相关的专家。因此,专家之间的相关程度可以在独立专家到完全相关的专家之间变化。考虑到专家的个人预测的相关性,将其汇总,从而得出一致的不确定性估计。我们的方法恢复独立的专家产品,稀疏GP和全GP在极限情况下。该框架可以处理一个通用的核函数和多个变量,并具有一个时间和空间的复杂度是线性的专家和数据样本的数量,这使得我们的方法具有高度的可扩展性。我们展示了优越的性能,在时间与精度的意义上,我们提出的方法对国家的最先进的GP近似方法的合成以及几个现实世界的数据集与确定性和随机最优化。
2021-12-17 cs.LG stat.ML
Hierarchical Routing Mixture of Experts
Carnegie Mellon University(卡内基梅隆大学)
在回归任务中,数据的分布往往过于复杂,无法用单一模型拟合。相比之下,开发基于分区的模型,其中数据被划分并由局部模型拟合。这些模型划分了输入空间,并且没有利用多模分布式数据的输入-输出依赖性,并且需要强大的本地模型来进行良好的预测。针对这些问题,我们提出了一个二叉树结构的分层路由混合专家模型(HRME)模型,分类器作为非叶节点专家和简单的回归模型作为叶节点专家。分类器节点基于多模态数据的自然分离性对输入输出空间进行联合软划分。这使得简单的叶专家能够有效地进行预测。此外,我们开发了一个概率框架的HRME模型,并提出了一个递归的期望最大化(EM)为基础的算法来学习的树结构和专家模型。一组回归任务的实验验证了我们的方法的有效性相比,各种其他回归模型。
2019-03-18 cs.LG stat.ML
Unsupervised Ensemble Regression
Weizmann Institute of Science(魏茨曼科学研究所);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心);Yale University School of Medicine(耶鲁大学医学院)
考虑一个回归问题,其中没有标记数据,唯一的观测值是$m$专家$f_{i}$对许多样本$x_j$的预测$f_i(x_j)$。在不了解专家的准确性的情况下,是否仍然可以准确地估计未知的响应$y_{j}$?人们还能发现最不准确或最准确的专家吗?在这项工作中,我们提出了一个框架来研究这些问题,假设的基础上,$m$专家有不相关的偏差,从最佳的预测。假设响应的前两个时刻是已知的,我们开发的方法来检测最好和最坏的回归,并推导出U-PCR,一种新的主成分方法,用于无监督集成回归。我们为U-PCR提供了理论支持,并说明了它在各种回归问题上的集合平均值和中位数的精度提高。
2017-03-08 cs.LG stat.ML
Hierarchical Mixtures-of-Experts for Exponential Family Regression Models with Generalized Linear Mean Functions: A Survey of Approximation and Consistency Results
Northwestern University(西北大学)
研究了一类分层混合专家模型,其中指数族回归模型的广义线性均值函数为psi(ga+fx^Tfgb).这里psi(.)是反向链接函数。假设真实响应y遵循指数族回归模型,其均值函数属于一类形式为psi(h(fx))的光滑函数,其中h(.)在W_2^infty([0,1]^{s}上的Sobolev类)中。结果表明,HME概率密度函数在Lp范数下以O(m^{-2/s})的速度逼近真密度,在Kullback-Leibler散度下以O(m^{-4/s})的速度逼近真密度.这些速率可以在具有不超过s层的HME结构族内实现,其中s是预测因子fx的维度。它还表明,基于HME的似然推理是一致的恢复真相,在这个意义上,作为样本大小n和专家的数量m都增加,预测的平均响应的均方误差为零。这样的结果举行的条件进行了说明和讨论。
2013-01-30 cs.LG stat.ML
Leveraging Probabilistic Circuits for Nonparametric Multi-Output Regression
TU Darmstadt(达姆施塔特工业大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Aalto University(阿尔托大学);Centre for Cognitive Science TU Darmstadt(达姆施塔特工业大学认知科学中心);Hessian Center for AI (hessian.AI)(黑森人工智能中心(hessian.AI))
受高斯过程(GP)的专家近似领域的最新进展的启发,我们提出了一种基于专家的方法,使用单输出GP专家的大规模多输出回归。采用通过概率电路编码的单输出GP的深度结构化混合物,使我们能够准确地捕获多个输出维度之间的相关性。通过递归地划分协变量空间和输出空间,我们模型中的后验推理简化为对单输出GP专家的推理,这只需要以观察结果的一小部分为条件。我们表明,在我们的模型中可以准确有效地进行推理,它可以捕获输出维度之间的相关性,因此,通常优于不包含输出间相关性的方法,如在负对数预测密度方面的几个数据集上所示。
2021-08-01 cs.LG stat.ML
Healing Products of Gaussian Processes
University College London(伦敦大学学院);University of Johannesburg(约翰内斯堡大学);University of the Witwatersrand(金山大学)
高斯过程(GP)是一种非参数贝叶斯模型,已被应用于回归和分类问题。减轻其立方训练成本的方法之一是使用在数据子集上训练的本地GP专家。特别是,专家产品模型通过一个易于处理的产品操作结合了当地专家的预测分布。虽然这些专家模型允许大规模分布式计算,但它们的预测通常会受到平均值或未校准不确定性量化的不稳定行为的影响。通过校准预测通过回火softmax加权,我们提供了一个解决方案,这些问题的多个产品的专家模型,包括广义产品的专家和强大的贝叶斯委员会机。此外,我们利用最佳运输文献,并提出了一个新的产品的专家模型,结合当地专家的预测,通过计算他们的Wasserstein重心,这可以应用于回归和分类。
2021-02-14 cs.LG stat.ML
Competing with Gaussian linear experts
Computer Learning Research Centre(计算机学习研究中心);Royal Holloway, University of London(伦敦大学皇家霍洛威学院)
我们研究了在线回归问题。我们证明了岭回归平方损失的理论界。我们不对输入向量或结果做任何假设。我们还表明,贝叶斯岭回归可以被认为是一个在线算法与所有的高斯线性专家竞争。
2010-05-10 cs.LG
On the Functional Equivalence of TSK Fuzzy Systems to Neural Networks, Mixture of Experts, CART, and Stacking Ensemble Regression
Huazhong University of Science and Technology(华中科技大学);University of Technology, Sydney(悉尼科技大学)
模糊系统在许多应用中取得了巨大的成功。然而,在设计最优模糊系统方面仍然存在许多挑战,例如,如何有效地优化其参数,如何平衡规则之间的合作与竞争之间的权衡,如何克服维数灾难,如何提高其泛化能力,等等。文献表明,通过在模糊系统和其他机器学习方法之间建立适当的联系,可以使用其他领域的良好实践来改进模糊系统,反之亦然。本文概述了Takagi-Sugeno-Kang模糊系统与四种经典机器学习方法--神经网络、混合专家模型、分类和回归树以及堆叠集成回归--在回归问题上的功能等价性。我们还指出了一些有前途的新的研究方向,灵感来自功能等效,这可能会导致解决上述问题。据我们所知,这是迄今为止关于模糊系统和其他流行的机器学习方法之间联系的最全面的概述,并希望能激发不同机器学习算法之间的更多杂交。
2019-07-13 cs.AI cs.LG stat.ML
Mixture of Regression Experts in fMRI Encoding
IIIT Hyderabad(海得拉巴国际信息技术学院);University of Hyderabad(海得拉巴大学)
使用语言编码模型的fMRI语义类别理解试图学习将刺激与相应的大脑激活相关联的前向映射。经典的编码模型使用线性多变量方法来预测给定刺激的大脑激活(所有体素)。然而,这些方法基本上假设多个区域为一个大的均匀区域或几个独立的区域,忽略了它们之间的连接。在本文中,我们提出了一个基于混合专家模型的模型,其中一组专家捕获与特定感兴趣区域(ROI)相关的大脑活动模式,并显示不同专家之间的歧视。该模型以编码为25维特征向量的单词刺激作为输入,以相应的大脑反应作为输出。给定一个新词(25维特征向量),它预测整个大脑激活作为多个专家大脑激活的线性组合。我们认为,每个专家都学习了与其词汇类别相对应的大脑激活的某个区域,这解决了用简单的编码模型识别区域的问题。我们展示了所提出的基于混合专家模型的模型确实学习了基于区域的专家,以高空间精度预测大脑激活。
2018-12-01 cs.HC cs.LG stat.ML
Hierarchical Mixture-of-Experts Model for Large-Scale Gaussian Process Regression
Imperial College London(帝国理工学院)
提出了一种实用的、可扩展的大规模非线性概率回归高斯过程模型。我们的混合专家模型在概念上是简单的,分层重组计算的一个完整的高斯过程的整体近似。封闭形式和分布式计算允许高效和大规模的并行化,同时保持内存消耗小。如果有足够的计算资源,我们的模型可以处理任意大的数据集,没有显式稀疏近似。我们提供了强有力的实验证据表明,我们的模型可以应用于规模远远超过数百万的大型数据集。因此,我们的模型有可能为一般大规模高斯过程的研究奠定基础。
2014-12-09 cs.AI cs.LG stat.CO
Regression with n$\to$1 by Expert Knowledge Elicitation
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所);Aalto University(阿尔托大学)
我们认为回归“极小$n$大$p$“的条件下,其中的样本数$n$是如此之小相比,维数$p$,预测不能估计没有先验知识。这种设置发生在个性化医疗中,例如,当基于嘈杂的高维基因组学数据预测个体患者的治疗结果时。剩下的一个信息来源是专家知识,近年来这方面的关注相对较少。我们制定的推理问题,要求专家的反馈功能的预算,提出了一个简单的“小$n$“设置的启发策略,并推导出条件下,启发策略是最佳的。模拟专家的实验,无论是合成和基因组学数据,表明所提出的策略可以大大提高预测精度。
2017-02-07 cs.LG
Expert2Coder: Capturing Divergent Brain Regions Using Mixture of Regression Experts
International Institute of Information Technology(国际信息技术研究所)
使用语言编码模型的fMRI语义类别理解试图学习将刺激与相应的大脑激活相关联的前向映射。最先进的编码模型使用单个全局模型(线性或非线性)来预测给定刺激的大脑激活。然而,在这些方法中的关键假设是,先验不同的大脑区域以相同的方式对所有刺激作出反应,也就是说,没有模块化或专业化假设的任何区域。这违背了模块化理论,许多认知神经科学研究表明,大脑中存在功能专门化的区域。在本文中,我们通过将相似的区域聚类在一起来实现这一点,对于每个聚类,我们使用线性专家模型的混合来学习不同的线性回归模型。这里的关键思想是,每个线性专家都捕捉到了相似大脑区域的行为。给定一个新的刺激,所提出的模型的效用是双重的(i)预测大脑激活作为多个线性专家的激活的加权线性组合和(ii)学习对应于不同的大脑区域的多个专家。我们认为,每个专家捕捉活动模式相关的一个特定区域的利益(ROI)在人类大脑。这项研究有助于理解大脑区域在不同刺激下被激活。重要的是,我们认为回归专家混合(MoRE)框架成功地结合了大脑功能组织的两个原则,即专业化和整合。实验的fMRI数据从范例1 [1],其中参与者查看语言刺激表明,所提出的MoRE模型具有更好的预测精度相比,传统的模型。
2020-05-29 cs.CL cs.LG q-bio.NC
Non-Normal Mixtures of Experts
CNRS(法国国家科学研究中心);ENSAM(法国国立高等工程技术学校);LSIS(信息与系统科学实验室)
混合专家(MoE)是一个流行的框架建模的异质性数据的回归,分类和聚类。对于我们在回归和聚类分析中考虑的连续数据,MoE通常使用正态专家,即遵循高斯分布的专家分量。然而,对于包含一组或多组具有不对称行为、重尾或非典型观察结果的观察结果的数据集,使用正常专家可能是不合适的,并且可能不适当地影响MoE模型的拟合。在本文中,我们介绍了新的非正态混合专家(NNMoE),它可以处理这些问题,可能有偏差,重尾数据和离群值。所提出的模型是偏正态MoE和鲁棒$t$ MoE和偏$t$ MoE,分别命名为SN MoE,T MoE和ST MoE。我们开发了专用的期望最大化(EM)和期望条件最大化(ECM)算法,通过单调最大化观测数据的对数似然估计所提出的模型的参数。我们描述了如何提出的模型可以用于预测和基于模型的聚类回归数据。对模拟数据进行的数值实验表明,所提出的模型在非线性回归函数建模以及基于模型的聚类方面的有效性和鲁棒性。然后,以显示其实用性的实际应用中,所提出的模型被应用到现实世界的数据的音调感知音乐数据分析,和一个温度异常的气候变化数据的分析。
2015-06-28 cs.LG stat.ME stat.ML
Mixture Experts with Test-Time Self-Supervised Aggregation for Tabular Imbalanced Regression
National Yang Ming Chiao Tung University(国立阳明交通大学)
针对表格回归中连续标签边界不清及测试分布未知不平衡的问题,提出 MATI,通过区域感知高斯混合专家与测试时自监督聚合动态适配分布,在三类测试设置下平均将 MAE 改善 7.1%。
2025-06-08 cs.LG
Bitcoin Price Predictive Modeling Using Expert Correction
Ivan Franko National University of Lviv(利沃夫伊万·弗兰科国立大学)
本文研究了比特币价格的线性模型,其中包括基于比特币货币统计数据,挖掘过程,Google搜索趋势,维基百科页面访问量的回归特征。与价格时间序列相比,回归模型预测偏离实际价格的模式更简单。据认为,这种模式可以预测的经验丰富的专家。以这种方式,使用回归模型和专家校正的组合,可以得到比仅使用回归模型或专家意见更好的结果。结果表明,贝叶斯方法使得利用概率方法使用厚尾分布并考虑比特币价格时间序列中的异常值成为可能。
2022-01-06 cs.LG q-fin.ST
Robust mixture of experts modeling using the $t$ distribution
Université de Caen-Normandie(卡昂-诺曼底大学);Normandie Université(诺曼底大学);CNRS(法国国家科学研究中心)
混合专家(MoE)是一个流行的框架,用于建模数据的回归,分类和聚类的异质性。对于连续数据的回归和聚类分析,MoE通常使用遵循高斯分布的正态专家。然而,对于包含一组或多组具有重尾或非典型观测值的观测值的数据集,使用正常专家是不合适的,并且可能不适当地影响MoE模型的拟合。我们介绍了一个强大的MoE建模使用$t$分布。提出的$t$ MoE(TMoE)处理这些问题的重尾和噪声数据。我们开发了一个专用的期望最大化(EM)算法来估计所提出的模型的参数,通过单调最大化所观察到的数据对数似然。我们描述了如何提出的模型可以用于预测和基于模型的聚类回归数据。仿真数据的数值实验表明,该模型在非线性回归函数建模和基于模型的聚类方面具有较好的有效性和鲁棒性.然后,将其应用于真实世界的音调感知数据进行音乐数据分析,并将其应用于温度异常数据进行气候变化数据分析。所得到的结果表明TMoE模型在实际应用中的实用性。
2016-12-09 cs.LG stat.ME stat.ML
Sigmoid Gating is More Sample Efficient than Softmax Gating in Mixture of Experts
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对Softmax门控易致专家竞争和表征坍缩的问题,本文从理论上证明Sigmoid门控在混合专家的专家估计任务中样本效率更高,推导了过设定回归框架下的收敛速度,验证其用更少样本可达相同估计误差。
2024-11-02 cs.LG stat.ML
A General Theory for Softmax Gating Multinomial Logistic Mixture of Experts
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Univ. Grenoble Alpes(格勒诺布尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院);LJK(约瑟夫·傅里叶实验室);The University of Queensland(昆士兰大学)
针对分类场景下MoE模型理论分析缺失的问题,建立softmax门控多项式logistic MoE的收敛速率,提出改进softmax门控函数以消除相互作用、提升参数估计速率。
2024-06-24 cs.LG stat.ML
LLM Flow Processes for Text-Conditioned Regression
Secondmind;Wayve
本文提出结合轻量级神经过程与边际LLM预测,以解决文本条件回归中的误差累积问题,提升预测校准和局部一致性。
2026-05-13 cs.CL cs.LG stat.ML
Robust mixture of experts modeling using the skew $t$ distribution
Université de Caen-Normandie(卡昂-诺曼底大学);Normandie Université(诺曼底大学);CNRS(法国国家科学研究中心)
混合专家(MoE)是统计学和机器学习领域中的流行框架,用于对数据中的异质性进行建模,以进行回归、分类和聚类。连续数据的MoE通常基于正态分布。然而,众所周知,对于具有非对称行为、重尾和非典型观测的数据,使用正态分布是不合适的。我们引入了一个新的鲁棒的非正态混合专家建模使用的斜$t$分布。建议的专家的偏斜$t$混合,命名为STMoE,处理这些问题的正常混合专家可能偏斜,重尾和噪声数据。我们开发了一个专用的期望条件最大化(ECM)算法,通过单调最大化观测数据的对数似然估计模型参数。我们描述了如何提出的模型可以用于预测和基于模型的聚类回归数据。对模拟数据进行的数值实验表明,该模型在拟合非线性回归函数以及基于模型的聚类方面具有良好的有效性和鲁棒性。然后,将该模型应用于真实世界的音调感知数据进行音乐数据分析,并将其应用于温度异常数据进行气候变化数据分析。所得结果证实了该模型的实用性,为实际数据分析应用。
2016-12-09 cs.LG stat.ME stat.ML
Mixture of Experts Provably Detect and Learn the Latent Cluster Structure in Gradient-Based Learning
The University of Tokyo, Japan(东京大学);Center for Advanced Intelligence Project, RIKEN, Japan(RIKEN高级智能项目中心)
本文从理论上证明普通神经网络因信息指数升高而无法检测单指数模型回归任务中的潜在簇结构,而专家混合模型(MoE)可通过各专家弱恢复单个簇函数将问题分解为更易处理的子问题,从而在SGD学习中取得成功。
2025-08-15 cs.LG stat.ML
Anchor-MoE: A Mean-Anchored Mixture of Experts For Probabilistic Regression
Institut Polytechnique de Paris(巴黎理工学院);Linkconn Electronics Co., Ltd(联康电子有限公司)
本文提出Anchor-MoE模型,以任意点回归器的预测为锚定均值,通过可学习度量窗口核和软路由器将样本分派给混合密度网络专家进行异方差校正,在理论上达到极小极大最优L²风险速率,并在UCI回归基准上取得领先的概率回归性能。
2025-08-22 cs.LG
A Two-Stage Learning-to-Defer Approach for Multi-Task Learning
School of Computing, National University of Singapore, Singapore(新加坡国立大学计算机学院);IRIT, Université de Toulouse, CNRS, Toulouse INP, Toulouse, France(图卢兹大学IRIT研究所,法国国家科学研究中心,图卢兹INP);Institute for Infocomm Research, Agency for Science, Technology and Research, Singapore(新加坡资讯与通信研究院,新加坡科技研究局)
针对多任务学习,提出一种整合分类与回归的两阶段学习弃权(L2D)框架,利用具备一致性的两阶段替代损失族确保收敛至贝叶斯最优拒绝器,并在目标检测和电子健康记录实验中验证了其有效性。
2025-08-14 cs.HC cs.LG stat.ML
Dropout Regularization in Hierarchical Mixture of Experts
Bloomberg L.P.(彭博有限合伙企业);Boğaziçi University(博阿齐奇大学)
Dropout是一种非常有效的防止过拟合的方法,近年来已成为多层神经网络的常用正则化器。专家的分层混合专家模型是定义软决策树的分层选通模型,其中叶对应于专家,并且决策节点对应于在其子节点之间进行软选择的选通模型,并且因此,该模型定义输入空间的软分层划分。在这项工作中,我们提出了一个变体的辍学分层混合专家模型,是忠实于树层次结构定义的模型,而不是有一个平坦的,unitwise独立的应用辍学,因为一个有多层感知器。我们表明,在合成回归数据和MNIST和CIFAR-10数据集上,我们提出的dropout机制可以防止树上的过度拟合,具有许多级别,提高了泛化能力,并提供了更平滑的拟合。
2018-12-25 cs.LG stat.ML
FAME: Adaptive Functional Attention with Expert Routing for Function-on-Function Regression
Department of Industrial Engineering(工业工程系);Tsinghua University(清华大学);Department of Industrial and Systems Engineering(工业与系统工程系);University of Iowa(爱荷华大学)
针对泛函数据表示学习的难点,提出端到端数据驱动的FAME框架,结合神经控制微分方程、MoE与多头交叉注意力捕捉函数内外特性,在回归基准上实现SOTA准确率与强鲁棒性。
2025-10-01 cs.AI cs.LG
Cost-Sensitive Learning to Defer to Multiple Experts with Workload Constraints
Feedzai;Instituto Superior Técnico(高等技术学院);Instituto de Telecomunicações(电信研究院)
针对学习委托中忽视成本敏感、数据要求高和负载约束的问题,提出DeCCaF框架,结合监督学习和约束规划,在欺诈检测中平均降低8.4%误分类成本。
2024-08-19 cs.AI cs.LG
An Interpretable Power System Transient Stability Assessment Method with Expert Guiding Neural-Regression-Tree
针对深度学习暂态稳定评估可解释性不足的问题,提出TSA-ENRT,用融合电力系统专家知识的非线性回归树解释神经网络概率预测,并通过平均决策长度正则化优化准确性与可解释性权衡。
2024-04-03 cs.LG cs.SY eess.SY
Regularized Maximum Likelihood Estimation and Feature Selection in Mixtures-of-Experts Models
Normandie Univ(诺曼底大学);UNICAEN(卡昂大学);UMR CNRS LMNO(法国国家科学研究中心LMNO联合研究单位)
混合专家模型(Mixture of Experts,MoE)是在回归、聚类和分类等统计学习问题中为异构数据建模的成功模型。通常通过期望最大化算法用极大似然估计拟合,因此它们在高维问题中的应用仍然具有挑战性。我们考虑在MoE模型的拟合和特征选择的问题,并提出了一个正则化的极大似然估计的方法,鼓励稀疏解决方案的异质回归数据模型与潜在的高维预测。与最先进的正则化MLE MoE,所提出的建模不需要近似的惩罚函数。本文提出了两种混合期望最大化算法:期望-优化-最大化(EM/MM)算法和带有坐标上升算法的期望最大化算法。所提出的算法允许自动获得稀疏的解决方案,而无需阈值,并避免矩阵求逆,允许单变量参数更新。实验研究表明,该算法在恢复实际稀疏解、参数估计和异质回归数据聚类等方面具有良好的性能。
2018-10-29 cs.LG stat.CO stat.ME
Learning Deep Mixtures of Gaussian Process Experts Using Sum-Product Networks
Austrian Research Institute for Artificial Intelligence(奥地利人工智能研究所);Graz University of Technology(格拉茨工业大学);University of Cambridge(剑桥大学)
虽然高斯过程(GP)是回归任务的首选方法,但它们也有实际困难,因为推理成本在时间上是三次方,在内存中是二次方。在本文中,我们介绍了一种自然和表达的方式来解决这些问题,通过将GP的和积网络(SPN),最近提出的易处理的概率模型,允许准确和有效的推理。特别是,通过使用GP作为SPN的叶子,我们获得了一种新的灵活的先验函数,它隐含地表示了指数级大的混合本地GP。在这个模型中,精确和有效的后验推理可以在GP和SPN中的推理机制的自然相互作用中完成。因此,每个GP--类似于混合专家模型方法--仅负责数据点的子集,这以分而治之的方式有效地降低了推理成本。我们表明,将GP集成到SPN框架中会产生一个有前途的概率回归模型,该模型具有以下特点:(1)计算和内存效率高,(2)允许有效和精确的后验推理,(3)足够灵活,可以混合不同的核函数,(4)自然地考虑时间序列中的非平稳性。在一系列实验中,我们证明了SPN-GP模型可以学习依赖于输入的参数和超参数,并且与传统的GP以及对真实世界数据的最先进的近似值相当或优于传统的GP。
2018-09-12 cs.LG stat.ML
Inverse Reinforcement Learning with Multiple Ranked Experts
Google Brain(谷歌大脑);Zhejiang University(浙江大学);Institut Mines-TELECOM(法国国立高等矿业电信学校联盟);TELECOM SudParis(南巴黎电信学院)
我们考虑的问题,学习表现最佳的马尔可夫决策过程中的奖励函数时,没有指定,而是我们有机会获得一组不同性能的示威者。我们假设示威者被归类为k个等级之一,并使用序数回归的想法来找到一个奖励函数,最大化不同等级之间的差距。这种方法是基于这样的想法,代理人不仅应该学习如何从专家的行为,但也如何不从非专家的行为。我们有MDPs的奖励函数的重要差异将隐藏从现有的算法的专家的行为。我们的方法是特别有用的问题,我们有机会获得大量的代理行为与不同程度的专业知识(如通过GPS或手机)。我们强调了我们的方法和现有的方法之间的差异,使用一个简单的网格域,并证明其有效性,确定出租车司机的搜索策略,使用一个大型的GPS轨迹数据集。
2019-07-31 cs.LG stat.ML
Selective Sampling and Imitation Learning via Online Regression
MIT(麻省理工学院);Cornell University(康奈尔大学)
本文针对有噪声专家反馈下的模仿学习问题,提出基于在线回归预言机的选择性采样交互式算法,在一般函数类和多动作设定下同时给出遗憾与查询复杂度的最优界,并证明其紧性。
2023-07-11 cs.AI cs.LG math.ST
Prediction with Expert Advice under Discounted Loss
Royal Holloway, University of London(伦敦大学皇家霍洛威学院)
我们研究的预测专家的意见,在设置中的损失是累积的一些折扣-旧的损失的影响可能会逐渐消失。我们推广的聚集算法和聚集算法回归到这种情况下,提出了一个合适的指数权重算法的新变种,并证明各自的损失界。
2010-06-04 cs.LG
MoEIoU: Rethinking Bounding-Box Regression as a Mixture of Experts
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
提出MoEIoU损失函数,通过混合专家模型联合优化重叠、中心对齐和长宽比,并采用课程学习权重调度,在多个数据集和YOLO架构上超越现有IoU损失。
2026-05-30 cs.AI cs.CV cs.LG
Non-asymptotic model selection in block-diagonal mixture of polynomial experts models
Normandie Univ(诺曼底大学);UNICAEN(卡昂大学);CNRS(法国国家科学研究中心);La Trobe University(乐卓博大学);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔理工学院)
通过惩罚似然类型标准进行模型选择是许多统计推断和机器学习问题中的标准任务。取得的进展,导致推导出的标准与渐近一致性的结果,并越来越重视引进非渐近标准。我们专注于在回归数据中建模非线性关系的问题,潜在的隐藏的图形结构的高维预测之间的相互作用,在混合专家建模框架。为了处理这样一个复杂的情况下,我们研究了块对角局部混合多项式专家(BLoMPE)回归模型,这是建立在一个逆回归和块对角结构的高斯专家协方差阵。我们引入惩罚极大似然选择准则来估计回归模型的未知条件密度。该模型选择准则使我们能够处理具有挑战性的问题,推断的混合物成分的数量,多项式的次数多项式的次数平均函数,和隐藏的块对角结构的协方差阵,这减少了要估计的参数的数量,并导致在模型的复杂性和稀疏性之间的权衡。特别是,我们提供了一个强有力的理论保证:一个有限样本的预言不等式所满足的惩罚最大似然估计与Jensen-Kullback-Leibler型损失,以支持引入的非渐近模型选择标准。该标准的惩罚形状取决于所考虑的BLoMPE模型的随机子集的复杂性,包括相关的图形结构,多项式的次数多项式的次数均值函数,以及混合成分的数量。
2021-05-10 cs.AI cs.LG math.ST
Comparing Shape-Constrained Regression Algorithms for Data Validation
Josef Ressel Center for Symbolic Regression(约瑟夫·雷塞尔符号回归中心);Heuristic and Evolutionary Algorithms Laboratory(启发式与进化算法实验室);University of Applied Sciences Upper Austria(上奥地利应用科学大学);Institute for Application-oriented Knowledge Processing (FAW)(应用导向知识处理研究所(FAW));Johannes Kepler University(约翰内斯·开普勒大学)
工业和科学应用程序处理大量数据,使人工验证变得不可行。因此,我们需要自动化的数据验证方法,能够考虑领域专家的先验知识,以产生可靠的,值得信赖的数据质量评估。先验知识通常作为描述关于目标的输入的交互的规则可用,例如目标必须是单调递减的并且在增加的输入值上是凸的。领域专家能够一眼就验证多个这样的交互。然而,现有的基于规则的数据验证方法无法考虑这些约束。在这项工作中,我们比较了不同的形状约束回归算法的数据验证的基础上,他们的分类精度和运行时的性能。
2022-09-20 cs.LG
Tensor-variate Mixture of Experts for Proportional Myographic Control of a Robotic Hand
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Idiap Research Institute(Idiap研究所);Bielefeld University(比勒费尔德大学)
当数据以矩阵或高维数组(张量)组织时,经典回归方法首先将这些数据转换为向量,因此忽略了数据的底层结构并增加了问题的维度。当只有很少的训练数据可用时,这种展平操作通常导致过拟合。在本文中,我们提出了一个混合的专家模型,利用张量表示回归张量值数据。所提出的公式考虑到了数据的基本结构,并且在训练数据很少的情况下仍然有效。人工生成的数据,以及离线和实时的实验,从触觉肌电信号识别手部动作的评估证明了所提出的方法的有效性。
2021-05-23 cs.LG cs.RO
Knowledge Elicitation via Sequential Probabilistic Inference for High-Dimensional Prediction
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所);Aalto University(阿尔托大学)
在小样本和大量协变量的情况下进行预测,即“小n,大p”问题,是一个具有挑战性的问题。这种设置在多种应用中遇到,例如精密医学,其中获得额外的样本可能非常昂贵甚至不可能,并且最近已经致力于寻找准确预测的原则性解决方案。然而,一个有价值的额外信息来源,领域专家,尚未得到有效利用。我们制定的知识启发一般作为一个概率推理过程,专家知识依次查询,以提高预测。在稀疏线性回归的特定情况下,我们假设专家具有关于回归系数的值或关于特征的相关性的知识,我们提出了一种算法和计算近似,用于快速有效的交互,其顺序地识别最翔实的特征以查询专家知识。在模拟和真实用户的实验中,我们的方法的评估表明,预测精度已经提高了专家的一个小的努力。
2017-07-13 cs.AI cs.HC cs.LG
A similarity-based Bayesian mixture-of-experts model
KTH Royal Institute of Technology(瑞典皇家理工学院);RaySearch Laboratories(瑞镭实验室);Silo AI(Silo AI(西洛人工智能公司))
我们提出了一个新的非参数混合专家模型的多元回归问题,启发的概率k-近邻算法。使用条件指定的模型,对样本外输入的预测基于与每个观察到的数据点的相似性,产生由高斯混合表示的预测分布。后验推理的混合物成分的参数,以及使用平均场变分贝叶斯算法伴随着随机梯度为基础的优化过程的距离度量。所提出的方法是特别有利的设置,其中输入是相对较高的维度相比,数据的大小,其中输入-输出关系是复杂的,并且其中预测分布可能是偏斜的或多模态的。对五个数据集的计算研究,其中两个是综合生成的,说明了我们的混合专家方法对高维输入的明显优势,在验证指标和目视检查方面都优于竞争对手的模型。
2022-08-03 cs.LG stat.ME stat.ML
Post Hoc Regression Refinement via Pairwise Rankings
MPI-INF(马克斯·普朗克研究所信息部门);MIT(麻省理工学院)
针对数据稀缺场景下深度学习回归器精度下降的问题,提出即插即用的事后精修方法RankRefine,结合基础回归输出与成对排序估计,无需重训练即可在分子属性预测等任务中有效降低误差,适用性广泛。
2025-10-01 cs.AI cs.LG
AHMoSe: A Knowledge-Based Visual Support System for Selecting Regression Machine Learning Models
KU Leuven(鲁汶大学);Pontificia Universidad Catolica de Chile(智利天主教大学);Millennium Institute Foundational Research on Data(千禧基础数据研究所)
决策支持系统在农业领域越来越受欢迎。随着自动化机器学习的发展,农业专家现在能够使用最先进的机器学习(ML)模型进行训练、评估和预测,而不需要太多的ML知识。尽管这种自动化方法在许多情况下都取得了成功,但在某些情况下(例如,当很少有标记的数据集可用时)在具有相似性能度量的不同模型之间进行选择是一项困难的任务。此外,这些系统通常不允许用户将他们的领域知识,可以促进模型选择的任务,并获得洞察预测系统的最终决策。为了解决这些问题,在本文中,我们提出了AHMoSe,一个可视化的支持系统,让领域专家更好地理解,诊断和比较不同的回归模型,主要是通过丰富的模型不可知论的解释与领域知识。为了验证AHMoSe,我们描述了葡萄栽培领域的一个用例场景,葡萄质量预测,该系统使用户能够诊断和选择表现更好的预测模型。我们还讨论了ML和葡萄栽培专家对工具设计的反馈。
2021-11-30 cs.HC cs.LG
Information-Based Calibration of Uncertainty Quantification in Product-of-Experts Gaussian Process Models
University College London(伦敦大学学院);The University of Manchester(曼彻斯特大学)
该研究针对专家乘积高斯过程模型的后验方差高估问题,提出基于信息校准的GP-pro-c模型,在降低计算复杂度的同时,使NLL平均降2.3%、ENCE平均降12.0%,可用于高维大规模数据的贝叶斯优化。
2026-09-01 cs.LG
Generalized Ambiguity Decomposition for Understanding Ensemble Diversity
University of Southern California(南加州大学);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
在集成模式识别和信息处理系统中,专家的多样性或互补性是实现融合性能提高的关键。因此,理解集成分集和融合性能之间的这种联系是一个重要的研究问题。然而,以前的作品在理论上的特点是集成多样性,并将其与集成性能在非常有限的设置。我们提出了一个广义歧义分解(GAD)定理作为回答这些问题的一个广泛的框架。GAD定理适用于任何二次可微损失函数的专家的一般凸集合。结果表明,集成性能近似地分解为专家平均性能的差异和集成的多样性。因此,它提供了一个理论上的解释,从不同的分类器和回归融合输出的经验观察到的好处。它还提供了一个损失函数依赖,集合依赖和数据依赖的多样性定义。我们提出了这种分解常见的回归和分类损失函数的扩展,并报告了基于模拟的分析的多样性项和分解的准确性。最后,我们提出的标准模式识别数据集的实验表明,真实世界的分类和回归问题的分解的准确性。
2013-12-28 cs.CV cs.LG stat.ML
Probabilistic partition of unity networks for high-dimensional regression problems
Stanford University(斯坦福大学);Sandia National Laboratories(桑迪亚国家实验室)
本研究针对高维回归问题提出结合自适应降维的PPOU-Net框架,采用EM算法结合梯度下降的交替训练策略,实验表现优于同规模全连接网络,还可用于量子计算的代价景观代理建模。
2023-06-11 cs.CE cs.LG