AsymKV: Enabling 1-Bit Quantization of KV Cache with Layer-Wise Asymmetric Quantization Configurations
Tongyi Lab, Alibaba Group(阿里集团通义实验室);Alibaba Cloud Computing, Alibaba Group(阿里集团阿里云计算)
本文提出 AsymKV 方法,利用键矩阵与值矩阵在量化敏感性上的非对称性,通过逐层差异化配置实现 KV 缓存 1 比特量化,可在量化 75% 解码器层的同时保持与浮点模型相当的性能。
2024-10-17 cs.AI cs.LG
Least squares moment identification of binary regression mixtures models
我们考虑二进制输出的有限混合广义线性模型。我们证明了交叉矩(输出和回归变量之间),直到3阶是足够的,以确定模型的所有参数。我们提出了一种基于这些矩的最小二乘估计方法,并证明了估计量的相合性和高斯渐近性。我们提供模拟结果和比较的可能性方法。数值实验进行了使用R-包Morpheus,我们开发了我们的最小二乘矩方法和R-包flexmix的似然方法。然后,我们对具有二进制输出的有限回归混合给出了一些可能的扩展,包括连续和分类协变量,以及可能的纵向数据。
2020-02-12 math.ST stat.TH
Multilayer Network Regression with Eigenvector Centrality and Community Structure
本文提出一种结合特征向量中心性与社区结构的两阶段回归模型,用于多层网络分析,并应用于世界投入产出数据以探究网络对行业总产出的影响。
2025-03-27 stat.ME
Learning under Quantization for High-Dimensional Linear Regression
The University of Hong Kong(香港大学)
本文研究了在高维线性回归中量化对学习性能的影响,通过分析不同量化方式的噪声放大和谱扭曲,提出了精确的风险界并比较了加法与乘法量化的效果。
2026-02-16 cs.AI cs.LG stat.ML
Uplift Regression: The R Package tools4uplift
持续性建模旨在通过考虑对治疗的反应来预测诸如医疗或营销活动等行为对特定个体的因果影响。治疗组包含受某项行动影响的个人;对照组用于比较。非线性建模用于相对于因果效应的值对个体进行排序,例如,积极、中立或消极。虽然有一些计算方法可用于隆升建模,但大多数都排除了统计回归模型。R Package tools 4lift旨在填补这一空白。该软件包包括用于以下的工具:i)量化,ii)可视化,iii)特征选择,iv)参数估计和v)模型验证。
2021-09-10 stat.AP
Fast multi-output relevance vector regression
Adam Smith Business School, University of Glasgow(格拉斯哥大学亚当·斯密商学院)
将多输出相关向量回归的时间复杂度从O(VM^3)降低到O(V^3+M^3),其中V是输出维数,M是基函数个数,V<M.实验结果表明,该方法是更有竞争力的比现有的方法,在计算时间方面。MATLAB代码可在http://www.mathworks.com/matlabcentral/fileexchange/49131上获得。
2017-04-17 cs.LG stat.ML
Scaling Laws for Precision in High-Dimensional Linear Regression
The University of Hong Kong(香港大学)
本文研究了高维线性回归中低精度训练的缩放规律,揭示了乘法和加法量化对模型和数据容量的不同影响,为优化训练协议提供了理论依据。
2026-02-26 cs.AI cs.LG stat.ML
Gradient tree boosting with random output projections for multi-label classification and multi-output regression
University of Liège(列日大学)
在监督学习的许多应用中,必须联合预测多个分类或回归输出。我们考虑几个扩展的梯度提升来解决这些问题。我们首先提出了一个简单的适应梯度提升利用多个输出回归树作为基本学习者。然后,我们认为,这种方法预计只有在输出完全相关时才是最优的,因为它迫使树基学习器引起的分区被所有输出共享。然后,我们提出了一种新的梯度树提升扩展来专门解决这个问题。在这种新方法的每次迭代中,生长回归树结构以拟合当前残差的单个随机投影,并且该树的预测独立地线性拟合所有输出的当前残差。由于这种线性拟合,该方法可以自动适应任何输出相关结构。用这种方法进行了广泛的实验,以及其他算法的变种,在几个人工和真实的问题。随机投影的输出空间,以提供一个更好的适应不同的输出相关模式,因此在大多数情况下,最好的其他方法的竞争力。由于模型共享,收敛速度也得到了提高,减少了计算时间(或模型的复杂性),以达到特定的精度。
2019-05-18 cs.LG stat.ML
Machine Learning for Multi-Output Regression: When should a holistic multivariate approach be preferred over separate univariate ones?
TU Dortmund University(多特蒙德工业大学)
基于树的集成,如随机森林,是统计学习方法中的现代经典。特别是,它们用于预测单变量响应。在多个输出的情况下,问题出现了,我们是否单独拟合单变量模型或直接遵循多变量方法。对于后者,存在几种可能性,例如基于多输出回归的修改的分裂或停止规则。在这项工作中,我们比较了这些方法在广泛的模拟,以帮助回答的主要问题时,使用多元集成技术。
2022-01-14 cs.LG stat.ML
LoaQ: Layer-wise Output Approximation Quantization
Wangxuan Institute of Computer Technology, Peking University(计算机技术研究所,北京大学)
LoaQ通过引入输出匹配因素,改进了基于层级的后训练量化方法,提升了模型量化质量并具有简洁的闭式解。
2026-01-27 cs.LG
Vector-Valued Least-Squares Regression under Output Regularity Assumptions
LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院LTCI);INRIA(法国国家信息与自动化研究所);École Normale Supérieure(巴黎高等师范学院);PSL Research(PSL研究大学);Université de Toulouse(图卢兹大学);INRAE(法国国家农业食品与环境研究院);Aalto University(阿尔托大学)
提出并分析了一种求解无穷维输出最小二乘回归问题的降秩方法。我们推导出我们方法的学习界限,并研究与满秩方法相比,在哪些设置下统计性能得到提高。我们的分析扩展了降秩回归的兴趣超出了标准的低秩设置更一般的输出规律性假设。我们说明了我们的理论见解合成最小二乘问题。然后,我们提出了一个替代结构化预测方法来自这种降秩方法。我们评估了它在三个不同问题上的好处:图像重建,多标签分类和代谢物识别。
2022-11-16 cs.LG stat.ML
Regularised Least-Squares Regression with Infinite-Dimensional Output Space
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Tübingen, Germany(德国图宾根)
这个简短的技术报告介绍了向量值再生核希尔伯特空间(RKHS)回归的一些学习理论结果,其中输入空间允许是非紧的,输出空间是(可能是无限维的)希尔伯特空间。我们的方法是基于非紧算子的谱理论的积分算子技术。我们特别强调在尽可能少的假设下获得结果;因此,我们只使用切比雪夫不等式,并没有努力获得最佳速率或常数。
2022-02-16 cs.LG stat.ML
Leveraging Probabilistic Circuits for Nonparametric Multi-Output Regression
TU Darmstadt(达姆施塔特工业大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学);Aalto University(阿尔托大学);Centre for Cognitive Science TU Darmstadt(达姆施塔特工业大学认知科学中心);Hessian Center for AI (hessian.AI)(黑森人工智能中心(hessian.AI))
受高斯过程(GP)的专家近似领域的最新进展的启发,我们提出了一种基于专家的方法,使用单输出GP专家的大规模多输出回归。采用通过概率电路编码的单输出GP的深度结构化混合物,使我们能够准确地捕获多个输出维度之间的相关性。通过递归地划分协变量空间和输出空间,我们模型中的后验推理简化为对单输出GP专家的推理,这只需要以观察结果的一小部分为条件。我们表明,在我们的模型中可以准确有效地进行推理,它可以捕获输出维度之间的相关性,因此,通常优于不包含输出间相关性的方法,如在负对数预测密度方面的几个数据集上所示。
2021-08-01 cs.LG stat.ML
Weakly-supervised Multi-output Regression via Correlated Gaussian Processes
University of Michigan(密歇根大学)
提出基于相关高斯过程的弱监督多输出回归模型,利用不完整组别标签或先验信念提升预测精度,在缺失标签场景表现优异并具公平推断潜力。
2022-05-23 cs.LG stat.ML
Functional Output Regression with Infimal Convolution: Exploring the Huber and $ε$-insensitive Losses
KU Leuven(鲁汶大学);Telecom Paris(巴黎电信学院);London School of Economics(伦敦政治经济学院)
本文的重点是函数输出回归(FOR)与卷积损失。虽然大多数现有的工作考虑平方损失设置,我们利用扩展的Huber和$ε$ -不敏感的损失(引起的infimal卷积),并提出了一个灵活的框架,能够处理各种形式的离群值和稀疏的FOR家庭。我们推导出计算上易于处理的算法依赖于对偶来解决由此产生的任务的上下文中的向量值再生核希尔伯特空间。该方法的效率证明和对比与经典的平方损失设置在合成和现实世界的基准。
2022-06-16 cs.LG stat.ML
OAC: Output-adaptive Calibration for Accurate Post-training Quantization
Huawei Noah’s Ark Lab(华为诺亚实验室);Department of Mathematics and Statistics, McGill University(麦吉尔大学数学与统计学系)
本文提出输出自适应校准OAC,将模型输出交叉熵损失纳入训练后量化误差,利用近似输出自适应Hessian更新权重并检测敏感权重,在2比特和二进制等极低精度量化下优于SpQR和BiLLM。
2025-05-05 cs.CL cs.LG
Generalized Multi-Output Gaussian Process Censored Regression
Technical University of Denmark(丹麦技术大学)
当对删失观测建模时,当前回归方法中的典型方法是使用删失高斯(即Tobit)模型来描述条件输出分布。在本文中,在缺失数据的情况下,我们认为,利用多个输出之间的相关性,可以使模型更好地解决由删失数据引入的偏差。为此,我们引入了一个异方差多输出高斯过程模型,该模型结合了GP的非参数灵活性和在依赖于输入的噪声条件下利用相关输出信息的能力。为了解决由此产生的推理棘手,我们进一步设计了一个变分的边界适合于随机最优化的边际对数似然。我们根据经验评估我们的模型对其他生成模型的审查数据的合成和现实世界的任务,并进一步展示它如何可以推广到处理任意似然函数。结果表明,增加的灵活性如何使我们的模型能够更好地估计潜在的非删失(即真实)过程下潜在的复杂的删失动态。
2022-05-04 cs.LG stat.ML
Quantized Low-Rank Multivariate Regression with Random Dithering
The University of Hong Kong(香港大学);Hong Kong Baptist University(香港浸会大学)
针对响应变量和/或协变量被有限精度量化的低秩多元回归场景,采用带随机抖动的均匀量化,提出两类Lasso估计量并推导非渐近误差界,证明其达极小极大最优速率,还推广至矩阵响应模型并通过仿真验证。
2023-10-07 cs.LG eess.SP stat.ML
Determining input variable ranges in Industry 4.0: A heuristic for estimating the domain of a real-valued function or trained regression model given an output range
Vicomtech;Dominion Solutions
工业过程控制系统试图将输出变量保持在目标值周围的给定容差内。PID控制系统在工业中已被广泛用于控制输入变量,以达到这一目标。然而,这种基于传递函数的方法不能扩展到复杂的过程,其中输入数据可能是非数字的、高维的、稀疏的等。在这种情况下,仍然需要确定产生给定范围内的输出的输入数据的子空间。本文提出了一种非随机启发式方法来确定给定输出范围的数学函数或训练回归模型的输入值。所提出的方法创建具有指示输出是否在给定目标范围内的类标签的输入组合的合成训练数据集合。然后,使用决策树分类器来确定感兴趣的输入数据的子空间。这种方法比传统的控制器更通用,因为输出的目标范围不必以参考值为中心,并且它可以应用于给定输出变量的回归模型,该模型可以具有分类变量作为输入,并且可以是高维的,稀疏的。所提出的启发式验证与一个真实的用例,其中的层压工厂的质量建立,以确定合适的子空间的生产变量值的概念证明。
2019-04-03 cs.LG stat.ML
Enforcing Calibration in Multi-Output Probabilistic Regression with Pre-rank Regularization
本研究提出一种通用正则化框架,通过惩罚预秩概率积分变换偏离均匀分布,在训练中强制多输出概率回归的多元校准,并引入PCA预秩,在18个数据集上显著提升校准且不损精度。
2025-10-27 cs.LG stat.ML
Adversarial Orthogonal Regression: Two non-Linear Regressions for Causal Inference
Sharif University of Technology(谢里夫理工大学);Carnegie Mellon University(卡内基梅隆大学)
我们提出了两种非线性回归方法,命名为对抗正交回归(AdOR)的加性噪声模型和对抗正交结构方程模型(AdOSE)的一般情况下的结构方程模型。这两种方法都试图使回归残差与回归变量无关,同时不对噪声分布作任何假设。在这两种方法中,同时训练两个对抗网络,其中回归网络输出预测,损失网络估计互信息(在AdOR中)和KL发散(在AdOSE中)。这些方法可以被公式化为一个极大极小两人博弈;在均衡时,AdOR发现输入和输出之间的确定性映射,并估计残差和输入之间的互信息,而AdOSE估计给定输入的输出的条件概率分布。所提出的方法可以用作子程序来解决因果关系中的几个学习问题,例如因果方向确定(或更一般地,因果结构学习)和因果模型估计。合成和真实世界的实验表明,所提出的方法具有显着的性能相对于以前的解决方案。
2019-09-10 cs.LG stat.ML
Solving Sparse \& High-Dimensional-Output Regression via Compression
National University of Singapore(新加坡国立大学);Google(谷歌)
本文针对高维多输出回归的可解释性与计算扩展性问题,提出稀疏高维输出回归模型SHORE及基于输出压缩的两阶段优化框架,在保持损失同阶的前提下实现高效求解。
2024-10-21 cs.LG math.OC stat.ML
Scalable Variational Gaussian Process Regression Networks
University of Utah(犹他大学);School of Computing(计算学院);Scientific Computing and Imaging Institute(科学计算与成像研究所)
高斯过程回归网络(GPRN)是多输出回归的强大贝叶斯模型,但其推理是棘手的。为了解决这个问题,现有方法在所有输出和潜函数上使用完全分解的结构(或这种结构的混合)进行后验近似,然而,这可能会错过潜变量之间的强后验依赖性并损害推理质量。此外,变分参数的更新是低效的,并且对于大量的输出来说可能是非常昂贵的。为了克服这些局限性,我们提出了一个可扩展的变分推理算法的GPRN,它不仅捕获了丰富的后验依赖关系,但也是更有效的大规模输出。我们张量化的输出空间,并引入张量/矩阵正常变分后验捕获的后验相关性,并减少参数。我们共同优化所有的参数,并利用固有的克罗内克积结构的变分模型证据下界,以加快计算。我们证明了我们的方法在几个现实世界中的应用的优势。
2020-05-18 cs.LG stat.ML
Multi-Step-Ahead Time Series Prediction using Multiple-Output Support Vector Regression
对未来较长时间内的时间序列进行准确预测是一项具有挑战性的工作,对从业者和学者都有很大的兴趣。支持向量回归机(SVR)作为一种著名的智能算法,其标准形式可用于时间序列的多步预测,只需依赖迭代策略或直接策略。提出了一种新的基于多输入多输出(MIMO)预测策略的多输出支持向量回归(M-SVR)时间序列预测方法。此外,还对支持向量回归机的三种主要预测策略的排序进行了比较,为支持向量回归机作为建模技术时多步预测策略的选择提供了实际意义。所提出的方法进行了验证与模拟和真实的数据集。根据预测精度和计算成本进行定量和综合评估。结果表明:1)采用MIMO策略的M-SVR在计算量较大的情况下获得了最佳的预测精度; 2)采用直接策略的标准SVR获得了次佳的预测精度,但计算量最大; 3)采用迭代策略的标准SVR在预测精度方面最差,但计算量最小。
2014-01-11 cs.LG stat.ML
Beyond local reconstruction: Geometry-preserving output alignment for binary LLM quantization
Department of Data Science and AI(数据科学与人工智能系);Monash University(墨尔本大学);Centre for Vision, Speech and Signal Processing(视觉、语音和信号处理中心);University of Surrey(萨里大学)
本文提出一种新的1位后训练量化方法,解决输出对齐问题,通过减少层间误差累积和表示空间各向异性畸变,提升大语言模型性能。
2026-11-11 cs.LG
$\ell_1$-regression with Heavy-tailed Distributions
Nanjing University(南京大学)
本文研究了重尾分布下的线性回归问题。与以往研究中使用损失平方来衡量绩效不同,本文选择了能够估计条件中位数的绝对损失。为了解决输入和输出都可能是重尾的挑战,我们提出了一个截断最小化问题,并证明了它具有$\widetilde{O}(\sqrt{d/n})$超额风险,其中$d$是维数,$n$是样本数。与传统的$\ell_1$ -回归方法相比,本文的主要优点是在不需要输入和输出的指数矩条件下,得到了高概率的风险界。此外,如果输入是有界的,我们表明,经典的经验风险最小化是称职的$\ell_1$ -回归,即使当输出是重尾。
2018-10-25 cs.LG stat.ML
Deep Sketched Output Kernel Regression for Structured Prediction
LTCI, Télécom Paris(电信巴黎理工学院 LTCI 实验室);IP Paris(巴黎理工学院);University of Milan(米兰大学)
本文提出深度草图输出核回归,用随机近似核协方差算子的特征函数构造有限维输出子空间,使神经网络可借助核诱导损失和梯度下降完成结构化预测。
2024-06-13 cs.LG stat.ML
MixLLM: LLM Quantization with Global Mixed-precision between Output-features and Highly-efficient System Design
Microsoft(微软)
MixLLM通过全局混合精度量化优化输出特征,提升LLM压缩精度与系统效率,实验显示在增加10%比特数下, perplexity和MMLU-Pro损失显著降低。
2026-04-22 cs.LG
Conformal Prediction via Regression-as-Classification
RIKEN Center for AI Project(理化学研究所人工智能项目中心);SambaNova Systems(桑巴诺瓦系统公司);Salesforce(赛富时公司);Apple(苹果公司)
针对回归共形预测在异方差等输出分布下的不稳定问题,提出将回归转分类并优化损失与分类CP技术的方法,在多基准上取得优异效果。
2024-04-12 cs.LG stat.ML
Stability of Multi-Task Kernel Regression Algorithms
Aix-Marseille University(艾克斯-马赛大学);CNRS(法国国家科学研究中心)
在具有算子核的再生Hilbert空间中研究了非线性多任务回归的稳定性。这样的内核,也称为多任务内核适用于具有非标量输出的学习问题,如多任务学习和结构化输出预测。我们证明了多任务核回归算法在无限维输出空间的一般情况下是一致稳定的。然后,我们推导出在温和的假设下的核广义界的算法,我们证明了它们的一致性,甚至与非Hilbert-Schmidt算子值的内核。我们演示了如何将结果应用于各种多任务核回归方法,如向量值SVR和函数岭回归。
2013-06-17 cs.LG stat.ML
Active Learning for Regression with Aggregated Outputs
NTT Communication Science Laboratories(NTT通信科学实验室)
由于隐私保护或数据收集的困难,我们无法观察每个实例的单独输出,但我们可以观察在一些现实世界应用程序中对多个实例进行汇总的聚合输出。为了降低这种聚合数据的回归模型训练的标记成本,我们提出了一种主动学习方法,该方法顺序选择要标记的集合,以提高具有较少标记集合的预测性能。对于选择度量,该方法使用互信息,通过观察聚合输出来量化模型参数的不确定性的减少。利用贝叶斯线性基函数对给定输入的输出进行建模,包括近似高斯过程和神经网络,我们可以有效地计算封闭形式的互信息。通过使用不同数据集的实验,我们证明了所提出的方法比现有方法具有更少的标记集,实现了更好的预测性能。
2022-10-04 cs.AI cs.LG stat.ML
Bayesian Kernel Regression for Functional Data
National Institute for Fusion Science(日本核融合科学研究所);The Institute of Statistical Mathematics(统计数理研究所);Digital Strategy Center, Daicel Corporation(大赛璐公司数字战略中心);The Graduate University for Advanced Studies (SOKENDAI)(高级研究大学院大学(SOKENDAI));RIKEN(理化学研究所)
本文提出基于核方法与 RKHS 的贝叶斯函数型输出回归模型,利用输出函数协方差结构提升高维非线性预测精度,并解析量化预测不确定性。
2025-03-17 cs.LG stat.ML
Output-Aware Rotation for INT2 KV-Cache Quantization
University of Southern California(南加州大学);Seoul National University(首尔大学);Inha University(仁荷大学)
针对长上下文大模型KV缓存的INT2量化瓶颈,提出OptR输出感知旋转方法,通过分解误差、学习正交修正等,提升QuaRot等性能并增强长上下文检索能力,且开销可忽略。
2026-09-24 cs.AI cs.LG
Rethinking Residual Errors in Compensation-based LLM Quantization
Zhejiang University(浙江大学);vivo Mobile Communication Co., Ltd(维沃移动通信有限公司)
本文重新审视残差误差的定义,指出现有方法的校准目标存在次优问题,并引入补偿感知误差以提升LLM量化性能。
2026-04-09 cs.LG
Learning signals defined on graphs with optimal transport and Gaussian process regression
Safran Tech(赛峰科技);Univ Rennes, Ensai, CNRS, CREST(雷恩大学,国立统计与信息分析学校,法国国家科学研究中心,经济统计研究中心)
本文提出一种面向大型稀疏图输入与节点信号输出的高斯过程回归方法,结合正则化最优传输与降维技术,在实现信号预测的同时提供置信区间,以支持不确定性量化和主动学习。
2025-03-10 cs.LG stat.ML
Learning under Target Shift: Optimal Density Ratio Estimation and Importance-Weighted Regression
School of Mathematical Sciences, Zhejiang University(浙江大学数学科学学院)
针对连续输出目标偏移问题,提出RKHS谱正则化密度比估计方法,达到极小极大最优速率,并分析其在重要性加权回归中的误差传播,建立有限样本理论。
2026-09-15 cs.LG stat.ML
PN-Mix: Pair-Norm Guided Mixed-Precision Key Cache Quantization for Efficient Long-Output LLM Inference
Seoul National University(首尔大学)
PN-Mix是一种针对基于RoPE的仅解码器大语言模型的混合精度键缓存量化方法,通过对范数引导分配精度,在更低平均比特下实现更优精度,且性能下降更平缓。
2026-10-15 cs.CL cs.LG
Gaussian Process Latent Factor Regression for Low-Data, High-Dimensional Output Problems
University of Cambridge(剑桥大学);University of Colorado Boulder(科罗拉多大学博尔德分校);University of Oxford(牛津大学);University of Exeter(埃克塞特大学)
提出高斯过程潜在因子回归(GPLFR)模型,通过将输出表示为低维潜在状态的线性高斯解码,联合优化压缩与预测,解决低数据高维输出回归问题,并首次构建岩石系外行星全球气候模型的空间分辨仿真器。
2026-07-08 astro-ph.EP astro-ph.IM cs.LG
KronQ: LLM Quantization via Kronecker-Factored Hessian
研究提出KronQ框架,通过引入梯度协方差挑战现有二阶PTQ方法假设。利用克罗内克分解海森矩阵近似,在两个层面改进量化:双向非相干处理减少权重幅度方差,导出新敏感度度量用于层间混合精度分配,在特定量化任务中表现优于GPTQ等。
2026-08-11 cs.LG
Symmetry Regularization and Saturating Nonlinearity for Robust Quantization
POSTECH(浦项科技大学)
鲁棒量化提高了网络对各种实现的容忍度,允许以不同位宽或分段低精度算术进行可靠输出。在这项工作中,我们进行了广泛的分析,以确定量化误差的来源,并提出了三个见解,以鲁棒网络对量化:减少误差传播,范围箝位误差最小化,并继承了对量化的鲁棒性。基于这些见解,我们提出了两种新的方法,称为对称正则化(SymReg)和饱和非线性(SatNL)。在训练过程中应用所提出的方法可以增强任意神经网络对现有训练后量化(PTQ)和量化感知训练(QAT)算法的量化的鲁棒性,并使我们能够获得一个单一的权重灵活,足以在各种条件下保持输出质量。我们对CIFAR和ImageNet数据集进行了广泛的研究,并验证了所提出的方法的有效性。
2022-07-31 cs.AI cs.LG
Output-weighted optimal sampling for Bayesian regression and rare event statistics using few samples
Massachusetts Institute of Technology(麻省理工学院)
对于许多重要问题,感兴趣的量是参数的未知函数,这是具有已知统计量的随机向量。由于输出对该随机向量的依赖性是未知的,因此挑战在于使用最少数量的函数求值来识别其统计信息。这个问题可以在主动学习或最佳试验设计的背景下看到。我们采用贝叶斯回归表示由于有限和少量的输入输出对导出的模型的不确定性。在这种情况下,我们评估现有的最佳样本选择方法,如模型误差最小化和互信息最大化。我们发现,对于已知的输出方差的情况下,在文献中常用的标准不考虑现有的输入输出对的输出值,而对于未知的输出方差的情况下,这种依赖性可以是非常弱的。我们引入了一个标准,考虑到现有的样本的输出值,并自适应地选择输入的参数空间的区域有重要贡献的输出。新方法允许应用到高维输入,铺平了道路,在高维的最佳试验设计。
2019-11-30 cs.LG stat.AP stat.CO
MORE-PLR: multi-output regression employed for partial label ranking
Ludwig-Maximilians-Universität München(慕尼黑大学);Universidad de Castilla-La Mancha(卡斯蒂利亚-拉曼恰大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文提出MORE-PLR,一种基于多输出回归的部分标签排序方法,通过编码器将带并列的排序转化为回归目标,并在推理阶段用后处理层生成桶序,实验证明其性能与现有最先进方法相当。
2026-09-25 cs.LG
Semi-supervised structured output prediction by local linear regression and sub-gradient descent
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Vanderbilt University(范德堡大学);Suning Commerce R&D Center USA, Inc(苏宁美国研发中心);Beijing Jiaotong University(北京交通大学);New York University Abu Dhabi(纽约大学阿布扎比分校);National Time Service Center, Chinese Academy of Sciences(中国科学院国家授时中心);Graduate University of Chinese Academy of Sciences(中国科学院研究生院)
提出了一种基于局部线性回归的半监督结构化输出预测方法。现有的半监督结构化输出预测方法针对数据集中的所有数据点学习一个全局预测器,忽略了数据集局部分布的差异及其对结构化输出预测的影响。为了解决这个问题,我们提出了共同学习缺失的结构化输出和不同数据点邻域的局部预测。使用局部线性回归策略,在每个数据点的邻域中,我们建议通过最小化预测器的复杂性和结构化预测损失的上界来学习局部线性预测器。最小化问题是解决子梯度下降算法。我们在两个基准数据集上进行了实验,结果表明了所提出的方法的优点。
2016-08-16 cs.LG
Distribution Calibration for Regression
University of Bristol(布里斯托尔大学);Amazon Research(亚马逊研究院);University of Tartu(塔尔图大学);The Alan Turing Institute(艾伦·图灵研究所)
我们关心的是从回归模型中获得校准良好的输出分布。这样的分布使我们能够量化模型关于预测目标值的不确定性。我们介绍了分布校准的新概念,并证明了它的优势,现有的分位数校准的定义。我们进一步提出了一种事后方法来改进先前训练的回归模型的预测,使用具有新型Beta链接函数的多输出高斯过程。该方法在一组常见的回归模型上进行了实验验证,并显示出分布水平和分位数水平校准的改进。
2019-05-15 cs.AI cs.LG stat.ML
Graph-Structured Multi-task Regression and an Efficient Optimization Method for General Fused Lasso
我们考虑学习结构化多任务回归的问题,其中输出由通过图形相关的多个响应组成,并且相关的响应变量以稀疏但协同的方式依赖于共同的输入。以前的方法,如l1/l2正则化多任务回归假设所有的输出变量都与输入同等相关,尽管在许多现实世界的问题中,输出是以复杂的方式相关的。在本文中,我们提出了图引导融合套索(GFlasso)的结构化多任务回归,利用图结构的输出变量。我们引入了一种新的基于融合惩罚的惩罚函数,以鼓励高度相关的输出共享一组共同的相关输入。此外,我们提出了一种简单而有效的近似梯度方法来优化GFlasso,该方法也可以应用于任何具有凸光滑损失和任意图结构上定义的一般融合惩罚的优化问题。通过利用非光滑“融合惩罚”的结构,我们的方法实现了比标准的一阶方法,次梯度方法更快的收敛速度,并且比广泛采用的二阶锥规划和二次规划公式具有更大的可扩展性。此外,我们还分析了GFlasso模型的一致性。实验结果不仅证明了GFlasso优于标准套索,而且还显示了我们的近似梯度方法的效率和可扩展性。
2010-05-20 cs.LG math.OC stat.ML
Softmax Reparameterization for Output-Head Quantization
Adobe SDC
针对小语言模型输出头量化导致的性能下降,提出 softmax 重参数化方法,通过一维搜索选择等效输出头,在 W4 量化下显著降低 KL 散度,且不增加推理开销。
2026-09-29 cs.AI cs.LG
Distributionally Robust Multi-Output Regression Ranking
Boston University(波士顿大学)
尽管它们在经验上取得了成功,但大多数现有的列表学习排名(LTR)模型并没有建立在标签或注释错误,分布数据偏移或对抗性数据扰动的基础上。为了填补这一空白,我们引入了一个新的列表LTR模型,称为分布鲁棒多输出回归排名(DRMRR)。与现有方法不同的是,DRMRR的评分函数被设计为从特征向量到偏差分数向量的多变量映射,其捕获局部上下文信息和跨文档交互。DRMRR使用分布鲁棒优化(DRO)框架来最小化在由Wasserstein球定义的经验数据分布附近的最不利分布下的多输出损失函数。我们证明了这等价于一个正则化回归问题的矩阵范数正则化。我们的实验进行了两个现实世界的应用,医疗文件检索和药物反应预测,显示DRMRR显着优于国家的最先进的LTR模型。我们还进行了全面的分析,以评估DRMRR对各种类型的噪声的弹性:高斯噪声,对抗性扰动和标签中毒。我们表明,DRMRR不仅能够实现比其他基线更好的性能,但它可以保持一个相对稳定的性能,因为更多的噪声被添加到数据。
2021-09-27 cs.LG
Calibrated Multiple-Output Quantile Regression with Representation Learning
Technion—Israel Institute of Technology(以色列理工学院);University of California, Berkeley(加州大学伯克利分校)
我们开发了一种方法来生成预测区域,覆盖一个多变量的响应变量与用户指定的概率。我们的工作由两部分组成。首先,我们使用深度生成模型来学习具有单峰分布的响应的表示。现有的多输出分位数回归方法在这种情况下是有效的,所以我们将它们应用于学习的表示,然后将解决方案转换到响应的原始空间。这个过程产生了一个灵活的信息区域,可以具有任意形状,这是现有方法所缺乏的属性。其次,我们提出了一个扩展的共形预测的多变量响应设置,修改任何方法返回一个预先指定的覆盖水平集。对于任何分布,在有限样本的情况下,理论上保证了所需的覆盖率。在真实数据和合成数据上进行的实验表明,与现有技术相比,我们的方法构建的区域明显较小。
2022-12-23 cs.LG
LFFR: Logistic Function For (single-output) Regression
本文提出LFFR算法,利用logistic函数和常数简化Hessian矩阵实现全同态加密下的隐私保护回归训练,并建议对目标预测进行归一化以替代岭回归。
2024-07-30 cs.CR cs.LG
Data-driven polynomial chaos expansion for machine learning regression
我们提出了一种基于多项式混沌展开(PCE)的数据驱动问题的回归技术。PCE是不确定性量化(UQ)领域中的一种流行技术,其中它通常用于将受制于随机输入的可运行但昂贵的计算模型替换为评估成本低廉的多项式函数。所获得的元模型使得能够可靠地估计输出的统计数据,前提是输入的合适的概率模型是可用的。机器学习(ML)回归是一个研究领域,专注于提供纯粹的数据驱动的输入输出图,重点是逐点预测精度。我们表明,纯粹在数据上训练的PCE元模型可以产生逐点预测,其准确性与其他ML回归模型(如神经网络和支持向量机)相当。比较基准数据集可从文献中进行。该方法还可以量化输出的不确定性,并且对噪声具有鲁棒性。此外,它还具有额外的理想特性,例如对小训练集的良好性能和构造简单,只需很少的参数调整。
2019-04-01 cs.LG stat.CO stat.ML
Guaranteed Quantization Error Computation for Neural Network Model Compression
Augusta University(奥古斯塔大学)
本文针对量化神经网络压缩,通过合并原网络与量化网络并结合优化和可达性分析计算严格保证的输出量化误差,且以数值示例验证其有效性。
2023-04-26 cs.AI cs.LG cs.NE
Constrained Structured Regression with Convolutional Neural Networks
UC Berkeley(加州大学伯克利分校)
卷积神经网络(CNN)最近已经成为计算机视觉中的主导模型。如果提供足够的训练数据,它们几乎可以预测任何视觉量。在离散设置中,例如分类,CNN不仅能够预测标签,而且通常以输出空间上的概率分布的形式预测置信度。在连续回归任务中,通常缺乏这样的概率估计。我们提出了一个回归框架,它模拟神经网络的输出分布。这种输出分布允许我们根据一组物理或建模约束来推断最可能的标签。这些约束捕捉了不同输入和输出变量之间复杂的相互作用,并补充了CNN的输出。然而,它们可能并不适用于所有地方。我们的设置还允许学习约束保持的信心,以约束满意度分布的形式。我们评估我们的方法上的问题的内在图像分解,并表明,约束结构化回归显着增加了国家的最先进的。
2015-11-23 cs.CV cs.LG
Active Output Selection Strategies for Multiple Learning Regression Models
Mercedes-Benz AG(梅赛德斯-奔驰公司);TU Dresden(德累斯顿工业大学)
主动学习有望减少基于模型的驾驶性能校准的测试台架时间。本文提出了一种新的主动输出选择策略,它适合校准任务的需要。该策略是在同一输入空间中主动学习多个输出。它选择具有最高交叉验证误差的输出模型作为主导模型。所提出的方法被应用到三个不同的玩具的例子,在现实世界的范围内的噪声和基准数据集。结果进行了分析,并与其他现有的战略。在最好的情况下,所提出的策略是能够减少高达30%的点的数量相比,一个连续的空间填充设计,同时优于其他现有的主动学习策略。结果是有希望的,但也表明,该算法必须加以改进,以增加噪声环境的鲁棒性。进一步的研究将集中在改进算法,并将其应用到一个现实世界的例子。
2020-11-29 cs.LG
Extremal learning: extremizing the output of a neural network in regression problems
McMaster University(麦克马斯特大学);AI Endurance Inc(AI Endurance公司)
神经网络允许我们对变量之间的复杂关系进行建模。我们展示了如何有效地找到极值的训练神经网络回归问题。找到近似模型的极值输入被公式化为训练具有当达到极值输入时最小化的损失函数的附加神经网络。我们进一步展示了如何将额外的限制输入向量,如限制外推的极值输入向量从原始的训练数据集。包含使用TensorFlow的这种方法的教学示例。
2021-02-06 cs.LG cs.NE