One-step regression and classification with crosspoint resistive memory arrays
Politecnico di Milano(米兰理工大学)
机器学习作为处理日常生活中无处不在的传感器产生的大数据的工具,近年来受到了广泛的关注。需要高速、低能耗的计算机器来实现边缘处的实时人工智能,即,而不需要云中的远程帧服务器的支持。这种要求挑战了互补金属氧化物半导体(CMOS)技术,其受到摩尔定律接近其终点和传统计算架构中的通信瓶颈的限制。因此,迫切需要新的计算概念、架构和设备来加速数据密集型应用。在这里,我们展示了一个交叉点电阻存储器电路与反馈配置可以执行线性回归和逻辑回归在一个步骤中通过计算存储器内的数据的伪逆矩阵。因此,最基本的学习操作,即数据序列的回归和数据集的分类,可以通过新技术在一个单一的计算步骤中执行。一步学习进一步支持的模拟预测的成本在波士顿和2层神经网络的MNIST数字识别的训练。由于交叉点阵列内的物理、并行和模拟计算,所有结果都在一个计算步骤中获得。
2020-05-05 cs.ET cs.LG stat.ML
Learning to Plan via a Multi-Step Policy Regression Method
Heinrich Heine University Düsseldorf(杜塞尔多夫海因里希·海涅大学)
我们提出了一种新的方法,以提高推理性能的环境中,需要一个特定的动作序列,以解决。这是例如迷宫环境的情况,其中理想地确定最优路径。我们不是学习单步的的策略,而是学习一个可以提前预测n个动作的策略。我们提出的方法称为政策地平线回归(PHR)使用A2C采样的环境知识,学习一个n维的政策向量的政策蒸馏设置,产生n个连续的行动,每个观察。我们在MiniGrid和Pong环境中测试了我们的方法,并通过成功预测单个观察的动作序列,在推理时间内显示出大幅加速。
2021-06-18 cs.AI cs.LG cs.RO
Ordinal Regression for Difficulty Estimation of StepMania Levels
University of Kaiserslautern-Landau(凯泽斯劳滕-兰道大学)
StepMania是一款流行的基于节奏的视频游戏的开源克隆。正如流行游戏中常见的那样,有大量的社区设计关卡。玩家和关卡作者通常很难确定这些社区贡献的难度级别。在这项工作中,我们正式和分析StepMania水平的难度预测任务作为一个有序回归(OR)任务。我们标准化了更广泛和多样化的选择,这些数据产生五个数据集,其中两个是以前工作的扩展。我们评估了许多有竞争力的OR和非OR模型,证明基于神经网络的模型显著优于最先进的模型,StepMania级别的数据为深度OR模型提供了一个很好的测试平台。最后,我们通过一个用户实验来展示我们的训练模型优于人类标记。
2023-01-23 cs.LG
Scale invariant process regression: Towards Bayesian ML with minimal assumptions
Bosch Center for Artificial Intelligence (BCAI)(博世人工智能中心(BCAI))
当前用于机器学习中的正则化的方法需要非常具体的模型假设(例如,核形状),这些模型假设不是从关于应用的先验知识导出的,而是必须仅仅为了使方法工作而强加的。在本文中,我们证明了正则化确实可以通过假设不变性原理(w.r.t.输入和输出空间的缩放、平移和旋转)以及真实函数的可微程度。具体地说,我们从上述最小假设导出了一个新的(非高斯)随机过程,并给出了相应的回归贝叶斯推断方法。平均后验结果是一个多调和样条,后验过程是一个混合的t-过程。与高斯过程回归相比,该方法表现出相同的性能,并具有以下优点:(i)较少的任意性(无需选择核);(ii)潜在的更快(无需核参数优化);(iii)具有更好的外推行为。我们相信,所提出的理论对于正则化和机器学习的概念基础具有核心重要性,并且具有巨大的潜力,可以在回归之外的ML领域取得实际进展。
2022-10-29 cs.LG math.ST stat.ML
Variance function estimation in regression model via aggregation procedures
Université Gustave Eiffel(古斯塔夫·埃菲尔大学);LAMA, UMR-CNRS 8050(LAMA(法国国家科学研究中心联合研究单位))
在回归问题中,我们考虑用聚集方法估计方差函数的问题。我们专注于两个特定的聚合设置:模型选择聚合(MS)和凸聚合(C)的目标是选择最好的候选人,并建立最好的凸组合的候选人分别在一组候选人。在这两种情况下,估计量的构建依赖于两步程序,需要两个独立的样本。第一步利用第一个样本通过基于残差的方法构建方差函数的候选估计量,然后使用第二个数据集执行聚集步骤。我们显示的一致性,所提出的方法相对于MS和C聚合的L2错误。我们评估了这两种方法在异方差模型中的性能,并说明了它们在带拒绝选项的回归问题中的作用。
2021-10-06 cs.LG stat.ML
CTSR: Cartesian tensor-based sparse regression for data-driven discovery of high-dimensional invariant governing equations
Beijing Institute of Technology(北京理工大学)
针对现有稀疏回归方法难以高效发现高维不变控制方程的问题,本文提出基于笛卡尔张量的稀疏回归(CTSR)技术,在保证旋转和反射不变性的同时,于2D和3D测试中取得更优的准确性与效率。
2025-07-16 cs.LG
Improved Convergence of Large Stepsize Gradient Descent for Logistic Regression
University of Maryland, College Park(马里兰大学学院公园分校)
本文证明在线性可分数据上,逻辑回归的大步长梯度下降在任意维度下达到损失ε的步数为多对数复杂度,通过划分振荡阶段为嵌套区间,利用间隔和秩限制深度,显著改进了现有收敛速率。
2026-10-06 cs.LG
Consensual Aggregation on Random Projected High-dimensional Features for Regression
Sorbonne Université Pierre et Marie Curie (Paris 6)(索邦大学皮埃尔和玛丽·居里大学(巴黎第六大学))
在本文中,我们提出了一个基于核的共识聚集随机投影的高维特征的回归预测的研究。该聚集方案由两个步骤组成:第一步,使用Johnson-Lindenstrauss引理将大量回归估计量给出的预测的高维特征随机投影到较小的子空间中,第二步,在投影特征上实现基于核的一致聚集。我们从理论上表明,聚合方案的性能接近的性能上实现的原始高维特征的聚合,具有很高的概率。此外,我们数值说明,聚合方案坚持其性能非常大,高度相关的功能,由不同类型的机器的预测。聚合方案使我们能够灵活地合并大量的冗余机器,简单地构建没有模型选择或交叉验证。所提出的方法的效率说明通过几个实验评估不同类型的合成和真实的数据集。
2022-04-06 cs.LG stat.ML
From Plants to Landmarks: Time-invariant Plant Localization that uses Deep Pose Regression in Agricultural Fields
University of Freiburg(弗赖堡大学)
农业机器人有望以可持续的方式提高产量,并自动执行精确任务,如除草和植物监测。与此同时,他们在一个不断变化的、半结构化的实地环境中移动,在这种环境中,很难发现和复制后来的特征。激光雷达和视觉检测系统面临的挑战来自这样一个事实,即植物可能非常小,重叠,并具有稳定变化的外观。因此,以高精度定位车辆的流行方式是基于昂贵的全球导航卫星系统而不是自然地标。本文的贡献是提出了一种新的基于图像的植物定位方法,该方法以时不变的茎出现点作为参考。我们的方法是基于一个完全的卷积神经网络,学习从RGB和NIR图像输入的地标定位在一个端到端的方式。该网络执行姿态回归以生成工厂位置似然图。我们的方法使我们能够应对不同物种和不同生长阶段的植物的视觉差异。我们实现了高定位精度所示的甜菜栽培阶段的详细评估。在我们的BoniRob的实验中,我们证明了检测可以以厘米的精度稳健地再现。
2017-09-14 cs.CV cs.LG cs.RO
COD: Learning Conditional Invariant Representation for Domain Adaptation Regression
School of Mathematics, Sun Yat-Sen University(中山大学数学学院);School of Mathematics, Jiaying University(嘉应学院数学学院)
针对分类场景的条件分布对齐方法不适用于连续输出的域适应回归问题,本文提出条件算子差异COD刻画连续条件的分布差异,构建基于COD的条件不变表示学习模型,理论与实验均验证了其有效性与优越性。
2024-08-13 cs.CV cs.LG
Differentially Private Linear Regression over Fully Decentralized Datasets
Tencent(腾讯)
本文提出了一种分散式线性回归学习的差分私有算法。在该算法下,从理论上推导了隐私预算,并证明了解的误差对于$O(1/t)$下降步长为$O(t)$有界,对于$O(t^{-e})$下降步长为$O(\exp(t^{1-e}))$有界.
2020-04-16 cs.CR cs.LG
Improving ML Attacks on LWE with Data Repetition and Stepwise Regression
FAIR at Meta(Meta FAIR);Duke University(杜克大学)
本文通过增大训练集和重复样本提升对LWE的ML攻击效果,引入逐步回归技术恢复密钥中的'冷位',并发现模型尝试、数据集大小和重复样本间存在幂律关系。
2026-04-05 cs.CR cs.LG
Gradient Descent on Logistic Regression with Non-Separable Data and Large Step Sizes
Cornell University(康奈尔大学);ELLIS Institute Tübingen(ELLIS图宾根研究所);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所);Tübingen AI Center(图宾根人工智能中心)
该研究分析不可分数据下带大步长的逻辑回归梯度下降的动力学,发现其全局收敛性不成立,步长在1/λ与2/λ间时可收敛到稳定周期,高维下步长小于1/λ也可能出现该情况。
2026-09-03 cs.LG math.OC
Expertise-based Weighting for Regression Models with Noisy Labels
本文提出一种两阶段加权回归方法,先估计各标注者专业水平并学习权重,再对加权标签回归,以灵活处理多专家噪声标签,理论证明且实验优于现有方法。
2023-05-12 cs.LG stat.ML
Multiple--Instance Learning: Christoffel Function Approach to Distribution Regression Problem
Ioffe Institute(约费研究所)
提出了一种基于Christoffel函数的两步分布回归算法。在第一步中,为了对袋内的观测值分布进行建模,为每个袋的观测值构建Christoffel函数。然后,在第二步中,建立结果变量Christoffel函数,但使用袋子在给定点的Christoffel函数值作为袋子结果的权重。该方法允许的结果得到封闭的形式,然后进行数值计算。虽然大多数现有的方法最小化结果和预测之间的某种误差,但所提出的方法在概念上是不同的,因为它使用Christoffel函数进行知识表示,这在概念上等同于仅使用概率。为了得到可能的结果及其概率,可以建立第二步测度的高斯求积,然后节点给出可能的结果和归一化的权重--结果概率。提供这些计算的数值稳定的多项式基础的库是可用的,这使得所提出的方法实用。
2015-11-22 cs.LG
Multi-Step Regression Learning for Compositional Distributional Semantics
University of Oxford(牛津大学);University of Trento(特伦托大学);University of Tokyo(东京大学)
我们提出了一个与Coecke等人(2010)的框架相关的组合分布语义模型,并通过将函数表示为张量和参数表示为向量来模拟形式语义。我们引入了一种新的张量学习方法,推广了Baroni和Zamparelli(2010)的方法。我们在两个基准数据集上对其进行了评估,发现它优于现有的领先方法。在我们的分析中,我们认为这种学习方法的性质也使其适合于解决组合分布模型可能面临的更微妙的问题。
2013-01-30 cs.CL cs.LG
Efficient Conditionally Invariant Representation Learning
Gatsby Unit, UCL(伦敦大学学院盖茨比单元);UBC(不列颠哥伦比亚大学);DeepMind(深度思维);Amii(阿尔伯塔机器智能研究所);UChicago(芝加哥大学);Google Brain(谷歌大脑)
本研究提出条件独立回归协方差CIRCE作为条件独立性度量,仅需一次预计算岭回归即可实现特征的条件独立约束,在域不变学习等场景的基准测试中性能优于现有方法。
2023-12-19 cs.LG stat.ML
One Step of Gradient Descent is Provably the Optimal In-Context Learner with One Layer of Linear Self-Attention
Stanford University(斯坦福大学)
本文从理论上证明,在合成线性回归数据上训练的单层线性自注意力Transformer的最优解等价于一步梯度下降,并揭示了协变量分布非各向同性时算法会变为预条件梯度下降,而响应分布变化影响较小。
2023-07-07 cs.LG
Self-Normalized Martingales and Uniform Regret Bounds for Linear Regression
MIT(麻省理工学院);University of Hong Kong(香港大学);UC Berkeley(加州大学伯克利分校)
研究自归一化martingale的统一后悔界,证明一维情况下可得O(log T)界,而高维情况下无法获得统一界,解决了一个开放性问题。
2026-05-02 cs.LG math.ST stat.ML
Large Stepsizes Federated Learning on Logistic Regression with Linearly Separable Data: The Case of Heterogeneous Devices
The Chinese University of Hong Kong(香港中文大学);University of Minnesota(明尼苏达大学)
本文研究线性可分数据下使用FedAvg训练逻辑回归模型,证明任意大步长下算法稳定且目标值以O(1/R)收敛,异构性影响渐消,并通过实验验证。
2026-10-06 cs.LG math.OC
Gradient Descent on Logistic Regression: Do Large Step-Sizes Work with Data on the Sphere?
Inria Paris(巴黎国家信息与自动化研究所);Inria Saclay Palaiseau(萨克莱研究所);ELLIS Institute Tübingen MPI for Intelligent Systems Tübingen AI Center, Germany(图宾根人工智能研究所);Department of Computer Science Cornell University(康奈尔大学计算机科学系)
本文探讨了 Logistic Regression 上的 Gradient Descent 在数据位于 Sphere 上时大步长的全局收敛性,证明了一维空间中步长低于稳定性阈值可全局收敛,但在高维空间中仍可能出现循环行为。
2026-10-21 cs.LG math.OC
From Logistic Regression to the Perceptron Algorithm: Exploring Gradient Descent with Large Step Sizes
AIRI;Skoltech(斯科尔科沃科学技术研究院)
本研究揭示大步长梯度下降逻辑回归(LR+GD)在步长趋于无穷时退化为批量感知机算法,指出逻辑损失无法可靠衡量分类解的接近程度,证明大步长LR+GD迭代复杂度次优,并提出理论保证更优的归一化LR+GD方法。
2024-12-11 cs.LG
Benign Overfitting of Constant-Stepsize SGD for Linear Regression
University of California, Los Angeles(加州大学洛杉矶分校);Johns Hopkins University(约翰斯·霍普金斯大学);University of Washington(华盛顿大学);Microsoft Research(微软研究院)
越来越多的人认识到,算法归纳偏差是防止过拟合的核心;根据经验,我们经常在自然学习算法的过参数化设置中看到良性的过拟合现象,例如随机梯度下降(SGD),其中很少或根本没有使用显式正则化。这项工作认为这个问题可以说是最基本的设置:恒定步长SGD(与平均或尾平均)的线性回归在overparameterized制度。我们的主要结果提供了一个尖锐的超额风险界,以数据协方差矩阵的全特征谱表示,揭示了当泛化是可能的时,偏差方差分解的特征:(i)方差界用有效维数表征(特定于SGD)和(ii)偏差界限提供了一个尖锐的几何特征的位置方面的初始几何(以及它如何与数据协方差矩阵对齐)。更具体地说,对于SGD的平均,我们证明了建立的超额风险界限的尖锐性,通过证明一个匹配的下限(常数因子)。对于SGD与尾部平均,我们证明了它的优势,SGD与平均值,证明了一个更好的超额风险结合在一起,一个几乎匹配的下限。此外,我们反映了(非正则化)SGD提供的算法正则化与普通最小二乘(最小范数插值)和岭回归之间的一些显着差异。合成数据的实验结果证实了我们的理论研究结果。
2021-10-12 cs.LG math.OC stat.ML
Wasserstein-Splitting Gaussian Process Regression for Heterogeneous Online Bayesian Inference
Virginia Polytechnic Institute and State University(弗吉尼亚理工学院暨州立大学);U.S. Army Research Laboratory(美国陆军研究实验室)
高斯过程(Gaussian processes,GP)是一种著名的非参数贝叶斯推断技术,但对于大样本量,GP存在可扩展性问题,对于非平稳或空间异构数据,GP的性能会降低。在这项工作中,我们试图克服这些问题,通过(i)采用变分自由能近似的GP与在线期望传播步骤的串联操作;和(ii)引入一个本地分裂步骤,每当后验分布变化显着量化的Wasserstein度量超过后验分布,实例化一个新的GP。然后,随着时间的推移,这产生了稀疏GP的集合,其可以增量地更新,并且适应训练数据中的局部性、异质性和非平稳性。
2021-07-26 cs.LG stat.ML
Robust Gaussian Process Regression for Real-Time High Precision GPS Signal Enhancement
Alibaba Group(阿里巴巴集团)
卫星定位系统(如GPS)经常受到大量噪声的影响,尤其是在实时应用中,这些噪声严重降低了定位精度。在这项工作中,我们考虑一个数据挖掘的方法来增强GPS信号。我们建立了一个大规模的高精度GPS接收机网格系统,用于实时采集GPS信号进行训练。采用高斯过程(GP)回归方法模拟了电离层总电子含量(vTEC)的垂直分布。我们的实验表明,实时GPS信号中的噪声往往超过了传统的鲁棒回归方法的崩溃点,导致次优的系统性能。我们提出了一个分三步走的方法来应对这一挑战。在第一步中,我们执行一组信号有效性测试,将信号分为干净和脏组。在第二步中,我们对干净的信号进行训练初始模型,然后根据残差对脏信号进行重新加权。最终模型在干净信号和重新加权的脏信号上重新训练。在理论分析中,我们证明了所提出的三步方法是能够容忍更高的噪声水平比香草稳健回归方法,如果遵循两个重加权规则。我们验证了所提出的方法在我们的实时高精度定位系统对几个流行的国家的最先进的鲁棒回归方法的优越性。我们的方法实现厘米级的定位精度在基准区域的概率$78.4\%$,优于第二个最好的基线方法的利润率为$8.3\%$。基准测试在20,000个CPU内核上需要6小时,在单个CPU上需要14年。
2019-06-03 cs.LG eess.SP stat.ML
Kernel Ridge Regression via Partitioning
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文研究了核岭回归(KRR)的分而治之方法。给定n个样本,划分步骤涉及基于输入空间的一些底层不相交分区(可能通过聚类)分离点,然后计算每个分区的KRR估计。征服步骤很简单:对于每个分区,我们只考虑其自身的局部估计进行预测。我们建立的条件下,我们可以给这个估计的泛化界,以及实现最佳的极大极小率。我们还表明,泛化误差的近似误差分量小于当单个KRR估计拟合数据时:因此在整个数据上提供了比单个KRR估计更大的统计和计算优势(或在其他最近的工作中对随机分区进行平均,[30])。最后,我们为我们提出的估计和我们的假设提供了实验验证。
2016-08-05 cs.LG stat.ML
Efficient Pairwise Learning Using Kernel Ridge Regression: an Exact Two-Step Method
Ghent University(根特大学);University of Turku(图尔库大学);Turku Centre for Computer Science(图尔库计算机科学中心)
成对学习或二元预测涉及对对象的属性的预测。它可以被看作是一个涵盖各种机器学习问题的保护伞,如矩阵完成,协同过滤,多任务学习,迁移学习,网络预测和零样本学习。在这项工作中,我们分析了基于核的成对学习方法,特别关注最近提出的两步法。我们表明,这种方法提供了一个有吸引力的替代常用的Kronecker为基础的方法,通过成对的特征表示和成对的内核模型的二分体。在一系列的理论结果中,我们建立了这两类方法在线性代数和谱滤波方面的对应关系,并分析了它们的统计一致性。此外,两步法允许我们建立新的算法捷径,以便在非常大的数据集上进行有效的训练和验证。把这些属性放在一起,我们相信这个简单而强大的方法可以成为许多问题的标准工具。广泛的实验结果为一系列的实际设置的报告。
2016-06-14 cs.LG
Dimensionality Reduction and Wasserstein Stability for Kernel Regression
ETH Zürich(苏黎世联邦理工学院);Universität Hamburg(汉堡大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文研究了高维回归中先降维再进行核回归的两步法,推导了基于Wasserstein距离的核回归稳定性结果以界定误差,并将其应用于PCA推导出收敛速率,特别适用于半监督设置。
2023-11-27 cs.LG cs.NA math.NA
Robust XGBoosting for Regression
KU Leuven(鲁汶大学)
本文针对XGBoost易受垂直异常值和杠杆点影响的问题,提出基于鲁棒回归估计量的MM-XGBoost两步方法,实现了鲁棒性与预测精度的最优权衡。
2026-08-17 cs.LG stat.CO stat.ML
Deep Metric Learning-Based Semi-Supervised Regression With Alternate Learning
Faculty of Electrical Engineering
本文介绍了一种新的基于深度度量学习的半监督回归(DML-S2 R)方法,用于参数估计问题。所提出的DML-S2 R方法旨在缓解标记样本量不足的问题,而无需收集具有目标值的任何额外样本。为此,它由两个主要步骤组成:i)使用稀缺的标记数据进行成对相似性建模; ii)使用丰富的未标记数据进行基于三元组的度量学习。第一步的目标是通过使用少量的标记样本来对成对样本相似性进行建模。这是通过用连体神经网络(SNN)估计标记样本的目标值差异来实现的。第二步的目标是学习一个基于三元组的度量空间(其中相似的样本彼此接近,不相似的样本彼此远离)时,标记的样本的数量是不够的。这是通过将第一步的SNN用于基于三元组的深度度量学习来实现的,该深度度量学习不仅利用了标记的样本,还利用了未标记的样本。对于DML-S2 R的端到端训练,我们研究了两个步骤的交替学习策略。由于这种策略,每一步中的编码信息成为另一步学习阶段的指导。实验结果证实了DML-S2 R与最先进的半监督回归方法相比的成功。所提出的方法的代码可在https://git.tu-berlin.de/rsim/DML-S2R上公开获得。
2022-07-12 cs.CV cs.LG
A Last-Step Regression Algorithm for Non-Stationary Online Learning
The Technion(以色列理工学院)
学习者在标准在线学习中的目标是保持平均损失接近某类中表现最好的单个功能的损失。在许多现实世界的问题中,例如对项目进行评级或排名,在算法的运行时间期间不存在单个最佳目标函数,而是最佳(局部)目标函数随时间漂移。我们开发了一种新的最后一步极小极大优化算法的上下文中的漂移。我们分析了算法在最坏情况下的遗憾框架,并表明,它保持了平均损失接近的最佳缓慢变化的线性函数序列,只要漂移的总是次线性的。在某些情况下,我们的界限改善现有的界限,此外,该算法遭受对数遗憾时,没有漂移。我们还建立在H_infinity滤波器和它的界限,并开发和分析第二个算法的漂移设置。合成模拟证明了我们的算法在最坏情况下的恒定漂移设置的优势。
2013-03-15 cs.LG
Data Augmentation for Imbalanced Regression
Univ. Lyon(里昂大学);UCBL(里昂第一大学);ISFA(里昂金融与保险学院);Aix-Marseille Univ.(艾克斯-马赛大学);CNRS(法国国家科学研究中心);UQAM(魁北克大学蒙特利尔分校)
在这项工作中,我们考虑的问题,不平衡的数据在回归框架中的不平衡现象涉及连续或离散的协变量。这种情况可能导致估计数出现偏差。在这种情况下,我们提出了一个数据增强算法,结合了加权reserve(WR)和数据增强(DA)的过程。在第一步中,DA程序允许探索比初始支持更广泛的支持。在第二步中,WR方法将外生分布驱动到目标分布。我们讨论的DA程序的选择,通过数值研究,说明了这种方法的优点。最后,研究了一个精算应用。
2023-02-18 cs.LG stat.ME stat.ML
Towards Handling Uncertainty-at-Source in AI -- A Review and Next Steps for Interval Regression
University of Nottingham(诺丁汉大学)
大多数统计数据和人工智能通过对信息源之间的不一致或差异进行建模来获得见解(即,源间不确定性)。然而,研究越来越多地集中在个体测量水平上产生的不确定性上(即,源内或源内),例如对于给定的传感器输出或人的响应。在这里,采用区间而不是数字作为基本数据类型提供了一种高效、强大但具有挑战性的前进方式--提供对源头不确定性的系统捕获,增加信息容量,并最终提供洞察力。随着最近在捕获区间值数据(包括来自人类参与者的数据)方面取得的进展,直接在区间上进行机器学习是至关重要的下一步。本文重点关注区间值数据的线性回归,这是一个最近的增长领域,为在AI中更广泛地使用区间提供了重要的基础。我们对最先进的方法进行了深入分析,阐明了它们在应用于具有不同属性的数据集时的行为,优势和陷阱。特别强调的是保持数学一致性的挑战-即,确保模型始终保持区间的基本数学属性--本文提出了对现有方法的扩展来保证这一点。精心设计的实验,使用合成和真实世界的数据,进行-与研究结果一起提出了新颖的可视化区间值回归输出,旨在最大限度地提高模型的可解释性。最后,本文就具有特定属性的数据集的方法适用性提出了建议,并强调了开发具有处理源头不确定性能力的人工智能的剩余挑战和重要的后续步骤。
2023-02-27 cs.AI cs.LG
Exponential Convergence of (Stochastic) Gradient Descent for Separable Logistic Regression
Undergraduate Programme Indian Institute of Science, Bangalore(印度科学研究院布达佩斯分校本科项目);Dept. of Computer Science and Automation Indian Institute of Science, Bangalore(计算机科学与自动化系印度科学研究院布达佩斯分校);Inria, Ecole Normale Supérieure PSL Research University, Paris, France(法国巴黎PSL研究大学埃cole Normale Supérieure与Inria)
本文通过精心设计的步长增长策略,实现了梯度下降和随机梯度下降在可分离逻辑回归中的指数收敛性,无需依赖自适应或线搜索方法。
2026-02-27 cs.LG math.OC
Convolutional networks and learning invariant to homogeneous multiplicative scalings
Facebook Artificial Intelligence Research(Facebook人工智能研究院)
与卷积网络(convnets)结合使用的传统分类方案-特别是多项式逻辑回归-在统计学中是经典的,其设计没有考虑通常与convnets,随机梯度下降和反向传播的耦合。在convnets的监督学习的具体应用中,一个简单的尺度不变的分类阶段比多项式逻辑回归更鲁棒,在几个标准测试集上的错误似乎略低,具有相似的计算成本,并且具有对实际学习速率的精确控制。“Scale-invariant”意味着将输入值乘以任何非零标量都会使输出保持不变。
2016-02-16 cs.LG cs.NE
Kernel Ridge Regression Using Importance Sampling with Application to Seismic Response Prediction
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校);University of Colorado Boulder(科罗拉多大学博尔德分校)
可扩展的核方法,包括核岭回归,通常依赖于使用Nystrom方法的低秩矩阵近似,该方法涉及从大型数据集中选择标志点。选择地标的现有方法通常在计算上要求很高,因为它们需要在输入或特征空间中操纵和执行具有大矩阵的计算。在本文中,我们的贡献是双重的。第一个贡献是提出了一种新的地标选择方法,促进多样性,使用一个有效的两步方法。我们的地标选择技术遵循从粗到细的策略,第一步计算重要性分数,对整个数据进行一次遍历。第二步对构建的核心集进行K均值聚类,以获得的质心作为地标。因此,所介绍的方法提供了可调的准确性和效率之间的权衡。我们的第二个贡献是调查的性能的几个标志性的选择技术,使用一种新的应用内核的方法来预测结构响应,由于地震荷载和材料的不确定性。我们的实验展示了我们提出的地标选择方案对基线的优点。
2020-09-19 cs.CV cs.LG stat.ML
Adversarial Transfer of Pose Estimation Regression
Naver Labs Europe(Naver Labs欧洲)
我们解决视觉定位中的摄像机姿态估计问题。当前用于姿态估计的基于回归的方法是按场景训练和评估的。它们取决于训练数据集的坐标系,并且在场景和数据集中表现出较低的泛化能力。我们确定了数据集转移的一个重要障碍,泛化和考虑迁移学习作为一种替代方式,更好地重用姿态估计模型。我们修改领域自适应技术的分类,并将其扩展到相机姿态估计,这是一个多元回归的任务。我们开发了一个深度自适应网络来学习场景不变的图像表示,并使用对抗学习来生成这种表示用于模型传输。我们丰富的网络与自监督学习,并使用自适应性理论来验证存在的场景不变表示的图像在两个给定的场景。我们在两个公共数据集Cambridge Landmarks和7Scene上评估了我们的网络,证明了它在几个基线上的优越性,并与最先进的方法进行了比较。
2020-11-23 cs.CV cs.LG
The Exact Sample Complexity Gain from Invariances for Kernel Regression
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);TU Munich(慕尼黑工业大学)
本文从理论角度研究了核回归中利用不变性提升样本复杂性的机制,推导了在紧致流形上核岭回归的最小最大最优速率,并揭示了群作用对样本复杂性的影响。
2023-11-06 cs.LG
Advancing Speech Synthesis using EEG
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在本文中,我们介绍了注意力回归模型,以证明预测从脑电图(EEG)的功能记录在平行的口语句子的声学特征。首先,我们展示了使用我们的注意力模型直接从EEG特征预测声学特征,然后我们展示了使用两步方法从EEG特征预测声学特征,在第一步中,我们使用我们的注意力模型从EEG特征预测发音特征,然后在第二步中,训练另一个注意力回归模型将预测的发音特征转换为声学特征。我们提出的注意力回归模型与作者在[1]中介绍的回归模型相比,在测试期间使用他们的数据集对大多数受试者进行测试时,表现出优越的性能。本文提出的结果进一步推进了作者在[1]中描述的工作。
2020-05-03 cs.LG cs.SD eess.AS
End-to-end symbolic regression with transformers
Meta AI;Sorbonne Université(索邦大学);Ecole Normale Supérieure(巴黎高等师范学院)
符号回归是一项困难的任务,它通过观察一个函数的值来预测它的数学表达式,通常包括两个步骤:预测表达式的“骨架”直到选择数值常数,然后通过优化非凸损失函数来拟合常数。占主导地位的方法是遗传编程,它通过迭代这个子例程大量的时间演变的候选人。神经网络最近被要求在一次尝试中预测正确的骨架,但仍然没有那么强大。在本文中,我们挑战这个两步的过程,任务Transformer直接预测完整的数学表达式,包括常数。随后可以通过将它们馈送到非凸优化器作为知情的初始化来细化预测的常数。我们提出消融表明,这种端到端的方法产生更好的结果,有时甚至没有细化步骤。我们评估我们的模型从SRBench基准测试的问题,并表明我们的模型的性能接近国家的最先进的遗传编程与几个数量级更快的推理。
2022-04-22 cs.LG
Disentangling Generation and Regression in Stochastic Interpolants for Controllable Image Restoration
Tongji University(同济大学);Fudan University(复旦大学)
本文提出DiSI框架,通过解耦随机插值过程中的生成与回归组件,实现从纯回归到全生成的连续可控过渡,提升图像恢复任务的效率和精度。
2026-05-20 cs.CV cs.LG
How to get the most out of Twinned Regression Methods
Homes Plus Magazine Inc.(霍姆斯普拉斯杂志公司)
孪生回归方法被设计用于解决原始回归问题的对偶问题,预测回归目标之间的差异,而不是目标本身。原始回归问题的解决方案可以通过集成未知数据点和多个已知锚数据点的目标之间的预测差异来获得。我们探讨了不同方面的孪生回归方法:(1)我们分解不同步骤的孪生回归算法,并检查其对最终性能的贡献,(2)我们检查的内在集成质量,(3)我们结合双神经网络回归与k-近邻回归设计一个更准确和有效的回归方法,(4)我们开发了一个简化的半监督回归方案。
2023-01-03 cs.LG stat.ME
Linear Multidimensional Regression with Interactive Fixed-Effects
Department of Economics, Michigan State University(经济学系,密歇根州立大学)
本文提出了一种用于多维面板数据的线性回归方法,通过奈曼正交方法估计交互固定效应,并用于计算啤酒需求弹性。
2026-11-13 cs.LG econ.EM stat.ME
Efficient Line Search Method Based on Regression and Uncertainty Quantification
Universität Hamburg(汉堡大学)
针对传统线搜索浪费搜索数据的问题,本文提出利用函数值与梯度的贝叶斯优化线搜索方法,在 CUTEst 上以同等资源求解更多问题至最优。
2024-05-17 cs.LG math.OC