Improved prediction of soil properties with Multi-target Stacked Generalisation on EDXRF spectra
State University of Londrina (UEL)（隆德里纳州立大学）；University of São Paulo (USP)（圣保罗大学）
机器学习（ML）算法已被用于评估土壤质量参数以及非破坏性的方法。在光谱分析方法中，能量色散X射线荧光（EDXRF）与传统方法相比是更快速，环保和更便宜的方法之一。然而，EDXRF光谱数据分析中的一些挑战仍然需要能够提供准确结果的更有效的方法。使用多目标回归（MTR）方法，可以预测多个参数，并且还可以利用相互关联的参数来提高整体预测性能。在这项研究中，我们提出了多目标堆叠概括（MTSG），这是一种新的MTR方法，它依赖于从堆叠结构中排列的不同回归变量中学习，以获得提升的结果。比较了MTSG和5种MTR方法对10个土壤肥力参数的预测效果。随机森林和支持向量机（具有线性和径向核）被用作嵌入到每个MTR方法中的学习算法。结果表明，MTR方法优于单目标回归（传统的ML方法），减少了5个参数的预测误差。尤其是MTSG对磷、总有机碳和阳离子交换量的误差最小。径向核支持向量机的相对性能，碱饱和度的预测提高了19%。最后，所提出的方法能够将分析所有目标的平均误差从0.67（单目标）降低到0.64，代表了4.48%的全局改进。
2020-02-11 cs.CV cs.LG stat.AP
SLEIPNIR: Deterministic and Provably Accurate Feature Expansion for Gaussian Process Regression with Derivatives
ETH Zürich（苏黎世联邦理工学院）；Max Planck ETH Center for Learning Systems（马克斯·普朗克-苏黎世联邦理工学院学习系统中心）；Max Planck Institute for Intelligent Systems, Tübingen（图宾根马克斯·普朗克智能系统研究所）
高斯过程是一种重要的回归工具，具有良好的分析特性，可以直接积分导数观测值。然而，普通GP方法在观测量方面是立方尺度的。在这项工作中，我们提出了一种新的方法来缩放GP回归与导数的基础上正交傅立叶功能。然后，我们证明了确定性，非渐近和指数快速衰减的误差界，适用于两个近似的内核以及近似后。为了进一步说明我们的方法的实用性，我们将其应用到ODIN，最近开发的算法ODE参数推断。在广泛的实验部分，所有的结果进行了经验验证，证明了这种方法的速度，准确性和实用性。
2020-03-05 cs.LG math.DS stat.ML
Demand Prediction Using Machine Learning Methods and Stacked Generalization
Istanbul Technical University（伊斯坦布尔理工大学）
供给和需求是卖方和客户的两个基本概念。准确预测需求对于组织来说至关重要，以便能够制定计划。在本文中，我们提出了一种新的方法，对电子商务网站的需求预测。所提出的模型在几个方面不同于早期的模型。在电子商务网站中使用的商业模型，该模型是实现的，包括许多卖家在同一时间以不同的价格出售相同的产品，其中公司经营的市场模型。这种模型的需求预测应该考虑竞争卖方出售的相同产品的价格，沿着这些卖方的特征。在这项研究中，我们首先应用不同的回归算法的一个部门的一个公司，是在土耳其最流行的在线电子商务公司之一的特定产品集。然后，我们使用堆叠泛化或堆叠集成学习来预测需求。最后，所有的方法进行评估，从电子商务公司获得的真实世界的数据集。实验结果表明，一些机器学习方法确实产生了几乎与堆叠泛化方法一样好的结果。
2022-11-01 cs.AI cs.LG stat.ML
Model Agreement via Anchoring
Department of Computer and Information Sciences, University of Pennsylvania（计算机与信息科学系，宾夕法尼亚大学）；Department of Computer Science, The Johns Hopkins University（计算机科学系，约翰霍普金斯大学）
本文提出了一种基于锚定的技术，用于证明四种常见机器学习算法在独立模型不一致度上的界限，通过调整训练参数减少模型预测的不一致性。
2026-02-26 cs.AI cs.LG
Energy-Based Models for Deep Probabilistic Regression
Uppsala University（乌普萨拉大学）；ETH Zürich（苏黎世联邦理工学院）
虽然基于深度学习的分类通常使用标准化方法来处理，但回归采用了各种各样的技术。在计算机视觉中，一种特别流行的这种技术是基于置信度的回归，其需要预测每个输入-目标对（x，y）的置信度值。虽然这种方法已经证明了令人印象深刻的结果，但它需要重要的任务相关的设计选择，并且预测的置信度缺乏自然的概率意义。我们解决这些问题，提出了一个通用的和概念上简单的回归方法，一个明确的概率解释。在我们提出的方法中，我们创建了条件目标密度p（y）的基于能量的模型|x），使用深度神经网络从（x，y）预测未归一化的密度。这个模型p（y| x）通过直接最小化相关的负对数似然来训练，使用Monte Carlo抽样近似。我们对四个计算机视觉回归任务进行了综合实验。我们的方法优于直接回归，以及其他基于概率和置信度的方法。值得注意的是，我们的模型在COCO数据集上的目标检测方面比Faster-RCNN实现了2.2%的AP改进，并且在应用于限界框估计时，在视觉跟踪方面设置了新的最先进技术。与基于信心的方法相比，我们的方法也被证明是直接适用于更一般的任务，如年龄和头部姿势估计。代码可在www.example.com上获得。
2020-07-19 cs.CV cs.LG stat.ML
Deep learning-based estimation of time-dependent parameters in Markov models with application to nonlinear regression and SDEs
AGH University of Krakow（克拉科夫AGH大学）；Aigorithmics sp. z o. o.（Aigorithmics有限责任公司）；Enerco Sp. z o.o.（Enerco有限责任公司）
本研究提出一种基于最大似然法的深度学习方法，通过离散采样估计马尔可夫过程时变参数，经多元回归与SDEs实验验证有效，为相关模型参数估计提供通用工具。
2023-12-13 cs.LG cs.NA math.NA
Inferring Line-of-Sight Velocities and Doppler Widths from Stokes Profiles of GST/NIRIS Using Stacked Deep Neural Networks
New Jersey Institute of Technology（新泽西理工学院）；National University of Singapore（新加坡国立大学）
通过斯托克斯反演获得高质量的磁场和速度场在太阳物理中至关重要。在本文中，我们提出了一种新的深度学习方法，称为堆叠深度神经网络（SDNN），用于从大熊太阳天文台（BBSO）1.6米古德太阳望远镜（GST）上的近红外成像光谱仪（NIRIS）收集的斯托克斯剖面中推断视线（LOS）速度和多普勒宽度。SDNN的训练数据由BBSO使用的Milne-Eddington（ME）反转码准备。我们定量评估SDNN，将其反演结果与ME反演代码和相关机器学习（ML）算法（如多支持向量回归，多层感知器和像素级卷积神经网络）获得的结果进行比较。我们的实验研究的主要发现总结如下。首先，SDNN推断的LOS速度与ME计算的LOS速度高度相关，Pearson积矩相关系数平均接近0.9。其次，SDNN比ME反演代码更快，同时产生更平滑和更清晰的LOS速度和多普勒宽度图。第三，SDNN产生的映射比相关ML算法产生的映射更接近ME的映射，表明SDNN比ML算法具有更好的学习能力。最后，将基于GST/NIRIS的ME和SDNN反演结果与太阳动力学观测站的日震和磁成像仪在耀斑活动区NOAA 12673的反演结果进行了比较。我们还讨论了扩展SDNN推断矢量磁场的经验评估。
2022-10-08 astro-ph.IM astro-ph.SR cs.LG
Uncertainty Quantification for Deep Regression using Contextualised Normalizing Flows
Arquimea Research Center（阿奎米亚研究中心）；Department of Computer Science, University of York（约克大学计算机科学系）；Department of Elect. Eng., and Computer Science and Eng., Cyprus University of Technology（塞浦路斯技术大学电子工程与计算机科学系）
本文提出MCNF方法，通过上下文化规范化流实现深度回归模型的不确定性量化，生成预测区间和完整条件分布，无需重新训练模型，提升高风险领域的决策可靠性。
2025-11-30 cs.LG
Deep Haar Scattering Networks in Pattern Recognition: A promising approach
University of São Paulo（圣保罗大学）；Rutgers University（罗格斯大学）；Rio de Janeiro State University（里约热内卢州立大学）
本文的目的是讨论使用哈尔散射网络，这是一个非常简单的架构，自然支持大量的堆叠层，但参数很少，在一个相对广泛的模式识别问题，包括回归和分类任务。这种架构基本上由堆叠卷积滤波器组成，可以被认为是Haar小波的推广，然后是非线性算子，旨在提取对称性和不变性，这些不变性随后被输入分类/回归算法。我们表明，所提出的方法可以得到良好的结果，这两种任务。在18个重要的数据分类问题中，我们在4个问题上的表现优于现有的最佳算法，并且在具有强周期性的数据的回归问题中，我们获得了比ARIMA和ETS时间序列方法更鲁棒的性能。
2018-11-29 cs.LG eess.SP stat.ML
SEMULATOR: Emulating the Dynamics of Crossbar Array-based Analog Neural System with Regression Neural Networks
Pohang University of Science and Technology（浦项科技大学）
由于深度神经网络需要大量的计算和存储器，因此使用新兴存储器设备的模拟计算是边缘设备数字计算的有前途的替代方案。然而，由于模拟计算系统的仿真时间越来越长，它还没有被探索。为了克服这个问题，开发了解析近似的仿真器，但是这些模型是不准确的，并且缩小了乘法累加运算（MAC）的外围电路的选择。在这个意义上，我们提出了一种方法，SEMULATOR（模拟模拟计算模块的模拟器），它使用深度神经网络来模拟基于纵横制的模拟计算系统的行为。与建议的神经架构，我们的实验和理论表明，它模拟了一个MAC单元的神经计算。此外，与SPICE等电路仿真器相比，仿真时间大大缩短。
2021-01-19 cs.ET cs.LG cs.NE
Distribution-free risk assessment of regression-based machine learning algorithms
University of Oxford（牛津大学）；Munich Re（慕尼黑再保险公司）
针对高风险场景下回归类机器学习模型的失效概率评估需求，提出基于共形预测的无分布风险评估方法，证明其结果具保守性，并通过多设置实验验证了方法准确性。
2023-10-05 cs.LG cs.NA math.NA
Deep Sketched Output Kernel Regression for Structured Prediction
LTCI, Télécom Paris（电信巴黎理工学院 LTCI 实验室）；IP Paris（巴黎理工学院）；University of Milan（米兰大学）
本文提出深度草图输出核回归，用随机近似核协方差算子的特征函数构造有限维输出子空间，使神经网络可借助核诱导损失和梯度下降完成结构化预测。
2024-06-13 cs.LG stat.ML
Deciphering Cryptic Behavior in Bimetallic Transition Metal Complexes with Machine Learning
Massachusetts Institute of Technology（麻省理工学院）；University of Minnesota（明尼苏达大学）
过渡金属配合物的合理定制对于解决能源利用和储存方面的突出挑战是必要的。在堆叠的“双层”配体结构中表现出金属-金属键合的杂环过渡金属络合物是一种新兴的、有吸引力的催化平台，但是在费力的合成努力之前预测它们的性质是具有挑战性的。我们展示了一种替代的，数据驱动的方法来揭示结构-性能的关系，合理的复杂的设计。我们定制基于图形表示的金属局部环境中使用的多元线性回归和核岭回归（KRR）模型的训练，这些杂原子络合物。专注于氧化电位，我们得到了一组28个实验表征的配合物，开发一个多元线性回归模型。在这个训练集上，我们实现了良好的准确性（平均绝对误差，MAE，为0.25 V），并保留了与新的配体结构看不见的实验数据的可转移性。我们在330种结构特征的异双金属化合物的子集上训练了KRR模型，以预测金属-金属键合的程度。该KRR模型预测测试集中的相对金属-金属键长在5%以内，并且对关键特征的分析揭示了基本原子贡献（例如，价电子构型）对复合物的行为影响最大。我们的工作提供了合理的设计指导，建议属性，包括正式的短比应该从一个时期转移到另一个。
2021-07-29 cond-mat.mtrl-sci cs.LG physics.chem-ph
