Efficient reconstruction of multidimensional random field models with heterogeneous data using stochastic neural networks
Department of Mathematics, University of Houston(数学系,休斯顿大学);Nuffield Department of Medicine, University of Oxford(医学系,牛津大学)
本文针对多维随机场重构的维数灾难问题,改进基于Wasserstein距离的SNN训练方法,证明有限异构数据下的泛化误差界,通过数值实验验证了方法的有效性与鲁棒性。
2025-11-17 cs.LG cs.NA math.NA
Multidimensional Adaptive Coefficient for Inference Trajectory Optimization in Flow and Diffusion
Music and Audio Research Group, Department of Intelligence and Information, Seoul National University, Seoul, Korea(智能信息系音频研究组,首尔国立大学,韩国首尔);Interdisciplinary Program in Artificial Intelligence, Seoul National University, Seoul, Korea(人工智能跨学科项目,首尔国立大学,韩国首尔);Artificial Intelligence Institute, Seoul National University, Seoul, Korea(人工智能研究所,首尔国立大学,韩国首尔);School of Computing, KAIST, Daejeon, Korea(计算学院,韩国科学技术院,韩国大田)
针对flow and diffusion模型缺乏维度自由和推理轨迹适应性的问题,提出插件模块MAC,通过多维系数扩展和基于模拟反馈的对抗训练,以高训练效率提升生成质量,为推理轨迹优化提供新视角。
2025-08-12 cs.AI cs.LG
Multidimensional Distributional Neural Network Output Demonstrated in Super-Resolution of Surface Wind Speed
本文提出基于多维高斯损失的神经网络训练框架,通过傅里叶协方差表示与信息共享正则化,在地表风速超分辨率中生成保持空间相关性的闭式预测分布,实现高效不确定性量化。
2025-08-21 cs.LG stat.ME stat.ML
Multidimensional precipitation index prediction based on CNN-LSTM hybrid framework
Universiti Putra Malaysia(马来西亚博特拉大学);Vanderbilt University(范德堡大学);Arizona State University(亚利桑那州立大学)
本研究提出基于CNN-LSTM混合框架的多维降水指数预测模型,利用1972-2002年浦那月降水数据,模型RMSE达6.752,优于传统方法,为气象预测提供新思路。
2025-04-29 cs.HC cs.LG
Rethinking Multidimensional Discriminator Output for Generative Adversarial Networks
Salesforce(赛富时);Amazon(亚马逊);Florida State University(佛罗里达州立大学)
生成对抗网络的多维批评(critic)输出的研究在文献中尚未充分探索。在本文中,我们推广了Wasserstein GAN框架,利用多维评论家输出,并探讨其性质。我们还引入了一个平方根速度变换(SRVT)块,有利于在多维设置中进行训练。性质的证明基于我们提出的最大p-中心差异,其由p-瓦瑟斯坦距离限制,并且适合具有多维评论家输出n的Wasserstein GAN框架。特别是当n = 1和p = 1时,所提出的差异等于1-瓦瑟斯坦距离。理论分析和实证结果表明,高维批评输出在区分真假分布方面具有优势,有利于结果的快速收敛和多样性。
2022-07-14 cs.LG stat.ML
Evaluating Autoencoders for Parametric and Invertible Multidimensional Projections
University of Konstanz(康斯坦茨大学)
本文评估了三种自编码器架构,探讨其在创建参数化和可逆多维投影中的性能,发现自定义损失函数能提升投影的平滑度和用户控制性。
2026-02-09 cs.LG
Synthetic Data Generation and Automated Multidimensional Data Labeling for AI/ML in General and Circular Coordinates
Central Washington University(中央华盛顿大学)
针对AI/ML模型训练数据不足的问题,提出统一的SDG-ADL算法,结合多种通用线坐标实现多维数据的合成生成与自动标注,经真实数据案例验证可对分类器产生作用。
2024-09-03 cs.LG
Non-linear Visual Knowledge Discovery with Elliptic Paired Coordinates
Central Washington University(中央华盛顿大学)
对于人类来说,用肉眼在超过2-3维的数据中实现视觉知识发现是具有挑战性的。本章探讨了使用新的椭圆配对坐标(EPC)可视化交互式发现预测机器学习模型的效率。结果表明,EPC能够可视化多维数据,并支持可视化机器学习与二维多维信息的保存。相对于平行和径向坐标,EPC可视化仅需要每个n-D点的一半视觉元素。在这项工作中开发的交互式软件系统EllipseVis,处理高维数据集,创建EPC可视化,并通过发现EPC中的优势规则来产生预测分类模型。通过使用交互式和自动化的过程,它发现了EPC中具有单一类别的高优势的区域。EPC方法在计算实验中成功地发现了具有高覆盖率和高精度的非线性预测模型。这可以通过产生视觉上吸引人的优势规则来使多个域受益。本章介绍了使用真实和模拟数据在实验中成功测试EPC非线性方法的结果、将EPC推广到动态椭圆配对坐标(DEPC)、结合坐标权重以优化视觉发现、引入替代设计以及引入基于EPC/DEPC的松散机器学习方法论的概念。
2021-07-11 cs.CV cs.GR cs.LG
On a novel training algorithm for sequence-to-sequence predictive recurrent networks
Stowers Institute for Medical Research(斯托尔斯医学研究所)
神经网络将序列映射到序列(seq2seq)导致机器翻译和语音识别的重大进展。他们的传统架构包括两个递归网络(RN),然后是线性预测器。在本文中,我们对相应的算法进行了分析,并表明经过良好训练的预测网络的RN的参数不是相互独立的。它们的依赖性可以用来显着提高网络的有效性。传统的seq2seq算法需要与预测序列长度成比例的大小的短期存储器。这一要求在神经科学背景下很难实现。我们提出了一种新的seq2seq预测网络的无记忆算法,并将其与传统的时间序列预测算法进行了比较。我们表明,新的算法是更强大的,使预测具有更高的精度比传统的。
2021-06-27 cs.LG
Deep learning-based statistical noise reduction for multidimensional spectral data
Institute for Basic Science(基础科学研究院);Seoul National University(首尔大学)
在光谱实验中,由于要覆盖的相空间体积大,多维相空间中的数据采集可能需要长的采集时间。在这种情况下,可用于数据采集的有限时间对于采集多维光谱数据的实验可能是严重的约束。在这里,以角度分辨光电子能谱(ARPES)为例,我们展示了一种利用深度学习作为克服约束的智能方法的去噪方法。利用现成的ARPES数据和随机生成的训练数据集,我们成功地训练了去噪神经网络,没有过拟合。去噪神经网络可以在去除数据中噪声的同时保留其固有信息。我们表明,去噪神经网络使我们能够执行类似水平的二阶导数和线形分析的数据采集时间少两个数量级。我们的方法的重要性在于它的适用性,任何多维光谱数据,容易受到统计噪声。
2021-07-02 cs.LG physics.data-an
A monthly sub-national Harmonized Food Insecurity Dataset for comprehensive analysis and predictive modeling
Joint Research Center, European Commission(欧盟委员会联合研究中心);Action Against Hunger(救助儿童会(国际救助儿童会));IPC, Global Support Unit(IPC全球支持单元);OCHA, Centre for Humanitarian Data(联合国人道主义事务协调厅人道主义数据中心)
本文提出开源的月度次国家级协调粮食不安全数据集HFID,整合四类核心粮食安全相关数据,具备广时空覆盖,可支撑粮食安全分析及数据驱动的危机预测模型开发。
2025-01-13 cs.LG
Data imputation and comparison of custom ensemble models with existing libraries like XGBoost, Scikit learn, etc. for Predictive Equipment failure
本文介绍了自定义集成模型与使用现有库(如Xgboost,Scikit Learn等)训练的模型在石油开采设备设置的预测设备故障情况下的比较。所使用的数据集包含许多缺失值,本文提出了不同的基于模型的数据插补策略来插补缺失值。详细解释了自定义集成模型的体系结构以及训练和测试过程。
2021-11-19 cs.LG
Multiclass threshold-based classification
本文提出一种多类分类的阈值框架,通过多维阈值调节提升分类性能,并引入基于分数的损失函数。
2025-12-01 cs.LG
Multivariate Data Augmentation for Predictive Maintenance using Diffusion
Mississippi State University(密西西比州立大学);Engineer Research and Development Center(工程研究与发展中心);Department of Defence(国防部)
本文提出利用扩散模型生成多变量合成故障数据,以增强预测性维护中的异常检测,尤其针对无故障数据的新系统,通过学习健康与故障数据关系来生成有用数据。
2024-11-06 cs.LG
ClassSPLOM -- A Scatterplot Matrix to Visualize Separation of Multiclass Multidimensional Data
Qatar Computing Research Institute(卡塔尔计算研究所);HBKU(哈马德·本·哈利法大学)
在多维数据的多类分类中,用户希望建立类的模型来预测未见过数据的标签。该模型在数据上进行训练,并在具有已知标签的未知数据上进行测试,以评估其质量。结果被可视化为混淆矩阵,显示有多少数据标签被正确预测或与其他类别混淆。数据的多维性质阻止了类的直接可视化,因此我们设计了ClassSPLOM,以提供有关分类结果的更多感知见解。它使用散点图矩阵(SPLOM)隐喻来可视化每对类的数据的线性判别分析投影和一组接收操作曲线来评估其可信度。我们说明ClassSPLOM在阿拉伯语方言识别的用例。
2022-01-30 cs.HC cs.LG
Disentangling the Predictive Variance of Deep Ensembles through the Neural Tangent Kernel
ETH Zürich(苏黎世联邦理工学院);University of Zürich(苏黎世大学)
识别不熟悉的输入,也称为分布外(OOD)检测,是任何决策过程的关键属性。一种简单且经经验验证的技术是基于深度集成,其中不同神经网络上的预测方差用作输入不确定性的替代。然而,导致深度系综的不确定性估计的性能的归纳偏差的理论理解是缺失的。为了改善我们对它们行为的描述,我们研究了在简化的线性训练机制中运行的具有大层宽度的深度集成,其中使用梯度下降训练的函数可以由神经切线核描述。我们确定了两个噪声源,每个源在初始化时的预测方差中引起不同的归纳偏差。我们进一步从理论和经验上证明,这两种噪声源都会影响玩具模型和训练后现实环境中非线性深度合奏的预测方差。最后,我们提出了一些实用的方法来消除这些噪声源的一部分,从而在经过训练的深度集合中实现显著的变化和改进的OOD检测。
2022-10-18 cs.LG
CoM$^3$eT: A foundation model for medical image analysis through federated, multidimensional context integration
Fraunhofer Institute for Digital Medicine MEVIS(弗劳恩霍夫数字医学MEVIS研究所);RWTH Aachen University(亚琛工业大学);Medizinische Hochschule Hannover(汉诺威医学院);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院);Charité – Universitätsmedizin Berlin(柏林夏里特医学院);Freie Universität Berlin(柏林自由大学);Humboldt-Universität zu Berlin(柏林洪堡大学)
CoM³eT是统一多专科、多预测类型及多维度输入的医学视觉基础模型,在公开竞赛中表现优于同类模型,仅微调少量参数即可适配多临床任务,联邦学习场景下性能接近聚合数据训练。
2026-08-18 cs.CV cs.LG
Optimizing Predictive Maintenance in Intelligent Manufacturing: An Integrated FNO-DAE-GNN-PPO MDP Framework
Chengdu University of Technology(成都理工大学)
本文提出一种集成FNO、DAE、GNN与PPO的MDP框架,用于智能制造预测性维护,通过频域建模、抗噪嵌入、设备依赖图表示和策略优化实现最高13%的成本降低。
2025-11-05 cs.CE cs.LG
Compressing multidimensional weather and climate data into neural networks
ETH Zurich(苏黎世联邦理工学院)
本文提出用基于坐标的神经网络过拟合天气气候数据并以网络参数作为紧凑表示,实现300至3000倍以上压缩,在精度上优于SZ3,且压缩后数据用于WeatherBench训练时RMSE增加不到2%。
2023-04-14 cs.IT cs.LG math.IT
Equipment Failure Analysis for Oil and Gas Industry with an Ensemble Predictive Model
School of Computer Science, University of Nottingham Malaysia Campus(诺丁汉大学马来西亚校区计算机科学学院);Tentacle Technologies(触手科技公司)
针对油气设备故障分类中不平衡数据导致分类器性能不佳的问题,提出结合SMO训练算法的SVM与混合规则-神经网络分类器的堆叠集成预测模型,分类性能显著优于传统分类器。
2020-12-30 cs.LG
Robust Predictive Modeling Under Unseen Data Distribution Shifts: A Methodological Commentary
Hong Kong University of Science and Technology(香港科技大学);University of Notre Dame(圣母大学)
本文通过实际客户流失案例,指出训练与测试数据分布不一致的问题,并探讨领域泛化方法,提出采用不确定性意识的预测建模方法以提升模型鲁棒性。
2026-03-27 cs.LG
HyperNP: Interactive Visual Exploration of Multidimensional Projection Hyperparameters
Tufts University(塔夫茨大学);University of Sao Paulo(圣保罗大学);University of Utrecht(乌得勒支大学);Indiana University Bloomington(印第安纳大学伯明顿分校);Novartis(诺华公司)
投影算法,如t-SNE或UMAP是有用的高维数据的可视化,但依赖于超参数,必须仔细调整。不幸的是,迭代地重新计算投影以找到最佳超参数值是计算密集型的,并且由于这些方法的随机性而不直观。在本文中,我们提出了HyperNP,一个可扩展的方法,允许实时交互式超参数探索的投影方法,通过训练神经网络近似。HyperNP可以在总数据实例和超参数配置的一小部分上进行训练,并且可以以交互式速度计算新数据和超参数的投影。HyperNP尺寸紧凑,计算速度快,因此可以嵌入到轻量级可视化系统中,如Web浏览器。我们在性能和速度方面评估了HyperNP在三个数据集上的性能。结果表明,HyperNP是准确的,可扩展的,交互式的,适合在现实世界中使用。
2021-06-25 cs.HC cs.LG
Classification of Functioning, Disability, and Health for Children and Youth: ICF-CY Self Care (SCADI Dataset) Using Predictive Analytics
Binghamton University(宾汉姆顿大学)
《儿童和青年功能、残疾和健康国际分类》(ICF-CY)是指定功能和残疾数据并使其系统化的框架。它提供了一个标准的语义和理论基础的界限和程度的福祉和体弱。ICF-CY的多维布局包含了大量的信息,大约有1400个类别,这使得分析变得困难。我们的研究提出了一个预测模型,分类的自我护理活动数据集的基础上,ICF-CY的自我护理问题。在这项研究中使用的数据驻留70名运动和身体残疾儿童的206个属性。我们的研究实现,比较和分析随机森林,支持向量机,朴素贝叶斯,Hoeffding树,和懒惰的局部加权学习使用双尾T检验在95%的置信区间。研究中涉及的Boruta算法通过最小化数据维数来倡导最小最优的预测因子集。随机森林给出了最好的分类准确率为84.75%,均方根误差为0.18,接收器操作特性为0.99。预测分析可以通过自动化残疾、功能和健康的分类过程来简化ICF-CY的使用。
2019-08-21 cs.CY cs.LG stat.ML
Hessian-free Optimization for Learning Deep Multidimensional Recurrent Neural Networks
Gracenote Inc.(Gracenote公司);KAIST(韩国科学技术院)
多维循环神经网络(MDRNs)在语音和手写识别领域表现出了显着的性能。MDRNN的性能通过进一步增加其深度来提高,并且通过使用Hessian-free(HF)优化来克服学习更深网络的困难。鉴于连接主义时间分类(CTC)被用作学习序列标记的MDRNN的目标,CTC的非凸性在将HF应用于网络时带来了问题。作为一种解决方案,一个凸近似的CTC制定和EM算法和Fisher信息矩阵的关系进行了讨论。使用HF成功地训练了深度达15层的MDRNN,从而提高了序列标记的性能。
2015-10-23 cs.LG cs.NE stat.ML
Deep Learning Multidimensional Projections
简化方法,也称为投影,经常用于在机器学习、数据科学和信息可视化中探索多维数据。其中,t-SNE及其变体因其在视觉上分离不同数据集群的能力而变得非常受欢迎。然而,这样的方法对于大型数据集来说在计算上是昂贵的,遭受稳定性问题,并且不能直接处理样本外数据。我们提出了一个学习的方法来构建这样的预测。我们基于来自给定数据宇宙的样本集合及其相应的投影来训练深度神经网络,然后使用该网络来推断来自相同或相似宇宙的数据投影。我们的方法生成的投影具有与学习方法相似的特征,在计算上比SNE类方法快两到三个数量级,没有复杂的用户参数设置,以稳定的方式处理样本外数据,并且可以用于学习任何投影技术。我们证明了我们的建议,在几个现实世界的高维数据集从机器学习。
2019-02-21 cs.LG stat.ML
Single State Update Predictive Coding training for Time Series Forecasting and Anomaly Detection
Ghent University(根特大学);imec
该研究针对预测编码网络的顺序反向误差传播瓶颈,提出并行训练生成式与编码式两类PCN的单状态更新训练技术,将其应用于时间序列异常检测,实现了更稳定连续的在线学习。
2026-08-26 cs.LG cs.NE
On Arrhythmia Detection by Deep Learning and Multidimensional Representation
心电图(ECG)是由一维(1-D)数据表示的时间序列信号。高维表示包含更多的信息,可用于特征提取。隐藏的变量,如频率关系和段的形态是不能直接访问的时域。本文将一维时间序列数据转换为多通道二维图像形式的多维表示。之后,使用深度学习来训练基于深度神经网络的分类器以检测心律失常。测试数据库上的模拟结果表明,所提出的方法的有效性,显示出出色的分类性能相比,其他现有的方法和手工制作的注释认证的心脏病专家。
2019-04-11 cs.LG eess.SP stat.ML
Deep sr-DDL: Deep Structurally Regularized Dynamic Dictionary Learning to Integrate Multimodal and Dynamic Functional Connectomics data for Multidimensional Clinical Characterizations
Johns Hopkins University(约翰斯·霍普金斯大学);Kennedy Krieger Institute(肯尼迪·克里格研究所);Johns Hopkins School of Medicine(约翰斯·霍普金斯医学院)
本文提出深度 sr-DDL 框架,将结构正则化动态字典学习与 LSTM-ANN 深度网络联合优化,整合 rs-fMRI 和 DTI 多模态数据,用于预测认知及自闭症谱系障碍的多维临床评分,并在多个基准上优于现有方法。
2024-11-22 cs.LG eess.SP stat.ML
Physically interpretable machine learning algorithm on multidimensional non-linear fields
EDF R&D(法国电力集团研发部);European Center for Research and Advanced Training in Scientific Computation (CERFACS)(欧洲科学计算研究与高级培训中心);French National Research Center (CNRS)(法国国家科学研究中心);Institut de Mécanique des Fluides de Toulouse (IMFT)(图卢兹流体力学研究所);Université de Toulouse(图卢兹大学);Saint-Venant Laboratory for Hydraulics (LHSV)(圣维南水力学实验室)
在机器学习(ML)和有利的数据开发背景下,我们在这里提出了一种基于数据的二维物理场预测的原始方法。多项式混沌扩展(PCE)是不确定性量化领域中广泛使用的一种概率输入输出映射表示方法。它最近在纯ML环境中进行了测试,并显示出与经典ML技术一样强大的逐点预测。一些优点是固有的方法,如其明确性和适应性小的训练集,除了相关的概率框架。同时,简化(DR)技术越来越多地用于模式识别和数据压缩,并获得了兴趣,由于提高数据质量。在这项研究中,适当的正交分解(POD)的统计预测模型的建设的兴趣被证明。POD和PCE都在各自的框架中充分证明了它们的价值。本文的目标是将它们结合起来,进行基于实地测量的预测。所描述的步骤对于分析数据也是有用的。使用多维现场测量时遇到的一些具有挑战性的问题得到解决,例如,当处理很少的数据。提出了POD-PCE耦合方法,特别关注输入数据特性和训练集选择。一个简单的方法来评估每个物理参数的重要性,提出了PCE模型,并扩展到POD-PCE耦合。
2020-12-10 cs.LG physics.comp-ph physics.data-an
Fibonacci and k-Subsecting Recursive Feature Elimination
Poznan University of Technology(波兹南理工大学)
特征选择是一项数据采掘任务,具有加速分类算法、增强模型可理解性和提高学习精度的潜力。然而,找到一个子集的功能,是最佳的预测精度方面通常是计算上棘手的。在处理这个问题的几种启发式方法中,递归特征消除(RFE)算法受到了数据采掘从业者的极大兴趣。在本文中,我们提出了两种新的算法的启发RFE,称为斐波那契和k-分段递归特征消除,删除功能在对数步骤,探测包装分类器更密集的更有前途的特征子集。所提出的算法进行了实验比较RFE对28个高度多维的数据集,并在一个实际的案例研究,涉及从蛋白质数据库的三维电子密度图进行评估。结果表明,Fibonacci和k-细分递归特征消除能够比标准RFE更快地选择较小的特征子集,同时实现相当的预测性能。
2020-07-29 cs.LG stat.ML
On Mixup Training: Improved Calibration and Predictive Uncertainty for Deep Neural Networks
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);University of Washington(华盛顿大学)
Mixup~ \cite{zhang2017mixup}是最近提出的一种用于训练深度神经网络的方法,其中在训练期间通过凸组合随机图像对及其相关标签来生成额外的样本。虽然实现简单,但它已被证明是一种令人惊讶的有效的图像分类数据增强方法:使用mixup训练的DNN在许多图像分类基准上显示出明显的分类性能增益。在这项工作中,我们讨论了mixup训练的一个迄今为止尚未触及的方面-使用mixup训练的模型的校准和预测不确定性。我们发现,用mixup训练的DNN的校准效果要好得多,也就是说,预测的softmax分数是正确预测的实际可能性的更好指标-比以常规方式训练的DNN更好。我们对许多图像分类架构和数据集进行了实验-包括像ImageNet这样的大规模数据集-并发现情况确实如此。此外,我们发现,仅仅混合特征并不会产生相同的校准益处,并且混合训练中的标签平滑在改善校准方面起着重要作用。最后,我们还观察到,混合训练的DNN不太容易对分布外和随机噪声数据进行过度自信的预测。我们的结论是,在神经网络中看到的典型过度自信,即使是在分布数据上,也可能是使用硬标签训练的结果,这表明混合可以用于预测不确定性是一个重要问题的分类任务。
2020-01-07 cs.LG stat.ML
Transforming Multidimensional Time Series into Interpretable Event Sequences for Advanced Data Mining
Trine University(特莱恩大学);Carnegie Mellon University(卡内基梅隆大学);Washington University in St. Louis(华盛顿大学圣路易斯分校)
针对多维时间序列分析传统方法的局限,提出一种将其转为空间演化事件一维序列的无监督时空特征表示模型,通过可变长度元组挖掘提取特征,经运动序列分类实验验证性能优越,为多领域时间序列数据挖掘应用提供新支撑。
2024-10-08 cs.AI cs.LG
Remaining Useful Life Prediction: A Study on Multidimensional Industrial Signal Processing and Efficient Transfer Learning Based on Large Language Models
City University of Hong Kong(香港城市大学)
本研究针对传统RUL预测方法泛化性不足的问题,提出基于大语言模型的回归框架,在涡扇发动机数据集上取得优异表现,且少量目标域数据微调即可超越全数据训练的SOTA方法,为工业系统健康管理提供新方案。
2024-10-04 cs.AI cs.LG eess.SP
On the relationship between predictive coding and backpropagation
University of Notre Dame(圣母大学)
本文回顾并扩展了在监督学习任务中训练前馈人工神经网络时预测编码与反向传播之间数学关系的研究,并提供了Torch2PC函数库以支持在PyTorch模型中执行预测编码。
2024-04-23 cs.LG cs.NE q-bio.NC
Locally Adaptive Label Smoothing for Predictive Churn
Google Research(谷歌研究院)
训练现代神经网络是一个固有的噪声过程,可能导致高\emph{prediction churn} -由于参数初始化和小批量中的随机化等因素,同一模型的重新训练之间存在差异-即使训练的模型都达到相似的精度。这种预测扰动在实践中可能是非常不期望的。在本文中,我们提出了几个基线,以减少流失,并表明,软标签的训练,通过自适应平滑每个例子的标签的基础上的例子的相邻标签,往往优于流失的基线,同时提高各种基准分类任务和模型架构的准确性。
2021-06-11 cs.AI cs.LG
Adversarial training for predictive tasks: theoretical analysis and limitations in the deterministic case
CGG
为了训练深度神经网络以模拟处理序列的结果,可以使用条件广义对抗网络(CGAN)的版本。其他人已经观察到,CGAN可以帮助改善结果,即使是对于确定性序列,其中只有一个输出与给定输入的处理相关联。令人惊讶的是,我们的CGAN为基础的测试确定性地球物理处理序列并没有产生真正的改善相比,使用一个$L_p$损失,我们在这里提出了第一个理论解释。我们的分析从非确定性的情况下,确定性的。这使我们开发了一种对抗性的方法来训练内容丢失,从而在我们的数据上获得更好的结果。
2020-11-30 cs.LG stat.ML
Ensemble-Based Dirichlet Modeling for Predictive Uncertainty and Selective Classification
University of Colorado Denver(科罗拉多大学丹佛分校)
本文提出一种基于狄利克雷参数估计的方法,通过集成softmax输出的矩估计器来分离不确定性估计,提升预测稳定性和不确定性行为,从而增强下游应用性能。
2026-04-07 cs.LG stat.ML
Automating concept-drift detection by self-evaluating predictive model degradation
Politecnico di Torino(都灵理工大学)
自动化预测性机器学习的一个关键方面需要正确触发训练模型更新的能力。为此,必须设计合适的自动解决方案来自我评估原始训练集和新数据之间的预测质量和数据分布漂移。在本文中,我们提出了一种新的方法来自动检测由于基于类的概念漂移而导致的机器学习模型的预测质量下降,即,当新数据包含不符合当前训练的预测模型已知的类别标签集的样本时。在合成和真实公共数据集上的实验表明,该方法能够有效地自动检测和描述由类标签数据分布变化引起的概念漂移.
2019-07-18 cs.LG stat.ML
Cluster Model for parsimonious selection of variables and enhancing Students Employability Prediction
Banasthali University(巴纳斯塔利大学);University of Rajasthan(拉贾斯坦大学)
本文提出一种基于聚类的预处理模型,通过精简变量选择提升预测算法性能,从而更准确地预测学生就业能力。
2024-06-05 cs.AI cs.CY cs.LG
Quantification of Predictive Uncertainty via Inference-Time Sampling
ETH Zurich(苏黎世联邦理工学院);Apagom AG(Apagom股份公司);Microsoft Mixed Reality and AI lab(微软混合现实与人工智能实验室)
提出一种架构无关的事后采样策略,通过推理时采样为前馈确定性网络估计预测不确定性,无需修改架构或训练,能生成多模态预测分布且不确定性与误差高度相关。
2023-08-03 cs.CV cs.LG
Multidimensional Uncertainty-Aware Evidential Neural Networks
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Virginia Tech(弗吉尼亚理工大学)
传统的深度神经网络(NN)在各种应用领域的分类任务中具有最先进的性能。然而,NN没有考虑与类别概率相关联的数据中的固有不确定性,其中在不确定性下的错误分类可能容易在现实环境中的决策中引入高风险(例如,道路上的物体分类错误导致严重事故)。与通过权重不确定性间接推断不确定性的贝叶斯神经网络不同,最近提出了证据神经网络(ENNs)来明确建模类概率的不确定性,并将其用于分类任务。ENN将NN的预测公式化为主观意见,并通过收集大量证据来学习函数,这些证据可以通过确定性NN从数据中形成主观意见。然而,ENN被训练为黑盒,而没有明确考虑数据中的固有不确定性及其不同的根本原因,例如空性(即,由于缺乏证据而导致的不确定性)或不和谐(即,由于证据的不确定性)。通过考虑多维不确定性,我们提出了一种新的不确定性感知的证据神经网络称为WGAN-ENN(WENN)解决的分布(OOD)检测问题。我们采用Wasserstein生成对抗网络(WGAN)和ENNs相结合的混合方法,联合训练具有某类先验知识的模型,这对OOD样本具有高度的真空。通过大量基于合成和真实世界数据集的实证实验,我们证明了WENN的不确定性估计可以显着帮助区分OOD样本和边界样本。与其他竞争对手相比,WENN在OOD检测方面表现出色。
2021-05-03 cs.AI cs.CV cs.LG
Machine Learning using the Variational Predictive Information Bottleneck with a Validation Set
CableLabs(电缆实验室)
Zellner(1988)根据信息处理对统计推断进行了建模,并假设了信息处理块的输入和输出之间的信息守恒原理(ICP),表明这产生了贝叶斯推断作为最佳信息处理规则。最近,Alemi(2019)在机器学习的背景下回顾了Zellner的工作,并表明ICP可以被视为更一般的最佳信息处理标准的特例,即预测信息瓶颈目标。然而,Alemi将机器学习中的模型训练步骤建模为仅使用训练和测试数据集,并且没有考虑在训练期间使用验证数据集。本说明是一种尝试,以延长Alemi的信息处理制定的机器学习,和预测信息瓶颈目标模型训练,广泛使用的情况下,训练利用不仅是一个训练,但也验证数据集。
2019-12-11 cs.IT cs.LG math.IT
Optimal Training of Fair Predictive Models
Emory University(埃默里大学);Columbia University(哥伦比亚大学);Johns Hopkins University(约翰斯·霍普金斯大学)
最近,人们一直对修改预测算法以满足公平性约束感兴趣。这些约束通常是观测数据分布的复杂非线性泛函。针对Nabi和Shpitser(2018)提出的路径特定因果约束,我们引入了新的理论结果和优化技术,使模型训练更容易,更准确。具体来说,我们将展示如何重新参数化观测数据的可能性,使公平约束直接对应于出现在可能性的参数,转换一个复杂的约束优化目标到一个简单的优化问题与框约束。我们还利用统计学中经验似然理论的方法,通过约束基线协变量来提高预测性能,而不需要参数模型。我们结合这两个建议的优点,以优化混合重新参数化的可能性。这里提出的技术应该更广泛地适用于对预测模型施加约束的公平预测建议。
2022-04-14 cs.LG stat.ME stat.ML
Training capsules as a routing-weighted product of expert neurons
胶囊是神经网络中标量神经元的多维模拟,并且因为它们是多维的,所以可以使用比传统神经网络中可以使用的复杂得多的路由方案来通过网络向前传递信息。这项工作将胶囊作为一个完全连接的神经网络中的神经元的集合,其中连接胶囊的子网络根据协议路由确定的路由系数进行加权。设计了一个能量函数来反映这个模型,并由此得出具有动态路由的胶囊网络可以被公式化为专家神经元的产物。通过在动态路由(其作用是在整个网络中找到子网络以及混合模型分布)和通过对比发散度的梯度更新参数之间交替,为具有动态路由的胶囊网络构造了自底向上的无监督学习算法。该模型及其训练算法在生成意义上进行了定性测试,并且能够从标准视觉数据集生成逼真的图像。
2019-07-26 cs.LG cs.NE stat.ML
Preserving Patient Privacy while Training a Predictive Model of In-hospital Mortality
University of Oxford(牛津大学)
机器学习模型可用于医疗数据中的模式识别,以改善患者的预后,例如预测住院死亡率。特别是深度学习模型,需要大量数据进行模型训练。然而,这些数据通常是在不同的医院收集的,由于患者隐私问题,共享受到限制。在本文中,我们旨在展示分布式训练在实现最先进性能的同时维护数据隐私的潜力。我们的研究结果表明,在联邦学习框架中训练模型可以获得与传统集中式设置相当的性能。我们还建议在今后的工作中成功的这种框架的几个考虑因素。
2019-12-01 cs.CR cs.LG stat.ML
Energy Predictive Models with Limited Data using Transfer Learning
NEC Laboratories America(NEC美国实验室)
在本文中,我们考虑的问题,开发预测模型与有限的数据,如电力负荷,光伏发电等能源资产,我们特别调查的情况下,历史数据量不足以有效地训练预测模型。我们首先开发了一个基于卷积神经网络(CNN)的能源预测模型,该模型非常适合捕捉能源资产时间序列中的日间、每日和每周循环平稳模式、趋势和季节性。然后提出了一种迁移学习策略来解决有限训练数据的挑战。我们展示了我们的方法在日常电力需求预测的用例。我们表明,在CNN模型上实践迁移学习策略可以显著改善现有的预测方法。
2019-06-06 cs.LG eess.SP
Optimal Transport Dropout for Structured Predictive Uncertainty
提出最优传输Dropout(OTD),通过可学习流传输潜在扰动以学习结构化预测不确定性,无需后验推断或集成,在合成和真实回归基准上优于蒙特卡洛Dropout。
2026-09-29 cs.LG cs.NA math.NA
Differentially private training of neural networks with Langevin dynamics for calibrated predictive uncertainty
Technical University of Munich(慕尼黑工业大学);OpenMined;Imperial College London(帝国理工学院)
我们发现,差分私有随机梯度下降(DP-SGD)可能会产生校准不良、过度自信的深度学习模型。这对于安全关键应用(例如,在医疗诊断中)来说是一个严重的问题。我们强调并利用随机梯度朗之万动力学(一种用于训练深度神经网络的可扩展贝叶斯推理技术)与DP-SGD之间的相似之处,以便训练差异私有的贝叶斯神经网络,并对原始(DP-SGD)算法进行微小调整。我们的方法提供了比DP-SGD可靠得多的不确定性估计,如通过减少预期校准误差(MNIST $\sim{5}$ -倍,儿科肺炎数据集$\sim{2}$ -倍)经验证明的那样。
2021-08-04 cs.CR cs.CV cs.LG
Generative Pre-Training for Speech with Autoregressive Predictive Coding
从未注释的语音中学习适用于广泛任务的有意义的和一般的表示仍然具有挑战性。在本文中,我们建议使用自回归预测编码(APC),最近提出的自我监督的目标,作为一种生成的预训练方法学习有意义的,非特定的,可转移的语音表示。我们在大规模未标记数据上预训练APC,并在三个语音应用程序上进行迁移学习实验,这些应用程序需要关于语音特征的不同信息才能表现良好:语音识别,语音翻译和说话人识别。大量的实验表明,APC不仅优于表面特征(例如,log Mel spectrograms)和其他流行的表示学习方法,但在减少下游标记数据大小和模型参数方面也很有效。我们还研究了使用Transformers对APC进行建模,并发现它优于RNN。
2020-01-26 cs.CL cs.LG cs.SD
Using machine learning to map simulated noisy and laser-limited multidimensional spectra to molecular electronic couplings
Duke University(杜克大学)
本研究探究实验噪声和脉冲限制对神经网络从2DES光谱提取分子电子耦合的影响,发现一定信噪比下噪声无阻碍,脉冲约束反而提升准确率,为模拟训练的神经网络应用于实验光谱及实验设计提供新思路。
2025-03-19 cs.LG physics.chem-ph quant-ph
Assessing the Generalizability of a Performance Predictive Model
Jožef Stefan Institute(约瑟夫·斯特凡研究所);Jožef Stefan International Postgraduate School(约瑟夫·斯特凡国际研究生院);Leiden University(莱顿大学);Stellenbosch University(斯泰伦博斯大学);Gulf University for Science and Technology(海湾科技大学);Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心)
本文提出一种跨基准套件评估算法性能预测模型泛化能力的工作流,并验证景观特征空间中的泛化模式可反映到性能空间。
2023-05-31 cs.AI cs.LG cs.NE
A Comparative study of Artificial Neural Networks Using Reinforcement learning and Multidimensional Bayesian Classification Using Parzen Density Estimation for Identification of GC-EIMS Spectra of Partially Methylated Alditol Acetates
本研究报告的模式识别搜索引擎的开发,基于万维网的数据库的气相色谱-电子轰击质谱(GC-EIMS)的部分甲基化糖醇乙酸酯(PMAAs)。在这里,我们还报告了本研究所采用的两种模式识别技术的比较结果。第一种技术是使用贝叶斯分类器和Parzen密度估计器的统计技术。第二种技术涉及用强化学习训练的人工神经网络模块。我们在这里证明,这两个系统在识别光谱与少量的噪声表现良好。这两种系统的性能都随着信噪比(SNR)的降低而降低。当处理部分光谱(缺失数据)时,人工神经网络系统表现得更好。所开发的系统是在万维网上实现的,并打算使用提交的光谱记录在任何GC-EIMS仪器上的这些分子来识别PMAAs。因此,该系统对GC-EIMS光谱中的仪器和色谱柱相关变化不敏感。
2020-07-31 cs.LG cs.NE eess.SP
Predictive Query Language: A Domain-Specific Language for Predictive Modeling on Relational Databases
Kumo.ai, Stanford University(Kumo.ai,斯坦福大学)
PQL是一种用于关系数据库预测建模的声明式语言,通过单个查询自动计算训练标签,支持多种机器学习任务,已在金融欺诈、推荐系统等领域应用。
2026-07-27 cs.AI cs.DB cs.LG
Modeling sequential data using higher-order relational features and predictive training
Goethe-University Frankfurt(法兰克福歌德大学);University of Montreal(蒙特利尔大学)
双线性特征学习模型,如门控自动编码器,被提出作为对视频中帧之间的关系建模的一种方式。通过最小化一帧的重建误差,给定前一帧,这些模型学习对序列中固有的变换进行编码的“映射单元”,从而学习对运动进行编码。在这项工作中,我们通过引入“高阶映射单元”来扩展双线性模型,该单元允许我们对帧之间的变换和变换之间的变换进行编码。我们表明,这使得有可能编码的时间结构是更复杂和更长的范围内捕获的结构比标准的双线性模型。我们还表明,一个自然的方式来训练的模型是通过取代常用的重建目标与预测目标,迫使模型正确预测的演变输入多个步骤到未来。学习可以通过在时间上反向传播多步预测来实现。我们在各种时间预测任务上测试了该模型,并表明高阶映射和预测训练在预测精度方面都比双线性模型有显着提高。
2014-02-10 cs.CV cs.LG stat.ML