Most Influential Subset Selection: Challenges, Promises, and Beyond
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究最具影响力子集选择（MISS）问题，分析基于影响的贪婪方法的失败机制，并证明自适应迭代版本可捕捉样本交互，在真实数据及复杂模型中提升效果。
2025-01-08 cs.LG stat.ML
Predicting Destinations by Nearest Neighbor Search on Training Vessel Routes
Alexandru Ioan Cuza University of Iaşi（雅西亚历山德鲁·伊万·库扎大学）
DEBS Grand Challenge 2018以海上航线预测为背景。船舶航线被建模为从真实世界跟踪数据中选择的自动识别系统（AIS）数据点流。这一挑战要求尽早正确估计目的港和船只抵达时间。我们提出的解决方案分区的训练船航线报告的目的地港口，并使用最近邻搜索，以找到更接近查询AIS点的训练航线。特别的改进也包括在内，例如避免在一个查询路由内频繁地改变预测端口的方式，以及通过使用遗传算法来自动化参数调整。这导致了最终得分的显著提高。
2018-09-28 cs.LG stat.ML
Predicting the Future Behavior of a Time-Varying Probability Distribution
IST Austria（奥地利科学技术研究所）
我们研究预测未来的问题，虽然只是在概率意义上估计一个随时间变化的概率分布的未来状态。这不仅是一个有趣的学术问题，而且解决这个外推问题也有许多实际应用，例如用于训练必须在时变条件下操作的分类器。我们的主要贡献是预测的下一个步骤的时变分布从一个给定的序列的样本集从早期的时间步骤的方法。为此，我们依赖于两个最新的机器学习技术：将概率分布嵌入到再生核希尔伯特空间中，以及通过向量值回归学习算子。我们通过对合成数据和真实数据的实验，说明了我们的方法的工作原理和实际用途。我们还强调了一个示例性的应用程序：在域自适应设置中训练分类器，而无需在训练时访问测试时间分布中的示例。
2014-11-20 cs.LG stat.ML
A Feedback Shift Correction in Predicting Conversion Rates under Delayed Feedback
Cyberagent, Inc.（赛博艾金特公司）
在显示广告中，预测转化率，即用户在广告商的网站上采取预定义动作（诸如购买商品）的概率，是估计显示广告的价值的基础。然而，在点击和其结果转换之间存在相对较长的时间延迟。由于延迟反馈，训练周期中的一些肯定实例被标记为否定，因为当收集训练数据时，一些转换尚未发生。结果，条件标签分布在训练数据和生产环境之间不同。这种情况被称为反馈移位。我们解决这个问题，通过使用一个重要的权重方法通常用于协变量偏移校正。我们证明了它的一致性的反馈移位。离线和在线实验结果表明，我们提出的方法优于现有的方法。
2020-02-06 cs.LG stat.ML
Unsupervised Learning by Predicting Noise
Facebook AI Research（Facebook人工智能研究院）
卷积神经网络提供在许多计算机视觉应用中表现非常好的视觉特征。然而，训练这些网络需要大量的监督。本文介绍了一种通用框架，用于在没有监督的情况下进行端到端的深度网络训练。我们建议修复一组目标表示，称为噪声作为目标（NAT），并约束深层特征与它们对齐。这种领域不可知的方法避免了标准的无监督学习问题的平凡解决方案和崩溃的功能。得益于随机批量重新分配策略和可分离平方损失函数，它可以扩展到数百万张图像。所提出的方法产生的表示与ImageNet和Pascal VOC上最先进的无监督方法相当。
2017-04-18 cs.CV cs.LG stat.ML
Generative Adversarial Networks for Electronic Health Records: A Framework for Exploring and Evaluating Methods for Predicting Drug-Induced Laboratory Test Trajectories
Columbia University（哥伦比亚大学）
生成对抗网络（GANs）代表了一类将神经网络与博弈论相结合的有前途的生成网络。从生成逼真的图像和视频到辅助音乐创作，GANs正在改变许多艺术和科学领域。然而，它们在医疗保健方面的应用尚未完全实现，更具体地说，在生成电子健康记录（EHR）数据方面。在本文中，我们提出了一个框架，用于在连续实验室时间序列数据的背景下探索GANs的价值。我们设计了一个无监督的评估方法，衡量合成实验室测试时间序列的预测能力。此外，我们表明，在预测药物暴露对实验室测试数据的影响时，在训练GAN模型之前结合训练队列的表示学习是有益的。
2017-12-01 cs.LG stat.ML
Carbontracker: Tracking and Predicting the Carbon Footprint of Training Deep Learning Models
University of Copenhagen（哥本哈根大学）
深度学习（DL）可以在各种任务中取得令人印象深刻的结果，但这通常是以在专用硬件加速器上长时间训练模型为代价的。近年来，这种能源密集型工作量大幅增长。如果这种指数趋势继续下去，机器学习（ML）可能会成为气候变化的重要贡献者。如果从业者意识到他们的能源和碳足迹，那么他们可能会积极采取措施，尽可能减少它。在这项工作中，我们提出了Carbontracker，用于跟踪和预测训练DL模型的能源和碳足迹的工具。我们建议使用Carbontracker等工具报告模型开发和培训的能源和碳足迹以及性能指标。我们希望这将促进ML中的负责任计算，并鼓励对节能深度神经网络的研究。
2020-07-06 cs.CY cs.LG eess.SP
Predicting Regression Probability Distributions with Imperfect Data Through Optimal Transformations
Stanford University（斯坦福大学）；Google, Inc.（谷歌公司）
回归分析的目标是在给定其他（预测）变量x的联合值向量的情况下预测数值结果变量y的值。通常，特定的x向量不指定y的可重复值，而是指定可能的y值的概率分布，p（y| x）。这个分布有一个位置，规模和形状，所有这些都取决于x，并且需要在给定x的情况下推断y的可能值。回归方法通常假设训练数据y值是从一些良好的拟合p（y）得到的完美数值实现|x）。通常，实际的训练数据y值是离散的、截断的和/或任意删失的。本文提出了一种基于最优变换策略的回归方法，用于估计p（y）的位置、尺度和形状|x）作为x的一般函数，在可能存在这种不完美的训练数据的情况下。此外，验证诊断，以确定解决方案的质量。
2020-01-27 cs.LG stat.ML
Prophet: Proactive Candidate-Selection for Federated Learning by Predicting the Qualities of Training and Reporting Phases
尽管在5G网络中设备连接的挑战得到了很大缓解，但训练延迟仍然是阻碍联邦学习（FL）被广泛采用的障碍。导致大延迟的最根本问题之一是FL的不良候选选择。在动态环境中，由现有的反应式候选选择算法选择的移动设备很可能无法完成FL的训练和报告阶段，因为FL参数服务器仅知道所有候选者的当前观察资源。为此，本文研究了外语学习中的主动候选人选择问题。我们首先让每个候选设备使用LSTM在本地预测其训练和报告阶段的质量。然后，利用深度强化学习（Deep Reinforcement Learning，DRL）框架实现了所提出的候选选择算法。最后，通过实际的轨迹驱动实验，证明了该方法优于现有的反应式算法
2020-05-19 cs.DC cs.LG stat.ML
A Retrieve-and-Edit Framework for Predicting Structured Outputs
Stanford University（斯坦福大学）
对于生成复杂输出（如源代码）的任务，编辑现有输出可能比从头开始生成复杂输出更容易。出于这种动机，我们提出了一种方法，首先根据输入检索训练示例（例如，自然语言描述）并且然后将其编辑为期望的输出（例如，代码）。我们的贡献是一个计算效率高的方法学习检索模型，嵌入输入的任务依赖的方式，而不依赖于手工制作的度量或招致的费用，共同训练检索与编辑器。我们的检索和编辑框架可以应用于任何基础模型之上。我们发现，在GitHub Python代码和Hearthstone cards基准测试的新自动完成任务上，检索和编辑显著提高了两个任务上香草序列到序列模型的性能。
2018-12-04 cs.LG stat.ML
Predicting trends in the quality of state-of-the-art neural networks without access to training or testing data
Calculation Consulting（计算咨询公司）；ICSI（国际计算机科学研究所）；University of California at Berkeley（加州大学伯克利分校）
在许多应用中，人们使用由其他人训练的神经网络模型。对于这样的预训练模型，可能无法访问训练数据或测试数据。此外，人们可能不知道关于模型的细节，例如，训练数据的细节、损失函数、超参数值等。给定一个或多个预训练模型，要说出模型的预期性能或质量是一个挑战。在这里，我们通过对数百个公开的预训练模型进行详细的元分析来解决这一挑战。我们检查规范为基础的容量控制指标，以及幂律为基础的指标，从最近开发的重尾自正则化理论。我们发现，基于规范的指标与训练良好的模型的测试准确性相关，但它们通常无法区分训练良好的模型和训练不良的模型。我们还发现，基于幂律的度量可以做得更好-定量地更好地区分一系列具有给定架构的训练有素的模型;定性地更好地区分训练有素的模型与训练不足的模型。这些方法可用于识别预训练的神经网络何时存在无法通过检查训练/测试准确性来简单检测的问题。
2021-06-02 cs.LG physics.data-an stat.ML
Predicting into unknown space? Estimating the area of applicability of spatial prediction models
Institute of Landscape Ecology（景观生态研究所）；Westfälische Wilhelms-Universität Münster（明斯特大学）；Institute for Geoinformatics（地理信息学研究所）
使用机器学习的预测建模对于环境的空间映射已经变得非常流行。模型通常被应用于远远超出采样位置的预测，其中新的地理位置可能与其环境属性的训练数据有很大差异。然而，预测器空间中没有训练数据支持的区域存在问题。由于模型不了解这些环境，因此预测必须被视为不确定的。需要估计预测模型可以可靠应用的区域。在这里，我们提出了一种方法来划定“适用范围”（AOA），我们将其定义为模型交叉验证误差适用的区域。我们首先提出了一个“相异性指数”（DI），它基于预测器空间中到训练数据的最小距离，预测器在模型中按其各自的重要性进行加权。然后通过基于训练数据的DI应用阈值来导出AOA，其中DI是相对于用于模型训练的交叉验证策略计算的。我们使用模拟数据来测试理想的阈值，并比较AOA内的预测误差与模型的交叉验证误差。我们用一个模拟的案例研究来说明这种方法。我们的模拟研究提出了DI的阈值，以定义训练数据中DI的.95分位数处的AOA。使用此阈值，AOA内的预测误差与模型的交叉验证RMSE相当，而交叉验证误差不适用于AOA之外。这适用于使用随机分布的训练数据训练的模型，以及训练数据在空间中聚类以及应用空间交叉验证的模型。我们建议将AOA与预测一起报告，作为验证措施的补充。
2020-05-16 cs.LG stat.ML
Predicting with High Correlation Features
Salesforce Research（赛富时研究院）
研究表明，深度网络倾向于利用训练集和测试集之间共享的非鲁棒（虚假）区分特征，而不是学习实际的对象特征。因此，虽然它们在这样的测试集上实现了最先进的性能，但它们在分布外（OOD）样本上实现了较差的泛化，其中IID（独立相同分布）假设打破并且非鲁棒特征的分布发生了变化。在本文中，我们认为分布移位是在测试时间期间输入特征的分布中的移位，其与训练集中的目标表现出低相关性。在这个定义下，我们评估了现有的鲁棒特征学习方法和正则化方法，并将它们与专门用于捕获训练集中高相关性特征的基线进行比较。作为一个受控的测试平台，我们设计了一个彩色MNIST（C-MNIST）数据集，并发现现有的方法在这个集合上训练未能很好地推广OOD版本这个数据集，表明它们过拟合低相关性的颜色特征。在相同的C-MNIST数据上训练的基线方法避免了这一点，该方法旨在学习高相关性特征，并且能够在vanilla MNIST，MNIST-M和SVHN数据集的测试集上进行推广。我们的代码可在\url{https://github.com/salesforce/corr_based_prediction}上获得。
2019-11-16 cs.LG stat.ML
Predicting the Generalization Gap in Deep Networks with Margin Distributions
Google Research（谷歌研究院）
正如最近的研究所示，深度神经网络可以完美地拟合随机标记的数据，但对保留的数据的准确性非常差。这种现象表明，损失函数，如交叉熵是不是一个可靠的指标泛化。这就引出了如何从训练数据和网络参数中预测泛化间隙的关键问题。在本文中，我们提出了这样一个措施，并进行了广泛的实证研究，以及如何以及它可以预测的泛化差距。我们的测量是基于边缘分布的概念，这是训练点到决策边界的距离。我们发现，有必要在深度网络的多个层上使用边缘分布。在CIFAR-10和CIFAR-100数据集上，我们提出的度量与泛化差距非常密切相关。此外，我们还发现以下其他因素也很重要：对保证金值进行标准化以实现尺度独立性，使用保证金分布的特征而不仅仅是保证金（距离决策边界最近），以及在对数空间而不是线性空间中工作（有效地使用保证金的乘积而不是总和）。我们的测量可以很容易地应用于具有任何架构的前馈深度网络，并且可以指向新的训练损失函数，从而可以实现更好的泛化。
2019-06-12 cs.LG stat.ML
Predicting Customer Churn: Extreme Gradient Boosting with Temporal Data
Seycor Consulting（Seycor咨询公司）
利用大规模时间序列数据准确预测客户流失是许多商业领域面临的共同问题。由于时间序列数据常见的时间问题，跨各种时间窗口创建用于训练和测试的模型特征可能特别具有挑战性。在本文中，我们将探索极端梯度提升（XGBoost）在具有各种时间特征的客户数据集上的应用，以创建高度准确的客户流失模型。特别是，我们描述了一种有效的方法来处理时间敏感的特征工程。该模型在WSDM Cup 2018 Churn Challenge中提交，并在575支球队中获得第一名。
2018-02-09 cs.AI cs.LG stat.ML
Machine Learning a Molecular Hamiltonian for Predicting Electron Dynamics
University of California, Merced（加州大学默塞德分校）
我们开发了一种计算方法，从矩阵值的电子密度时间序列中学习分子的哈密顿矩阵。正如我们对三个小分子所展示的那样，所得到的哈密顿算子可以用于电子密度演化，即使在训练数据之外传播1000个时间步长时也能产生高度准确的结果。作为一个更严格的测试，我们使用学习的哈密顿来模拟电子动力学的存在下施加的电场，外推到一个问题，这是超出了无场训练数据。我们发现，由此产生的电子动力学预测我们学到的哈密顿量是在密切的定量协议与地面真相。我们的方法依赖于结合一个降维的，线性统计模型的哈密顿量与时间离散化的量子刘维尔方程随时间变化的哈特里-福克理论。我们使用最小二乘求解器训练模型，避免了大量CPU密集型优化步骤。对于无场和有场问题，我们量化了训练和传播误差，突出了未来发展的领域。
2020-08-31 cs.LG physics.chem-ph physics.comp-ph
Predicting computational reproducibility of data analysis pipelines in large population studies using collaborative filtering
Concordia University（康考迪亚大学）
评估数据分析管道的计算再现性已成为一个关键问题。然而，由于其计算和存储要求，对于涉及来自大量受试者的数据的分析来说，这是一个繁琐的过程。我们提出了一种方法来预测大人口研究中数据分析管道的计算再现性。我们制定的问题作为一个协同过滤过程中，约束的训练集的建设。我们提出了6种不同的策略来构建训练集，我们在2个数据集上进行了评估，一个是对具有越来越多的主题类型的人群进行建模的合成数据集，另一个是通过神经信息学管道获得的真实数据集。结果表明，一种抽样方法，“随机文件编号（均匀）”是能够预测计算再现性具有良好的精度。我们还分析了包括文件和主题偏见的协同过滤模型的相关性。我们的结论是，所提出的方法是能够大大加快再现性评价，减少准确性损失。
2018-09-26 cs.LG stat.ME stat.ML
Improved Representation Learning for Predicting Commonsense Ontologies
CICS, University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校信息与计算机科学学院）
最近在学习本体（分层和部分有序结构）的工作已经利用了学习表示空间的内在几何结构来进行自动遵守复杂结构约束的预测。我们探讨了这样一个模型的两个扩展，层次关系学习的顺序嵌入模型，目的是提高性能的常识知识表示的文本数据。我们的第一个模型以原始文本的形式联合学习排序关系和非层次知识。我们的第二个扩展利用偏序结构的训练数据，找到长距离的三重约束之间的嵌入，这是执行不良的成对训练过程。我们发现，结合自由文本和增强的训练约束都优于原始的顺序嵌入模型和其他强基线。
2017-08-01 cs.CL stat.ML
Predicting Ship Responses in Different Seaways using a Generalizable Force Correcting Machine Learning Method
University of Michigan（密歇根大学）；MARIN（MARIN（荷兰海事研究中心））
针对船舶响应预测中机器学习泛化性不足、高保真训练数据获取成本高的问题，提出修正低保真运动方程力的混合机器学习方法，经小数据集训练后，相比线性物理模型与LSTM模型，预测精度和泛化能力更优。
2024-05-13 cs.LG physics.flu-dyn stat.ML
Predicting the Computational Cost of Deep Learning Models
Digital Catapult（数字弹射器）；Newcastle University（纽卡斯尔大学）；Durham University（杜伦大学）
深度学习正迅速成为解决许多人工智能问题的首选工具，因为它在许多问题上的表现优于其他方法，甚至优于人类。尽管它很受欢迎，但我们仍然无法准确预测训练一个深度学习网络来解决给定问题所需的时间。这个训练时间可以被看作是每个时期的训练时间和需要执行以达到期望的准确度水平的时期的数量的乘积。已经进行了一些工作来预测epoch的训练时间-大多数都是基于训练时间与所需浮点运算的数量线性相关的假设。然而，这种关系并不正确，并且在其他活动开始支配执行时间的情况下变得更加严重。例如从内存加载数据的时间或由于非最佳并行执行而导致的性能损失。在这项工作中，我们提出了一种替代方法，其中我们训练一个深度学习网络来预测部分深度学习网络的执行时间。然后可以将这些单独部分的计时组合起来，以提供对整个执行时间的预测。这比线性方法更有优势，因为它可以模拟更复杂的场景。但是，它也有能力预测训练数据中看不到的场景的执行时间。因此，我们的方法不仅可以用来推断一个批次或整个时期的执行时间，而且还可以支持为适当的硬件和模型做出明智的选择。
2018-11-28 cs.AI cs.LG stat.ML
Predicting Properties of Periodic Systems from Cluster Data: A Case Study of Liquid Water
本文提出利用局域原子中心描述符，使机器学习势能从团簇数据预测周期性体系的体相性质，并以液态水的结构和动力学性质验证了该方法与实验及体相训练结果的高度一致性。
2023-12-03 cond-mat.mtrl-sci physics.comp-ph stat.ML
Bayesian analysis of the prevalence bias: learning and predicting from imbalanced data
Imperial College London（帝国理工学院）；King’s College London（伦敦国王学院）；The Royal Brompton & Harefield NHS Foundation Trust（皇家布朗普顿与哈菲尔德国民保健服务基金会信托）；University College London（伦敦大学学院）
数据集很少是目标人群的现实近似值。比如，患病率被歪曲，图像质量高于临床标准等。这种不匹配被称为采样偏差。采样偏差是机器学习模型的主要障碍。它们导致实验室中的模型性能与现实世界中的模型性能之间存在显著差距。我们的工作是解决流行偏见。患病率偏倚是病理学患病率与其在训练数据集中的采样率之间的差异，在收集数据时引入或由于从业者重新平衡训练批次。本文奠定了理论和计算框架的训练模型，并预测，在存在的患病率偏差。根据贝叶斯风险最小化原则，推导了偏差修正的损失函数和偏差修正的预测规则。这种损失与信息的获得有着直接的联系。它提供了一个原则性的替代启发式训练损失和补充测试时间的程序的基础上选择一个操作点从汇总曲线。它无缝集成在当前的（深度）学习范式中，使用随机反向传播并自然地与贝叶斯模型相结合。
2021-07-31 cs.LG q-bio.QM stat.AP
End-to-End Deep Learning for Predicting Metric Space-Valued Outputs
University of California, Davis（加州大学戴维斯分校）
提出E2M框架，通过加权Fréchet均值和神经网络学习权重，实现度量空间值输出的几何感知预测，具有理论保证并在多种结构化输出上取得最优性能。
2026-05-30 cs.AI cs.LG stat.ME
Multitask methods for predicting molecular properties from heterogeneous data
针对分子性质预测替代模型的数据生成瓶颈，提出多任务高斯过程回归方法，可结合CC与多泛函DFT异质数据，以CC级精度预测且成本降一个数量级以上，适配更多训练集结构。
2024-05-25 physics.chem-ph stat.ML
Opening the Black Box: predicting the trainability of deep neural networks with reconstruction entropy
Institute for Theoretical Physics and Astrophysics（理论物理与天体物理研究所）；Würzburg-Dresden Cluster of Excellence ct.qmat（维尔茨堡-德累斯顿卓越集群ct.qmat）；Julius-Maximilians-University Würzburg（维尔茨堡大学）；Institute for Theoretical Physics（理论物理研究所）；Utrecht University（乌得勒支大学）；Department of Information and Computing Sciences（信息与计算科学系）
提出基于重构熵的方法，通过单层辅助网络级联和相对熵计算，仅需训练一个epoch即可预测DNN、ResNets和CNNs的可训练性，显著加速大型网络训练并揭示决策过程。
2024-12-19 cond-mat.dis-nn cs.LG hep-th
Predictive modelling of football injuries
University College London（伦敦大学学院）
本论文的目的是研究足球损伤预测模型的潜力。这项工作是在与托特纳姆热刺足球俱乐部（THFC），PGA欧洲巡回赛和伍尔弗汉普顿流浪者队（WW）的密切合作下进行的。进行了三项调查：1。使用UEFA受伤记录预测足球受伤的恢复时间：UEFA记录是记录职业足球受伤的常见标准。在这项调查中，有三个欧足联受伤记录的数据集可用。使用不同的机器学习算法来构建预测模型。然后通过使用基于相关性的子集特征选择和随机森林进行特征选择来提高机器学习模型的性能。2.使用暴露记录预测职业足球损伤：研究了职业足球运动员的暴露（训练时间和比赛时间）与损伤发生率之间的关系。足球运动中的一个常见问题是了解运动员的训练计划如何影响他受伤的机会。这项任务是预测一名球员在受伤前可以训练的天数。3.使用训练中GPS测量值预测内在损伤发生率：很大一部分足球损伤可归因于过度训练和疲劳。在训练期间收集的GPS数据可能提供疲劳的指标，或者可能用于检测可能导致过度训练的非常激烈的训练。这项研究使用了THFC第一支球队训练期间收集的GPS数据，以预测一周内是否会发生受伤。
2016-09-20 cs.AI stat.AP stat.ML
