Predicting Destinations by Nearest Neighbor Search on Training Vessel Routes
Alexandru Ioan Cuza University of Iaşi（雅西亚历山德鲁·伊万·库扎大学）
DEBS Grand Challenge 2018以海上航线预测为背景。船舶航线被建模为从真实世界跟踪数据中选择的自动识别系统（AIS）数据点流。这一挑战要求尽早正确估计目的港和船只抵达时间。我们提出的解决方案分区的训练船航线报告的目的地港口，并使用最近邻搜索，以找到更接近查询AIS点的训练航线。特别的改进也包括在内，例如避免在一个查询路由内频繁地改变预测端口的方式，以及通过使用遗传算法来自动化参数调整。这导致了最终得分的显著提高。
2018-09-28 cs.LG stat.ML
A Feedback Shift Correction in Predicting Conversion Rates under Delayed Feedback
Cyberagent, Inc.（赛博艾金特公司）
在显示广告中，预测转化率，即用户在广告商的网站上采取预定义动作（诸如购买商品）的概率，是估计显示广告的价值的基础。然而，在点击和其结果转换之间存在相对较长的时间延迟。由于延迟反馈，训练周期中的一些肯定实例被标记为否定，因为当收集训练数据时，一些转换尚未发生。结果，条件标签分布在训练数据和生产环境之间不同。这种情况被称为反馈移位。我们解决这个问题，通过使用一个重要的权重方法通常用于协变量偏移校正。我们证明了它的一致性的反馈移位。离线和在线实验结果表明，我们提出的方法优于现有的方法。
2020-02-06 cs.LG stat.ML
Datamodels: Predicting Predictions from Training Data
MIT（麻省理工学院(MIT)）
我们提出了一个概念框架，即数据建模，用于根据训练数据分析模型类的行为。对于任何固定的“目标”示例$x$、训练集$S$和学习算法，数据模型是一个参数化函数$2^S \to \mathbb{R}$，它对于$S' \subset S$的任何子集--仅使用关于$S'$中包含哪些$S$示例的信息--预测在$S'$上训练模型和在$x$上评估的结果。尽管被近似的基础过程的潜在复杂性（例如，深度神经网络的端到端训练和评估），我们证明了即使是简单的线性数据模型也可以成功预测模型输出。然后，我们证明了数据模型会产生各种应用，例如：准确预测数据集反事实的影响;识别脆弱的预测;找到语义相似的例子;量化训练测试泄漏;以及将数据嵌入到行为良好且功能丰富的表示空间中。本文的数据（包括预先计算的数据模型以及来自400万个经过训练的深度神经网络的原始预测）可在https://github.com/MadryLab/datamodels-data上获得。
2022-02-01 cs.CV cs.LG stat.ML
Peephole: Predicting Network Performance Before Training
Beihang University（北京航空航天大学）；SenseTime（商汤科技）；The Chinese University of Hong Kong（香港中文大学）
近年来，对高性能网络的追求一直是推动深度学习进步的重要力量。虽然值得，但改进网络设计从来都不是一件容易的事。大的设计空间加上网络训练所需的巨大成本构成了这一努力的主要障碍。在这项工作中，我们提出了一种新的方法来解决这个问题，即在训练之前预测网络的性能，基于其架构。具体来说，我们开发了一种统一的方法来将各个层编码为向量，并通过LSTM将它们组合在一起形成一个集成的描述。该方法利用递归网络强大的表达能力，能够可靠地预测各种网络结构的性能。我们的实证研究表明，它不仅实现了准确的预测，而且在数据集之间产生了一致的排名-这是性能预测的关键。
2017-12-09 cs.CV cs.LG cs.NE
Carbontracker: Tracking and Predicting the Carbon Footprint of Training Deep Learning Models
University of Copenhagen（哥本哈根大学）
深度学习（DL）可以在各种任务中取得令人印象深刻的结果，但这通常是以在专用硬件加速器上长时间训练模型为代价的。近年来，这种能源密集型工作量大幅增长。如果这种指数趋势继续下去，机器学习（ML）可能会成为气候变化的重要贡献者。如果从业者意识到他们的能源和碳足迹，那么他们可能会积极采取措施，尽可能减少它。在这项工作中，我们提出了Carbontracker，用于跟踪和预测训练DL模型的能源和碳足迹的工具。我们建议使用Carbontracker等工具报告模型开发和培训的能源和碳足迹以及性能指标。我们希望这将促进ML中的负责任计算，并鼓励对节能深度神经网络的研究。
2020-07-06 cs.CY cs.LG eess.SP
Generative Adversarial Networks for Electronic Health Records: A Framework for Exploring and Evaluating Methods for Predicting Drug-Induced Laboratory Test Trajectories
Columbia University（哥伦比亚大学）
生成对抗网络（GANs）代表了一类将神经网络与博弈论相结合的有前途的生成网络。从生成逼真的图像和视频到辅助音乐创作，GANs正在改变许多艺术和科学领域。然而，它们在医疗保健方面的应用尚未完全实现，更具体地说，在生成电子健康记录（EHR）数据方面。在本文中，我们提出了一个框架，用于在连续实验室时间序列数据的背景下探索GANs的价值。我们设计了一个无监督的评估方法，衡量合成实验室测试时间序列的预测能力。此外，我们表明，在预测药物暴露对实验室测试数据的影响时，在训练GAN模型之前结合训练队列的表示学习是有益的。
2017-12-01 cs.LG stat.ML
Predicting Regression Probability Distributions with Imperfect Data Through Optimal Transformations
Stanford University（斯坦福大学）；Google, Inc.（谷歌公司）
回归分析的目标是在给定其他（预测）变量x的联合值向量的情况下预测数值结果变量y的值。通常，特定的x向量不指定y的可重复值，而是指定可能的y值的概率分布，p（y| x）。这个分布有一个位置，规模和形状，所有这些都取决于x，并且需要在给定x的情况下推断y的可能值。回归方法通常假设训练数据y值是从一些良好的拟合p（y）得到的完美数值实现|x）。通常，实际的训练数据y值是离散的、截断的和/或任意删失的。本文提出了一种基于最优变换策略的回归方法，用于估计p（y）的位置、尺度和形状|x）作为x的一般函数，在可能存在这种不完美的训练数据的情况下。此外，验证诊断，以确定解决方案的质量。
2020-01-27 cs.LG stat.ML
Prophet: Proactive Candidate-Selection for Federated Learning by Predicting the Qualities of Training and Reporting Phases
尽管在5G网络中设备连接的挑战得到了很大缓解，但训练延迟仍然是阻碍联邦学习（FL）被广泛采用的障碍。导致大延迟的最根本问题之一是FL的不良候选选择。在动态环境中，由现有的反应式候选选择算法选择的移动设备很可能无法完成FL的训练和报告阶段，因为FL参数服务器仅知道所有候选者的当前观察资源。为此，本文研究了外语学习中的主动候选人选择问题。我们首先让每个候选设备使用LSTM在本地预测其训练和报告阶段的质量。然后，利用深度强化学习（Deep Reinforcement Learning，DRL）框架实现了所提出的候选选择算法。最后，通过实际的轨迹驱动实验，证明了该方法优于现有的反应式算法
2020-05-19 cs.DC cs.LG stat.ML
Predicting Training Re-evaluation Curves Enables Effective Data Curriculums for LLMs
Cerebras Systems（塞雷布拉斯系统公司）
通过预测训练重新评估曲线（TREC）实现LLMs的有效数据课程设计，利用AdamW的隐含EMA系数提前预测TREC，优化数据放置以提升模型性能。
2026-02-17 cs.AI cs.CL cs.LG
A Retrieve-and-Edit Framework for Predicting Structured Outputs
Stanford University（斯坦福大学）
对于生成复杂输出（如源代码）的任务，编辑现有输出可能比从头开始生成复杂输出更容易。出于这种动机，我们提出了一种方法，首先根据输入检索训练示例（例如，自然语言描述）并且然后将其编辑为期望的输出（例如，代码）。我们的贡献是一个计算效率高的方法学习检索模型，嵌入输入的任务依赖的方式，而不依赖于手工制作的度量或招致的费用，共同训练检索与编辑器。我们的检索和编辑框架可以应用于任何基础模型之上。我们发现，在GitHub Python代码和Hearthstone cards基准测试的新自动完成任务上，检索和编辑显著提高了两个任务上香草序列到序列模型的性能。
2018-12-04 cs.LG stat.ML
Training Neural Networks Based on Imperialist Competitive Algorithm for Predicting Earthquake Intensity
Amirkabir University of Technology - Tehran Polytechnic（阿米尔卡比尔理工大学（德黑兰理工学院））
本研究以帝国竞争演算法（ICA）来决定神经网络的权值与偏置，以训练网路来预测里氏地震烈度。为此，我们采用了Berkeley数据库提供的发震时间、震中经纬度、震源深度、震中距震源中心距离等相关参数。所研究的神经网络有两个隐层：第一层有16个神经元，第二层有24个神经元。用ICA算法对测试数据进行处理，平均误差为0.0007，方差为0.318。用ICA算法的MSE准则预测里氏地震的误差为0.101，而用GA算法的MSE值为0.115。
2017-02-13 cs.LG cs.NE
ModelPred: A Framework for Predicting Trained Model from Training Data
Virginia Tech（弗吉尼亚理工大学）；Princeton University（普林斯顿大学）
在这项工作中，我们提出了ModelPred，一个框架，有助于了解训练数据的变化对训练模型的影响。这对于在机器学习管道的各个阶段建立信任至关重要：从清理质量差的样本和跟踪在数据准备期间收集的重要样本，到校准模型预测的不确定性，再到解释为什么模型的某些行为会在部署期间出现。具体来说，ModelPred学习一个参数化函数，该函数以数据集$S$为输入，并预测通过在$S$上训练获得的模型。我们的工作与Datamodels [1]最近的工作不同，因为我们的目标是直接预测训练的模型参数，而不是训练的模型行为。我们证明了基于神经网络的集合函数类能够学习训练数据和模型参数之间的复杂关系。我们引入了新的全局和局部正则化技术来防止过拟合，并严格描述了神经网络（NN）在近似端到端训练过程中的表达能力。通过广泛的实证调查，我们发现ModelPred可以实现各种应用程序，这些应用程序可以提高机器学习（ML）的可解释性和可问责性，例如数据估值，数据选择，记忆量化和模型校准。
2022-12-23 cs.LG stat.CO
Predicting into unknown space? Estimating the area of applicability of spatial prediction models
Institute of Landscape Ecology（景观生态研究所）；Westfälische Wilhelms-Universität Münster（明斯特大学）；Institute for Geoinformatics（地理信息学研究所）
使用机器学习的预测建模对于环境的空间映射已经变得非常流行。模型通常被应用于远远超出采样位置的预测，其中新的地理位置可能与其环境属性的训练数据有很大差异。然而，预测器空间中没有训练数据支持的区域存在问题。由于模型不了解这些环境，因此预测必须被视为不确定的。需要估计预测模型可以可靠应用的区域。在这里，我们提出了一种方法来划定“适用范围”（AOA），我们将其定义为模型交叉验证误差适用的区域。我们首先提出了一个“相异性指数”（DI），它基于预测器空间中到训练数据的最小距离，预测器在模型中按其各自的重要性进行加权。然后通过基于训练数据的DI应用阈值来导出AOA，其中DI是相对于用于模型训练的交叉验证策略计算的。我们使用模拟数据来测试理想的阈值，并比较AOA内的预测误差与模型的交叉验证误差。我们用一个模拟的案例研究来说明这种方法。我们的模拟研究提出了DI的阈值，以定义训练数据中DI的.95分位数处的AOA。使用此阈值，AOA内的预测误差与模型的交叉验证RMSE相当，而交叉验证误差不适用于AOA之外。这适用于使用随机分布的训练数据训练的模型，以及训练数据在空间中聚类以及应用空间交叉验证的模型。我们建议将AOA与预测一起报告，作为验证措施的补充。
2020-05-16 cs.LG stat.ML
Predicting trends in the quality of state-of-the-art neural networks without access to training or testing data
Calculation Consulting（计算咨询公司）；ICSI（国际计算机科学研究所）；University of California at Berkeley（加州大学伯克利分校）
在许多应用中，人们使用由其他人训练的神经网络模型。对于这样的预训练模型，可能无法访问训练数据或测试数据。此外，人们可能不知道关于模型的细节，例如，训练数据的细节、损失函数、超参数值等。给定一个或多个预训练模型，要说出模型的预期性能或质量是一个挑战。在这里，我们通过对数百个公开的预训练模型进行详细的元分析来解决这一挑战。我们检查规范为基础的容量控制指标，以及幂律为基础的指标，从最近开发的重尾自正则化理论。我们发现，基于规范的指标与训练良好的模型的测试准确性相关，但它们通常无法区分训练良好的模型和训练不良的模型。我们还发现，基于幂律的度量可以做得更好-定量地更好地区分一系列具有给定架构的训练有素的模型;定性地更好地区分训练有素的模型与训练不足的模型。这些方法可用于识别预训练的神经网络何时存在无法通过检查训练/测试准确性来简单检测的问题。
2021-06-02 cs.LG physics.data-an stat.ML
SpanBERT: Improving Pre-training by Representing and Predicting Spans
Facebook AI Research（Facebook人工智能研究院）；University of Washington（华盛顿大学）；Princeton University（普林斯顿大学）；Allen Institute of Artificial Intelligence（艾伦人工智能研究所）
我们提出了SpanBERT，这是一种预训练方法，旨在更好地表示和预测文本的跨度。我们的方法通过以下方式扩展了BERT：（1）掩蔽连续的随机跨度，而不是随机标记，（2）训练跨度边界表示来预测掩蔽跨度的整个内容，而不依赖于其中的单个标记表示。Span BERT始终优于BERT和我们更好的调整基线，在问答和共指消解等跨度选择任务上有很大的收益。特别是，使用与BERT-large相同的训练数据和模型大小，我们的单个模型在SQuAD 1.1和2.0上分别获得94.6%和88.7%的F1。我们还实现了OntoNotes共指消解任务（79.6\% F1）的最新技术水平，在TACRED关系抽取基准测试中表现出色，甚至在GLUE测试中表现出色。
2020-01-18 cs.CL cs.LG
Predicting with High Correlation Features
Salesforce Research（赛富时研究院）
研究表明，深度网络倾向于利用训练集和测试集之间共享的非鲁棒（虚假）区分特征，而不是学习实际的对象特征。因此，虽然它们在这样的测试集上实现了最先进的性能，但它们在分布外（OOD）样本上实现了较差的泛化，其中IID（独立相同分布）假设打破并且非鲁棒特征的分布发生了变化。在本文中，我们认为分布移位是在测试时间期间输入特征的分布中的移位，其与训练集中的目标表现出低相关性。在这个定义下，我们评估了现有的鲁棒特征学习方法和正则化方法，并将它们与专门用于捕获训练集中高相关性特征的基线进行比较。作为一个受控的测试平台，我们设计了一个彩色MNIST（C-MNIST）数据集，并发现现有的方法在这个集合上训练未能很好地推广OOD版本这个数据集，表明它们过拟合低相关性的颜色特征。在相同的C-MNIST数据上训练的基线方法避免了这一点，该方法旨在学习高相关性特征，并且能够在vanilla MNIST，MNIST-M和SVHN数据集的测试集上进行推广。我们的代码可在\url{https://github.com/salesforce/corr_based_prediction}上获得。
2019-11-16 cs.LG stat.ML
Mediated Uncoupled Learning: Learning Functions without Direct Input-output Correspondences
CNRS（法国国家科学研究中心）；Université Paris-Dauphine, PSL Research University（巴黎多芬大学，巴黎文理研究大学）；RIKEN AIP（理化学研究所先进智能项目中心）；Kyoto University（京都大学）；The University of Tokyo（东京大学）
当我们有输入$X$和输出$Y$的配对训练数据时，普通的监督学习是有用的。然而，这种配对数据在实践中可能难以收集。在本文中，我们考虑的任务，预测$Y$从$X$时，我们没有配对的数据，但我们有两个单独的，独立的数据集$X$和$Y$每个观察一些中介变量$U$，即，我们有两个数据集$S_X = \{(X_i, U_i)\}$和$S_Y = \{(U'_j, Y'_j)\}$。一种简单的方法是使用$S_X$从$X$预测$U$，然后使用$S_Y$从$U$预测$Y$，但我们发现这在统计学上并不一致。此外，在实践中预测$U$可能比预测$Y$更困难，例如，当$U$具有更高的维度时。为了克服这个困难，我们提出了一种新的方法，避免预测$U$，但直接学习$Y = f(X)$通过训练$f(X)$与$S_{X}$预测$h(U)$与$S_{Y}$训练近似$Y$。我们证明了我们的方法的统计一致性和误差界，并通过实验证实了它的实用性。
2022-07-17 cs.LG stat.ML
Predicting the Generalization Gap in Deep Networks with Margin Distributions
Google Research（谷歌研究院）
正如最近的研究所示，深度神经网络可以完美地拟合随机标记的数据，但对保留的数据的准确性非常差。这种现象表明，损失函数，如交叉熵是不是一个可靠的指标泛化。这就引出了如何从训练数据和网络参数中预测泛化间隙的关键问题。在本文中，我们提出了这样一个措施，并进行了广泛的实证研究，以及如何以及它可以预测的泛化差距。我们的测量是基于边缘分布的概念，这是训练点到决策边界的距离。我们发现，有必要在深度网络的多个层上使用边缘分布。在CIFAR-10和CIFAR-100数据集上，我们提出的度量与泛化差距非常密切相关。此外，我们还发现以下其他因素也很重要：对保证金值进行标准化以实现尺度独立性，使用保证金分布的特征而不仅仅是保证金（距离决策边界最近），以及在对数空间而不是线性空间中工作（有效地使用保证金的乘积而不是总和）。我们的测量可以很容易地应用于具有任何架构的前馈深度网络，并且可以指向新的训练损失函数，从而可以实现更好的泛化。
2019-06-12 cs.LG stat.ML
Physics-Informed Neural Network for Predicting Out-of-Training-Range TCAD Solution with Minimized Domain Expertise
San Jose State University（圣何塞州立大学）；University of California, Irvine（加利福尼亚大学尔湾分校）
本文提出无需访问内部求解器、最少依赖领域知识的 PINN，可基于亚阈值区数据预测 Si 纳米线训练范围外及反型区 TCAD 解。
2024-08-15 cs.LG
From Data to Behavior: Predicting Unintended Model Behaviors Before Training
Zhejiang University（浙江大学）；National University of Singapore（新加坡国立大学）
提出MDF方法，通过数据均值表示预测模型预训练阶段的潜在偏见和安全风险，实现高效检测。
2026-02-04 cs.AI cs.CL cs.CY
Predicting materials properties without crystal structure: Deep representation learning from stoichiometry
University of Cambridge（剑桥大学）
机器学习有可能通过以低计算成本准确预测材料特性来加速材料发现。然而，模型输入仍然是一个关键的绊脚石。目前的方法通常使用从完整晶体结构的知识构建的描述符-因此仅适用于具有已经表征的结构的材料-或从化学计量手工设计的结构不可知的固定长度表示。我们开发了一种机器学习方法，它只需要化学计量作为输入，并自动从数据中学习适当的和系统可改进的描述符。我们的主要观点是将化学计量公式视为元素之间的稠密加权图。与结构不可知的方法相比，我们的方法用更少的数据实现了更低的错误。
2020-09-23 cond-mat.mtrl-sci cs.LG physics.comp-ph
Predicting Shallow Water Dynamics using Echo-State Networks with Transfer Learning
University of Houston（休斯顿大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
在本文中，我们证明了储备池计算可以用来学习浅水方程的动力学。特别是，虽然大多数以前的应用程序的储备池计算需要一个特定的轨迹上的训练，以进一步预测沿该轨迹的演变单独，我们显示的能力，储备池计算预测的浅水方程的初始条件下，在训练过程中没有看到的轨迹。然而，在这种情况下，我们发现网络的性能在初始条件下会恶化，而环境条件（如总水高和平均速度）与训练数据集中的条件不同。为了克服这一缺陷，我们引入了一种迁移学习方法，其中使用了一个小的额外的训练步骤与相关的环境条件来改善预测。
2022-11-09 cs.LG physics.data-an physics.geo-ph
On Predicting Generalization using GANs
Microsoft Research（微软研究院）；Princeton University（普林斯顿大学）
对深度网络泛化边界的研究旨在提供仅使用训练数据集和网络参数预测测试误差的方法。虽然泛化边界可以提供关于架构设计、训练算法等的许多见解，他们目前没有做的是对实际测试误差产生良好的预测。最近推出的深度学习预测泛化竞赛~ \citep{jiang2020neurips}旨在鼓励发现更好地预测测试错误的方法。当前的论文研究了一个简单的想法：可以使用{ \em合成数据}预测测试错误吗？该数据是使用在相同训练数据集上训练的生成对抗网络（GAN）生成的。在研究了几种GAN模型和架构后，我们发现事实证明正是如此。事实上，使用在标准数据集上预训练的GANs，可以预测测试误差，而不需要任何额外的超参数调整。这个结果令人惊讶，因为GANs具有众所周知的局限性（例如模式坍塌），并且已知无法准确地学习数据分布。然而，生成的样本足以替代测试数据。几个额外的实验来探索为什么GANs在这项任务中表现出色的原因。除了预测泛化的新方法外，我们工作中提出的反直觉现象也可能需要更好地理解GANs的优势和局限性。
2022-03-17 cs.LG
PTPP-Aware Adaptation Scaling Laws: Predicting Domain-Adaptation Performance at Unseen Pre-Training Budgets
Cerebras Systems（Cerebras系统）；MBZUAI（穆萨埃德人工智能研究所）
本文提出PTPP感知的自适应缩放定律，将预训练预算作为显式变量，实现在未见预算下准确预测域自适应损失，并用于规划回放比率和令牌预算。
2025-10-27 cs.AI cs.CL cs.LG
How Much Did it Rain? Predicting Real Rainfall Totals Based on Radar Data
University of California, Berkeley（加州大学伯克利分校）
我们应用了各种参数和非参数机器学习模型，基于美国几个州一年内的1M训练样本来预测降雨的概率分布。我们基于平方损失目标的表现最好的模型是一个交叉验证的参数k最近邻预测器，计算时间大约为六天，在全球范围的竞争中具有竞争力。
2016-08-06 cs.LG
Machine Learning a Molecular Hamiltonian for Predicting Electron Dynamics
University of California, Merced（加州大学默塞德分校）
我们开发了一种计算方法，从矩阵值的电子密度时间序列中学习分子的哈密顿矩阵。正如我们对三个小分子所展示的那样，所得到的哈密顿算子可以用于电子密度演化，即使在训练数据之外传播1000个时间步长时也能产生高度准确的结果。作为一个更严格的测试，我们使用学习的哈密顿来模拟电子动力学的存在下施加的电场，外推到一个问题，这是超出了无场训练数据。我们发现，由此产生的电子动力学预测我们学到的哈密顿量是在密切的定量协议与地面真相。我们的方法依赖于结合一个降维的，线性统计模型的哈密顿量与时间离散化的量子刘维尔方程随时间变化的哈特里-福克理论。我们使用最小二乘求解器训练模型，避免了大量CPU密集型优化步骤。对于无场和有场问题，我们量化了训练和传播误差，突出了未来发展的领域。
2020-08-31 cs.LG physics.chem-ph physics.comp-ph
Predicting Customer Churn: Extreme Gradient Boosting with Temporal Data
Seycor Consulting（Seycor咨询公司）
利用大规模时间序列数据准确预测客户流失是许多商业领域面临的共同问题。由于时间序列数据常见的时间问题，跨各种时间窗口创建用于训练和测试的模型特征可能特别具有挑战性。在本文中，我们将探索极端梯度提升（XGBoost）在具有各种时间特征的客户数据集上的应用，以创建高度准确的客户流失模型。特别是，我们描述了一种有效的方法来处理时间敏感的特征工程。该模型在WSDM Cup 2018 Churn Challenge中提交，并在575支球队中获得第一名。
2018-02-09 cs.AI cs.LG stat.ML
Residual Koopman Spectral Profiling for Predicting and Preventing Transformer Training Instability
Graduate School of Engineering, The University of Tokyo, Japan（东京大学工学系研究生院）
残差Koopman谱分析通过预测和防止Transformer训练不稳定性，显著降低发散率并提升学习率
2026-02-26 cs.AI cs.LG
Statistical learning method for predicting density-matrix based electron dynamics
University of California, Merced（加州大学默塞德分校）
我们发展了一种统计方法，从电子密度矩阵的时间序列中学习分子的哈密顿矩阵。我们将之前的方法扩展到更大的分子系统，通过结合物理特性来降低维度，同时还利用正则化技术，如岭回归来解决多重共线性。通过学习的哈密顿量，我们可以求解时间相关的Hartree-Fock（TDHF）方程，以及时传播电子密度，并预测其在无场和有场情况下的动力学。我们观察到预测的动态和地面实况之间的密切的定量协议的两个字段关闭轨迹类似的训练数据，和字段的训练数据之外的轨迹。
2021-07-31 cs.LG physics.chem-ph
Learning and Predicting Multimodal Vehicle Action Distributions in a Unified Probabilistic Model Without Labels
Optimus Ride
我们提出了一个统一的概率模型，学习一组有代表性的离散车辆动作，并预测给定特定场景下每个动作的概率。我们的模型还使我们能够估计以场景为条件的连续轨迹上的分布，表示如果在该场景中执行，每个离散动作会是什么样子。虽然我们的主要目标是学习有代表性的动作集，但这些功能结合起来，可以产生准确的多模式轨迹预测。虽然我们学习的动作表征与语义上有意义的类别非常相似（例如，“直走”、“左转”等），我们的方法完全是自我监督的，并且不利用任何手动生成的标签或类别。我们的方法建立在变分推理和深度无监督聚类的最新进展基础上，基于确定性模型评估得出全分布估计。
2022-12-14 cs.LG cs.RO
Residual Embedding Similarity-Based Network Selection for Predicting Brain Network Evolution Trajectory from a Single Observation
Istanbul Technical University（伊斯坦布尔理工大学）；University of Sousse（苏塞大学）
虽然现有的预测框架能够处理欧几里德结构化数据（即大脑图像），但它们可能无法推广到几何非欧几里德数据，如大脑网络。此外，这些都植根于样本选择步骤中使用欧几里得或学习向量化训练和测试大脑网络之间的相似性度量。这样的样本连接组表示可能包括可能误导训练样本选择步骤的不相关和冗余特征。毫无疑问，这未能利用和保护大脑连接体的拓扑结构。为了克服这个主要缺点，我们提出了基于残差嵌入相似性的网络选择（RESNets），用于从单个时间点预测大脑网络的进化轨迹。RESNets首先使用对抗性连接体嵌入网络学习每个训练和测试样本的紧凑几何嵌入。这很好地降低了大脑网络的高维性，同时通过图卷积网络保留了它们的拓扑特性。接下来，为了计算受试者之间的相似性，我们引入了连接大脑模板（CBT）的概念，这是一个固定的网络参考，我们进一步将每个训练和测试网络表示为嵌入空间中与参考CBT的偏差。因此，我们通过比较他们相对于预定义的CBT的学习残差嵌入，选择与基线测试对象最相似的训练对象。一旦在基线选择了最佳训练样本，我们只需在后续时间点对其相应的大脑网络进行平均，即可预测测试网络的进化轨迹。我们在健康和紊乱的大脑网络上的实验表明，与RESNets消融版本和传统方法相比，我们提出的方法是成功的。
2020-09-23 cs.CV cs.LG
FETA: Fairness Enforced Verifying, Training, and Predicting Algorithms for Neural Networks
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；HEC Montréal（蒙特利尔高等商学院）
由神经网络驱动的决策在直接影响人们生活质量的应用中已经变得非常突出。本文研究了神经网络模型的检验、训练和保证个体公平性的问题。一个流行的方法是强制公平的公平概念转化为约束模型的参数。然而，这样的转换并不总是保证训练的神经网络模型的公平预测。为了解决这一挑战，我们开发了一个反例引导的后处理技术，可证明在预测时间执行公平性约束。与只在测试或训练数据周围的点上执行公平性的先前工作相反，我们能够在输入域中的所有点上执行和保证公平性。此外，我们提出了一种在处理技术，使用公平作为一个归纳偏见，通过迭代地将公平反例在学习过程中。我们已经在一个名为FETA的工具中实现了这些技术。对真实世界数据集的经验评估表明，FETA不仅能够在预测时保证公平性，而且还能够训练表现出更高程度的个体公平性的准确模型。
2023-01-30 cs.CY cs.LG
CMR Scaling Law: Predicting Critical Mixture Ratios for Continual Pre-training of Language Models
Sun Yat-sen University（中山大学）；SenseTime Research（商汤科技研究院）；Nanjing University（南京大学）
本研究针对语言模型持续预训练中数据混合比例凭经验选择导致效率低下的问题，发现损失、混合比例与训练token规模的幂律关系，提出CMR缩放定律及最优关键混合比例，兼顾通用与领域能力，提升资源利用率。
2024-10-07 cs.CL cs.LG
Learning functionals via LSTM neural networks for predicting vessel dynamics in extreme sea states
Massachusetts Institute of Technology（麻省理工学院）；Brown University（布朗大学）
船舶在极端海况下的运动预测是船舶水动力学中最具挑战性的问题之一。它涉及到计算复杂的非线性波体相互作用，因此繁重的计算资源。在这里，我们提出了一种新的模拟范例，通过训练递归型神经网络（RNN），将特定海况下的随机波浪高度作为输入，并输出主要船舶运动，例如，俯仰、起伏和滚动。我们首先比较了标准RNN与GRU和LSTM神经网络（NN）的性能，并表明LSTM NN具有最佳性能。然后，我们研究了两个代表性的船只，在海况1双体船和在海况8战舰的测试误差。我们证明，在这两种情况下，在预测船舶运动看不见的波高程实现了良好的精度。我们用昂贵的CFD模拟离线训练神经网络，但在训练后，可以在几分之一秒内获得对船舶动态的在线预测。这项工作的动机是泛逼近定理的泛函[1]，这是第一次实现这样的理论，以现实的工程问题。
2019-12-23 cs.LG
Predicting Sim-to-Real Transfer with Probabilistic Dynamics Models
DeepMind（深度思维）；OpenAI（开放人工智能研究中心）
我们提出了一种方法来预测RL策略的仿真到现实迁移性能。我们的转移指标简化了模拟中训练设置（如算法、超参数、随机化）和策略的选择，而不需要大量耗时的真实世界部署。概率动力学模型与策略一起训练，并在一组固定的真实世界轨迹上进行评估，以获得转移度量。实验表明，传输度量是高度相关的策略性能在模拟和真实世界的机器人环境中的复杂操作任务。我们进一步表明，转移度量可以预测训练设置对策略转移性能的影响。
2020-09-27 cs.AI cs.LG cs.RO
Predicting Change, Not States: An Alternate Framework for Neural PDE Surrogates
Carnegie Mellon University（卡内基梅隆大学）
针对神经PDE替代模型直接预测下一状态的简化僵化问题，提出预测时间导数结合ODE积分器推进解的替代框架，提升了精细离散化场景的精度与稳定性，支持灵活时间步长，且广泛适用于不同模型和PDE。
2025-04-16 cs.LG
Predicting Ship Responses in Different Seaways using a Generalizable Force Correcting Machine Learning Method
University of Michigan（密歇根大学）；MARIN（MARIN（荷兰海事研究中心））
针对船舶响应预测中机器学习泛化性不足、高保真训练数据获取成本高的问题，提出修正低保真运动方程力的混合机器学习方法，经小数据集训练后，相比线性物理模型与LSTM模型，预测精度和泛化能力更优。
2024-05-13 cs.LG physics.flu-dyn stat.ML
Predicting Parameters in Deep Learning
University of Oxford（牛津大学）；University of British Columbia（不列颠哥伦比亚大学）；Université de Montréal（蒙特利尔大学）；Facebook Inc.（脸书公司）
我们证明了在几个深度学习模型的参数化中存在显著的冗余。对于每个特征，仅给定几个权重值，就可以准确地预测剩余的值。此外，我们表明，不仅可以预测的参数值，但他们中的许多人根本不需要学习。我们训练几种不同的架构，只学习一小部分权重，并预测其余的权重。在最好的情况下，我们能够预测超过95%的网络权重，而不会降低准确性。
2014-10-27 cs.LG cs.NE stat.ML
Predicting the Computational Cost of Deep Learning Models
Digital Catapult（数字弹射器）；Newcastle University（纽卡斯尔大学）；Durham University（杜伦大学）
深度学习正迅速成为解决许多人工智能问题的首选工具，因为它在许多问题上的表现优于其他方法，甚至优于人类。尽管它很受欢迎，但我们仍然无法准确预测训练一个深度学习网络来解决给定问题所需的时间。这个训练时间可以被看作是每个时期的训练时间和需要执行以达到期望的准确度水平的时期的数量的乘积。已经进行了一些工作来预测epoch的训练时间-大多数都是基于训练时间与所需浮点运算的数量线性相关的假设。然而，这种关系并不正确，并且在其他活动开始支配执行时间的情况下变得更加严重。例如从内存加载数据的时间或由于非最佳并行执行而导致的性能损失。在这项工作中，我们提出了一种替代方法，其中我们训练一个深度学习网络来预测部分深度学习网络的执行时间。然后可以将这些单独部分的计时组合起来，以提供对整个执行时间的预测。这比线性方法更有优势，因为它可以模拟更复杂的场景。但是，它也有能力预测训练数据中看不到的场景的执行时间。因此，我们的方法不仅可以用来推断一个批次或整个时期的执行时间，而且还可以支持为适当的硬件和模型做出明智的选择。
2018-11-28 cs.AI cs.LG stat.ML
One size doesn't fit all: Predicting the Number of Examples for In-Context Learning
University of Glasgow（格拉斯哥大学）
本文提出AICL方法，通过多标签分类器动态预测每个实例的上下文学习示例数量，替代固定k值的“一刀切”策略，在多个文本分类基准上相比标准ICL最高提升17%的性能。
2025-01-19 cs.CL cs.LG
Zero Shot Learning for Predicting Energy Usage of Buildings in Sustainable Design
University of Missouri-Columbia（密苏里大学哥伦比亚分校）；PlanIT Impact（PlanIT Impact公司）
“2030挑战”的目标是到2030年使所有新建筑和重大改造实现碳中和。应对这一挑战的潜在解决方案之一是通过创新的可持续设计策略。为了制定这样的策略，重要的是要了解各种建筑因素如何在设计时对建筑物的能源使用做出贡献。近年来，人工智能（AI）的发展为通过从现有数据中学习建筑因素之间的复杂关系来推进可持续设计提供了前所未有的机会。然而，基于AI的解决方案需要丰富的训练数据集才能实现良好的预测精度。不幸的是，在许多现实世界的应用中，获得训练数据集是耗时且昂贵的。出于这些原因，我们解决了准确预测新的或未知的建筑类型的能量使用的问题，即，那些没有任何训练数据的建筑类型。我们提出了一种基于零样本学习（ZSL）的新方法来解决这个问题。我们的方法使用建筑能源建模专家的辅助信息来预测给定的新/未知建筑类型的最接近的建筑类型。然后，我们使用在训练期间学习的模型获得k个最接近的建筑类型的预测能源使用量，并使用加权平均函数组合预测值。我们在一个包含五种建筑类型的数据集上评估了我们的方法，这些建筑类型是使用BuildSimHub生成的，BuildSimHub是一个流行的建筑能源建模平台。我们的方法比在已知建筑类型的整个数据集上训练的回归模型（基于XGBoost）实现了更好的平均准确度。
2022-02-10 cs.LG
Adaptive Test-Time Training for Predicting Need for Invasive Mechanical Ventilation in Multi-Center Cohorts
本文提出自适应测试时训练框架，通过信息论界限和自监督学习提升多中心ICU中IMV预测的泛化性能和鲁棒性。
2026-01-27 cs.AI cs.LG
Predicting Oxide Glass Properties with Low Complexity Neural Network and Physical and Chemical Descriptors
Indian Institute of Technology Delhi（印度理工学院德里分校）
本文提出低复杂度神经网络并结合物理化学描述符，在约5万条玻璃组分数据上实现优于XGBoost的性质预测，并能泛化到训练集外的新组分，为加速新型玻璃发现提供方向。
2022-10-19 cond-mat.mtrl-sci cs.LG
On the Robustness of Machine Learning Models in Predicting Thermodynamic Properties: a Case of Searching for New Quasicrystal Approximants
AIRI；National University of Science and Technology MISIS（国立科技大学 MISIS）
本研究针对机器学习预测热力学性质的鲁棒性不足问题，通过构建嵌套准晶近似相数据集并训练多种模型，揭示训练样本变化导致预测结果差异，并提出预训练与顺序训练技巧以提升稳定性。
2024-11-07 cond-mat.mtrl-sci cs.LG physics.comp-ph
Bayesian analysis of the prevalence bias: learning and predicting from imbalanced data
Imperial College London（帝国理工学院）；King’s College London（伦敦国王学院）；The Royal Brompton & Harefield NHS Foundation Trust（皇家布朗普顿与哈菲尔德国民保健服务基金会信托）；University College London（伦敦大学学院）
数据集很少是目标人群的现实近似值。比如，患病率被歪曲，图像质量高于临床标准等。这种不匹配被称为采样偏差。采样偏差是机器学习模型的主要障碍。它们导致实验室中的模型性能与现实世界中的模型性能之间存在显著差距。我们的工作是解决流行偏见。患病率偏倚是病理学患病率与其在训练数据集中的采样率之间的差异，在收集数据时引入或由于从业者重新平衡训练批次。本文奠定了理论和计算框架的训练模型，并预测，在存在的患病率偏差。根据贝叶斯风险最小化原则，推导了偏差修正的损失函数和偏差修正的预测规则。这种损失与信息的获得有着直接的联系。它提供了一个原则性的替代启发式训练损失和补充测试时间的程序的基础上选择一个操作点从汇总曲线。它无缝集成在当前的（深度）学习范式中，使用随机反向传播并自然地与贝叶斯模型相结合。
2021-07-31 cs.LG q-bio.QM stat.AP
Target-Independent Micro-Interventions for Predicting Training Response Across Language-Model Families
Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算机学院）
提出目标无关微干预方法，通过分支标准化干预构建L-State，利用直接和算子读出预测跨家族语言模型的训练响应，显著降低MSE并提升符号平衡准确率。
2026-09-09 cs.LG
Data Mixing Laws: Optimizing Data Mixtures by Predicting Language Modeling Performance
Fudan University（复旦大学）；Shanghai AI Laboratory（上海人工智能实验室）
该研究提出数据混合定律，可通过拟合样本混合数据的函数预测不同数据混合比例下的语言模型性能，结合缩放定律仅用小规模训练就能预测大模型表现，还能优化训练数据混合、避免持续训练中的灾难性遗忘。
2025-03-20 cs.AI cs.CL cs.LG
Predicting the Critical Number of Layers for Hierarchical Support Vector Regression
AIMdyn Inc.（AIMdyn公司）；University of Zagreb（萨格勒布大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
分层支持向量回归（HSVR）将数据中的函数建模为一系列尺度上的SVR模型的线性组合，从粗尺度开始，随着层次结构的继续而移动到更细的尺度。在HSVR的原始公式中，没有选择模型深度的规则。在本文中，我们在许多模型中观察到训练误差的相变-随着层的增加，误差保持相对恒定，直到通过临界尺度，在这一点上，训练误差下降到接近零，并且对于增加的层保持几乎恒定。我们介绍了一种方法来预测这个临界尺度的先验预测的基础上的支持的数据的傅立叶变换或动态模式分解（DMD）频谱。这使我们能够在训练任何模型之前确定所需的层数。
2020-12-21 cs.LG cs.NA math.NA
Predicting Future Shanghai Stock Market Price using ANN in the Period 21-Sep-2016 to 11-Oct-2016
School of Computing and Informatics, University of Nairobi（内罗毕大学计算与信息学院）
预测任何股票市场的股票价格仍然是许多投资者和研究人员的追求。那些在股市交易的人倾向于在他们的预测中使用技术，基本面或时间序列分析。这些方法通常指导趋势，而不是确切的可能价格。正是由于这个原因，人工智能系统，例如人工神经网络，即具有误差反向传播的前馈多层感知器，可以用于这种预测。神经网络应用中的一个难点是确定合适的网络参数。作者在以前的研究中已经确定了网络参数为5：21：21：1，训练数据为80%或训练数据为4年的训练数据，作为股票预测的一个足够好的模型。该模型已在预测2016年9月21日至2016年10月11日期间的上海证券交易所股票中进行了测试，大约在这些预测发布后一周。本研究旨在证实简单的神经网络系统在典型的股票市场预测中可以相当强大。
2016-09-17 cs.LG q-fin.ST
Predicting Task Difficulty Without Rollouts
Andromede AI（安卓迈德人工智能）
该研究针对17个跨多领域的智能体基准，提出无需展开的任务难度预测方法，发现token级熵是有效预测信号，可通过难度残差暴露环境缺陷，助力校准基准与构建训练课程。
2026-10-19 cs.CL cs.LG
STAMP: Predicting Out-of-Distribution Generalization without Target Data
STAMP提出一种仅用源域数据的准则，通过语义配对对比估计OOD性能，在医学和ImageNet模型上超越目标域方法，实现高效部署前模型选择。
2026-09-29 cs.AI cs.LG
Predicting LLM Reasoning Performance with Small Proxy Model
Trillion Labs；KAIST AI（韩国科学技术院人工智能系）
提出rBridge方法，通过任务对齐加权负对数似然，使小模型（≤1B）有效预测大模型推理性能，成本降低超100倍，在1B-32B规模上实现最强相关性。
2026-07-02 cs.AI cs.LG
Federated Learning for Predicting Mild Cognitive Impairment to Dementia Conversion
University of Eastern Finland（东芬兰大学）；VTT Technical Research Centre of Finland Ltd（芬兰国家技术研究中心有限公司）
本研究提出一种基于联邦学习的隐私增强方法，利用社会人口学和认知指标预测轻度认知障碍向痴呆症转化，实验表明其性能与集中式机器学习相当且优于独立站点模型，无需共享敏感数据。
2025-03-05 cs.LG
PRESCRIBE: Predicting Single-Cell Responses with Bayesian Estimation
Shanghai Jiao Tong University（上海交通大学）；Westlake University（西湖大学）；AIMS Lab, The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）AIMS实验室）；The Hong Kong University of Science and Technology（香港科技大学）
本文提出PRESCRIBE，一种多变量深度证据回归框架，用于同时估计单细胞扰动预测中的认知和偶然不确定性，通过置信度过滤实现超过3%的准确性提升。
2025-10-09 cs.LG q-bio.QM
