Before the Outrage: Challenges and Advances in Predicting Online Antisocial Behavior
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）
本文系统综述49余项在线反社会行为预测研究，构建含五类核心任务的分类体系，分析建模技术趋势与数据集影响，指出方法论挑战并提出新兴研究方向，为相关研究提供指引。
2025-07-28 cs.CL
Predicting LLM Safety Before Release by Simulating Deployment
OpenAI（开放人工智能研究公司）
研究通过模拟部署预测大语言模型发布前安全性的方法，从去识别化对话出发，固定前缀用候选模型生成回复来评估。该方法能估计行为不当率，优于基线，还能克服工具重新采样挑战，为外部研究提供途径，助力预测模型现实行为及评估部署风险。
2026-07-09 cs.AI cs.LG
Anticipatory Evaluation of Language Models: Predicting LLM Benchmark Scores from Descriptions
Georgia Institute of Technology, Atlanta, Georgia（佐治亚理工学院）；The Hebrew University of Jerusalem, Jerusalem, Israel（耶路撒冷希伯来大学）
本文提出通过任务描述和实验配置预测语言模型性能，构建PRECOG语料库并展示推理模型在高置信度阈值下的预测能力。
2026-10-15 cs.AI cs.CL cs.LG
Data Mixing Laws: Optimizing Data Mixtures by Predicting Language Modeling Performance
Fudan University（复旦大学）；Shanghai AI Laboratory（上海人工智能实验室）
该研究提出数据混合定律，可通过拟合样本混合数据的函数预测不同数据混合比例下的语言模型性能，结合缩放定律仅用小规模训练就能预测大模型表现，还能优化训练数据混合、避免持续训练中的灾难性遗忘。
2025-03-20 cs.AI cs.CL cs.LG
Distract Large Language Models for Automatic Jailbreak Attack
Shanghai University of Finance and Economics（上海财经大学）；Southern University of Science and Technology（南方科技大学）
本文提出一种利用大语言模型注意力分散与过度自信现象的黑盒越狱框架，通过恶意内容隐藏、记忆重构和迭代优化实现自动化红队攻击，并在开源与专有模型上验证其有效性、可扩展性和可迁移性。
2024-09-30 cs.AI cs.CL cs.CR
TrialEnroll: Predicting Clinical Trial Enrollment Success with Deep & Cross Network and Large Language Models
Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出TrialEnroll方法，结合深度交叉网络与LLM增强文本特征，从入组标准预测临床试验入组成功，实现可解释性并优于现有方法。
2024-07-18 cs.CL cs.LG
Predicting Causal Effects from Natural Language Queries using Structured Representations
The World Bank Group（世界银行集团）；University of Oxford（牛津大学）；New York University（纽约大学）
针对从自然语言查询预测因果效应的问题，提出Query2Effect基准和两步框架，通过生成结构化表示再预测效应大小，微调使绝对误差降低27%-71%。
2026-05-28 cs.AI cs.CL
Predicting and Repairing Merge Collapse in Large Language Models
Korea University（高丽大学）；Yonsei University Mirae Campus（延世大学未来校区）；Konkuk University（建国大学）
本文提出一种基于任务向量方差的统计量来预测大型语言模型合并崩溃，并引入PRISM操作符通过软阈值修复破坏性合并，实验验证了其有效性。
2026-10-05 cs.CL cs.LG
No Answer Needed: Predicting LLM Answer Accuracy from Question-Only Linear Probes
Universidad Internacional de Valencia（瓦伦西亚国际大学）；University of Cambridge（剑桥大学）；Independent Researcher（独立研究者）
研究通过线性探针预测LLM答案准确性，发现模型在中间层预测能力饱和，但对数学推理问题泛化能力下降，揭示了LLM内部机制。
2026-03-03 cs.AI cs.CL
Catastrophic Jailbreak of Open-source LLMs via Exploiting Generation
Princeton University（普林斯顿大学）
本研究提出生成利用攻击，仅通过操纵解码方法变化，将11个开源大语言模型的错位率从0%提升至95%以上，并提出了降低错位率的对齐方法，揭示了当前安全评估的缺陷。
2023-10-10 cs.AI cs.CL cs.CR
On Predicting the Post-training Potential of Pre-trained LLMs
University of Science and Technology of China（中国科学技术大学）；Alibaba Group（阿里巴巴集团）；National University of Singapore（新加坡国立大学）
本文提出RuDE框架，通过响应判别预测预训练模型后训练潜力，实验显示与后训练表现相关性超90%，验证了其在高效基础模型开发中的有效性。
2026-05-12 cs.CL
Peephole: Predicting Network Performance Before Training
Beihang University（北京航空航天大学）；SenseTime（商汤科技）；The Chinese University of Hong Kong（香港中文大学）
近年来，对高性能网络的追求一直是推动深度学习进步的重要力量。虽然值得，但改进网络设计从来都不是一件容易的事。大的设计空间加上网络训练所需的巨大成本构成了这一努力的主要障碍。在这项工作中，我们提出了一种新的方法来解决这个问题，即在训练之前预测网络的性能，基于其架构。具体来说，我们开发了一种统一的方法来将各个层编码为向量，并通过LSTM将它们组合在一起形成一个集成的描述。该方法利用递归网络强大的表达能力，能够可靠地预测各种网络结构的性能。我们的实证研究表明，它不仅实现了准确的预测，而且在数据集之间产生了一致的排名-这是性能预测的关键。
2017-12-09 cs.CV cs.LG cs.NE
Early Bird Catches the Worm: Predicting Returns Even Before Purchase in Fashion E-commerce
Myntra Designs India（印度Myntra设计公司）；Google India（谷歌印度）
随着时尚电子商业的快速发展和客户友好的产品退货政策，处理退货产品的成本已成为一个重大挑战。由于退货损坏或欺诈行为，电子商务在逆向物流成本、清算成本方面遭受巨大损失。在下订单之前准确预测产品退货对公司来说至关重要。它可以帮助电子商务公司甚至在下订单之前采取先发制人的措施，从而减少整体回报。此外，在购物车页面上实时找到数百万客户的返回概率可能是困难的。为了解决这个问题，我们提出了一种基于深度神经网络的新方法。使用基于贝叶斯个性化排名（BPR）的产品嵌入，捕捉用户的口味和产品的潜在隐藏特征。另一套嵌入使用跳跃gram的模型来捕获用户的身体形状和大小。深度神经网络将这些嵌入与工程特征结合起来，以预测回报概率。利用这个退货概率，在一个主要的时尚电子商业平台上进行了几次现场实验，以降低整体退货率。
2019-06-28 cs.LG stat.ML
Predicting Quantization Price for Selecting PTQ Configurations Before Deployment
提出基于定价层输出误差的PTQ配置选择方法，利用下游曲率计算量化价格，统一比较不同格式、粒度和变换，实现部署前预算引导的配置选择。
2026-09-24 cs.CL cs.LG
Automated Dynamic Bayesian Networks for Predicting Acute Kidney Injury Before Onset
University of California, Los Angeles（加州大学洛杉矶分校）；UCLA Clinical and Translational Science Institute（加州大学洛杉矶分校临床与转化科学研究所）；David Geffen School of Medicine at UCLA（加州大学洛杉矶分校大卫·格芬医学院）；Providence Health Care（普罗维登斯医疗保健系统）
提出RAUS自动化框架，利用统计指标确定变量排序并端到端学习DBN，在67,460名患者数据上提前24–72小时预测AKI，AUCROC最高达83%。
2023-04-20 cs.AI cs.LG
Predicting Grokking Long Before it Happens: A look into the loss landscape of models which grok
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；Meta AI Research（Meta人工智能研究院）；CHU Sainte-Justine Research Center（圣贾斯汀儿童医院研究中心）
本文提出通过早期学习曲线的 Fourier 谱特征检测低频振荡，从而在无需长期训练的情况下预测神经网络是否会发生 grokking，并辅以实验解释振荡成因与损失景观。
2023-09-28 cs.LG
ActSafe: Predicting Violations of Medical Temporal Constraints for Medication Adherence
Dartmouth（达特茅斯学院）
处方药通常对患者的常规健康行为（RHB）施加时间约束，例如，在服药前吃东西。违反这种医疗时间限制（MTC）可能会导致不良影响。在发生之前检测和预测这种违规行为可以帮助提醒患者。我们制定了MTCs建模的问题，并开发了一个概念验证的解决方案，ActSafe，以及提前预测违反MTCs。ActSafe利用基于上下文无关文法的方法从患者教育材料中提取和映射MTC。它还解决了准确预测对MTC至关重要的RHB的挑战（例如，药物摄入）。我们的新的行为预测模型，HERBERT，利用一个基础向量化的时间序列，是概括跨时间尺度和持续时间的行为，明确捕捉时间搭配的行为之间的依赖关系。基于使用从28名患者在非受控环境中收集的真实世界RHB数据集进行的评估，HERBERT优于基线模型，均方根误差平均降低51%。根据对慢性病患者的评估，ActSafe可以提前一天预测MTC违规，平均F1评分为0.86。
2023-01-17 cs.LG
Generative artificial intelligence for computational chemistry: a roadmap to predicting emergent phenomena
University of Maryland（马里兰大学）；Institute for Physical Science and Technology（物理科学与技术研究所）；University of Maryland Institute for Health Computing（马里兰大学健康计算研究所）；Department of Chemistry and Biochemistry（化学与生物化学系）；Department of Physics（物理系）；Biophysics Program（生物物理学项目）
本文系统梳理了生成式AI在计算化学中的应用现状，指出其真正具备预测能力前必须克服预测涌现现象的核心挑战，并提出未来模型应整合统计力学等化学原理。
2024-09-04 cond-mat.dis-nn cond-mat.stat-mech cs.LG
CloneOT: predicting clone-specific perturbation responses with lineage-supervised neural inverse optimal transport
University of Maryland（马里兰大学）；Center of Bioinformatics and Computational Biology（生物信息学与计算生物学中心）；University of Pittsburgh（匹兹堡大学）；UPMC Children’s Hospital of Pittsburgh（匹兹堡UPMC儿童医院）；Institute of Health Computing（健康计算研究所）
CloneOT是一种神经逆最优传输方法，利用谱系追踪数据学习传输成本与映射，在癌细胞扰动预测任务中优于基线，可恢复正确传输并揭示克隆特异性转录程序。
2026-10-14 cs.LG q-bio.GN
Anime Popularity Prediction Before Huge Investments: a Multimodal Approach Using Deep Learning
Instituto Politécnico Nacional (IPN)（墨西哥国立理工学院）；Centro de Investigación en Computación (CIC)（计算机研究中心）
本文提出使用多模态文本-图像数据集预测动漫人气，构建了符合投资标准的数据集，并采用基于GPT-2和ResNet-50的深度神经网络模型，取得了0.011的MSE，显著优于传统基准，首次验证了多模态方法在此任务上的优势。
2024-06-21 cs.AI cs.LG
Effects of personality traits in predicting grade retention of Brazilian students
Universidade de São Paulo（圣保罗大学）；ClearSale（ClearSale公司）；Advanced Institute for Artificial Intelligence（高级人工智能研究院）；Experian DataLab（益博睿数据实验室）
学生的留级率是许多教育系统，特别是发展中国家教育系统面临的一个关键问题。在本文中，我们试图衡量学生的人格特质在预测在巴西的年级保留的相关性。为此，我们使用了2012年和2017年在巴西圣保罗州农村Sertaozinho市收集的数据。在Sertaozinho进行的调查包括几个社会经济问题，标准化测试和性格测试。此外，2012年学生在4、5和6年级。我们的方法是基于调查数据训练机器学习模型，使用2012年或之前的信息预测2012年至2017年之间的成绩保持率，然后使用一些策略量化人格特质的预测能力。我们的结论是，除了被证明比孤立的随机分类器更好之外，即使使用社会经济变量和标准化测试结果，人格特质也有助于预测。
2021-07-12 cs.CY cs.LG stat.AP
Predicting BWR Criticality with Data-Driven Machine Learning Model
Purdue University（普渡大学）；Blue Wave AI Labs（蓝波人工智能实验室）；Constellation（星座能源公司）
针对核电站周期燃料量决策不当导致经济损失的问题，提出一种基于数据驱动深度学习模型的创新方法，用于估计沸水反应堆的过剩临界性。
2024-11-11 cs.AI cs.LG
Predicting Power Electronics Device Reliability under Extreme Conditions with Machine Learning Algorithms
Argonne National Laboratory（阿贡国家实验室）
功率器件的可靠性是在极端环境下运行期间的主要问题，因为这样做会缩短任何功率系统或传感基础设施的运行寿命。由于系统故障的可能性，设备必须在实施之前进行实验验证，这是昂贵且耗时的。在本文中，我们利用机器学习算法来预测设备的可靠性，大大减少了进行实验的需要。为了训练模型，我们测试了来自10个不同制造商的224个功率器件。首先，我们描述了一种方法来处理建模目的的数据。基于内部测试数据，我们实现了各种ML模型，并观察到梯度提升和LSTM编码器-解码器网络等计算模型可以高精度地预测功率器件故障。
2021-07-21 cs.LG cs.SY eess.SY
Learning Clinical Concepts for Predicting Risk of Progression to Severe COVID-19
Carnegie Mellon University（卡内基梅隆大学）；Highmark Health（高马克健康）；Allegheny Health Network（阿勒格尼健康网络）
随着COVID-19的普遍存在，识别高风险个体至关重要。使用宾夕法尼亚州西南部一家主要医疗保健提供商的数据，我们开发了预测严重COVID-19进展的生存模型。在这项工作中，我们面临着一个权衡更准确的模型依赖于许多功能和不太准确的模型依赖于一些功能与临床医生的直觉。更复杂的是，许多EHR功能往往编码不足，降低了较小模型的准确性。在这项研究中，我们开发了两组高性能风险评分：（i）从所有可用特征构建的无约束模型;以及（ii）在训练风险预测器之前学习一小组临床概念的管道。学习的概念提高了相应特征的性能（C指数0.858 vs. 0.844），并在样本外评估（后续时间段）时证明了（i）的改进。我们的模型优于以前的作品（C-index 0.844-0.872 vs. 0.598-0.810）。
2022-08-28 cs.LG stat.ML
REP: Predicting the Time-Course of Drug Sensitivity
药物作用机制中涉及的生物过程通常是动态的、复杂的和难以辨别的。时间过程基因表达数据是一个丰富的信息来源，可用于解开这些复杂的过程，确定药物敏感性的生物标志物和预测对药物的反应。然而，大多数以前的工作并没有充分利用这个时间维度。在这些研究中，在一个时间点（给药前）或两个时间点（给药前和给药后）考虑基因表达数据。这显然不足以模拟动态基因-药物相互作用，特别是对于长期药物治疗等应用。在这项工作中，我们提出了一种新的递归预测（REP）框架，利用时间过程基因表达数据的药物反应预测。我们的目标是预测长期治疗的每个阶段的药物反应值，给定在先前时间点收集的基因的表达水平。为此，REP采用了一个内置的递归结构，利用数据的内在时间过程性质，并整合了药物反应的过去值，用于后续预测。它还集成了张量完成，不仅可以减轻噪声和缺失数据的影响，还可以预测看不见的基因表达水平（GEL）。这些优点使REP能够根据治疗开始时测量的一些GEL来估计给定治疗的任何阶段的药物反应。广泛的实验数据集对应的53例多发性硬化症患者用干扰素治疗，包括展示REP的有效性。
2019-07-27 cs.LG stat.ML
A Quantitative Approach to Predicting Representational Learning and Performance in Neural Networks
Rice University（莱斯大学）；Brown University（布朗大学）；Osnabrück University（奥斯纳布吕克大学）；Princeton University（普林斯顿大学）；Baylor College of Medicine（贝勒医学院）
本文提出仅依据初始条件与训练课程、基于伪核预测神经网络习得表征的定量工具，并验证其可预测初始化尺度和课程对并发多任务性能的影响。
2023-07-14 cs.LG cs.NE
A Unified Comparison of User Modeling Techniques for Predicting Data Interaction and Detecting Exploration Bias
Washington University（华盛顿大学）
可视化分析社区已经提出了几种用户建模算法来捕获和分析用户的交互行为，以帮助用户进行数据探索和洞察生成。例如，一些可以检测探索偏差，而另一些可以预测用户将在交互发生之前与之交互的数据点。研究人员认为，这些算法可以帮助创建更智能的可视化分析工具。然而，社区缺乏对这些现有技术的严格评估和比较。因此，关于何时使用何种方法的指导有限。我们的论文试图通过比较和排名八个用户建模算法，根据他们的性能在一组不同的四个用户研究数据集，以填补这一空白。我们分析了探索偏差检测，数据交互预测和算法复杂性等措施。基于我们的研究结果，我们强调了分析用户交互和可视化起源的开放挑战和新方向。
2022-08-09 cs.HC cs.LG
Vector-Based Data Improves Left-Right Eye-Tracking Classifier Performance After a Covariate Distributional Shift
Swarthmore College（斯沃斯莫尔学院）
使用脑电图（EEG）信号进行眼动追踪（ET）预测的主要挑战是基准数据和真实世界数据之间的分布模式的差异以及来自多个源的脑信号的非预期干扰所导致的噪声。因此，提高机器学习模型在从EEG数据预测眼动追踪位置方面的鲁棒性对于研究和消费者使用都是不可或缺的。在医学研究中，人们已经探索使用更复杂的数据汇集方法来测试更简单的任务，以解决这个问题。在这项研究中，我们提出了一个细粒度的数据方法，脑电图-ET数据汇集，以创建更强大的基准。我们利用粗粒度和细粒度数据来训练机器学习模型，并在对相似/不同分布模式的数据进行测试时比较它们的准确性，以确定EEG-ET基准对分布数据差异的敏感程度。我们应用协变量分布偏移来检验这种易感性。结果表明，在细粒度、基于向量的数据上训练的模型比在粗粒度、二进制分类的数据上训练的模型更不容易受到分布偏移的影响。
2022-07-31 cs.LG eess.SP
Predicting Heart Disease and Reducing Survey Time Using Machine Learning Algorithms
State University of New York at Binghamton（纽约州立大学宾汉姆顿分校）
本文利用支持向量机、逻辑回归及特征选择方法分析CDC心脏病调查数据，经300次随机抽样验证，实现最高80%的预测准确率，并将调查时间缩短77%。
2023-05-30 cs.AI cs.LG stat.AP
Assessing the Early Bird Heuristic (for Predicting Project Quality)
North Carolina State University（北卡罗来纳州立大学）
在研究人员急于对所有可用数据进行推理或尝试复杂的方法之前，也许首先检查更简单的替代方案是明智的。具体地说，如果历史数据在某个小区域中具有最多的信息，那么从该区域学习的模型可能足以用于项目的其余部分。为了支持这一说法，我们提供了一个案例研究与240个项目，我们发现，在这些项目中的信息“丛”对项目的最早部分。从前150个提交中学习的质量预测模型也可以工作，或者比最先进的替代方案更好。仅使用这些“早起的鸟儿”数据，我们就可以在项目生存周期的早期非常快速地构建模型。此外，使用这种早期的鸟方法，我们已经证明了一个简单的模型（只有几个功能）可以推广到数百个项目。基于这一经验，我们怀疑先前关于推广质量模型的工作可能会不必要地使本来简单的过程复杂化。此外，以前的工作集中在后期生存周期的数据需要重新审视，因为他们的结论是从相对缺乏信息的地区。复制说明：我们所有的数据和脚本都可以在这里找到：https://github.com/snaraya7/early-bird
2023-01-11 cs.AI cs.LG cs.SE
Predicting Early Dropout: Calibration and Algorithmic Fairness Considerations
Universitat Pompeu Fabra（庞培法布拉大学）
在这项工作中，预测辍学风险在本科学习的问题是从算法公平性的角度来解决。我们开发了一种机器学习方法来预测大学辍学和表现不佳的风险。目的是了解这样一个系统是否可以识别有风险的学生，同时避免潜在的歧视性偏见。在对这两种风险进行建模时，我们根据入组时的可用数据，在研究开始的第一年之前，获得了ROC曲线下面积（AUC）为0.77-0.78的预测模型。这些数据包括学生的人口统计数据，他们参加的高中，以及他们的录取（平均）成绩。我们的模型是经过校准的：它们为每种风险产生估计的概率，而不仅仅是分数。我们分析这种方法是否会导致一些敏感群体在预测准确性（AUC）和出错率（广义假阳性率，GFPR或广义假阴性率，GFNR）方面的歧视性结果。该模型表现出一定的公平AUC和GFNR沿组。类似的GFNR意味着未能检测到辍学学生的风险的概率类似。通过一个不影响模型校准的缓解过程来解决全球公平报告率的差异。
2021-03-16 cs.LG
Do not forget interaction: Predicting fatality of COVID-19 patients using logistic regression
University of Michigan（密歇根大学）；Fudan University（复旦大学）；Shenzhen University（深圳大学）
在持续的COVID-19大流行中，高风险的COVID-19患者能否康复，在很大程度上取决于他们在病毒对患者造成不可逆转的后果之前能够尽早得到适当的治疗。在这项研究中，我们报告了一个基于逻辑斯谛回归的可解释、直观和准确的机器学习模型，仅使用三种重要的血液生物标志物，包括乳酸脱氢酶、淋巴细胞（%）和高敏C反应蛋白及其相互作用来预测COVID-19患者的病死率。我们发现，当逻辑斯谛回归模型产生的死亡概率大于0.8时，该模型具有最佳性能，因为它能够预测平均超过11.30天的患者死亡，最大提前34.91天，累积f1得分为93.76%，累积准确率得分为93.92%。该模型可用于识别具有三种血液生物标志物的高风险COVID-19患者，并帮助世界各地的医疗系统在此大流行期间规划关键的医疗资源。
2020-06-30 cs.LG stat.AP
Log Optimization Simplification Method for Predicting Remaining Time
College of Computer Science and Technology, Huaqiao University（华侨大学计算机科学与技术学院）；Jiangsu Branch, Agricultural Bank of China（中国农业银行江苏省分行）
本文针对事件日志中低价值冗余信息影响剩余时间预测精度的问题，提出一种预测点选择算法，通过选择序列或自循环结构构成可简化片段并优化偏差以防止过度简化，实验证明简化后日志能保持甚至提升预测性能。
2025-03-10 cs.LG
Predicting Infant Motor Development Status using Day Long Movement Data from Wearable Sensors
University of Southern California（南加州大学）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
出生时或出生前有各种并发症的婴儿被归类为有发育迟缓（AR）的风险。随着年龄的增长，医疗保健提供者会跟踪他们，以努力辨别他们是否处于典型的或受损的发展轨迹。通常，在婴儿早期难以做出准确的确定，因为具有典型发育（TD）的婴儿在内容和时间上的发育轨迹中显示出高度可变性。研究表明，自发运动有可能在生命早期使用传感器和运动学分析系统区分典型和非典型轨迹。在这项研究中，机器学习分类算法被用来从放置在婴儿身上一天的可穿戴传感器中获取惯性运动，并预测婴儿是AR还是TD，从而进一步建立早期自发运动和发育轨迹之间的联系。
2018-10-14 cs.LG stat.ML
