Feature Engineering for Predictive Modeling using Reinforcement Learning
IBM TJ Watson Research Center(IBM 托马斯·J·沃森研究中心)
特征工程是预测建模过程中至关重要的一步。它涉及给定特征空间的变换,通常使用数学函数,目的是减少给定目标的建模误差。然而,没有明确的基础来执行有效的特征工程。它涉及领域知识,直觉,最重要的是,一个漫长的试错过程。监督这一过程所涉及的人类注意力极大地影响了模型生成的成本。我们提出了一个新的框架,自动化功能工程。它基于对转换图的性能驱动探索,该转换图系统且紧凑地列举了给定选项的空间。通过对过去的例子进行强化学习,得到了一种高效的探索策略。
2017-09-21 cs.AI cs.LG stat.ML
LPC-SM: Local Predictive Coding and Sparse Memory for Long-Context Language Modeling
Independent Researcher, Suzhou, China(独立研究者,苏州,中国)
本文提出LPC-SM架构,通过分离局部注意力、持久记忆、预测修正和运行时控制,改进长上下文语言模型的性能,实验显示其在不同任务中均取得显著提升。
2026-03-12 cs.AI cs.CL cs.NE
AI-driven multi-omics integration for multi-scale predictive modeling of causal genotype-environment-phenotype relationships
Feil Family Brain & Mind Research Institute(费尔家族脑与心智研究所);Helen & Robert Appel Alzheimer’s Disease Research Institute(海伦与罗伯特·阿佩尔阿尔茨海默病研究所)
针对多组学数据预测因果基因型-环境-表型关系的挑战,提出AI驱动的生物学启发多尺度建模框架,整合多层面数据以提升预测能力并发现新靶点。
2024-07-08 cs.AI
Predictive Query Language: A Domain-Specific Language for Predictive Modeling on Relational Databases
Kumo.ai, Stanford University(Kumo.ai,斯坦福大学)
PQL是一种用于关系数据库预测建模的声明式语言,通过单个查询自动计算训练标签,支持多种机器学习任务,已在金融欺诈、推荐系统等领域应用。
2026-07-27 cs.AI cs.DB cs.LG
Automating Predictive Modeling Process using Reinforcement Learning
IBM Research AI(IBM研究人工智能部门(注:IBM Research AI是IBM Research的一部分,通常译为IBM研究人工智能部门或IBM人工智能研究院,但根据机构粒度要求,提取到公司/研究院级别,这里IBM本身是公司,Research AI可视为其研究部门))
建立一个好的预测模型需要一系列的活动,如数据填补,特征转换,估计选择,超参数搜索和集成建设。由于选项的空间大、复杂和异质,现成的优化方法对于现实的响应时间是不可行的。在实践中,大部分预测建模过程是由经验丰富的数据科学家进行的,他们有选择地使用可用的工具。随着时间的推移,他们对操作员的行为有了理解,并在不确定的情况下进行系列决策,通俗地说就是有根据的猜测。随着对监督机器学习应用的前所未有的需求,需要自动搜索这些任务中的参数的良好组合以最小化建模误差的解决方案。我们介绍了一种新的系统,称为APRL(自主预测建模通过强化学习),它使用过去的经验,通过强化学习优化这种顺序决策,从一组不同的行动在一个以前看不见的预测学习问题的时间约束。APRL动作被用来优化最终集合的性能。这与其他系统相反,其他系统首先最大化单个模型的准确性,并创建集成作为断开的后处理步骤。因此,APRL能够在各种各样的问题上平均减少高达71%的分类错误。
2019-03-02 cs.AI cs.LG stat.ML
Consistent Range Approximation for Fair Predictive Modeling
University of California, San Diego(加州大学圣地亚哥分校);Cornell University(康奈尔大学)
本文提出一致范围近似(CRA)框架,利用数据收集背景知识与有偏数据计算公平性查询范围,构建在目标群体上可证明公平的预测模型,效果显著优于现有方法。
2023-07-28 cs.AI cs.DB cs.LG
Predictive Modeling of Effluent Temperature in SAT Systems Using Ambient Meteorological Data: Implications for Infiltration Management
Mekorot Water Company(梅科洛特水务公司);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本研究利用环境气象数据构建并评估了MLR、NN和RF模型以预测SAT系统回灌池出水温度,其中MLR模型以R2=0.86-0.87的精度和操作简便性被选用,揭示了季节性温度循环及表土温度的关键作用,并为SAT运行管理提供了实用方程。
2025-07-05 cs.AI cs.LG
An approach to predictively securing critical cloud infrastructures through probabilistic modeling
Netaji Subhas Institute of Technology(内塔吉·苏巴斯理工学院);University of Delhi(德里大学);IIIT Delhi(德里英迪拉·甘地信息技术学院);University of California(加利福尼亚大学)
云基础设施越来越多地用于银行/金融、运输和公用事业管理等关键基础设施。最近的安全漏洞(包括关键基础设施上的安全漏洞)中使用的复杂性和资源表明,攻击者不再受到金钱/计算限制的限制。事实上,它们可以得到拥有大量财力和人力资源的实体的帮助。因此,迫切需要开发用于网络防御的预测方法,以加强关键基础设施专门使用的云基础设施。在过去,人们已经对应用博弈论、机器学习和贝叶斯网络等技术进行了广泛的研究,以预测关键基础设施的防御。然而,这些方法的一个主要缺点是,它们不包括概率人类行为,这限制了它们的预测能力。在本文中,提出了一种随机的方法来预测不太安全的状态,在关键的云系统,这可能会导致潜在的安全漏洞。在我们的方法中,这些不太安全的状态被视为“风险”状态。马尔可夫决策过程(MDP)用于通过一组功能准确地整合用户行为以及云基础设施的操作行为。开发的奖励/成本机制,然后用来选择适当的“行动”,以确定在未来的时间步骤,通过学习一个最佳的政策的风险状态。实验结果表明,该框架在识别未来的“风险”状态表现良好。通过这项工作,我们证明了使用概率建模(MDP)来预测性地保护关键云基础设施的有效性。
2018-10-29 cs.AI
Predictive State Representations: A New Theory for Modeling Dynamical Systems
University of Michigan(密歇根大学)
建模动态系统,无论是为了控制的目的,并对他们的行为作出预测,是无处不在的科学和工程。预测状态表示(PSR)是最近引入的一类离散时间动态系统的模型。PSR和密切相关的OOM(Jaeger的可观测算子模型)背后的关键思想是将系统的状态表示为一组可观测实验结果的预测。这使得PSR与基于历史的模型(如n阶马尔可夫模型)和基于隐藏状态的模型(如Hacks和POMDP)有很大的不同。我们引入了一个有趣的结构,系统动力学矩阵,并展示了如何可以简单地从它导出PSR。我们还使用这个结构正式表明,PSR是更一般的比n阶马尔可夫模型和HALF/POMDPs。最后,我们讨论了PSR和OOM之间的主要区别,并总结了未来工作的方向。
2012-07-11 cs.AI cs.LG
No Black Box Anymore: Demystifying Clinical Predictive Modeling with Temporal-Feature Cross Attention Mechanism
Carnegie Mellon University(卡内基梅隆大学)
本文提出时间-特征交叉注意力机制TFCAM,通过捕捉临床特征的时间动态交互提升可解释性,并在慢性肾脏病进展预测中超越LSTM和RETAIN基线。
2025-09-19 cs.AI cs.LG
Forecasting Electric Vehicle Battery Output Voltage: A Predictive Modeling Approach
Great Learning(伟大学院);PES-Great Learning(PES-伟大学院)
本文针对电动汽车电池性能不确定性问题,综述电池状态评估与BMS技术进展,并提出电池充电电压预测的建模方案。
2024-04-08 cs.AI cs.CV cs.SY
Predictive User Modeling with Actionable Attributes
Aalto University(阿尔托大学);HIIT(赫尔辛基信息技术研究所);Eindhoven University of Technology(埃因霍温理工大学)
不同的机器学习技术已经被提出并用于对个体和组用户需求、兴趣和偏好进行建模。在传统的预测建模中,实例是用可观测的变量(称为属性)来描述的。目标是学习一个模型,用于预测未知实例的目标变量。例如,出于营销目的,公司考虑根据观察到的网络浏览行为、推荐关键字或其他相关信息来分析新用户。在许多现实世界的应用中,一些属性的值不仅是可观察的,而且可以由决策者主动决定。此外,在一些这样的应用中,决策者不仅对生成准确的预测感兴趣,而且对最大化期望结果的概率感兴趣。例如,直销经理可以选择向客户发送哪种类型的特别优惠(可操作属性),希望正确的选择将以更高的概率产生积极的响应。我们研究了如何学习选择一个可操作的属性的值,以最大限度地提高预测建模中期望结果的概率。我们强调,并非所有情况对行动的变化都同样敏感。对于那些处于边缘的情况(例如,没有强烈意见的用户)来说,准确选择操作至关重要。我们制定了三个监督学习的学习方法来选择一个可操作的属性在实例级别的值。我们还介绍了一个集中的培训程序,把更多的重点放在不同的行动是最有可能采取的效果的情况。在网络分析和电子学习领域的两个现实世界的案例研究的概念验证实验验证的证明突出了所提出的方法的潜力。
2013-12-23 cs.AI
A Multi-Component AI Framework for Computational Psychology: From Robust Predictive Modeling to Deployed Generative Dialogue
Independent Researcher(独立研究者)
本文提出一个多组件AI框架,结合预测建模与生成对话,实现从心理状态分析到实际应用的完整研究到部署流程。
2025-12-15 cs.AI cs.HC cs.LG
Tempo: Helping Data Scientists and Domain Experts Collaboratively Specify Predictive Modeling Tasks
Carnegie Mellon University(卡内基梅隆大学);University of Pittsburgh(匹兹堡大学)
本文提出交互式系统 Tempo,通过时间查询语言和子群性能评估支持数据科学家与领域专家协作迭代预测模型规格,并以三个案例验证其能快速排除不可行方案。
2025-02-20 cs.AI cs.HC
GluMarker: A Novel Predictive Modeling of Glycemic Control Through Digital Biomarkers
Dartmouth College(达特茅斯学院)
提出GluMarker端到端框架,利用更广泛因素源建模数字生物标志物预测血糖控制,在Anderson数据集上达到最先进性能,并识别关键生物标志物以辅助糖尿病管理。
2024-04-19 cs.AI
Disentangled Skill Representations for Predictive Human Modeling
Toyota Research Institute(丰田研究所)
本研究提出SAIL方法,将人类技能建模为可解释多维构造,通过反事实子技能交换解耦,在赛车、棒球任务中预测性能优异,解耦效果优于基线且提升AI指导性能。
2026-08-26 cs.AI cs.LG
Predictive Modeling of Menstrual Cycle Length: A Time Series Forecasting Approach
Federal University of Semi-Arid Region(半干旱地区联邦大学)
该研究面向规律与不规律月经周期预测,比较多种时间序列机器学习算法并使用合成数据,验证了准确预测周期开始时间与持续时间的可行性。
2023-06-11 cs.AI cs.LG
Bridging Risk Approximation Gaps in Model Predictive Task Sampling via In-Context Modeling
该研究针对模型预测任务采样中风险近似的两种失效模式,将风险预测转化为上下文序列建模问题,开发了结合一步前瞻机制与时间加权滑动窗口的风险预测模型,在三类任务中实现了性能提升。
2026-10-14 cs.AI cs.LG
CliMB: An AI-enabled Partner for Clinical Predictive Modeling
University of Cambridge(剑桥大学);University Hospital Heidelberg(海德堡大学医院);NIHR BTRU, Cambridge(英国国家卫生研究院生物医学研究单位(剑桥))
为解决临床科学家难以使用先进AI工具构建预测模型的困境,本文提出无代码AI伙伴CliMB,通过自然语言引导完成医学数据科学全流程,并在评估中优于GPT-4,赋能临床科学家构建稳健预测模型。
2024-11-25 cs.AI cs.HC cs.LG
Probing Emergent Semantics in Predictive Agents via Question Answering
Georgia Institute of Technology(佐治亚理工学院);DeepMind(深度思维)
最近的研究表明,预测建模可以赋予智能体丰富的环境知识,提高他们在复杂环境中的行动能力。我们提出问答作为一种通用范式来解码和理解这种代理开发的表示,将我们的方法应用于最近的两种预测建模方法-动作条件CPC(Guo et al.,2018)和SimCore(Gregor等人,2019年)。在一个视觉丰富的3D环境中训练具有这些预测目标的智能体,其中包含各种各样的对象,颜色,形状和空间配置,我们用合成(英语)问题探测它们的内部状态表示,而不需要将梯度从问答解码器反向传播到智能体中。当以这种方式探索时,不同代理的表现表明,它们学会了从物理环境中编码关于物体,属性和空间关系的事实和看似组成的信息。我们的方法是直观的,即人类可以很容易地解释模型的响应,而不是检查连续向量,并且模型不可知,即适用于任何建模方法。通过揭示主体在学习过程中获得的对象、数量、属性和关系的隐含知识,问题条件主体探测可以刺激更强预测性学习目标的设计和发展。
2020-06-01 cs.AI cs.CL cs.LG
Benchmarking Model Predictive Control Algorithms in Building Optimization Testing Framework (BOPTEST)
Palo Alto Research Center Inc (PARC)(帕洛阿尔托研究中心公司(PARC));Korea Advanced Institute of Science and Technology(韩国科学技术院);Texas A&M University(德克萨斯农工大学)
本文提出一种结合可微代理模型与非线性MPC的建筑HVAC数据驱动控制框架,并在BOPTEST多案例中验证其建模与控制性能,展示模块化、可扩展和面向未来测试案例的适应性。
2024-04-01 cs.AI cs.LG cs.SY
Chain-of-Influence: Tracing Interdependencies Across Time and Features in Clinical Predictive Modelings
Carnegie Mellon University(卡内基梅隆大学)
Chain-of-Influence提出了一种可解释的深度学习框架,通过构建特征相互作用的显式时间展开图,实现了对临床预测模型中时间与特征间相互依赖关系的追溯,提升了模型的可解释性和透明度。
2026-01-18 cs.AI cs.LG stat.ML
Analysis and Predictive Modeling of Solar Coronal Holes Using Computer Vision and ARIMA-LSTM Networks
Stony Brook University(石溪大学);Defense Acquisition Program Administration (DAPA)(国防采办项目管理局)
本文利用计算机视觉检测SDO影像中的冕洞并估计面积,结合ARIMA-LSTM混合模型预测七天冕洞面积趋势,以揭示其行为模式及对空间天气的影响。
2024-07-31 astro-ph.EP astro-ph.SR cs.AI