Tensor Decomposition for Multi-agent Predictive State Representation
Xiamen University(厦门大学);Teesside University(提赛德大学)
预测状态表示(PSR)是用一个动作-观测序列向量来表示系统的动态特性,并预测未来事件发生的概率。它是一种简洁的知识表示,在单智能体规划问题域中得到了很好的研究。据我们所知,目前还没有使用PSR解决多智能体规划问题的工作。学习多智能体PSR模型是相当困难的,特别是随着智能体数量的增加,更不用说问题域的复杂性。在本文中,我们诉诸张量技术来解决具有挑战性的任务,多智能体PSR模型开发问题。首先针对两个智能体的情况,构造系统动力学矩阵作为PSR模型的高阶张量,分别通过两种不同的张量分解方法直接学习预测参数和推导状态向量,并通过线性回归得到过渡参数。随后,我们概括了PSR学习方法在多智能体设置。实验结果表明,我们的方法可以有效地解决多个问题域的多智能体PSR建模问题。
2020-05-27 cs.LG cs.MA
Improving speech emotion recognition via Transformer-based Predictive Coding through transfer learning
我已经向arXiv提交了一个新版本:1910.13806。我忘记选择替换旧版本,但提交了一个新的。是我的错
2019-10-31 cs.HC cs.LG stat.ML
Predictive State Representations: A New Theory for Modeling Dynamical Systems
University of Michigan(密歇根大学)
建模动态系统,无论是为了控制的目的,并对他们的行为作出预测,是无处不在的科学和工程。预测状态表示(PSR)是最近引入的一类离散时间动态系统的模型。PSR和密切相关的OOM(Jaeger的可观测算子模型)背后的关键思想是将系统的状态表示为一组可观测实验结果的预测。这使得PSR与基于历史的模型(如n阶马尔可夫模型)和基于隐藏状态的模型(如Hacks和POMDP)有很大的不同。我们引入了一个有趣的结构,系统动力学矩阵,并展示了如何可以简单地从它导出PSR。我们还使用这个结构正式表明,PSR是更一般的比n阶马尔可夫模型和HALF/POMDPs。最后,我们讨论了PSR和OOM之间的主要区别,并总结了未来工作的方向。
2012-07-11 cs.AI cs.LG
Intra-domain and cross-domain transfer learning for time series data -- How transferable are the features?
University of Rijeka(里耶卡大学);Istituto Nazionale di Geofisica e Vulcanologia(国家地球物理与火山研究所);Roma Tre University(罗马第三大学);Center for Artificial Intelligence and Cybersecurity, University of Rijeka(里耶卡大学人工智能与网络安全中心)
在实践中,收集足够大的标记数据的数据集以成功地训练机器学习模型是非常苛刻的,有时是不可能的,并且这个问题的一个可能的解决方案是迁移学习。本研究的目的是评估如何转移的时间序列数据的不同领域之间的功能,以及在何种条件下。迁移学习的效果观察的预测性能的模型和它们的收敛速度在训练过程中。在我们的实验中,我们使用1,500和9,000个数据实例的简化数据集来模拟真实世界的条件。使用相同的缩小数据集,我们训练了两组机器学习模型:使用迁移学习训练的模型和从头开始训练的模型。四个机器学习模型被用于实验。知识转让是在同一应用领域(地震学)内进行的,也是在相互不同的应用领域(地震学、语言、医学、金融)之间进行的。我们观察了模型的预测性能和训练过程中的收敛速度。为了确认所获得的结果的有效性,我们重复了七次实验,并应用统计检验来确认结果的显著性。我们研究的一般结论是,迁移学习很可能增加或不负面影响模型的预测性能或其收敛速度。对收集到的数据进行更详细的分析,以确定哪些来源和目标领域适合知识转让。我们还分析了目标数据集大小和模型及其超参数的选择对迁移学习效果的影响。
2022-01-12 cs.LG
PAC Reinforcement Learning for Predictive State Representations
Princeton University(普林斯顿大学);Cornell University(康奈尔大学)
本文研究了部分可观测动态系统中的在线强化学习。我们专注于预测状态表示(PSRs)模型,这是一个表达模型,捕获其他知名的模型,如部分可观察马尔可夫决策过程(POMDP)。PSR使用未来观测的一组预测来表示状态,并且完全使用可观测量来定义。我们开发了一种新的基于模型的算法的PSR,可以学习一个接近最优的政策,在样本复杂性缩放多项式的所有相关参数的系统。我们的算法自然地与函数近似一起工作,以扩展到具有潜在的大状态和观测空间的系统。我们表明,给定一个可实现的模型类,学习近最优策略的样本复杂度只与模型类的统计复杂度成多项式关系,而不依赖于状态空间和观测空间的大小。值得注意的是,我们的工作是第一个工作,显示多项式样本复杂性的竞争与全局最优的政策在PSR。最后,我们展示了如何我们的一般定理可以直接用于推导样本的复杂性边界的特殊模型,包括$m$ -步骤弱揭示和$m$ -步骤解码的表格POMDPs,POMDPs与低秩潜在的过渡,和POMDPs与线性发射和潜在的过渡。
2022-08-13 cs.LG
Transfer Regression via Pairwise Similarity Regularization
University of California, Davis(加州大学戴维斯分校)
迁移学习方法解决了这样的情况,其中存在来自“目标”问题的很少的标记训练数据,但是来自相关“源”域的很多训练数据是可用的。然而,绝大多数迁移学习方法是针对简单设置设计的,其中源和目标预测函数几乎相同,限制了迁移学习方法对真实世界数据的适用性。我们提出了一种新的,较弱的,属性的源域,即使在源和目标预测函数发散时,也可以转移。我们的方法假设源函数和目标函数共享一个成对相似性属性,如果源函数对一对实例做出相似的预测,那么目标函数也会如此。我们提出了成对相似正则化转移,一个灵活的基于图的正则化框架,可以将这种建模假设纳入标准的监督学习算法。我们展示了用户如何将领域知识以空间连续性的形式编码到我们的正则化器中,成对的“相似性约束”以及我们的方法如何使用Nystrom近似扩展到大型数据集。最后,我们提出了积极的和消极的结果,真正的和合成数据集,并讨论当我们的成对相似性转移假设似乎在实践中举行。
2017-12-23 cs.LG
Efficient Learning and Planning with Compressed Predictive States
McGill University(麦吉尔大学)
预测状态表示(PSR)为部分可观测系统建模提供了一个表达框架。通过将系统压缩表示为可观测量的函数,PSR学习方法避免使用局部最小值倾向的期望最大化,而是采用全局最优的基于矩的算法。此外,由于PSR不需要一个预定的潜在状态结构作为输入,他们提供了一个有吸引力的框架,基于模型的强化学习时,代理必须计划没有先验访问系统模型。遗憾的是,PSR的表达能力伴随着显著的计算成本,并且该成本是抑制PSR在应用中的使用的主要因素。为了克服这一缺点,我们引入了压缩PSR(CPSR)的概念。CPSR学习方法结合了降维、增量矩阵分解和压缩感知的最新进展。我们展示了这种方法如何为学习PSR的精确近似提供原则性途径,大大降低了与学习相关的计算成本,同时还提供了有效的正则化。更进一步,我们提出了一个规划框架,利用这些学习模型。我们表明,这种方法有利于模型学习和规划在大型复杂的部分可观察的领域,这是不可行的,如果没有压缩的原则使用的任务。
2014-07-20 cs.LG stat.ML
Multi-Source Transfer Learning for Non-Stationary Environments
University of Leicester(莱斯特大学);University of Birmingham(伯明翰大学)
在数据流挖掘中,预测模型通常会由于概念漂移而导致预测性能下降。由于必须收集表示新概念的足够数据以使新概念被很好地学习,因此现有模型的预测性能通常需要一些时间来从概念漂移中恢复。为了提高数据流挖掘中概念漂移的恢复速度和预测性能,提出了一种新的非静态环境下的多源在线迁移学习方法(Melanie)。Melanie是第一种能够在非静态环境中的多个数据流源之间传输知识的方法。它创建了几个子分类器,随着时间的推移从不同的源和目标概念中学习不同的方面。识别与当前目标概念匹配良好的子分类器,并将其用于组成用于从目标概念预测示例的集成。我们评估梅兰妮几个合成数据流包含不同类型的概念漂移和现实世界的数据流。实验结果表明,Melanie算法能够处理多种数据流漂移,并通过利用多个数据源提高预测性能。
2019-03-22 cs.LG stat.ML
Accelerating Transfer-Learning-Based Autotuning with Predictive LLVM IR Performance Ranking
Iowa State University(爱荷华州立大学);Clemson University(克莱姆森大学);AMD(超威半导体公司);Argonne National Laboratory(阿贡国家实验室)
提出基于迁移学习的自动调优框架,利用神经配置评分器对LLVM IR性能排序,减少评估开销,实现与最先进技术相当的性能,评估次数最多减少61.67%。
2026-09-30 cs.LG cs.PF
Neuroscience-Inspired Memory Replay for Continual Learning: A Comparative Study of Predictive Coding and Backpropagation-Based Strategies
Dartmouth College(达特茅斯学院)
本文提出一种受神经科学启发的持续学习框架,通过比较预测编码与反向传播策略,展示预测编码在提升模型保留性能方面的优势。
2025-11-29 cs.AI cs.LG
Boosting-inspired online learning with transfer for railway maintenance
GECAD, ISEP, Polytechnic of Porto(波尔图理工学院GECAD、ISEP)
本文提出BOLT-RM模型,将Boosting启发的知识共享机制与在线持续学习相结合,用于铁路轮轨故障预测性维护,有效克服灾难性遗忘并在多域仿真中显著提升车轮异常识别能力。
2025-04-11 cs.LG
From Source to Target: Leveraging Transfer Learning for Predictive Process Monitoring in Organizations
Chair of Digital Industrial Service Systems, Friedrich-Alexander-Universität Erlangen-Nürnberg(数字工业服务系统教授,弗赖堡-亚历山大大学埃尔兰根-纽伦堡);Professorship for Business Analytics, Technische Hochschule Nürnberg Georg Simon Ohm(商业分析教授,技术学院纽伦堡乔治·西蒙·奥姆)
本文提出基于迁移学习的预测性流程监控方法,通过在组织内和跨组织场景迁移预训练模型等资源,解决目标组织事件数据不足的问题,并在 IT 服务管理流程实验中验证其有效性。
2025-09-30 cs.CL cs.DB cs.LG
SmallML: Bayesian Transfer Learning for Small-Data Predictive Analytics
Independent Researcher(独立研究者)
针对中小企业因数据规模小被排除在AI之外的问题,提出贝叶斯迁移学习框架SmallML,通过三层架构实现小数据(50-200观测值)下的企业级预测精度,填补AI民主化空白。
2025-11-18 cs.LG stat.ML
Provably Efficient UCB-type Algorithms For Learning Predictive State Representations
The Pennsylvania State University(宾夕法尼亚州立大学);The Ohio State University(俄亥俄州立大学)
本文提出首个计算可处理的UCB型算法用于学习预测状态表示,通过新颖的奖励项上界模型间全变差距离,实现在线与离线场景下样本复杂度界及近最优策略保证。
2024-02-06 cs.LG stat.ML
Towards a Universal Vibration Analysis Dataset: A Framework for Transfer Learning in Predictive Maintenance and Structural Health Monitoring
University of Ottawa(渥太华大学);Universidade Federal do Espírito Santo(圣埃斯皮里图联邦大学);Instituto Federal do Espírito Santo(圣埃斯皮里图联邦学院)
针对振动分析领域缺乏大规模标注数据集的问题,提出以轴承振动数据为起点的通用振动分析数据集框架,实验验证预训练加微调可提升模型性能,未来将扩展数据并标准化方法以推动工业智能系统发展。
2025-04-15 cs.LG eess.SP
Predicting with Proxies: Transfer Learning in High Dimension
Wharton School(沃顿商学院)
预测分析越来越多地用于指导许多应用程序的决策。然而,在实践中,我们通常对真正感兴趣的预测任务的数据有限,而必须依赖于密切相关的代理预测任务的更丰富的数据。例如,电子商务平台使用丰富的客户点击数据(代理)来进行产品推荐,而不是相对稀疏的客户购买数据(真正的利益结果);或者,医院通常依赖于在不同患者人群(代理)而不是他们自己的患者人群(真正的利益队列)上训练的医疗风险评分来分配干预措施。然而,不考虑代理人的偏见可能会导致次优决策。使用真实的数据集,我们发现这种偏差通常可以通过特征的稀疏函数来捕获。因此,我们提出了一种新的两步估计,使用高维统计技术,有效地结合了大量的代理数据和少量的真实数据。我们证明了我们提出的估计器的误差上限和数据科学家使用的几种算法的下限;特别是,我们提出的估计器可以在真实数据(特征数量)呈指数级减少的情况下实现相同的准确性。我们的证明依赖于一个新的LASSO尾不等式近似稀疏向量。最后,我们证明了我们的方法在电子商务和医疗保健数据集上的有效性;在这两种情况下,我们都实现了更好的预测准确性以及对代理数据中偏见性质的管理见解。
2020-05-05 cs.LG stat.ML
Nurse-in-the-Loop Artificial Intelligence for Precision Management of Type 2 Diabetes in a Clinical Trial Utilizing Transfer-Learned Predictive Digital Twin
Sam Houston State University(山姆休斯顿州立大学);The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校);The University of Texas Health San Antonio(德克萨斯大学圣安东尼奥健康科学中心);Florida State University(佛罗里达州立大学)
本研究开发了基于迁移学习预测数字孪生的在线护士在环预测控制(ONLC)模型,通过结合患者自我监测数据与护士专业知识,为2型糖尿病患者提供个性化反馈,实现≥80%的预测准确率并改善患者健康行为。
2024-01-05 cs.AI cs.LG
Multi-modal cascade feature transfer for polymer property prediction
NEC Corporation(日本电气株式会社);National Institute of Advanced Industrial Science and Technology(产业技术综合研究所);Kyoto University(京都大学)
本文提出多模态级联特征迁移模型,将图卷积神经网络提取的化学结构特征与分子描述符及添加剂信息融合,在多个聚合物数据集上实现了优于单一特征基线方法的性质预测性能。
2025-05-07 cs.LG stat.ML
MELEP: A Novel Predictive Measure of Transferability in Multi-Label ECG Diagnosis
College of Engineering and Computer Science, VinUniversity(VinUniversity工程与计算机科学学院);VinUni-Illinois Smart Health Center, VinUniversity(VinUniversity VinUni-伊利诺伊智能健康中心)
针对多标签 ECG 诊断的迁移效果评估难题,本文提出仅需一次前向传播的 MELEP 指标,可在小样本不平衡数据上有效预测微调模型性能。
2024-06-12 cs.CV cs.LG eess.SP
Selecting Bases in Spectral learning of Predictive State Representations via Model Entropy
Xiamen University(厦门大学)
预测状态表示(PSR)是用于建模动态系统的强大技术,它将状态表示为关于未来可观察事件(测试)的预测向量。在PSR中,基本问题之一是底层系统的PSR模型的学习。最近,谱方法已成功地用于解决这个问题,通过处理学习问题的任务计算奇异值分解(SVD)的一个特殊类型的矩阵称为汉克尔矩阵的子矩阵。在假设Hankel矩阵的子矩阵的行和列足够多(这通常意味着行和列的数目非常大,并且在实际中几乎是失败的)并且矩阵的元素可以被精确估计的情况下,证明了用于学习PSR的谱方法是统计一致的,并且学习的参数可以收敛到真实参数。然而,在实践中,由于计算能力的限制,只能选择有限的行或列的集合用于谱学习。而不同的列集通常会导致不同的学习模型的准确性,在本文中,我们提出了一种方法来选择的列集,即基选择,采用模型熵的概念来衡量学习模型的准确性。实验结果证明了该方法的有效性。
2016-12-29 cs.LG stat.ML
Transfer learning driven design optimization for inertial confinement fusion
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
本研究针对惯性约束聚变(ICF)设计优化问题,提出迁移学习驱动结合贝叶斯优化的方法,在不到20次实验中实现接近最大产额的效果,效率优于传统校准技术,可实现不确定条件下实验性能的稳健优化。
2022-05-26 cs.LG physics.plasm-ph
Predictive Complexity Priors
University of Amsterdam(阿姆斯特丹大学);University of Cambridge(剑桥大学)
众所周知,贝叶斯先验对于诸如神经网络之类的复杂模型是非常困难的。空间的高维性和过度参数化使得关于参数的推理变得具有挑战性。看起来良性和无信息的先验可能对模型的预测产生不直观和有害的影响。出于这个原因,我们提出了预测复杂性先验:通过将模型的预测与参考模型的预测进行比较来定义的函数先验。虽然最初定义在模型输出上,但我们通过改变变量将先验转移到模型参数上。然后,传统的贝叶斯工作流程可以照常进行。我们在高维回归之前应用我们的预测复杂性,对神经网络深度进行推理,并共享Few-Shot学习的统计强度。
2020-10-21 cs.LG stat.ML
Very Exciting: Zero-Shot Model Predictive Control of Buildings via Excitation-Based Generalized Transfer Learning Models
Technical University of Applied Sciences Rosenheim(罗森海姆应用技术大学);Technical University of Munich(慕尼黑工业大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Alan Turing Institute(艾伦·图灵研究所)
针对数据驱动建筑模型预测控制需大量数据训练的问题,提出基于激励数据的广义迁移学习模型,实现零样本控制,性能优于在线线性模型和PI控制器。
2026-09-16 cs.LG cs.SY eess.SY
TRACER: Transfer Learning based Real-time Adaptation for Clinical Evolving Risk
Duke University School of Medicine(杜克大学医学学院);Duke AI Health(杜克AI健康);Department of Biostatistics and Bioinformatics(生物统计学与生物信息学系);Duke-NUS Medical School(杜克-新加坡国立大学医学院);Centre for Quantitative Medicine(定量医学中心);Duke-NUS AI + Medical Sciences Initiative(杜克-新加坡国立大学AI+医学科学倡议);Pre-hospital & Emergency Research Centre(急救与应急研究中心);Health Services and Systems Research(卫生服务与系统研究);NUS Artificial Intelligence Institute(新加坡国立大学人工智能研究所)
TRACER通过迁移学习实时适应临床风险演变,提升预测模型在动态临床环境中的鲁棒性与准确性。
2025-12-14 cs.LG stat.ME
Data-Efficient Image Recognition with Contrastive Predictive Coding
DeepMind;University of California, Berkeley(加利福尼亚大学伯克利分校)
人类观察者可以从少数几个例子中学习识别新的图像类别,但用人工图像来识别仍然是一个开放的挑战。我们假设,数据有效的识别是由表示,使自然信号的变化更可预测。因此,我们重新审视并改进了对比预测编码,这是一种用于学习此类表示的无监督目标。这种新的实现产生的功能支持ImageNet数据集上最先进的线性分类精度。当用作深度神经网络的非线性分类的输入时,这种表示允许我们使用比直接在图像像素上训练的分类器少2- 5倍的标签。最后,这种无监督表示大大改进了PASCAL VOC数据集上目标检测的迁移学习,超过了完全监督的预训练ImageNet分类器。
2020-07-01 cs.CV cs.LG
Domain Adaptation for Robot Predictive Maintenance Systems
Institute for Human and Machine Cognition (IHMC)(人机认知研究所(IHMC));ABB Future Labs(ABB未来实验室)
工业机器人在越来越多的领域发挥着越来越重要的作用。例如,机器人技术用于提高生产率,同时降低制造业各个方面的成本。由于机器人通常安装在生产线上,因此单个机器人的故障会对整个过程产生负面影响,在最坏的情况下,整条生产线将停止运行,直到问题得到解决,从而导致不可预见的停机时间造成重大经济损失。因此,基于机器人内部信号的预测性维护系统作为机器人服务产品的重要组成部分而受到关注。现有的预测性维护算法的主要缺点是,当机器人的操作发生变化时,提取的特征通常与学习的模型显著不同,从而导致错误警报。为了缓解这个问题,预测性维护算法需要使用新操作的正常数据重新训练模型。在本文中,我们提出了一种基于迁移学习的新解决方案,将训练模型的知识从一个操作传递到另一个操作,以防止重新训练的需要并消除这种假警报。所提出的无监督迁移学习算法在真实世界数据集上的部署表明,该算法不仅可以区分操作和机械条件变化,而且在机械条件变化的情况下,它进一步产生与训练模型的更尖锐的偏差,从而以更高的置信度检测机械问题。
2020-02-24 cs.AI cs.CV cs.LG
Transfer Learning in Astronomy: A New Machine-Learning Paradigm
Department of Computer Science, University of Houston(休斯顿大学计算机科学系);University of Houston(休斯顿大学)
机器学习工具在科学领域的广泛传播,特别是在天文学领域,揭示了使用简单的单任务场景的局限性,在这种场景中,任何需要预测模型的任务都被孤立地看待,而忽略了其他类似任务的存在。相比之下,新一代技术正在出现,预测模型可以利用以前的经验来利用类似任务的信息。新出现的领域被称为迁移学习。在本文中,我简要描述了使用迁移学习技术背后的动机,并解释了如何使用这种技术来解决天文学中的流行问题。例如,天文学中普遍存在的问题是估计物体的类别(例如,超新星Ia)使用一代光度光变曲线数据集,其中数据丰富,但类别标签很少;这种分析可以受益于光谱数据,其中类别标签具有高置信度,但数据样本很小。迁移学习提供了一种强大而实用的解决方案,可以利用来自一个领域的信息来提高构建在不同领域上的模型的准确性。在上面的例子中,迁移学习将试图克服光谱数据和光度数据之间模型兼容性的困难,因为数据属性,如大小,类别先验和底层分布,都预计会显着不同。
2018-12-20 astro-ph.HE astro-ph.IM cs.LG
Closing the Learning-Planning Loop with Predictive State Representations
Carnegie Mellon University(卡内基梅隆大学)
人工智能的一个核心问题是在部分可观测的环境中,在不确定性条件下如何规划以最大化未来的回报。在本文中,我们提出并证明了一种新的算法,准确地学习这样的环境模型直接从序列的行动观察对。然后,我们通过在学习的模型中进行规划并恢复在原始环境中接近最优的策略来关闭从观察到行动的循环。具体来说,我们提出了一个有效的和统计上一致的频谱算法学习的参数的预测状态表示(PSR)。我们通过学习一个模拟的高维,基于视觉的移动机器人规划任务的模型来演示该算法,然后在学习的PSR中执行近似的基于点的规划。我们的结果分析表明,该算法学习的状态空间,有效地捕捉环境的基本特征。这种表示允许使用少量参数进行准确预测,并实现成功和有效的规划。
2009-12-12 cs.AI cs.LG
Forecasting adverse surgical events using self-supervised transfer learning for physiological signals
University of Washington(华盛顿大学);Microsoft Research(微软研究院)
全世界每年发生数亿次外科手术,这产生了一种流行类型的电子健康记录(EHR)数据,包括时间序列生理信号。在这里,我们提出了一种可转移的嵌入方法(即,一种将时间序列信号转换为预测性机器学习模型的输入特征的方法),称为PHASE(生理信号嵌入),其使我们能够基于生理信号更准确地预测不良手术结果。我们在来自两个手术室(OR)数据集和重症监护室(ICU)数据集的50,000多例手术的逐分钟EHR数据上评估PHASE。PHASE优于其他最先进的方法,例如在原始数据上训练的长短期记忆网络和在手工特征上训练的梯度增强树,预测五种不同的结果:低氧血症,低碳酸血症,低血压,高血压和苯肾上腺素给药。在迁移学习设置中,我们在一个数据集中训练嵌入模型,然后在看不见的数据中嵌入信号并预测不良事件,与传统方法相比,PHASE以更低的计算成本实现了更高的预测准确性。最后,考虑到理解模型在临床应用中的重要性,我们证明了PHASE是可解释的,并使用局部特征归因方法验证了我们的预测模型。
2021-01-21 cs.LG eess.SP stat.ML
Predictive-State Decoders: Encoding the Future into Recurrent Networks
The Robotics Institute, Carnegie-Mellon University(卡内基梅隆大学机器人研究所);School of Interactive Computing, Georgia Institute of Technology(佐治亚理工学院交互计算学院)
递归神经网络(RNN)是一种重要的建模技术,它依赖于通过优化监督、无监督或强化训练损失间接学习的内部状态。RNN用于对动态过程进行建模,这些动态过程的特征在于潜在的潜在状态,其形式通常是未知的,从而排除了RNN内部的分析表示。在预测状态表示(PSR)的文献中,潜在的状态过程建模的内部状态表示,直接模拟未来的观察结果的分布,在这方面的最新工作依赖于明确表示和针对充分统计量,这个概率分布。我们试图通过使用预测状态解码器(PSD)来增强现有的最先进的递归神经网络,从而结合RNN和PSR的优势,PSD为网络的内部状态表示添加监督,以预测未来的观察结果。预测状态解码器易于实现,并且可以通过额外的损失正则化轻松集成到现有的训练管道中。我们证明了PSD的有效性与实验结果在三个不同的领域:概率过滤,模仿学习和强化学习。在每一种情况下,我们的方法都提高了最先进的经常性基线的统计性能,并且使用更少的迭代和更少的数据。
2017-09-25 cs.LG stat.ML
Recurrent Predictive State Policy Networks
Carnegie Mellon University(卡内基梅隆大学);Instituto Superior Técnico(高等技术研究所);University of Washington(华盛顿大学)
我们介绍了循环预测状态策略(RPSP)网络,这是一种循环架构,可以在部分可观察环境中从预测状态表示中获得见解,从而进行强化学习。预测状态策略网络由一个递归过滤器和一个反应策略组成,递归过滤器跟踪关于环境状态的信念,反应策略直接将信念映射到行动,以最大化累积奖励。递归滤波器利用预测状态表示(PSR)(Rosencrantz和Gordon,2004; Sun等人,2016年)通过建模预测状态-预测未来观测的分布,以历史和未来行动为条件。这种表示产生了丰富的一类统计上一致的算法(Hefny等人,2018)来初始化递归滤波器。预测状态充当信念状态的等价表示。因此,RPSP网络的策略组件可以是纯反应性的,简化了训练,同时仍然允许最佳行为。此外,我们还在训练过程中使用PSR解释,将预测误差纳入损失函数。整个网络(递归滤波器和反应策略)仍然是可微的,可以使用基于梯度的方法进行训练。我们使用基于奖励的策略梯度(Williams,1992)和基于预测误差的梯度下降的组合来优化我们的策略。我们展示了RPSP网络在部分可观测性下对OpenAI Gym的一组机器人控制任务的有效性。我们的经验表明,RPSP网络表现良好的存储器保存网络,如GRU,以及有限的内存模型相比,是整体性能最好的方法。
2018-03-05 cs.AI cs.LG stat.ML
Model-based Reinforcement Learning for Continuous Control with Posterior Sampling
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
平衡探索和利用是强化学习(RL)的关键。本文对连续状态-动作空间中基于模型的后验采样强化学习(PSRL)进行了理论和实证研究。首先,我们证明了连续空间中PSRL的第一后悔界,据我们所知,它是关于情节长度的多项式。假设奖励和转移函数可以用贝叶斯线性回归建模,我们开发了$\tilde{O}(H^{3/2}d\sqrt{T})$的后悔界,其中$H$是情节长度,$d$是状态-动作空间的维数,$T$表示总的时间步长。这一结果与线性MDP中非PSRL方法的最著名的遗憾界相匹配。我们的界可以扩展到非线性的情况下,以及与特征嵌入:使用线性内核的特征表示$ϕ$,遗憾界成为$\tilde{O}(H^{3/2}d_ϕ\sqrt{T})$,其中$d_ϕ$是表示空间的维数。此外,我们提出了MPC-PSRL,基于模型的后验采样算法与模型预测控制的动作选择。为了捕捉模型中的不确定性,我们在神经网络的倒数第二层(特征表示层$ϕ$)上使用贝叶斯线性回归。实验结果表明,我们的算法实现了最先进的样本效率在基准连续控制任务相比,以前的基于模型的算法,并匹配无模型算法的渐近性能。
2021-11-16 cs.LG
VJEPA: Variational Joint Embedding Predictive Architectures as Probabilistic World Models
VJEPA通过变分目标学习预测分布,统一表征学习与贝叶斯过滤,提供概率世界模型框架,适用于高维噪声环境中的鲁棒规划。
2026-01-20 cs.LG
Predictive Representations for Skill Transfer in Reinforcement Learning
Imperial College(帝国理工学院);UCL(伦敦大学学院)
本文提出基于状态抽象的预测状态表示,用于提升强化学习中的技能转移能力,通过引入基于选项的抽象动作实现跨任务的知识迁移。
2026-04-08 cs.LG
Hierarchical Successor Representation for Robust Transfer
University of Cambridge(剑桥大学);DeepMind(深度思维)
提出层次化后继表示(HSR),通过时间抽象构建鲁棒的状态特征,结合非负矩阵分解实现稀疏低秩表示,支持多隔间环境下的高效任务迁移与探索。
2026-06-12 cs.LG
Partially Observable RL with B-Stability: Unified Structural Condition and Sharp Sample-Efficient Algorithms
Peking University(北京大学);Salesforce Research(赛富时研究院);UC Berkeley(加州大学伯克利分校)
部分可观察性--代理只能观察到关于系统真实底层状态的部分信息--在强化学习(RL)的现实应用中无处不在。从理论上讲,学习一个接近最优的政策下的部分可观性是已知的困难,在最坏的情况下,由于指数样本的复杂性下界。最近的工作已经确定了几个易于处理的子类,可以用多项式样本学习,例如具有某些揭示或可解码条件的部分可观察马尔可夫决策过程(POMDPs)。然而,这方面的研究仍处于起步阶段,其中(1)缺乏实现样本有效学习的统一结构条件;(2)已知易处理子类的现有样本复杂性远未达到尖锐程度;(3)与完全可观察的RL相比,可用的样本有效算法较少。本文在预测状态表示(PSR)的一般设置下,对部分可观察强化学习提出了上述三个方面。首先,我们提出了一个自然和统一的结构条件称为\emph{B-stability}的PSR。B-稳定的PSR包括绝大多数已知的易处理的子类,例如弱揭示POMDPs,低秩未来足够的POMDPs,可解码的POMDPs和常规PSR。接下来,我们证明了任何B-稳定PSR都可以通过相关问题参数的多项式样本来学习。当在上述子类中实例化时,我们的样本复杂度比当前最好的样本复杂度有了很大的提高。最后,我们的结果是同时实现三个算法:乐观最大似然估计,估计决策,基于模型的乐观后验抽样。后两种算法是新的样本有效的学习POMDP/PSR。
2022-12-16 cs.AI cs.LG math.ST
Beyond Correctness: Evaluating Semantic Knowledge in Cross-Table Transfer
Korea University(高丽大学)
本研究揭示语义消融评估可能误导预测收益结论,提出区分内容敏感性与预测效用,并倡导根据研究问题选择对照的评估原则。
2026-11-13 cs.LG
Self-Adapting Goals Allow Transfer of Predictive Models to New Tasks
University of Oslo(奥斯陆大学)
强化学习的一个长期挑战是使智能体能够学习其环境的模型,该模型可以被转移到具有相同底层规则的世界中解决其他问题。这很困难的一个原因是学习环境的准确模型的挑战。如果这样的模型是不准确的,代理人的计划和行动将可能是次优的,并可能导致错误的结果。基于模型的强化学习的最新进展提高了智能体学习和使用预测模型的能力。在本文中,我们扩展了最近的深度学习架构,该架构学习环境的预测模型,该模型旨在仅预测几个关键测量值,这些测量值指示代理的性能。仅预测环境的几个测量值而不是整个未来状态,使得学习有价值的预测模型更加可行。我们用一个小的、不断发展的神经网络来扩展这个预测模型,它可以建议在当前状态下追求的最佳目标。我们证明,这使得预测模型转移到新的情况下,目标是不同的,自适应目标甚至可以在线调整代理的行为,改变其策略,以适应当前的情况。
2019-05-15 cs.AI cs.LG cs.NE
RD-JEPA: Predictive latent pretraining for few-trajectory transfer across reaction--diffusion equations
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
针对反应-扩散方程代理模型迁移需新模拟数据的问题,提出RD-JEPA自监督预训练架构,在五个系统预训练后适应三个保留系统,用少量轨迹即超越多种基线,实现数据高效迁移。
2026-09-25 cs.AI cs.LG
A Predictive Surrogate Model for Heat Transfer of an Impinging Jet on a Concave Surface
International School for Advanced Studies (SISSA)(国际高等研究学院(SISSA));Semnan University(塞姆南大学);University of Urbino Carlo Bo(乌尔比诺卡洛·博大学)
本文研究了模型降阶和深度学习技术在脉冲射流冲击凹面传热预测中的有效性,提出了FFT-ANN和POD-LSTM两种预测代理模型,分别用于恒定和随机频率场景,验证了机器学习方法在复杂传热建模中的优越性。
2024-02-16 cs.CE cs.LG cs.NA
Mira: Memory-Efficient MoE Inference Using Adaptive Caching and Predictive Expert Staging
University of Maryland, College Park(马里兰大学学院公园分校)
针对MoE模型在单GPU上推理时专家参数内存占用大、路由动态导致缓存效率低的问题,提出算法-系统协同设计Mira,通过预测性专家预取和定制量化缓存,实现5.71倍吞吐量提升。
2026-09-30 cs.LG
Adversarial Drift-Aware Predictive Transfer: Toward Durable Clinical AI
ADAPT通过最小化年度性能下降,无需重新训练或标记数据,提供了一种在医疗领域维持可靠AI的可扩展方法。
2026-01-21 cs.LG stat.AP stat.ME
Digital Twin Technologies in Predictive Maintenance: Enabling Transferability via Sim-to-Real and Real-to-Sim Transfer
Carnegie Mellon University(卡内基梅隆大学)
本文提出通过集成现实差距分析模块和数据管道,实现数字孪生技术在预测性维护中的仿真到现实和现实到仿真双向知识转移。
2025-05-15 cs.AI cs.CE cs.CY
GEC: A Unified Framework for Interactive Decision Making in MDP, POMDP, and Beyond
Northwestern University(西北大学);Peking University(北京大学);The Hong Kong University of Science and Technology(香港科技大学);Yale University(耶鲁大学)
本文提出广义eluder系数(GEC)来刻画强化学习中探索与利用的权衡,涵盖MDP、POMDP等场景,并设计了一种通用的后验采样算法,通过次线性遗憾上界证明了其样本高效性。
2023-06-30 cs.AI cs.LG math.OC
Transfer Learning using Representation Learning in Massive Open Online Courses
Hong Kong University of Science and Technology(香港科技大学);Massachusetts Institute of Technology(麻省理工学院)
在大规模开放式在线课程(MOOC)中,学生行为的预测模型可以支持学习的多个方面,包括教师反馈和及时干预。正在进行的课程,当学生的结果是未知的,必须依赖于从以前提供的课程的历史数据训练的模型。可以转移模型,但它们的预测性能通常很差。原因之一是,这些特征不能充分代表两种课程共有的预测属性。我们提出了一个自动化的转导迁移学习方法,解决这个问题。它依赖于MOOC点击流数据的问题不可知的时间组织,其中,对于每个学生,对于多个课程,每个时间单元表示一组特定的MOOC事件类型。它由两种基于自动编码器的表示学习的替代传输方法组成:一种是使用转导主成分分析的被动方法,另一种是使用相关对齐损失项的主动方法。通过这些方法,我们研究了辍学预测在相似和不相似的MOOC之间的可转移性,并与已知方法进行了比较。结果表明,改进的模型可移植性,并表明该方法能够自动学习表达MOOC共同预测特征的特征表示。
2018-12-18 cs.CY cs.LG stat.ML
EMG-GPT: Predictive Pretraining on Residual-Quantized EMG Tokens for Hand Pose Estimation
Imperial College London(帝国理工学院)
本文提出EMG-GPT,一种基于因果Transformer的模型,利用残差量化sEMG令牌进行自监督预训练,通过深度自回归未来代码预测学习时间动态,在手部姿态估计的回归和跟踪任务中取得竞争性结果,验证了仅EMG预训练的有效性。
2026-10-06 cs.AI cs.LG
Can Embedding Similarity Predict Cross-Lingual Transfer? A Systematic Study on African Languages
Carnegie Mellon University Africa(卡内基梅隆大学非洲分校);North-West University(北开普敦大学)
本文通过系统评估五种嵌入相似性度量,发现余弦间隙和检索度量能有效预测跨语言迁移成功,同时揭示了模型特定分析的重要性。
2026-01-06 cs.CL cs.LG
Tracing the Unlabeled Storm: Cross-Variable Transfer in a Lagrangian Atmospheric JEPA Framework
该研究提出跨变量代理学习方法,基于M-JEPA在无降水监督下预训练,实现了优于ECMWF集合的季风降水预测,为大气表示迁移提供诊断框架。
2026-08-25 cs.LG physics.geo-ph
Generative Pre-Training for Speech with Autoregressive Predictive Coding
从未注释的语音中学习适用于广泛任务的有意义的和一般的表示仍然具有挑战性。在本文中,我们建议使用自回归预测编码(APC),最近提出的自我监督的目标,作为一种生成的预训练方法学习有意义的,非特定的,可转移的语音表示。我们在大规模未标记数据上预训练APC,并在三个语音应用程序上进行迁移学习实验,这些应用程序需要关于语音特征的不同信息才能表现良好:语音识别,语音翻译和说话人识别。大量的实验表明,APC不仅优于表面特征(例如,log Mel spectrograms)和其他流行的表示学习方法,但在减少下游标记数据大小和模型参数方面也很有效。我们还研究了使用Transformers对APC进行建模,并发现它优于RNN。
2020-01-26 cs.CL cs.LG cs.SD
SparseJEPA: Sparse Representation Learning of Joint Embedding Predictive Architectures
University of Illinois(伊利诺伊大学);Electrical & Computer Engineering Department(电气与计算机工程系);University of Illinois, Coordinated Science Laboratory(伊利诺伊大学协调科学实验室)
SparseJEPA通过惩罚方法在JEPA框架中引入稀疏表示学习,提升表示质量,在CIFAR-100上验证了其有效性,并理论上证明分组机制减少多重信息以增强可解释性。
2025-04-22 cs.AI cs.LG
Beyond Predictive Accuracy: A Reliability-Aware Audit of Molecular Representations for Human Olfaction
California State University, Fullerton(加州州立大学富勒顿分校);University of Washington(华盛顿大学)
该研究对人类嗅觉分子表征进行可靠性感知审计,涵盖多方面。通过多个数据集比较多种模型,发现人类评级几何可重复,模型与人类对齐弱,学习嵌入不一定优于传统表征,结果为分子编码器设边界,推动更广泛评估原则。
2026-07-29 cs.AI cs.LG q-bio.QM
Reward-Predictive Clustering
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);Carney Institute for Brain Science(卡尼脑科学研究所);Brown University(布朗大学)
最近在重复学习研究方面的进展已经证明了在构建算法方面取得了令人印象深刻的成果,这些算法可以在复杂任务中超越人类。尽管如此,创建能够构建其经验的抽象以加速新环境中的学习的重复学习系统仍然是一个活跃的研究领域。以前的工作表明,奖励预测状态抽象实现了这一目标,但只适用于表格设置。在这里,我们提供了一个聚类算法,使这种状态抽象应用到深度学习设置,提供代理的输入,保留预测奖励序列的能力压缩表示。收敛定理和模拟表明,由此产生的奖励预测深度网络最大限度地压缩了智能体的输入,大大加快了高维视觉控制任务的学习速度。此外,我们提出了不同的泛化实验,并分析了在哪些条件下,预先训练的奖励预测表示网络可以在不重新训练的情况下重复使用,以加速学习-一种系统的分布外转移形式。
2022-11-07 cs.AI cs.LG
Composing Task Knowledge with Modular Successor Feature Approximators
University of Michigan(密歇根大学);University of Oxford(牛津大学);LG AI Research(LG人工智能研究院)
针对SF&GPI框架依赖人工设计状态特征的问题,提出模块化后继特征近似器MSFA架构,可自主发现预测目标并学习预测表示,实现更优的任务知识组合与泛化能力。
2023-08-25 cs.AI cs.LG
Simulator Predictive Control: Using Learned Task Representations and MPC for Zero-Shot Generalization and Sequencing
University of Southern California(南加利福尼亚大学);Google Brain(谷歌大脑)
仿真到真实的转换是使强化学习在真实机器人上实用的重要策略。成功的仿真到现实迁移系统很难产生跨任务推广的策略,尽管训练了数千小时的真实机器人时间。为了解决这个缺点,我们提出了一种新的方法来有效地学习新的机器人技能直接在一个真正的机器人,基于模型预测控制(MPC)和学习任务表示的算法。简而言之,我们展示了如何将模拟从模拟到真实的方法的预训练步骤中重用为前瞻性工具,从而使模拟到真实的策略能够适应看不见的任务。我们不是针对单个任务的端到端学习策略并试图转移它们,而是首先使用模拟来同时学习(1)任务适当的原始技能的连续参数化(即技能嵌入或潜在),以及(2)以这种表示为条件的这些技能的单一策略。然后,我们直接将我们的多技能策略转移到一个真正的机器人,并通过选择启动策略的技能潜伏期序列来启动机器人,每个潜伏期对应于一个预先学习的原始技能控制器。我们通过选择新的技能潜在序列来完成看不见的任务,以使用MPC控制机器人,其中我们的MPC模型由在仿真环境中执行的预训练技能策略组成,与真实机器人并行运行。我们讨论了我们的方法的背景和原则,详细介绍了它的实际实现,并评估其性能,使用我们的方法训练一个真正的Sawyer机器人实现运动任务,如绘图和推块。
2021-01-27 cs.AI cs.LG cs.RO