A Probabilistic Interpretation of Self-Paced Learning with Applications to Reinforcement Learning
TU Darmstadt（达姆施塔特工业大学）；Aalto University（阿尔托大学）
在整个机器学习中，课程的使用已经显示出强大的经验潜力，可以通过避免训练目标的局部最优来改善从数据中学习。对于强化学习（RL），课程特别有趣，因为由于探索-利用权衡，底层优化具有很强的陷入局部最优的倾向。最近，一些自动生成RL课程的方法已被证明可以提高性能，同时与手动设计的课程相比，需要更少的专业知识。然而，这些方法很少从理论的角度进行研究，阻碍了对其机制的深入理解。在本文中，我们提出了一种方法，在RL的自动课程生成具有明确的理论基础。更准确地说，我们正式的著名的自定进度的学习范式诱导分布在训练任务，任务的复杂性和目标之间的权衡，以匹配所需的任务分布。实验表明，在这种诱导分布上进行训练有助于避免RL算法在不同任务中的局部最优解，这些任务具有无信息奖励和具有挑战性的探索要求。
2021-09-02 cs.LG
Self-Paced Curriculum Reinforcement Learning for Autonomous Superbike Racing in Simulation
University of Bologna（博洛尼亚大学）
提出自定进度课程深度强化学习框架，结合软演员-评论家算法，动态生成渐进任务，在物理精确模拟器中训练自主摩托车赛车，优于标准SAC。
2026-06-08 cs.AI cs.RO
Self-Paced Absolute Learning Progress as a Regularized Approach to Curriculum Learning
Technical University of Darmstadt（达姆施塔特工业大学）
针对基于绝对学习进度（ALP）的课程强化学习存在重复已习得行为、浪费计算资源的问题，提出基于自步学习的正则化方法SPALP，在三种环境中性能与ALP相当且两种环境下收敛更快，为提升课程强化学习效率提供了新方案。
2023-06-09 cs.LG
Interaction-limited Inverse Reinforcement Learning
Idiap Research Institute（伊迪亚普研究所）；EPFL（洛桑联邦理工学院）
本文提出了一种逆强化学习（IRL）框架，当学习者-教师\textit{interaction}在训练过程中是\textit{limited}时，该框架可以加速学习。我们的设置是由现实的情况下，一个有用的老师是不可用的，或者当老师无法访问学生的学习动态的动机。我们提出了两种不同的培训策略：课程逆强化学习（CIRL）涵盖教师的角度，和自定进度逆强化学习（SPIRL）侧重于学习者的角度。使用模拟实验和实验与一个真正的机器人学习的任务，从一个人的演示，我们表明，我们的训练策略可以允许更快的训练比随机教师CIRL比一批学习者SPIRL。
2020-07-01 cs.LG stat.ML
A Self-paced Regularization Framework for Partial-Label Learning
Beijing Jiaotong University（北京交通大学）
部分标签学习（PLL）旨在解决每个训练实例与一组候选标签相关联的问题，其中一个是正确的标签。大多数PLL算法试图通过简单地平等对待每个候选标签或迭代地识别真实标签来消除候选标签集的歧义。然而，现有的算法通常平等地对待所有的标签和实例，并且在学习阶段没有考虑标签和实例的复杂性。受自步调学习策略在机器学习领域的成功应用启发，将自步调机制融入部分标签学习框架，提出了一种新的自步调部分标签学习（SP-PLL）算法，该算法通过在每次学习迭代中对训练样本及其候选标签的优先级进行排序来控制学习过程，从而缓解学习过程中的问题.大量的实验和与其他基线方法的比较证明了该方法的有效性和鲁棒性。
2018-05-08 cs.AI cs.LG stat.ML
Reinforcement Learning Agents for Ubisoft's Roller Champions
Riot Games（拳头游戏）；Ubisoft（育碧）
近年来，强化学习（RL）在研究和流行文化中越来越受欢迎。然而，人们仍然对RL在现代视频游戏开发中的实用性持怀疑态度。在本文中，我们通过示例证明了RL可以成为现代非平凡视频游戏中人工智能（AI）设计的重要工具。我们为Ubisoft的Roller Champions介绍我们的RL系统，这是一款在椭圆形滑冰场上进行的3v 3竞技多人体育游戏。我们的系统旨在跟上敏捷，快节奏的开发，需要1- 4天的训练一个新的模型后，游戏的变化。AI适用于各种游戏模式，包括2 v2模式，机器人训练模式，以及经典游戏模式，在经典游戏模式中，AI可以替换断开连接的玩家。我们观察到，人工智能开发复杂的协调策略，并可以帮助平衡游戏作为一个额外的奖励。请在https://vimeo.com/466780171（密码：rollerRWRL 2020）上查看随附的视频以获取示例。
2020-12-10 cs.AI cs.LG
Understanding Self-Predictive Learning for Reinforcement Learning
DeepMind（深度思维）；Stanford University（斯坦福大学）；University of Oxford（牛津大学）
本研究揭示自预测学习中优化动态设计对防止表示坍缩的关键作用，提出双向自预测学习算法，通过理论分析与实验验证其有效性。
2026-10-06 cs.AI cs.LG stat.ML
Balanced Self-Paced Learning for AUC Maximization
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Nanjing University of Information Science & Technology（南京信息工程大学）；Harbin Institute of Technology（哈尔滨工业大学）；University of Pittsburgh（匹兹堡大学）
学习以提高AUC性能是机器学习中的重要主题。然而，AUC最大化算法可能会由于噪声数据而降低泛化性能。自定进度学习是处理噪声数据的一种有效方法。然而，现有的自定进度学习方法仅限于逐点学习，而AUC最大化是一个成对学习问题。为了解决这个具有挑战性的问题，我们创新性地提出了一个平衡的自定步调的AUC最大化算法（BSPAUC）。具体来说，我们首先为自定步调的AUC提供一个统计目标。在此基础上，我们提出了我们的自定进度AUC最大化公式，其中嵌入了一个新的平衡自定进度正则化项，以确保所选择的阳性和阴性样本具有适当的比例。特别地，在我们的公式中，关于所有权重变量的子问题可能是非凸的，而在现有的自定进度问题中，子问题通常是凸的。为了解决这个问题，我们提出了一个双循环块坐标下降方法。更重要的是，我们证明了关于所有权重变量的子问题收敛到一个固定点的基础上的封闭形式的解决方案，我们的BSPAUC收敛到我们的固定优化目标的一个固定点在一个温和的假设。考虑到深度学习和基于内核的实现，在几个大规模数据集上的实验结果表明，我们的BSPAUC具有更好的泛化性能比现有的最先进的AUC最大化方法。
2022-07-08 cs.AI cs.LG
Self-Paced Multitask Learning with Shared Knowledge
Carnegie Mellon University（卡内基梅隆大学）
本文介绍了自定进度的任务选择多任务学习，其中从更密切相关的任务中选择的实例在一个渐进的更难的任务，模仿一个有效的人类教育策略，但适用于多任务机器学习。我们开发的数学基础的方法的基础上迭代选择最合适的任务，学习任务参数，更新共享的知识，优化一个新的双凸损失函数。该方法适用于相当普遍，包括多任务特征学习，多任务学习与交替结构优化，等结果表明，在上述配方中的每一个自步调（更难）的任务选择优于基线版本的这些方法在所有的实验。
2017-06-19 cs.LG stat.ML
Distributed Self-Paced Learning in Alternating Direction Method of Multipliers
Virginia Tech（弗吉尼亚理工大学）；George Mason University（乔治梅森大学）
自定进度学习（SPL）模仿人类的认知过程，人类通常从简单的样本学习到困难的样本。SPL中的一个关键问题是每个实例权重所需的训练过程取决于其他样本，因此无法在大规模数据集中以分布式方式运行。在本文中，我们重新制定的自定进度的学习问题到分布式设置，并提出了一种新的分布式自定进度的学习方法（DSPL）来处理大规模的数据集。具体而言，可以基于乘法器的共识交替方向方法为每个批次并行优化模型和实例权重。我们还证明了我们的算法在温和的条件下的收敛性。在合成数据集和真实数据集上的大量实验表明，我们的方法优于现有的方法。
2018-07-06 cs.LG stat.ML
Adversarial Self-Paced Learning for Mixture Models of Hawkes Processes
Duke University（杜克大学）；Infinia ML, Inc.（Infinia ML公司）
我们提出了一种新的对抗性学习策略的混合模型的霍克斯过程，利用数据增强技术的霍克斯过程的框架内的自定进度的学习。该方法不是直接从不同Hawkes过程中提取的一组事件序列中学习混合模型，而是迭代地学习目标模型，生成“简单”序列，并以对抗和自定进度的方式使用它们。在每次迭代中，我们首先从原始观测序列生成一组增广序列。基于目标模型的简单样本可能是错误指定模型的对抗样本这一事实，我们应用了具有对抗自步调机制的极大似然估计。以这种方式，目标模型被更新，并且服从它的增强序列被用于下一次学习迭代。实验结果表明，该方法优于传统的方法一致。
2019-06-20 cs.LG stat.ML
Self-Paced Probabilistic Principal Component Analysis for Data with Outliers
Tsinghua University（清华大学）；Peng Cheng Laboratory（鹏城实验室）
主成分分析（PCA）是数据分析中降维和特征提取的常用工具。PCA有一个概率版本，称为概率PCA（PPCA）。然而，标准PCA和PPCA并不稳健，因为它们对离群值敏感。针对这一问题，本文将自步调学习机制引入到PPCA中，提出了一种自步调概率主成分分析（SP-PPCA）方法。在此基础上，基于交替搜索策略和期望最大化算法设计了相应的优化算法。SP-PPCA寻找最佳的投影向量，并迭代地过滤掉离群值。在合成问题和真实数据集上的实验清楚地表明，SP-PPCA能够减少或消除离群值的影响。
2019-04-13 cs.LG stat.ML
Self-paced ensemble learning for speech and audio classification
University Politehnica of Bucharest（布加勒斯特理工大学）；University of Bucharest（布加勒斯特大学）
已知将多个机器学习模型组合成系综提供与形成系综的各个组件相比更优越的性能水平。这是因为模型可以在做出更好的决策时相互补充。我们提出了一个自定进度的集成学习方案，而不是仅仅将模型组合起来，在该方案中，模型在几次迭代中相互学习。在基于伪标记的自定进度学习过程中，除了改进单个模型外，我们的集成还获得了关于目标领域的知识。为了证明我们的自定进度集成学习（SPEL）计划的一般性，我们进行了三个音频任务的实验。我们的实证结果表明，SPEL显着优于基线集成模型。我们还表明，在单个模型上应用自定进度的学习效果较差，这说明了集成中的模型实际上是相互学习的。
2021-06-08 cs.LG cs.SD eess.AS
Provable Self-Play Algorithms for Competitive Reinforcement Learning
Salesforce Research（Salesforce研究院）；Princeton University（普林斯顿大学）
自我游戏，即算法通过与自己比赛而无需任何直接监督来学习，已成为现代强化学习（RL）中实现超人性能的新武器。然而，强化学习中的大多数验证理论仅适用于智能体在固定环境中进行游戏的设置;自我游戏算法是否可以证明有效，特别是当需要管理探索/开发权衡时，这在很大程度上仍然是开放的。我们研究了马尔可夫博弈下竞争性强化学习中的自我博弈，马尔可夫决策过程对两人博弈的推广。我们介绍了一个自我发挥的算法-值迭代与上/下置信界（VI-ULCB）-并表明，它实现了遗憾$\tilde{\mathcal{O}}(\sqrt{T})$后，发挥$T$步骤的游戏，其中的遗憾是衡量代理的性能对\emph{fully adversarial}对手谁可以利用代理的策略在\emph{any}步骤。我们还介绍了一个探索，然后利用风格的算法，它实现了一个稍差的遗憾$\tilde{\mathcal{O}}(T^{2/3})$，但保证运行在多项式时间，即使在最坏的情况下。据我们所知，我们的工作提出了竞争性强化学习的第一条可证明样本有效的自我发挥算法。
2020-07-09 cs.AI cs.LG stat.ML
A Self-Paced Regularization Framework for Multi-Label Learning
IBM Research-China（IBM中国研究院）；Stanford University（斯坦福大学）；East China Normal University（华东师范大学）；Nanjing University of Information Science and Technology（南京信息工程大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们提出了一种新的多标签学习框架，称为多标签自定进度学习（MLSPL），在尝试将自定进度的学习策略到多标签学习制度。鉴于采用自定进度学习提出的从易到难策略的好处，所设计的MLSPL旨在通过从易到难逐渐将标签学习任务和实例纳入模型训练来联合学习多个标签。我们首先引入一个自定步调的函数作为多标签学习公式中的正则化器，以便在每次学习迭代中同时对标签学习任务和实例的优先级进行排序。考虑到不同的多标签学习场景在优化过程中往往需要不同的自调整方案，因此我们提出了一种通用的方法来找到所需的自调整函数。在三个基准数据集上的实验结果表明，我们的方法的最先进的性能。
2016-04-06 cs.LG
SIBRE: Self Improvement Based REwards for Adaptive Feedback in Reinforcement Learning
TCS Research（塔塔咨询服务研究院）
我们提出了一种通用的奖励塑造方法，用于提高强化学习（RL）的收敛速度，称为基于自我改进的奖励，或SIBRE。该方法被设计用于与任何现有的RL算法结合使用，并包括奖励改进代理自己的过去的表现。我们证明了SIBRE在与原RL算法相同的条件下按期望收敛。当原始奖励是弱歧视或稀疏时，重塑的奖励有助于区分策略。在几个知名的基准测试环境中使用不同的强化学习算法进行的实验表明，SIBRE更快、更稳定地收敛到最优策略。我们还进行了敏感性分析相对于超参数，与基线RL算法相比。
2020-12-21 cs.AI cs.LG stat.ML
Self-paced Ensemble for Highly Imbalanced Massive Data Classification
Jilin University（吉林大学）；Microsoft Research（微软研究院）
许多现实世界的应用揭示了从不平衡数据中学习分类器的困难。随着大数据时代的到来，越来越多的分类任务需要处理大规模但极不平衡和低质量的数据集。大多数现有的学习方法在这种情况下性能不佳或计算效率低。为了解决这个问题，我们对类不平衡的本质进行了深入的研究，结果表明，不仅类之间的不平衡，而且嵌入在数据性质中的其他困难，特别是噪声和类重叠，阻止我们学习有效的分类器。考虑到这些因素，我们提出了一个新的框架不平衡分类，旨在通过自步调协调数据硬度通过欠采样产生一个强大的合奏。大量的实验表明，这种新的框架，而计算效率非常高，可以导致强大的性能，即使在高度重叠的类和非常偏斜的分布。请注意，我们的方法可以很容易地适应大多数现有的学习方法（例如，C4.5、SVM、GBDT和神经网络），以提高其在不平衡数据上的性能。
2020-10-17 cs.AI cs.LG stat.ML
Application of Self-Play Reinforcement Learning to a Four-Player Game of Imperfect Information
University of Warwick（华威大学）
我们介绍了一个新的虚拟环境，模拟被称为“大2”的纸牌游戏。这是一个不完全信息的四人游戏，具有相对复杂的动作空间（允许从13张牌的初始开始手牌玩1，2，3，4或5张牌组合）。因此，它对许多当前的强化学习方法提出了挑战。然后，我们使用最近提出的“近端策略优化“算法来训练一个深度神经网络来玩游戏，纯粹通过自我游戏来学习，并发现它能够在相对较短的训练时间后达到优于业余人类玩家的水平，而无需搜索未来游戏状态树。
2018-08-30 cs.AI cs.LG stat.ML
Self-Paced Multi-Task Clustering
University of Electronic Science and Technology of China（电子科技大学）
多任务聚类（MTC）由于能够利用不同任务之间的关系，在机器学习中受到了广泛的关注。尽管传统的MTC模型取得了成功，但它们要么容易陷入局部最优，要么对离群值和噪声数据敏感。为了缓解这些问题，我们提出了一种新的自定步调的多任务集群（SPMTC）的范例。具体地说，SPMTC逐步选择数据样本来训练一系列复杂度不断增加的MTC模型，从而大大降低了陷入局部最优的风险。此外，为了减少离群点和噪声数据的负面影响，我们设计了一个软版本的SPMTC，以进一步提高聚类性能。相应的SPMTC框架可以很容易地通过交替优化方法求解。该模型是保证收敛和实际数据集上的实验已经证明了其有前途的结果相比，国家的最先进的多任务聚类方法。
2018-08-24 cs.LG stat.ML
Understanding Self-Paced Learning under Concave Conjugacy Theory
Xi’an Jiaotong University（西安交通大学）
通过模拟人/动物从易到难的学习方式，被称为课程学习（CL）和自定进度学习（SPL）的学习机制近年来受到广泛关注。然而，分析为什么这样的学习制度可以工作的内在机制还没有得到全面的调查。针对这一问题，本文提出了一个凹共轭理论，以探讨CL/SPL的洞察力。具体来说，通过使用这个理论，我们证明了SPL制度和潜在的凹目标，这是密切相关的，广泛用于统计和机器学习已知的非凸正则化惩罚的等价性。这种新的理论框架不仅可以为设计新的课程学习模式提供两种直接的途径，而且可以帮助实现自主进度课程学习的潜在目标。自主进度课程学习是两种学习模式的高级版本，在一定程度上兼有两种学习模式的优点。这进一步促进了对SPCL的理论理解，而不是传统的仅CL/SPL。在这一理论指导下，我们试图通过对课程体系的理论理解，揭示偏序课程和群序课程这两种课程形式的内在潜在目标。
2018-05-21 cs.LG stat.ML
Self-paced Principal Component Analysis
University of Electronic Science and Technology of China（电子科技大学）
主成分分析（PCA）已被广泛用于降维和特征提取。鲁棒PCA（RobustPCA）在不同的鲁棒距离度量下，如l1范数和l2，p范数，可以在一定程度上处理噪声或离群点。然而，真实世界的数据可能会显示这些简单函数无法完全捕获的结构。此外，现有的方法同等对待复杂和简单的样本。相比之下，人类通常采用的学习模式是从简单到复杂，从少到多。基于这一原则，我们提出了一种新的方法称为自步调PCA（SPCA），以进一步减少噪声和离群值的影响。值得注意的是，在每次迭代开始时计算每个样本的复杂度，以便将从简单到更复杂的样本整合到训练中。基于交替优化，SPCA找到一个最佳的投影矩阵，并过滤掉离群迭代。理论分析表明了SPCA的合理性。在流行数据集上的大量实验表明，该方法可以大大提高最先进的结果。
2021-06-25 cs.AI cs.CV cs.LG
Learning From Multiple Experts: Self-paced Knowledge Distillation for Long-tailed Classification
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology (BNRist)（北京信息科学与技术国家研究中心）；Aberystwyth University（阿伯里斯特威斯大学）
在现实世界中，数据往往呈现长尾分布，这增加了训练深度网络的难度。在本文中，我们提出了一种新的自定进度的知识蒸馏框架，称为多个专家学习（LFME）。我们的方法受到这样一种观察的启发，即在分布的不平衡子集上训练的网络通常比联合训练的网络具有更好的性能。我们将这些模型称为“专家”，并且所提出的LFME框架聚合来自多个“专家”的知识以学习统一的学生模型。具体而言，该框架涉及两个层次的自适应学习时间表：自定进度的专家选择和课程实例选择，使知识自适应地转移到“学生”。我们进行了广泛的实验，并证明我们的方法是能够实现优越的性能相比，国家的最先进的方法。我们还表明，我们的方法可以很容易地插入到国家的最先进的长尾分类算法进一步改进。
2020-09-21 cs.CV cs.LG stat.ML
Robust Sparse Coding via Self-Paced Learning
University of Electronic Science and Technology of China（电子科技大学）
稀疏编码由于其广泛的理论研究和在许多信号处理应用中的优异性能而受到越来越多的关注。然而，大多数现有的稀疏编码算法是非凸的，因此容易陷入坏的局部极小值，特别是当有离群值和噪声数据。为了提高学习的鲁棒性，本文提出了一个统一的框架称为自步调稀疏编码（SPSC），它逐渐包括矩阵元素到SC学习从简单到复杂。我们还将自定进度学习图式分别概括为样本、特征和元素的不同层次的动态选择。在真实数据集上的实验结果表明了该算法的有效性。
2017-09-10 cs.CV cs.LG
Self-Paced Multi-Label Learning with Diversity
University of Kurdistan（库尔德斯坦大学）；RMIT University（皇家墨尔本理工大学）
从多标签数据中学习的主要挑战来自于标签空间的巨大规模，这使得这个问题是NP难的。这个问题可以通过逐渐将容易到困难的标签纳入学习过程来缓解。此外，多样性维护方法的利用避免了在容易标签的子集上的过拟合。在本文中，我们提出了一个自定进度的多标签学习与多样性（SPMLD），其目的是涵盖不同的标签方面的学习速度。此外，该框架被应用到一个有效的基于相关性的多标签方法。非凸的目标函数优化的块坐标下降算法的扩展。对具有不同特征和标签维度的真实数据集的实证评估表明了所提出的预测模型的有效性。
2019-10-08 cs.IR cs.LG stat.ML
HYperbolic Self-Paced Learning for Self-Supervised Skeleton-based Action Representations
Sapienza University of Rome（罗马第一大学）；Technical University of Munich（慕尼黑工业大学）
自定进度学习对于一些初始知识可用的任务（例如弱监督学习和领域自适应）是有益的，以从简单到复杂地选择和排序训练样本序列。然而，它的适用性仍然是未开发的无监督学习，其中的知识的任务在训练过程中成熟。我们提出了一种新的双曲自步调模型（HYSP）学习基于动作表示。HYSP采用自我监督：它使用数据增强来生成同一样本的两个视图，并且它通过将一个（在线命名）与另一个（目标）进行匹配来学习。我们建议使用双曲线不确定性来确定算法学习速度，假设不确定性较小的样本应该更强烈地驱动训练，具有更大的权重和速度。双曲不确定性是所采用的双曲神经网络的副产品，它在训练过程中成熟，与已建立的欧几里得SSL框架相比，它没有额外的成本。在三个已建立的基于机器人的动作识别数据集上进行测试时，HYSP在PKU-MMD I上的表现优于最先进的技术，在NTU-60和NTU-120上的3个下游任务中有2个也优于最先进的技术。此外，HYSP只使用正对，因此绕过了对比技术中的负对所需的复杂且计算要求高的挖掘过程。代码可在www.example.com上获得。
2023-03-10 cs.AI cs.CV cs.LG
SPLBoost: An Improved Robust Boosting Algorithm Based on Self-paced Learning
Xi’an Jiaotong University（西安交通大学）
已知的是，提升可以被解释为使潜在的损失函数最小化的梯度下降技术。具体而言，传统AdaBoost最小化的潜在损失是指数损失，这被证明对随机噪声/离群值非常敏感。因此，几种Boosting算法，例如，LogitBoost和SavageBoost，已经被提出来通过用一些设计的鲁棒损失函数代替指数损失来提高AdaBoost的鲁棒性。在这项工作中，我们提出了一种新的方法来鲁棒AdaBoost，即，在Boosting框架中引入了自主学习（SPL）的鲁棒学习思想。具体来说，我们设计了一种新的基于SPL机制的鲁棒Boosting算法，即，SPLBoost，它可以通过稍微修改现成的Boosting包轻松实现。大量的实验和理论表征也进行了说明所提出的SPLBoost的优点。
2017-06-23 cs.CV cs.LG stat.ML
Training slow silicon neurons to control extremely fast robots with spiking reinforcement learning
Institute of Neuroinformatics, UZH and ETH Zurich（神经信息研究所，苏黎世联邦理工学院和苏黎世联邦理工学院）；Istituto Italiano di Tecnologia（意大利技术研究所）；Technical University of Munich（慕尼黑技术大学）；Natl. Center for Radiation Protection and Computational Physics, Istituto Superiore di Sanità（辐射防护与计算物理国家中心，意大利卫生超级研究所）；Digital Society Initiative, University of Zurich（数字社会倡议，苏黎世大学）
通过脉冲强化学习训练慢硅神经元，实现高速机器人控制，展示脑启发方法在快速互动任务中的有效性。
2026-01-29 cs.AI cs.ET cs.RO
Self-Paced Multi-Task Learning
Stanford University（斯坦福大学）；IBM Research – China（IBM中国研究院）；East China Normal University（华东师范大学）；Georgia Institute of Technology（佐治亚理工学院）
在本文中，我们提出了一种新的多任务学习（MTL）框架，称为自定进度的多任务学习（SPMTL）。不同于以往的作品平等对待所有的任务和实例训练时，SPMTL试图通过考虑任务和实例的复杂性，共同学习的任务。这是受到人类大脑认知过程的启发，人类大脑经常从容易到困难的学习。我们构建了一个紧凑的SPMTL制定提出了一个新的面向任务的正则化，可以共同优先考虑的任务和实例。因此，它可以被解释为MTL的自定进度学习者。一个简单而有效的算法被设计用于优化所提出的目标函数。理论上还分析了简化公式的误差界。玩具和真实世界的数据集上的实验结果表明，所提出的方法的有效性相比，国家的最先进的方法。
2017-04-03 cs.LG
Challenging common bolus advisor for self-monitoring type-I diabetes patients using Reinforcement Learning
Air Liquide R&D（液化空气集团研发部）；CMAP, Polytechnique, Institut Polytechnique de Paris（巴黎综合理工学院应用数学中心）；XPop, Inria Saclay（法国国家信息与自动化研究所萨克雷中心）
自我监测的糖尿病患者必须在每餐前决定他们应该服用多少胰岛素。存在标准的推注顾问，但从未被证明在任何意义上是最佳的。我们对这一规则提出了挑战，将强化学习技术应用于T1 DM模拟的数据，T1 DM是由Kovatchev等人开发的FDA批准的模拟器，用于模拟葡萄糖-胰岛素相互作用。结果表明，最佳大剂量规则与标准大剂量顾问有很大不同，如果遵循，实际上可以避免低血糖发作。
2020-07-23 cs.LG stat.ML
Self-Paced Learning with Adaptive Deep Visual Embeddings
University of Guelph（圭尔夫大学）；Vector Institute for Artificial Intelligence（矢量人工智能研究所）；Canadian Institute for Advanced Research (CIFAR)（加拿大高等研究院）
在不同的训练阶段选择最合适的数据示例来呈现深度神经网络（DNN）是一个尚未解决的挑战。虽然从业者通常忽略这个问题，一个非平凡的数据调度方法可能会导致收敛和泛化性能的显着改善。在本文中，我们介绍了具有自适应深度视觉嵌入的自定进度学习（SPL-ADVisE），这是一种将自定进度学习（SPL）和深度度量学习（DML）相结合的新型端到端训练协议。我们利用Magnet Loss来训练嵌入卷积神经网络（CNN）以学习显著表示空间。学生CNN分类器动态地选择相似的实例级训练样本以形成小批量，其中来自交叉熵损失的容易度和来自学习的度量空间的样本的真实多样性用作样本重要性先验。为了证明SPL-ADVisE的有效性，我们使用深度CNN架构对几个粗粒度和细粒度视觉识别数据集进行监督图像分类。结果表明，在所有数据集上，所提出的方法比其他SPL变体收敛得更快，最终精度更高，特别是在细粒度类上。
2018-07-24 cs.CV cs.LG stat.ML
GAGA: Deciphering Age-path of Generalized Self-paced Regularizer
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Nanjing University of Information Science & Technology（南京信息工程大学）
自定进度学习（SPL）是模仿人类和动物认知过程的一种重要的机器学习范式。SPL制度涉及一个自定步的正则化和逐渐增加的年龄参数，这在SPL中起着关键作用，但在哪里最佳地终止这个过程仍然是不平凡的确定。一个自然的想法是计算解路径w.r.t.年龄参数（即，年龄路径）。然而，目前的年龄路径算法要么局限于最简单的正则化，或缺乏坚实的理论理解以及计算效率。为了解决这个问题，我们提出了一种新的基于常微分方程和集合控制的SPL的\underline{G}广义\underline{Ag} e-路径\underline{A} lxim（GAGA），它可以学习整个解谱.一系列年龄参数。据我们所知，GAGA是第一个精确的路径跟踪算法，解决一般自定步正则化器的年龄路径。最后详细介绍了经典SVM和Lasso的算法步骤。我们展示了GAGA在真实数据集上的性能，并发现我们的算法和竞争基线之间有相当大的加速比。
2022-09-23 cs.LG math.OC
Reinforcement Learning with Attention that Works: A Self-Supervised Approach
注意力模型在一系列任务中对深度学习产生了显著的积极影响。然而，之前将注意力与强化学习相结合的尝试未能产生显着的改善。我们提出了自注意力和强化学习的第一个组合，能够产生显着的改进，包括在街机学习环境中的最先进的新成果。与以前尝试中使用的选择性注意力模型不同，它通过先入为主的重要性概念来限制注意力，我们的实现利用了状态输入中固有的马尔可夫特性。我们的方法产生了一个忠实的可视化的政策，专注于代理的行为。我们的实验表明，经过训练的策略同时使用多个注意力焦点，并且能够随着时间的推移调整注意力，以处理部分可观察性的情况。
2019-04-06 cs.LG stat.ML
Prosocial or Selfish? Agents with different behaviors for Contract Negotiation using Reinforcement Learning
TCS Research（塔塔咨询服务研究院）
我们提出了一种有效的技术来训练深度学习代理，这些代理能够使用简单的通信协议来谈判合同协议中的一组条款。我们使用多代理强化学习训练双方代理同时，因为他们在训练环境中相互谈判。我们还在这些代理中不同程度地模拟自私和亲社会行为。提供的经验证据表明，在代理人的行为一致性。我们进一步训练一个Meta代理的混合行为，学习不同的模型使用强化学习的集成。最后，为了确定谈判代理的可部署性，我们进行了实验，让经过训练的代理与人类玩家进行对抗。结果表明，智能体能够与人类玩家抗衡，通常在谈判中成为赢家。我们的实验表明，Meta代理是能够合理地模仿人类的行为。
2018-09-19 cs.AI cs.LG cs.MA
Learning Goal Embeddings via Self-Play for Hierarchical Reinforcement Learning
New York University（纽约大学）；Facebook AI Research（脸书人工智能研究院）
在分层强化学习中，一个主要的挑战是确定适当的低级策略。我们提出了一个无监督学习方案，该方案基于Sukhbaatar et al.（2018）的非对称自我游戏，可以自动学习环境中子目标的良好表示以及可以执行它们的低级策略。然后，高级策略可以通过生成一系列连续的子目标向量来指导较低的策略。我们使用Mazebase和Mujoco环境评估我们的模型，包括具有挑战性的AntGather任务。子目标嵌入的可视化揭示了环境中任务的逻辑分解。量化，我们的方法获得了令人信服的性能增益超过非层次的方法。
2018-11-22 cs.LG stat.ML
RLSR: Reinforcement Learning from Self Reward
Tufa Labs（图法实验室）
本文提出RLSR方法，利用大型语言模型自我评判生成奖励信号，无需真实答案即可进行强化学习，在倒计时和积分任务中达到形式验证水平，并建立完整自我改进循环，推动自主AI发展。
2025-08-06 cs.AI cs.LG
Symmetry Nonnegative Matrix Factorization Algorithm Based on Self-paced Learning
Shanxi University（山西大学）；Anhui University（安徽大学）
本文提出基于自步学习的对称非负矩阵分解算法，通过误差驱动的难易样本权重约束提升聚类性能，并在图像和文本数据集上验证了其有效性。
2024-10-20 cs.LG
Integrating Reinforcement Learning to Self Training for Pulmonary Nodule Segmentation in Chest X-rays
VUNO Inc.（VUNO公司）；Imperial College London（帝国理工学院）
医学成像中的机器学习应用经常受到缺乏高质量标记数据的限制。在本文中，我们探讨了自我训练方法，一种半监督学习的形式，以解决标记负担。通过集成强化学习，我们能够将自训练的应用扩展到复杂的分割网络，而无需任何进一步的人工注释。所提出的方法，加强自我训练（ReST），微调语义分割网络通过引入一个政策网络，学习生成伪标签。我们结合了一个专家示范网络，基于逆强化学习，以提高临床有效性和收敛的政策网络。该模型在胸部X射线中的肺结节分割任务上进行了测试，并通过利用未标记数据，仅使用50%的标记数据，实现了标准U-Net的性能。当使用相同数量的标记数据时，根据所使用的标记的绝对数量，实现了中度至显著的交叉验证准确度提高。
2018-11-21 cs.LG stat.ML
Self-paced learning to improve text row detection in historical documents with missing labels
University of Bucharest（布加勒斯特大学）
光学字符识别系统的一个重要的初始步骤是检测文本行。为了解决这一任务的背景下，历史数据与丢失的标签，我们提出了一个自定步调的学习算法能够提高行检测性能。我们推测，具有更多真实边界框的页面不太可能有缺失的注释。基于这一假设，我们将训练样本按照地面实况边界框的数量降序排序，并将它们组织成k个批次。使用我们的自定进度的学习方法，我们训练一个行检测器超过k次迭代，逐步添加具有更少地面实况注释的批次。在每次迭代中，我们使用非最大值抑制将地面实况边界框与伪边界框（由模型本身预测的边界框）组合在一起，并在下一次训练迭代中包含结果注释。我们证明了我们的自定进度学习策略在两个历史文档数据集上带来了显着的性能提升，提高了YOLOv4的平均精度，其中一个数据集超过12%，另一个数据集超过39%。
2022-08-15 cs.CV cs.LG
Self-organization of action hierarchy and compositionality by reinforcement learning with recurrent neural networks
Okinawa Institute of Science and Technology（冲绳科学技术大学院大学）
用于强化学习（RL）的循环神经网络（RNN）已经显示出明显的优势，例如，解决依赖记忆的任务和元学习。然而，在改进RNN架构和理解性能增益的底层神经机制方面几乎没有付出任何努力。在本文中，我们提出了一种新的，多时间尺度，随机RNN的RL。实验结果表明，该网络可以自主学习抽象的子目标，并可以自我发展的行动层次结构，在一个具有挑战性的连续控制任务使用内部动力学。此外，我们还表明，与从头开始相比，网络的自我开发组合性在适应新任务（重新组合之前学习的子目标）时可以更快地重新学习。我们还发现，当神经活动受到随机而不是确定性的动态时，可以实现更好的性能。
2019-11-26 cs.LG stat.ML
When Actions Disappear: Adversarial Action Removal in Self-Play Reinforcement Learning
Independent Researcher（独立研究者）
研究了自我对战强化学习中的对抗性动作遮蔽，发现学习的遮蔽比随机遮蔽和学习扰动基线更具破坏性，揭示了动作可用性作为自我对战RL中的新鲁棒性表面。
2026-05-04 cs.AI cs.LG
SelfBC: Self Behavior Cloning for Offline Reinforcement Learning
Harbin Institute of Technology（哈尔滨工业大学）；Shanghai AI Laboratory（上海人工智能实验室）；University of Rochester（罗切斯特大学）
针对离线强化学习静态策略约束导致策略过度保守的问题，本文提出 SelfBC 动态自约束机制，并从理论与 D4RL MuJoCo 实验验证其性能。
2024-08-04 cs.AI cs.LG
Explaining Reinforcement Learning Decisions in Self-adaptive Systems
针对强化学习策略透明度不足的问题，本文提出EARL库用于生成反事实解释，并在CitiBikes模拟中验证了其在实际自适应系统中的适用性。
2026-08-18 cs.AI cs.LG
Deep Reinforcement Learning from Self-Play in Imperfect-Information Games
University College London（伦敦大学学院）
许多现实世界的应用程序可以被描述为不完美信息的大规模博弈。为了处理这些具有挑战性的领域，以前的工作集中在计算纳什均衡在手工抽象的领域。在本文中，我们介绍了第一个可扩展的端到端的方法来学习近似纳什均衡没有事先领域的知识。我们的方法结合了虚拟的自我游戏和深度强化学习。当应用于Leduc扑克时，神经虚拟自我游戏（NFSP）接近纳什均衡，而常见的强化学习方法则出现分歧。在极限德州扑克（Limit Texas Holdem）中，NFSP学习了一种策略，该策略接近基于重要领域专业知识的最先进的超人算法的性能。
2016-06-28 cs.AI cs.GT cs.LG
Enhancing Performance and User Engagement in Everyday Stress Monitoring: A Context-Aware Active Reinforcement Learning Approach
University of California, Irvine（加州大学欧文分校）
针对传统压力监测中EMA数据收集效率与用户负担难以平衡的问题，提出上下文感知主动强化学习算法，结合智能手表PPG和手机上下文数据动态选EMA时机，离线转在线后检测效率升11%，加上下文提准4%，个性化使AUC-ROC升10%。
2024-07-11 cs.LG
Self-Paced Learning: an Implicit Regularization Perspective
Center for Research on Intelligent Perception and Computing, CASIA（中国科学院自动化研究所智能感知与计算研究中心）；National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；Center for Excellence in Brain Science and Intelligence Technology, CAS（中国科学院脑科学与智能技术卓越创新中心）
自步调学习（SPL）模仿人类和动物的认知机制，从简单到困难的样本逐渐学习。SPL的一个关键问题是获得更好的加权策略，这是由极小化函数决定的。现有的方法通常通过人工设计SPL正则化子的显式形式来追求这一点。本文以最小化函数为研究对象，从鲁棒损失函数出发，提出了一组新的正则化函数，称为自定步长隐式正则化函数。基于凸共轭理论，自适应隐式正则化的极小化函数可以直接从隐式损失函数中学习得到，甚至可以知道正则化的解析形式.在此基础上，提出了一个SPL通用框架（SPL-IR）。我们证明了SPL-IR的学习过程与潜在的鲁棒损失函数有关，从而为SPL-IR的工作机制提供了一些理论启示。进一步分析了SPL-IR与半二次优化的关系。最后，我们实现了SPL-IR监督和无监督的任务，实验结果证实了我们的想法，并证明了隐式正则化的正确性和有效性。
2016-09-18 cs.CV cs.LG
Pixel-Level Self-Paced Learning for Super-Resolution
Northwestern Polytechnical University（西北工业大学）
近年来，由于其在多个基于图像的领域中的广泛使用，提出了许多深度网络来提高预测的超分辨率（SR）图像的质量。然而，随着这些网络被构建得越来越深，它们也花费了更长的训练时间，这可能会引导学习器进行局部优化。针对这一问题，本文设计了一种像素级自步调学习（PSPL）的训练策略来加快SISR模型的收敛速度。PSPL模仿自学习，给预测SR图像中的每个像素及其对应的地面真值中的像素一个注意权重，以引导模型在参数空间中更好地区域。大量实验证明，PSPL可以加快SISR模型的训练速度，并促使现有的几个模型获得新的更好的结果。此外，源代码可在https://github.com/Elin24/PSPL上获得。
2020-03-09 cs.CV cs.LG eess.IV
Unsupervised feature selection via self-paced learning and low-redundant regularization
Southwest Jiaotong University（西南交通大学）；National Engineering Laboratory of Integrated Transportation Big Data Application Technology（综合交通运输大数据应用技术国家工程实验室）
由于大量未标记数据的出现，无监督特征选择越来越受到人们的关注。需要考虑样本的分布以及使用更有效顺序的样本训练学习方法的潜在效果，以提高方法的鲁棒性。考虑到样本的训练顺序，自步调学习是一种有效的方法。在本研究中，提出一种结合自步调学习与子空间学习架构的无监督特征选择方法。此外，局部流形结构保持和冗余的特征是由两个正则项约束。$L_{2,1/2}$ -范数应用于投影矩阵，其目的是保留鉴别特征并进一步减轻数据中的噪声的影响。然后，提出了一种求解优化问题的迭代法。理论和实验证明了该方法的收敛性。所提出的方法进行了比较与其他国家的最先进的算法在9个真实世界的数据集。实验结果表明，该方法可以提高聚类方法的性能，优于其他比较算法。
2021-12-14 cs.LG
Self-paced Convolutional Neural Network for Computer Aided Detection in Medical Imaging Analysis
Massachusetts General Hospital（麻省总医院）；Zhejiang University（浙江大学）；University of Michigan（密歇根大学）；Beijing Institute of Technology（北京理工大学）
组织定征长期以来一直是计算机辅助诊断（CAD）系统的重要组成部分，用于自动病变检测和进一步的临床规划。受深度学习方法在各种计算机视觉问题上的优越性能的激励，将深度学习应用于医学图像分析的工作越来越多。然而，由于医学图像的高度异质性和训练样本的相对缺乏，开发用于计算机辅助诊断的鲁棒且可靠的深度学习模型仍然具有很大的挑战性。具体而言，医学图像的注释和标记比其他应用更昂贵和耗时，并且通常涉及来自多个领域专家的手工劳动。在这项工作中，我们提出了一个多阶段，自定进度的学习框架，利用卷积神经网络（CNN）分类计算机断层扫描（CT）图像补丁。这种方法的关键贡献在于，我们通过使用自定进度的学习CNN来细化未标记的实例，从而增加了训练样本的大小。通过在包括NVIDIA DGX1机器在内的高性能计算服务器上实现该框架，我们获得了实验结果，表明即使在非常缺乏手动标签的情况下，自步调提升的网络也始终优于原始网络。性能增益表明，具有有限训练样本的应用程序（如医学图像分析）可以从使用所提出的框架中受益。
2017-07-19 cs.CV cs.LG stat.ML
Reinforcement Evolutionary Learning Method for self-learning
Data Science Researchers（数据科学研究机构）
在统计建模中，最大的威胁是概念漂移，这使得模型随着时间的推移逐渐显示出性能恶化。存在检测概念漂移的影响的现有技术方法，然而，为克服性能问题而考虑的一般策略是重建或重新当模型的变量模式因市场变化或消费者行为变化等而发生显著变化时，定期校准模型。定量研究是数据科学在市场营销或金融领域中最广泛的应用，用于自动学习的现有技术强化学习是较少探索的范例。强化学习在很大程度上依赖于具有主要可用于游戏或在线系统的模拟环境，以从实时反馈中学习。然而，由于在线学习环境的性质，在在线广告、定价等领域也有一些研究探讨了强化学习的范围。我们提出的解决方案是一种基于强化学习的真正的自学习算法，它可以适应数据变化或概念漂移，并自动学习和自校准新的数据模式，解决概念漂移问题。关键词-强化学习，遗传算法，Q学习，分类建模，CMA-ES，NES，多目标优化，概念漂移，种群稳定性指数，增量学习，F1-measure，预测建模，自学习，MCTS，AlphaGo，AlphaZero
2018-10-07 cs.LG cs.NE stat.ML
Self-Paced Learning for Neural Machine Translation
University of Macau（澳门大学）；Alibaba Group（阿里巴巴集团）；DAMO Academy（达摩院）
最近的研究已经证明，神经机器翻译（NMT）的训练可以通过模仿人类的学习过程来促进。然而，这类课程学习的成就依赖于人工制定的时间表的质量，这些时间表具有手工制作的特征，例如句子长度或单词稀有度。我们通过提出自定进度学习，以更灵活的方式改进了该过程，其中NMT模型允许1）自动量化训练样本的学习置信度; 2）通过调节每个迭代步骤中的损失来灵活地管理其学习。多个翻译任务的实验结果表明，该模型产生更好的性能比强基线和那些模型训练与人类设计的课程的翻译质量和收敛速度。
2020-10-13 cs.CL cs.LG
Multiple Instance Learning via Iterative Self-Paced Supervised Contrastive Learning
NYU Center for Data Science（纽约大学数据科学中心）；NYU Grossman School of Medicine（纽约大学格罗斯曼医学院）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）
针对MIL中类别不平衡导致CSSL难以学习类间差异的问题，提出ItS2CLR框架，利用包级标签生成示例级伪标签并以自步采样保证其质量，在三个医学数据集上提升包级与示例级准确率。
2023-07-11 cs.AI cs.CV cs.LG
PACED: Distillation and On-Policy Self-Distillation at the Frontier of Student Competence
LinkedIn Corporation（领英公司）
PACED通过动态调整训练问题权重，聚焦学生能力前沿，提升模型在数学和竞赛任务中的表现，同时减少遗忘。
2026-04-09 cs.AI cs.LG
Self-paced Data Augmentation for Training Neural Networks
National Institute of Advanced Industrial Science and Technology（独立行政法人产业技术综合研究所）
数据增强广泛用于机器学习;然而，尚未建立应用数据增强的有效方法，即使它包括应仔细调整的几个因素。一个这样的因素是样本适用性，其涉及选择适合于数据增强的样本。将数据增强应用于所有训练样本的典型方法忽略了样本适合性，这可能降低分类器性能。为了解决这个问题，我们提出了自定步增强（SPA）自动和动态地选择合适的样本数据增强时，训练神经网络。所提出的方法减轻了无效的数据增强造成的泛化性能恶化。我们讨论了两个原因，建议SPA工程相对于课程学习和可取的变化，损失函数不稳定性。实验结果表明，所提出的集对分析可以提高泛化性能，特别是当训练样本数较少时。此外，所提出的SPA优于最先进的RandAugment方法。
2020-10-29 cs.LG
Denoising Multi-Similarity Formulation: A Self-paced Curriculum-Driven Approach for Robust Metric Learning
School of Computer and Software, Nanjing University of Information Science and Technology（南京信息工程大学计算机与软件学院）；School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
深度度量学习（DML）是一组旨在通过神经网络来测量对象之间的相似性的技术。虽然近年来DML方法的数量迅速增加，但大多数先前的研究不能有效地处理噪声数据，这在实际应用中普遍存在，往往导致严重的性能恶化。为了克服这一局限性，在本文中，我们建立了一个连接噪声样本和硬样本的框架内的自学习，并提出了一个\underline{B} alanced \underline{S} elf- \underline{P} aced \underline{M} etric \underline{L} earning（BSPML）算法与去噪多相似公式，其中噪声样本被视为非常困难的样本，并自适应地排除在模型训练样本加权。特别地，由于成对关系和一个新的平衡正则化项，子问题\emph{w.r.t.}样本权重是一个非凸二次函数。为了有效地解决这个非凸二次问题，我们提出了一个双随机投影坐标梯度算法。重要的是，我们不仅从理论上证明了双随机投影坐标梯度算法的收敛性，而且证明了我们的BSPML算法的收敛性。在多个标准数据集上的实验结果表明，该算法具有更好的泛化能力和鲁棒性。
2022-12-01 cs.AI cs.LG
