Machine Teaching for Inverse Reinforcement Learning: Algorithms and Applications
University of Texas at Austin（德克萨斯大学奥斯汀分校）
逆强化学习（IRL）从演示中推断出奖励函数，从而允许策略改进和推广。然而，尽管最近的兴趣IRL，很少的工作已经做了了解的最低限度的演示需要教一个特定的顺序决策任务。我们形式化的问题，找到最大的信息演示IRL作为一个机器教学的问题，其目标是找到所需的演示指定奖励等价类的演示的最小数量。我们扩展以前的工作顺序决策任务的算法教学，通过减少集合覆盖问题，使一个有效的近似算法，用于确定一组最大信息量的演示。我们将我们提出的机器教学算法应用到两个新的应用程序：提供一个下限的查询数量需要学习的政策，使用主动IRL和开发一种新的IRL算法，可以更有效地学习信息演示比标准的IRL方法。
2019-08-16 cs.LG stat.ML
Iterative Machine Teaching
Georgia Institute of Technology（佐治亚理工学院）；Indiana University（印第安纳大学）
在本文中，我们考虑机器教学问题，机器学习的逆问题。不同于传统的机器教学，将学习者视为批处理算法，我们研究了一种新的范式，其中学习者使用迭代算法，教师可以根据学习者的当前表现顺序和智能地提供示例。我们表明，在迭代的情况下，教学的复杂性是非常不同的批处理的情况下。我们的迭代机器教学不是为学习者构建最小训练集，而是专注于在学习者模型中实现快速收敛。根据教师从学习者模型中获得的信息水平，我们设计了教学算法，这些算法可以证明减少教学示例的数量，并且比没有教师的学习更快地收敛。我们还验证了我们的理论研究结果与广泛的实验上不同的数据分布和真实的图像数据集。
2017-11-17 cs.LG stat.ML
Explanatory machine learning for sequential human teaching
University of Bamberg（班贝格大学）；Imperial College London（伦敦帝国学院）
本文研究顺序教学中课程顺序与机器学习解释对人类理解的影响，提出顺序教学影响框架，并通过人类试验证明按复杂度递增教学能提升理解、促进分治策略再发现及优化问题求解表现。
2023-03-26 cs.AI cs.LG
Ease-of-Teaching and Language Structure from Emergent Communication
University of Alberta（阿尔伯塔大学）
人工智能体已经被证明可以在需要完成合作任务时学习沟通。某种程度的语言结构（例如，组合性）已经在所学习的通信协议中被发现。这种观察到的结构通常是训练期间特定环境压力的结果。通过定期引入新的代理人，以取代旧的，顺序和人口，我们探索这样一个新的压力-教学的便利性-并显示其对所产生的语言结构的影响。
2019-10-28 cs.AI cs.CL cs.LG
Class Teaching for Inverse Reinforcement Learners
INESC-ID（INESC-ID（葡萄牙国家系统与计算机工程研究所））；Instituto Superior Técnico（高等技术学院）
在本文中，我们提出了第一个机器教学算法的多个反向强化学习器。具体来说，我们的贡献是：（i）我们正式介绍了一个顺序任务教学的问题，一个异质组的学习者;（ii）我们确定的条件下，有可能进行这样的教学使用相同的演示，为所有的学习者;以及（iii）我们提出并评估了一个简单的算法，该算法计算一个演示（s）确保异构类中的所有代理学习与目标任务兼容的任务描述。我们的分析表明，与其他教学问题，教学一个单一的示范异构类可能是不可能的代理之间的差异增加。我们还展示了我们提出的机器教学方法对几种可能的替代方案的优势。
2019-11-29 cs.AI cs.LG
Interactive Teaching Algorithms for Inverse Reinforcement Learning
EPFL（洛桑联邦理工学院）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
我们研究了逆强化学习（IRL）的问题，并增加了学习者由一个有帮助的老师帮助的扭曲。更正式地说，我们解决了以下算法问题：教师如何提供一个信息序列的示范IRL学习者，以加快学习过程？我们提出了一个互动的教学框架，教师自适应地选择下一个示范学习者的当前政策的基础上。特别是，我们设计了两个具体的设置教学算法：一个无所不知的设置，教师有充分的知识学习者的动态和黑盒设置，教师有最少的知识。然后，我们研究了流行的MCE-IRL学习者的顺序变体，并证明了我们的教学算法在全知设置的收敛保证。在汽车驾驶模拟器环境中进行的大量实验表明，与缺乏信息的教师相比，学习进度可以大大加快。
2019-06-05 cs.AI cs.LG stat.ML
Iterative Teaching by Label Synthesis
University of Cambridge（剑桥大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Mila, Université de Montréal（蒙特利尔大学米拉研究所）；The Alan Turing Institute（艾伦·图灵研究所）
在本文中，我们考虑的问题，迭代机器教学，教师提供的例子顺序基于当前的迭代学习。与以前必须扫描整个池并在每次迭代中从中选择教学示例的方法相比，我们提出了一种标签合成教学框架，其中教师随机选择输入教学示例（例如，图像）然后合成合适的输出（例如，标签为他们。我们表明，这个框架可以避免昂贵的例子选择，同时仍然证明实现指数可教性。我们提出了多个新的教学算法在这个框架。最后，我们实证证明了我们的框架的价值。
2023-01-26 cs.AI cs.CV cs.LG
Mitigating Unintended Memorization in Language Models via Alternating Teaching
Meta AI
最近的研究表明，语言模型具有记住训练语料库中的稀有或独特序列的倾向，从而可能泄漏用户数据的敏感属性。我们采用了教师-学生的框架，并提出了一种新的方法，称为交替教学，以减轻无意中的记忆顺序建模。在我们的方法中，多个教师在不相交的训练集上进行训练，这些训练集的隐私是人们希望保护的，教师的预测在每个时间步以交替的方式监督学生模型的训练。在LibriSpeech数据集上的实验表明，该方法具有较好的隐私保护效果。与不预防非故意记忆相比，当训练记录足够时，整体效用损失较小。
2022-10-13 cs.CL cs.LG
TD3: Tucker Decomposition Based Dataset Distillation Method for Sequential Recommendation
University of Science and Technology of China（中国科学技术大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Rutgers Business School（罗格斯商学院）；Sun Yat-sen University（中山大学）
本文提出TD3方法，利用Tucker分解将序列推荐数据蒸馏为四个潜在因子，并通过双层优化和RaT-BPTT加速训练，在多个数据集上验证了其优越性与跨架构泛化能力。
2025-02-06 cs.IR cs.LG
Interactively Teaching an Inverse Reinforcement Learner with Limited Feedback
Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；INESC-ID（里斯本系统与计算机工程研究所）
本文针对教师无法访问学习器模型且反馈仅限指定起始状态轨迹的场景，提出一种结合主动风险价值、最大因果熵和难度分数比率的教导算法，并在模拟驾驶环境中验证其有效性。
2023-09-16 cs.AI cs.LG
Iterative Teaching by Data Hallucination
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Cambridge（剑桥大学）；Technical University of Munich（慕尼黑工业大学）；University of Tübingen（蒂宾根大学）；Mila, Université de Montréal（蒙特利尔大学米拉人工智能研究所）；The Alan Turing Institute（艾伦·图灵研究所）
本文提出数据幻觉教学（DHT），在连续输入空间中让教师根据标签、学习者状态和目标概念智能生成示例，以突破离散样本池对迭代机器教学的限制，并通过多种教学设置验证其有效性。
2023-04-12 cs.AI cs.CV cs.LG
Teaching on a Budget in Multi-Agent Deep Reinforcement Learning
Queen Mary University of London（伦敦玛丽女王大学）
深度强化学习（RL）算法可以成功地解决复杂的顺序决策任务。然而，他们有一个主要的缺点，有差的样本效率，这往往可以解决知识重用。在多智能体强化学习（MARL）中，这个缺点变得更糟，但与此同时，通过智能体交互也提供了一组新的利用知识的机会。其中一个有希望的办法是通过师生框架提供同行行动咨询。尽管最初被引入单智能体RL，最近的研究表明，它也可以应用于多智能体的情况下，有希望的实证结果。然而，目前这方面的研究非常有限。在本文中，我们提出了一个基于非线性函数逼近的任务级策略，在合作分散MARL行动建议技术。通过采用随机网络蒸馏技术，我们设计了一个测量代理评估他们的知识在任何给定的状态，并能够启动教师-学生动态没有事先的角色假设。在网格环境中的实验结果表明，这种方法可能确实是有用的，需要进一步研究。
2019-05-28 cs.LG cs.MA
Curriculum Design for Teaching via Demonstrations: Theory and Applications
Max Planck Institute for Software Systems (MPI-SWS)（马克斯·普朗克软件系统研究所）；Saarland University（萨尔大学）；The Alan Turing Institute（艾伦·图灵研究所）
我们认为，通过演示顺序决策设置教学的问题。特别是，我们研究了如何设计一个个性化的课程，以加快学习者的收敛。我们为两种流行的学习模型提供了统一的课程策略：最大因果熵逆强化学习（MaxEnt-IRL）和交叉熵行为克隆（CrossEnt-BC）。我们的统一策略诱导排名的基础上计算w.r.t.难度分数的概念演示。教师的最优策略和学习者的当前策略。与现有技术相比，我们的策略不需要访问学习者的内部动态，并且在温和的技术条件下仍然享有类似的收敛保证。此外，我们适应我们的课程策略设置，没有教师代理使用特定任务的难度分数。合成汽车驾驶环境和导航为基础的环境实验证明了我们的课程策略的有效性。
2021-12-16 cs.AI cs.LG
Teaching deep neural networks to localize single molecules for super-resolution microscopy
Technical University of Munich（慕尼黑工业大学）；research center caesar（凯撒研究中心）；European Molecular Biology Laboratory（欧洲分子生物学实验室）；Ruprecht Karl University of Heidelberg（鲁普雷希特-卡尔斯海德堡大学）；HHMI Janelia Research Campus（霍华德·休斯医学研究所珍利亚研究园区）；University of North Carolina（北卡罗来纳大学）；Tübingen University（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
单分子定位荧光显微镜通过稀疏激活的荧光团的顺序成像和计算定位来构建超分辨率图像。准确和高效的荧光定位算法是这种计算显微镜方法成功的关键。我们提出了一种基于深度学习的新型定位算法，该算法显着改进了现有技术。我们的贡献是一种用于同时检测和定位的新型网络架构，以及新的损失函数，该损失函数将检测和定位描述为贝叶斯推理问题，从而允许网络提供不确定性估计。与独立处理成像帧的标准方法相反，我们的网络架构使用来自多个顺序成像帧的时间背景来检测和定位分子。我们证明了我们的方法在各种数据集，成像方式，信噪比和荧光团密度的权力。虽然现有的定位算法可以在低荧光团密度下实现最佳定位精度，但它们会受到高密度的干扰。我们的方法是第一个基于深度学习的方法，在SMLM 2016挑战赛中达到了最先进的水平。在比较检测准确性和精度时，它在12个数据集中的12个数据集上获得了最佳分数，并且在高密度下表现出色。最后，我们研究了如何使用无监督学习来使网络对模拟数据和真实数据之间的不匹配具有鲁棒性。这里学到的经验教训更普遍地适用于训练深度网络，以解决生物学和物理学中空间扩展领域的具有挑战性的贝叶斯逆问题。
2020-07-20 cs.LG eess.IV stat.ML
Efficient Stochastic Optimisation via Sequential Monte Carlo
University of California, Berkeley（加州大学伯克利分校）
针对梯度难以计算的优化问题，提出用序贯蒙特卡洛（SMC）采样器替代昂贵的内采样循环，实现高效随机优化，并在能量模型奖励调优中验证有效性。
2026-06-12 cs.LG stat.CO stat.ML
Identifying Intelligent Processes via Online Sequential Testing
Truth Audit Labs（真相审计实验室）
本文提出将识别未知大语言模型的问题形式化为外部探针设计与内部序贯识别两层，外部问题等价于加权集合覆盖，内部问题给出评估次数上界。
2026-09-23 cs.AI cs.LG
Discovering Cooperative Pipelines: Autoresearch for Sequential Social Dilemmas
Komorebi AI Technologies（Komorebi人工智能技术）
本文提出一种双层自动研究框架，其中外层AI智能体自动重新设计内层LLM策略合成管线，以解决多智能体序列社会困境，实验表明该方法在多个游戏和福利目标下优于手工基线。
2026-05-28 cs.AI cs.LG cs.MA
Agent-Agnostic Human-in-the-Loop Reinforcement Learning
Brown University（布朗大学）；AI Impacts；Stanford University（斯坦福大学）；University of Oxford（牛津大学）
为强化学习代理提供专家建议可以显著改善学习的各个方面。以前的工作已经开发出教学协议，使代理在复杂的环境中有效地学习，这些方法中的许多定制教师的指导代理与特定的表示或底层的学习计划，提供有效的，但专门的教学程序。在这项工作中，我们探讨协议程序，一个代理不可知的模式，人在回路强化学习。我们的目标是将人类教师的有益特性融入强化学习中，而不对代理的内部工作原理做出强烈的假设。我们将展示如何表示现有的方法，如动作修剪，奖励塑造，并在模拟训练作为我们的模式的特殊情况下，并进行初步的实验简单的域。
2017-01-15 cs.AI cs.LG
Mutual-energy inner product optimization method for constructing feature coordinates and image classification in Machine Learning
University of California, Berkeley（加州大学伯克利分校）
本文提出互能内积优化方法构建特征坐标系，通过增强低频特征抑制噪声，结合有限元算法求解，在MINST数据集上训练高斯分类器获得良好预测结果。
2024-11-09 cs.LG stat.ML
Bridging the Imitation Gap by Adaptive Insubordination
Allen Institute for AI（艾伦人工智能研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在实践中，模仿学习优于纯强化学习，只要有可能设计一个教学代理提供专家监督。然而，我们发现，当教学代理人作出决定，访问特权信息是不可用的学生，这些信息被边缘化在模仿学习，导致“模仿差距”，并可能，效果不佳。先前的工作通过从模仿学习到强化学习的进展来弥合这一差距。虽然通常是成功的，但对于需要在探索和记忆之间频繁切换的任务来说，渐进式学习是失败的。为了更好地解决这些任务，并减轻模仿差距，我们提出了“适应性不服从”（ADVISOR）。ADVISOR在训练过程中动态地对模仿和基于奖励的强化学习损失进行加权，从而实现在模仿和探索之间的动态切换。在网格世界，多智能体粒子环境和高保真3D模拟器中设置的一系列具有挑战性的任务中，我们证明了ADVISOR的动态切换优于纯模仿，纯强化学习以及它们的顺序和并行组合。
2021-12-03 cs.AI cs.CV cs.LG
Recursive Introspection: Teaching Language Model Agents How to Self-Improve
Carnegie Mellon University（卡内基梅隆大学）；UC Berkeley（加州大学伯克利分校）；MultiOn
本文提出 RISE 方法，通过将单轮提示微调转化为多轮马尔可夫决策过程并进行迭代微调，使大语言模型能够递归地检测和纠正先前错误，在数学推理任务上实现自我改进且不破坏单轮能力。
2024-07-26 cs.AI cs.CL cs.LG
A Mathematical Theory of Understanding
University of Chicago, Booth School of Business（芝加哥大学商学院）
本文提出一个数学模型，研究学习者在理解信息时的瓶颈问题，探讨学习速度和采纳的限制，并指出异质学习者中广播课程可能比个性化教学更慢。
2026-03-19 cs.IT cs.LG econ.TH
Poincaré Heterogeneous Graph Neural Networks for Sequential Recommendation
Ant Group（蚂蚁集团）；Tianjin University（天津大学）；Shantou University（汕头大学）
顺序推荐通过捕捉用户行为演化的顺序模式来学习用户的偏好。正如许多研究所讨论的，SR的用户-项目交互通常呈现内在的幂律分布，这种分布可以上升到类层次结构。以往的方法通常通过在欧氏空间下经验性地对用户项进行分段来处理这种层次信息，这可能会导致真实在线场景中用户项表示的失真。本文提出了一种基于庞加莱的异构图神经网络PHGR，用于同时对SR场景数据中包含的序列模式信息和层次信息进行建模。具体来说，为了明确地捕捉层次信息的目的，我们首先构建一个加权的用户-项目异构图，通过排列所有的用户-项目交互，以提高从全局视图的感知域的每个用户。然后将全局表示的输出用于补充局部有向项-项齐次图卷积。通过定义一种新的双曲内积算子，将全局和局部图的表示学习直接在Poincaré球中进行，而不是常用的Poincaré球到欧氏空间的投影运算，从而缓解了一般双向平移过程中的累积误差问题.此外，为了显式地捕获序列依赖信息，我们在Poincaré球空间下设计了两种时间注意操作。对公共和金融行业数据集的实证评估表明，PHGR优于几种比较方法。
2022-05-16 cs.AI cs.IR cs.LG
