Boosting Feedback Efficiency of Interactive Reinforcement Learning by Adaptive Learning from Scores
University of Bristol（布里斯托大学）；Beijing Institute of Technology（北京理工大学）；Baidu Research（百度研究院）
本文提出用人类评分替代成对偏好作为交互式强化学习反馈，并设计自适应学习方案应对评分不稳定问题，在机器人运动与操作任务中以更少反馈高效学习近最优策略。
2023-08-06 cs.LG cs.RO
Make The Most of Prior Data: A Solution for Interactive Text Summarization with Preference Feedback
Cinnamon AI（肉桂人工智能公司）；Hung Yen University of Technology and Education（兴安技术教育大学）；Deakin University（迪肯大学）
对于摘要，人类偏好对于驯服摘要器的输出以有利于人类利益至关重要，因为地面事实摘要是稀缺且模糊的。实际设置需要人类和人工智能智能体之间的动态交换，其中反馈以在线方式提供，每次几个。在本文中，我们介绍了一个新的框架，训练摘要模型与偏好反馈交互。通过适当地利用离线数据和一种新的奖励模型，我们提高了ROUGE分数和样本效率的性能。我们在三个不同的数据集上的实验证实了所提出的框架在主动，Few-Shot和在线偏好学习设置中的好处。
2022-05-12 cs.AI
AgentRec: Agent Recommendation Using Sentence Embeddings Aligned to Human Feedback
Rutgers University（罗格斯大学）
本文提出AgentRec架构，基于SBERT编码句子嵌入，通过微调与人类反馈强化学习对齐，实现快速（<300ms）且高准确率（92.2%）的LLM智能体推荐，并开源数据集与代码。
2025-01-23 cs.AI cs.CL cs.LG
Accelerating the Learning of TAMER with Counterfactual Explanations
Ulm University（乌尔姆大学）
从人类反馈中交互式学习的能力将使智能体能够在新的环境中工作。例如，即使是新手用户也可以自然地和交互地训练服务机器人完成新任务。人在回路强化学习（HRL）结合了人的反馈和强化学习（RL）技术。最先进的交互式学习技术遭受缓慢的学习速度，从而导致人类的令人沮丧的体验。我们通过扩展HRL框架TAMER评估反馈的可能性，以提高人类的反馈与两种不同类型的反事实的解释（行动和状态为基础）来解决这个问题。我们的实验表明，我们的扩展提高了学习的速度。
2022-07-27 cs.AI cs.LG
Interactively Teaching an Inverse Reinforcement Learner with Limited Feedback
Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等技术学院）；INESC-ID（里斯本系统与计算机工程研究所）
本文针对教师无法访问学习器模型且反馈仅限指定起始状态轨迹的场景，提出一种结合主动风险价值、最大因果熵和难度分数比率的教导算法，并在模拟驾驶环境中验证其有效性。
2023-09-16 cs.AI cs.LG
GAN-Based Interactive Reinforcement Learning from Demonstration and Human Evaluative Feedback
Honda Research Institute Japan Co., Ltd（本田日本研究所）；College of Information Science and Engineering, Ocean University of China（中国海洋大学信息科学与工程学院）
深度强化学习（Deep Reinforcement Learning，DRL）在许多模拟任务中取得了巨大的成功。样本效率低的问题使得传统的DRL方法应用于现实世界的机器人是一个巨大的挑战。生成对抗模仿学习（GAIL）--一种通用的无模型模仿学习方法，允许机器人在大环境中直接从专家轨迹中学习策略。然而，GAIL共享其他模仿学习方法的局限性，他们很少能超过演示的性能。本文针对GAIL的局限性，结合GAIL和交互式强化学习的优点，提出了基于GAN的交互式强化学习（GAIRL）。我们在六个基于物理的控制任务中测试了我们提出的方法，从简单的低维控制任务--推车杆和山地车，到困难的高维任务--倒立双摆、月球着陆器、料斗和半猎豹。我们的研究结果表明，无论是最优还是次优的演示，GAIRL智能体总是可以学习一个更稳定的政策与最佳或接近最优的性能，而GAIL智能体的性能是上界的演示的性能，甚至比它更差。此外，我们的研究结果表明，GAIRL优于GAIL的原因是演示和人类的评价反馈的互补效应。
2021-04-14 cs.AI cs.LG cs.RO
LLF-Bench: Benchmark for Interactive Learning from Language Feedback
Microsoft Research（微软研究院）；Stanford University（斯坦福大学）
该研究推出LLF-Bench基准，涵盖多类序列决策任务，采用随机化技术确保真实学习效果，提供统一接口与可配置反馈类型，填补了现有基准对AI智能体语言反馈交互式学习能力评估的空白。
2023-12-13 cs.AI
NetReAct: Interactive Learning for Network Summarization
Virginia Tech（弗吉尼亚理工大学）；University of Iowa（爱荷华大学）；PNNL（太平洋西北国家实验室）；Georgia Tech（佐治亚理工学院）；GVSU（大峡谷州立大学）
生成有用的网络摘要是一个具有挑战性和重要性的问题，有几个应用程序，如意义，可视化和压缩。然而，目前在这一领域的大多数工作在生成摘要时都没有考虑到人类的反馈。考虑一个情报分析场景，其中分析师正在探索文档之间的相似性网络。分析师可以通过迭代反馈来表达她对网络摘要的可视化的同意/不同意，例如一起关闭或移动文档（“节点”）。我们如何使用此反馈来提高网络摘要质量？在本文中，我们提出了NetReAct，一种新的交互式网络摘要算法，它支持可视化的网络诱导的文本语料库执行意义。NetReAct将人类反馈与强化学习相结合，以总结和可视化文档网络。使用来自两个数据集的场景，我们展示了NetReAct如何成功地生成高质量的摘要和可视化，这些摘要和可视化比其他非平凡的基线更好地揭示隐藏的模式。
2020-12-22 cs.AI cs.LG
Deep Reinforcement Learning with Interactive Feedback in a Human-Robot Environment
Universidad Central de Chile（智利中央大学）；Deakin University（迪肯大学）；Universidade de Pernambuco（伯南布哥大学）
机器人每天都在扩大其在家庭环境中的存在，在家庭场景中执行任务的情况更加常见。未来，机器人将越来越多地执行更复杂的任务，因此能够尽快从不同来源获得经验。解决这个问题的一个可行的方法是交互式反馈，其中培训师建议学习者从特定状态采取哪些行动以加快学习过程。此外，深度强化学习最近已被广泛用于机器人技术，以自主学习环境并获得新技能。然而，使用深度强化学习时的一个开放问题是从原始输入图像学习任务所需的时间过长。在这项工作中，我们提出了一个深度的强化学习方法与交互式反馈，学习人类机器人场景中的家庭任务。我们使用模拟机器人手臂比较了三种不同的学习方法，用于组织不同对象的任务;所提出的方法是（i）深度强化学习（DeepRL）;（ii）使用先前训练的人工代理作为顾问的交互式深度强化学习（agent-IDeepRL）;以及（iii）使用人类顾问的交互式深度强化学习（human-IDeepRL）。我们证明，互动的方法提供的学习过程中的优势。所获得的结果表明，学习者代理，使用代理-IDeepRL或人类-IDeepRL，完成给定的任务更早，有更少的错误相比，自主的DeepRL方法。
2020-08-11 cs.AI cs.MA cs.RO
Interactive Groupwise Comparison for Reinforcement Learning from Human Feedback
Aalto University（阿尔托大学）；University of Cambridge（剑桥大学）；University of Trento（特伦特大学）；KTH Royal Institute of Technology（皇家理工学院）
本文提出交互式组间比较方法，通过可视化和主动学习提升强化学习从人类反馈中学习的奖励和策略效果。
2025-11-27 cs.HC cs.LG
Dialog-based Interactive Image Retrieval
IBM Research AI（IBM人工智能研究院）；Fusemachines Inc.（福赛机器公司）
现有的交互式图像检索方法具有整合用户反馈、提高检索效果的优点。然而，大多数当前系统依赖于受限形式的用户反馈，例如二进制相关性响应，或基于固定的相对属性集的反馈，这限制了它们的影响。在本文中，我们介绍了一种新的交互式图像搜索方法，使用户能够通过自然语言提供反馈，允许更自然和有效的互动。我们制定了基于对话框的交互式图像检索的任务作为一个强化学习问题，并奖励对话系统在每个对话轮提高目标图像的排名。为了减轻对话系统学习时收集人机对话的繁琐和昂贵的过程，我们用用户模拟器训练我们的系统，该用户模拟器本身经过训练以描述目标图像和候选图像之间的差异。我们的方法的有效性证明在鞋类检索应用程序。在模拟和真实数据上的实验表明：1）我们提出的学习框架比其他监督和强化学习基线具有更好的准确性; 2）基于自然语言而不是预先指定的属性的用户反馈导致更有效的检索结果，以及更自然和表达的通信界面。
2018-12-20 cs.AI cs.CV
Multi-modal Feedback for Affordance-driven Interactive Reinforcement Learning
Universität Hamburg（汉堡大学）；Universidad Central de Chile（智利中央大学）
交互式强化学习（IRL）通过允许智能体在任务期间与类似于父母的训练器交互来扩展传统的强化学习（RL）。在本文中，我们提出了一个IRL的方法，使用动态的视听输入的声音命令和手势作为反馈。我们的体系结构集成了多模态信息，提供强大的命令，从多个感官线索，以及一个信心值，表明反馈的可信度。整合过程还考虑了两种模态传递不一致信息的情况。此外，我们调制的影响，感官驱动的反馈在IRL任务中使用目标导向的知识，在上下文的启示。我们实现了一个神经网络架构来预测不同对象的执行动作的效果，以避免失败的状态，即，不可能完成任务的状态。在我们的实验设置中，我们探讨了机器人清洁场景中多模态反馈和特定任务启示的相互作用。我们比较了四种不同条件下的代理的学习性能：传统RL，多模态IRL，这两种设置中的每一种都使用上下文启示。我们的实验表明，最好的性能是通过使用视听反馈与affordancemodulated IRL。所获得的结果表明，在IRL任务的多通道的感觉加工与目标导向的知识集成的重要性。
2018-07-26 cs.AI cs.RO
Multi-trainer Interactive Reinforcement Learning System
University of Southampton（南安普顿大学）
交互式强化学习可以通过人工反馈有效地促进Agent训练。然而，这种方法通常需要人类教师知道代理应该采取的正确行动。换句话说，如果人类老师并不总是可靠的，那么它就不能始终如一地指导智能体完成训练。在本文中，我们提出了一个更有效的交互式强化学习系统，通过引入多个训练器，即多训练器交互式强化学习（MTIRL），它可以聚合从多个非完美的训练器的二进制反馈到一个更可靠的奖励稀疏环境中的代理训练。特别是，我们的教练反馈聚合实验表明，我们的聚合方法具有最好的准确性相比，多数投票，加权投票，贝叶斯方法。最后，我们进行了一个网格世界的实验表明，MTIRL与审查模型训练的政策是更接近最优的政策比没有审查模型。
2022-10-14 cs.LG
Improving Multimodal Interactive Agents with Reinforcement Learning from Human Feedback
DeepMind（深度思维）
人工智能的一个重要目标是创建能够与人类自然交互并从他们的反馈中学习的代理。在这里，我们演示了如何使用基于人类反馈的强化学习（RLHF）来改进模拟的、具体的代理，这些代理通过模仿学习训练到基本的能力水平。首先，我们收集了人类在模拟的3D世界中与代理交互的数据。然后，我们要求注释者记录他们认为智能体朝着人类指示的目标前进或倒退的时刻。使用这些注释数据，我们利用了一种新的方法-我们称之为“跨时间布拉德利-特里”（IBT）建模-来构建一个捕获人类判断的奖励模型。经过培训以优化IBT奖励模型提供的奖励的代理在我们的所有指标方面都有所改进，包括在与代理的实时交互期间的后续人类判断。总之，我们的研究结果展示了如何成功地利用人类的判断来改善代理行为，使我们能够在没有程序奖励功能的复杂的具体领域中使用强化学习。代理行为的视频可以在https://youtu.be/v_Z9F2_eKk4上找到。
2022-11-21 cs.HC cs.LG cs.MA
Interactive Learning from Activity Description
University of Maryland（马里兰大学）；Microsoft Research（微软研究院）；Rutgers University（罗格斯大学）
我们提出了一种新的交互式学习协议，使培训请求履行代理口头描述他们的活动。与模仿学习（IL）不同，我们的协议允许教学代理以最适合他们的语言提供反馈。与强化学习（RL）中的奖励相比，描述反馈更丰富，并允许提高样本复杂度。我们开发了一个概率框架和一个算法，实际上实现了我们的协议。两个具有挑战性的请求满足问题的实证结果表明，我们的方法的优势：与RL基线相比，它是更有效的样本;与IL基线相比，它实现了有竞争力的成功率，而不需要教学代理能够证明所需的行为使用学习代理的行动。除了经验评估，我们还提供了理论保证，我们的算法在一定的假设下的教师和环境。
2021-06-14 cs.AI cs.CL cs.HC
Hybrid Feedback-Guided Optimal Learning for Wireless Interactive Panoramic Scene Delivery
本文提出混合反馈模型和AdaPort算法，通过结合完全信息和老虎机反馈提升无线交互全景场景传输的优化学习效率。
2026-09-16 cs.LG cs.MM
A General Offline Reinforcement Learning Framework for Interactive Recommendation
Westlake University（西湖大学）
针对交互式推荐难以在线探索的问题，本文提出通用离线强化学习框架，结合概率生成模型、随机策略推理及五种分布失配缓解方法，并在两个真实数据集上验证其优于现有方法。
2023-10-01 cs.IR cs.LG
Actor-Critic Reinforcement Learning with Simultaneous Human Control and Feedback
University of Alberta（阿尔伯塔大学）
本文首次研究了不同的人类用户如何在人机交互过程中同时提供控制和反馈信号。作为这项工作的一部分，我们正式提出了一个通用的交互式学习框架，人类和强化学习代理之间的在线合作。在许多人机交互环境中，复杂半自治系统的自由度与人类控制通道的数量之间存在越来越大的差距。需要简单的人类控制和反馈机制来缩小这一差距，并允许人类和机器在复杂任务上更好地协作。为了更好地通知并发控制和反馈接口的设计，我们提出了实验结果，从人-机器人协作域，其中人类必须同时提供控制和反馈信号，以交互方式训练的演员-评论家强化学习机器人。我们比较了三种实验条件：1）人类提供的控制信号，2）奖励整形反馈信号，3）同时控制和反馈。我们的研究结果表明，受试者提供较少的反馈时，同时提供反馈和控制信号和控制信号的质量并没有显着降低。我们的数据表明，受试者也可能会修改他们提供反馈的时间和方式。通过本研究提供的算法开发和调整，我们预计机器人代理的半自主行动可以通过人类反馈更好地塑造，从而实现无缝协作并提高困难交互领域的性能。
2017-03-15 cs.AI cs.HC cs.RO
Interactive Learning with Corrective Feedback for Policies based on Deep Neural Networks
Universidad de Chile（智利大学）；Delft University of Technology（代尔夫特理工大学）；AMTC Center（AMTC中心）
深度强化学习（DRL）已经成为基于深度神经网络（DNN）解决复杂决策问题的一种强有力的策略。然而，它对数据的要求很高，因此在大多数应用程序的物理系统中是不可行的。在这项工作中，我们采用了一种替代的交互式机器学习（IML）策略，用于基于人类纠正反馈来训练DNN策略，这种方法称为深度教练（D-COACH）。这种方法不仅利用了人类教师的知识和见解以及DNN的力量，而且不需要奖励函数（这有时意味着需要外部感知来计算奖励）。我们将深度学习与人类传达的纠正性建议（COACH）框架相结合，在该框架中，非专家人类通过纠正代理在执行过程中的行为来制定政策。D-COACH框架具有解决复杂问题的潜力，无需大量数据或时间。实验结果验证了该框架在三个不同的问题（两个模拟，一个与一个真正的机器人）的效率，与状态空间的低和高维度，显示出成功地学习策略的能力，连续的动作空间，如在赛车和推车杆问题比DRL更快。
2018-09-30 cs.LG stat.ML
ARES: Alternating Reinforcement Learning and Supervised Fine-Tuning for Enhanced Multi-Modal Chain-of-Thought Reasoning Through Diverse AI Feedback
The Ohio State University（俄亥俄州立大学）
针对大语言模型现有反馈优化方法粒度粗的问题，提出两阶段算法ARES，交替结合句子级AI反馈的强化学习与错误修正的监督微调，提升多模态思维链推理效果与答案准确率。
2024-10-03 cs.AI cs.CL cs.LG
FRESH: Interactive Reward Shaping in High-Dimensional State Spaces using Human Feedback
University of Washington（华盛顿大学）；Worcester Polytechnic Institute（伍斯特理工学院）
强化学习已经成功地训练自主智能体在复杂环境中完成目标。虽然这已经适应了多种设置，包括机器人和计算机游戏，但人类玩家通常会发现在某些环境中比强化学习算法更容易获得更高的奖励。这在高维状态空间中尤其如此，在高维状态空间中，智能体获得的奖励是稀疏的或极度延迟的。在本文中，我们试图有效地整合人类操作员提供的反馈信号与高维状态空间中的深度强化学习算法。我们称之为FRESH（基于反馈的奖励塑造）。在训练期间，向人类操作员呈现来自重放缓冲器的轨迹，然后提供关于轨迹中的状态和动作的反馈。为了将人类操作员提供的反馈信号推广到测试时以前看不见的状态和动作，我们使用了反馈神经网络。我们使用一个集成的神经网络与一个共享的网络架构来表示模型的不确定性和神经网络在其输出的信心。反馈神经网络的输出被转换为成形奖励，该成形奖励被增强到由环境提供的奖励。我们评估我们的保龄球和滑雪雅达利游戏在街机学习环境的方法。尽管人类专家能够在这些环境中获得高分，但最先进的深度学习算法表现不佳。我们观察到，FRESH在这两种环境中都能够获得比最先进的深度学习算法更高的分数。FRESH在保龄球方面的得分也比人类专家高出21.4%，在滑雪方面的得分也比人类专家高。
2020-01-19 cs.AI
The UMD Neural Machine Translation Systems at WMT17 Bandit Learning Task
University of Maryland, College Park（马里兰大学帕克分校）
我们描述了马里兰大学的机器翻译系统提交给WMT 17德英班迪特学习任务。任务是使翻译系统适应一个新的领域，只使用强盗反馈：系统接收一个德语句子进行翻译，生成一个英语句子，并且只得到一个标量分数作为反馈。针对这两个挑战（自适应和强盗学习），我们构建了一个标准的神经机器翻译系统，并以两种方式对其进行扩展：（1）鲁棒的强化学习技术，以有效地从强盗反馈中学习，以及（2）使用从大型并行数据库中选择数据的领域自适应。
2017-08-07 cs.AI cs.CL cs.HC
Model-based Interactive Semantic Parsing: A Unified Framework and A Text-to-SQL Case Study
The Ohio State University（俄亥俄州立大学）；Facebook AI Research（脸书人工智能研究院）
作为一个有前途的范例，交互式语义解析已被证明可以提高语义解析的准确性和用户对结果的信心。在本文中，我们提出了一个新的，统一制定的交互式语义解析问题，其目标是设计一个基于模型的智能代理。智能体将自己的状态保持为当前预测的语义解析，决定是否需要人工干预以及在何处需要人工干预，并以自然语言生成澄清问题。智能体的一个关键部分是一个世界模型：它接受一个请求（一个初始问题或来自用户的后续反馈）并转换到一个新的状态。然后，我们提出了一个简单但非常有效的实例化我们的框架，证明了两个文本到SQL数据集（WikiSQL和蜘蛛）与不同的国家的最先进的基本语义解析器。与现有的交互式语义解析方法相比，该方法将基本解析器视为黑盒，我们的方法要求更少的用户反馈，但产生更高的运行时准确性。
2019-10-11 cs.AI cs.CL
Interactive Grounded Language Acquisition and Generalization in a 2D World
Baidu Research（百度研究院）；National Engineering Laboratory for Deep Learning Technology and Applications（深度学习技术及应用国家工程实验室）
我们建立了一个虚拟代理学习语言在一个2D迷宫般的世界。智能体可以看到周围环境的图像，听虚拟老师讲课，并采取行动获得奖励。它基于两个语言用例从头开始交互式地学习教师的语言：直接导航和问答。它同时学习世界的视觉表征、语言和动作控制。通过将语言基础与其他计算例程分开，并在语言基础和预测之间共享概念检测功能，智能体可靠地内插和外推来解释包含新词组合或训练句子中缺失的新词的句子。新词是从语言预测的答案中转移出来的。这种语言能力是在160多万个不同的句子中训练和评估的，这些句子包括119个目标词，8个颜色词，9个空间关系词和50个语法词。该模型在解释zero-shot句子方面明显优于五种比较方法。此外，我们在附录中展示了模型的人类可解释的中间输出。
2018-08-13 cs.AI cs.CL cs.LG
Soliciting Human-in-the-Loop User Feedback for Interactive Machine Learning Reduces User Trust and Impressions of Model Accuracy
University of Florida（佛罗里达大学）
混合主动系统允许用户交互式地提供反馈，以潜在地提高系统性能。人工反馈可以纠正模型错误并更新模型参数，以动态适应不断变化的数据。此外，许多用户希望能够有更高的控制水平，并修复他们所依赖的系统中的感知缺陷。然而，向自治系统提供反馈的能力如何影响用户信任，这在很大程度上是一个尚未探索的研究领域。我们的研究调查了提供反馈的行为如何影响用户对智能系统及其准确性的理解。我们提出了一个对照实验，使用一个模拟的目标检测系统与图像数据，研究交互式反馈收集对用户印象的影响。结果表明，提供人在回路反馈降低了参与者对系统的信任和他们对系统准确性的感知，无论系统准确性是否响应他们的反馈而提高。这些结果强调了在设计智能系统时考虑最终用户反馈对用户信任的影响的重要性。
2020-08-28 cs.AI cs.HC cs.LG
On Interactive Machine Learning and the Potential of Cognitive Feedback
U.S. Naval Research Laboratory（美国海军研究实验室）
为了提高生产力、能力和数据利用率，许多国防应用正在将最先进的机器学习和AI集成到其架构中。特别是对于国防应用，由于质量控制、问责制和复杂的主题专业知识不容易被人工智能自动化或复制，因此在循环中拥有人类分析师是非常重要的。然而，许多应用程序的过渡非常缓慢。这可能在很大程度上是由于缺乏信任，可用性和生产力，特别是在适应不可预见的类和任务上下文的变化时。交互式机器学习是一个新兴的领域，其中机器学习实现通过直观的人机界面进行训练、优化、评估和利用。在本文中，我们介绍了交互式机器学习，并解释其优势和局限性的背景下，国防应用。此外，我们解决了几个交互式机器学习的缺点，通过讨论如何认知反馈可以告知功能，数据和结果的最先进的状态。我们定义了三种技术，认知反馈可以采用：自我报告，隐式认知反馈，和建模的认知反馈。每种技术的优点和缺点进行了讨论。
2020-03-23 cs.AI cs.HC cs.LG
Interactive Training: Feedback-Driven Neural Network Optimization
University of Waterloo（滑铁卢大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对传统神经网络训练流程固定、缺乏动态调整灵活性的问题，本文提出开源框架Interactive Training，通过控制服务器实现训练过程的实时反馈干预，经实验验证可提升训练稳定性、降低超参数敏感性并增强需求适配性。
2025-10-02 cs.AI cs.CL cs.LG
Reinforced Interactive Continual Learning via Real-time Noisy Human Feedback
School of Computer Science and Technology, East China Normal University（东华师范大学计算机科学与技术学院）；Shanghai Innovation Institute（上海创新研究院）；School of Computer Science, Fudan University（复旦大学计算机科学学院）
针对实时流式人类反馈含噪且需动态更新的持续学习问题，提出RiCL框架，通过净化、偏好优化和抗噪对比学习提升性能。
2025-05-15 cs.AI cs.LG
Conformalized Interactive Imitation Learning: Handling Expert Shift and Intermittent Feedback
Robotics Institute, School of Computer Science, Carnegie Mellon University（机器人研究所、计算机科学学院、卡内基梅隆大学）；Departments of Statistics and Machine Learning, Carnegie Mellon University（统计学与机器学习系、卡内基梅隆大学）
针对交互式模仿学习中部署时的分布偏移与间歇性专家反馈问题，提出基于在线共形预测的IQT算法与ConformalDAgger框架，利用校准的预测区间主动查询专家反馈，使机器人更快适应专家策略变化。
2025-04-29 cs.AI cs.HC cs.LG
Exploiting Class Probabilities for Black-box Sentence-level Attacks
Arizona State University（亚利桑那州立大学）
本文提出一种利用类别概率反馈的黑盒句子级攻击新算法，克服了现有方法仅用标签或无反馈的局限，并通过多分类器和基准数据集上的广泛评估验证了其有效性。
2024-02-21 cs.AI cs.CL cs.CR
Towards Validating Long-Term User Feedbacks in Interactive Recommendation Systems
KAIST（韩国科学技术院）；KAKAO Enterprise（Kakao企业）
本研究针对公开评论数据集是否适用于评估交互式推荐系统长期效果的问题，通过对比强化学习模型与贪婪奖励模型，发现贪婪模型表现更优，提出需谨慎验证数据集并设置贪婪基线以保障评估合理性。
2023-08-22 cs.IR cs.LG
Interactive Imitation Learning in State-Space
Delft University of Technology（代尔夫特理工大学）
模仿学习技术通过演示而不是手动工程来编程代理的行为。然而，它们受到现有示范数据质量的限制。交互式模仿学习技术可以提高学习的效率，因为它们涉及教师提供反馈，而代理执行其任务。在这项工作中，我们提出了一种新的交互式学习技术，在状态空间中使用人的反馈训练和提高代理的行为（而不是替代方法，使用反馈的动作空间）。我们的方法名为教学模仿政策的状态空间~（TIPS），使提供指导的代理方面的“改变其状态”，这往往是更直观的人类示威者。通过纠正反馈的持续改进，使用TIPS的非专家演示者训练的代理优于演示者和传统的模仿学习代理。
2020-11-17 cs.LG cs.RO
A General Framework for Robust Interactive Learning
University of Southern California（南加州大学）
我们提出了一个通用的框架，交互式学习模型，如（二进制或非二进制）分类器，排序/排名的项目，或聚类的数据点。我们的框架是基于Angluin的等价查询模型和Littlestone的在线学习模型的推广：在每次迭代中，算法提出了一个模型，用户要么接受它，要么揭示了一个具体的错误的建议。反馈仅以概率$p > 1/2$是正确的（并且相反地以概率$1 - p$是不正确的），即，算法必须能够在存在任意噪声的情况下学习。该算法的目标是使用很少的迭代来学习地面实况模型。我们的总体框架是基于模型和用户反馈的图形表示。为了能够有效地学习，存在其节点是模型并且（加权）边捕获用户反馈的图$G$就足够了，具有以下性质：如果$s, s^*$分别是所提出的模型和目标模型，则任何（正确的）用户反馈$s'$必须位于$G$中的最短$s$ - $s^*$路径上。在这一假设下，有一种自然的算法让人想起乘法权重更新算法，即使在用户反馈中存在噪声的情况下，该算法也将有效地学习$s^*$。从这个一般性的结果，我们几乎没有任何额外的努力重新获得经典的结果学习分类器和最近的结果交互式聚类，此外，我们很容易获得新的交互式学习算法排序/排名。
2017-10-16 cs.DS cs.LG
A Context-aware Attention Network for Interactive Question Answering
UNC Charlotte（北卡罗来纳大学夏洛特分校）；NEC Laboratories America（NEC美国实验室）；University of Arizona（亚利桑那大学）
在编码器-解码器框架中的基于神经网络的序列到序列模型已经成功地应用于解决问答（QA）问题，从陈述和问题预测答案。然而，几乎所有以前的模型都没有考虑详细的上下文信息和未知状态，在这些状态下，系统没有足够的信息来回答给定的问题。在交互式问答（IQA）中，这些信息不完整或模糊的场景非常常见。为了解决这一挑战，我们开发了一种新的模型，采用上下文相关的词级注意力更准确的陈述表示和问题引导的话语级注意力更好的上下文建模。我们还生成了独特的IQA数据集来测试我们的模型，这些数据集将公开提供。采用这些注意力机制，我们的模型准确地理解什么时候可以输出答案，或者什么时候需要根据不同的上下文生成补充问题以进行额外的输入。当可用时，用户的反馈被编码并直接应用于更新任务级注意力以推断答案。QA和IQA数据集上的大量实验定量地证明了我们的模型的有效性，与最先进的传统QA模型相比有显着的改进。
2017-09-03 cs.CL cs.LG
Provable Interactive Learning with Hindsight Instruction Feedback
Microsoft Research（微软研究院）；Boston University（波士顿大学）
该研究针对事后指令反馈的交互式学习场景，率先开展理论分析，给出一般场景的遗憾下界，提出低秩假设下的LORIL算法实现与响应空间规模无关的√T级遗憾，实验验证其在低秩假设不成立时仍优于基线。
2024-04-14 cs.AI cs.CL cs.LG
Introducing explainable supervised machine learning into interactive feedback loops for statistical production system
European Central Bank（欧洲中央银行）；University of Southampton（南安普顿大学）；Solenix Deutschland GmbH（Solenix德国有限公司）
统计生产系统涵盖从数据收集、汇总和整合到数据质量保证和传播等任务的多个步骤。虽然数据质量保证是应用机器学习最有前途的领域之一，但缺乏经过策划和标记的训练数据往往是一个限制因素。中央证券数据库的统计制作系统在欧洲中央银行收集的数据与各国中央银行数据质量管理人员执行的数据质量保证之间建立了一个互动反馈回路。质量保证反馈循环基于一组基于规则的检查，用于引发异常，用户可以根据这些异常确认数据或纠正实际错误。在本文中，我们使用从这个反馈回路收到的信息，以优化异常提交给国家中央银行，从而提高质量的异常生成和用户认证这些异常的系统上消耗的时间。对于这种方法，我们利用可解释的监督机器学习来（a）识别例外的类型和（b）优先考虑哪些例外更有可能需要国家协调机构的干预或纠正。此外，我们提供了一个可解释的AI分类法，旨在识别项目期间出现的不同可解释的AI需求。
2022-02-18 cs.LG stat.AP stat.ML
Interactive Weak Supervision: Learning Useful Heuristics for Data Labeling
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）
获取大的带注释的数据集对于训练成功的机器学习模型至关重要，并且它通常是实践中的瓶颈。弱监督提供了一种有前途的替代方案，通过使用多个噪声分类生成概率标签来生成没有地面实况注释的标记数据集。这个过程可以扩展到大型数据集，并在医疗保健和电子商务等不同领域展示了最先进的性能。从用户生成的知识库中学习的一个实际问题是，它们的创建需要手工制作它们的人的创造力，远见和领域专业知识，这是一个繁琐和主观的过程。我们开发了第一个框架，互动式弱监督的方法，提出了启发式和学习用户反馈给每个建议的启发式。我们的实验表明，只需要少量的反馈迭代训练模型，实现高度竞争力的测试集性能，而无需访问地面真实训练标签。我们进行了用户研究，结果表明用户能够有效地提供启发式反馈，并且测试集结果跟踪模拟预言机的性能。
2021-01-25 cs.AI cs.LG stat.ML
InterCode: Standardizing and Benchmarking Interactive Coding with Execution Feedback
Princeton University（普林斯顿大学）
本文提出 InterCode 框架，将交互式编程标准化为强化学习环境，以代码为动作、执行反馈为观测，并在 Bash、SQL 和 Python 三个环境中验证其能有效提升 LLM 的代码生成能力。
2023-10-30 cs.CL cs.LG cs.SE
Seeker: Real-Time Interactive Search
本文介绍了搜索者，一个系统，允许用户交互式地完善搜索排名实时的，通过反馈的形式喜欢和不喜欢。在网上搜索时，用户可能不知道如何准确地用语言描述他们选择的产品。另一种方法是搜索嵌入空间，允许用户使用项目的表示（如歌曲的曲调或对象的图片）进行查询。然而，这种方法要求用户拥有他们所需项目的示例表示。此外，大多数当前的搜索系统不允许用户利用进一步的反馈来动态地调整结果。另一方面，用户通常对所需的项目有一个心理图像，并且能够回答以下形式的顺序问题："这个项目与您心目中的相似吗？"有了这个假设，我们的算法允许用户对搜索结果提供顺序反馈，以适应搜索提要。我们表明，我们所提出的方法在定性和定量上都很好地工作。与以前大多数基于表示的搜索系统不同，我们可以通过评估人在回路实验来量化算法的质量。
2019-05-17 cs.IR cs.LG stat.ML
Provably Efficient Interactive-Grounded Learning with Personalized Reward
University of Southern California（南加州大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）
针对交互式基础学习中个性化奖励缺乏理论保证的问题，提出基于Lipschitz奖励估计器的两种可证明高效的次线性遗憾算法，并验证了其在图像和文本反馈场景下的有效性。
2024-05-31 cs.LG stat.ML
Interactive Visual Data Exploration with Subjective Feedback: An Information-Theoretic Approach
Aalto University（阿尔托大学）；Ghent University（根特大学）；Finnish Institute of Occupational Health（芬兰职业健康研究所）
高维实值数据集的可视化探索是探索性数据分析（EDA）的一项基本任务。现有的方法使用预定义的标准来选择数据的表示。缺乏方法来（i）从用户那里得出她从数据中学到了什么，以及（ii）显示她还不知道的模式。我们构建了一个理论模型，其中识别出的模式可以作为知识输入到系统中。这里的知识语法是直观的，例如“这组点形成一个簇”，并且不需要数学知识。该背景知识用于找到数据的最大熵分布，之后系统提供用户数据投影，其中数据和最大熵分布最不相同，因此示出了在给定用户的当前知识的情况下最大程度地提供信息的数据的用户方面。我们提供了一个开源的EDA系统与定制的交互式可视化来演示这些概念。我们研究了系统的性能，并在合成数据和真实数据上展示了用例。我们发现，该模型和原型系统允许用户有效地学习信息，从各种数据源和系统的工作速度足够快，在实践中。我们的结论是，信息理论的方法，探索性数据分析，其中由用户观察到的模式被形式化为约束条件，为构建EDA系统提供了一个原则，直观，高效的基础。
2017-10-23 cs.IT cs.LG math.IT
