Skyline: Interactive In-Editor Computational Performance Profiling for Deep Neural Network Training
University of Toronto（多伦多大学）；Vector Institute（矢量研究所）
训练最先进的深度神经网络（DNN）是一个计算昂贵且耗时的过程，这激励深度学习开发人员调试其DNN的计算性能。然而，有效地执行这种调试需要对底层软件和硬件系统有深入的了解--这是典型的深度学习开发人员可能不具备的。为了帮助弥合这一差距，我们提出了Skyline：一种用于DNN培训的新交互式工具，支持编辑器内的计算性能分析，可视化和调试。Skyline的主要贡献在于它利用DNN训练的特殊计算属性来提供（i）交互式性能预测和可视化，以及（ii）直接可操纵的可视化，当拖动时，会改变代码中的批量大小。作为一个编辑器内工具，Skyline允许用户利用这些诊断功能在开发过程中调试DNN的性能。对Skyline的探索性定性用户研究产生了有希望的结果;所有参与者都发现Skyline有用且易于使用。
2020-08-20 cs.HC cs.LG cs.SE
Interactive Training: Feedback-Driven Neural Network Optimization
University of Waterloo（滑铁卢大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
针对传统神经网络训练流程固定、缺乏动态调整灵活性的问题，本文提出开源框架Interactive Training，通过控制服务器实现训练过程的实时反馈干预，经实验验证可提升训练稳定性、降低超参数敏感性并增强需求适配性。
2025-10-02 cs.AI cs.CL cs.LG
Interactive Training 2: Auditable Control Plane for Live Model Training
University of Waterloo（滑铁卢大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
研究针对实时模型训练更改需特定代码的问题，提出交互式训练2这一开源控制平面，通过共享协议指导训练，经五个工作流程演示，其代码和跟踪为可审计训练提供了可重用基础。
2026-07-22 cs.LG
SpaceEditing: Integrating Human Knowledge into Deep Neural Networks via Interactive Latent Space Editing
Jilin University（吉林大学）；University of Tokyo（东京大学）；Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）
我们提出了一种交互式编辑方法，允许人类帮助深度神经网络（DNN）学习与人类知识更一致的潜在空间，从而提高对无法区分的模糊数据的分类准确性。首先，我们通过降维方法将高维数据特征可视化，并设计了一个交互式系统\textit{SpaceEditing}来显示可视化的数据。\textit{SpaceEditing}提供了一个基于空间布局思想的2D工作空间。在该工作空间中，用户可以根据系统引导在其中移动投影数据。然后，\textit{SpaceEditing}根据用户移动的投影数据找到相应的高维特征，并将高维特征反馈给网络进行再训练，从而达到为用户交互修改高维潜在空间的目的。其次，为了更合理地将人类知识融入到神经网络的训练过程中，我们设计了一个新的损失函数，使网络能够学习用户修改的信息。最后，我们通过三个案例分析来说明\textit{SpaceEditing}是如何满足用户需求的，并对我们提出的新方法进行了评估，结果证实了我们的方法的有效性。
2022-12-08 cs.HC cs.LG
Massif: Interactive Interpretation of Adversarial Attacks on Deep Learning
Georgia Institute of Technology（佐治亚理工学院）；GTRI（佐治亚技术研究所）
深度神经网络（DNN）越来越多地为自动驾驶汽车和医疗保健等高风险应用提供动力;然而，在这些应用中，DNN通常被视为“黑匣子”。最近的研究还表明，DNN极易受到对抗攻击的攻击，这引起了人们对在现实世界中部署DNN的严重担忧。为了克服这些缺陷，我们正在开发Massif，这是一种用于破译对抗攻击的交互式工具。Massif识别并交互式可视化DNN内被对抗攻击强烈激活或抑制的神经元及其连接。Massif提供了攻击对DNN影响的高层次、可解释的概述，以及受影响神经元的低层次、详细描述。Massif中的这些紧密耦合的视图帮助人们更好地了解哪些输入特征对于正确的预测最脆弱或最重要。
2020-02-16 cs.CR cs.LG stat.ML
Imitating by generating: deep generative models for imitation of interactive tasks
KTH Royal Institute of Technology（瑞典皇家理工学院）；Aalto University（阿尔托大学）；Alanya Alaaddin Keykubat University（阿拉尼亚·阿拉丁·库库巴特大学）
为了与互动伙伴协调行动，需要不断交换感觉运动信号。人类在婴儿期和幼儿期获得这些技能主要是通过模仿学习和与熟练伙伴的积极参与。他们需要在互动过程中预测和适应伴侣的能力。在这项工作中，我们要探索这些想法在人与机器人的互动设置中，机器人需要学习互动任务的观察和动觉学习的组合。为此，我们提出了一个深度学习框架，该框架由多个组件组成，用于（1）人类和机器人运动嵌入，（2）人类伙伴的运动预测和（3）生成与人类运动匹配的机器人关节轨迹。为了验证这些想法，我们收集了四个交互任务“握手”，“挥手”，“降落伞拳头碰撞”和“火箭拳头碰撞”的人机交互数据和人机交互数据。我们通过实验证明了预测和自适应组件以及低级别抽象的重要性，以成功地学习模仿人类行为的互动社会任务。
2019-10-14 cs.LG cs.RO stat.ML
Micro-entries: Encouraging Deeper Evaluation of Mental Models Over Time for Interactive Data Systems
University of Florida（佛罗里达大学）
许多交互式数据系统将数据的可视化表示与用于自动化和数据探索的嵌入式算法支持相结合。为了有效地支持透明和可解释的数据系统，研究人员和设计人员必须了解用户如何理解系统。讨论了系统逻辑用户心智模型的评价问题。心智模型很难捕捉和分析。虽然常见的评估方法的目的是近似用户的最终心理模型后，一段时间的系统使用，用户的理解不断演变，用户与系统随着时间的推移进行交互。在本文中，我们回顾了许多常见的心理模型测量技术，讨论了权衡，并建议方法更深入，更有意义的评估心理模型时，使用交互式数据分析和可视化系统。我们提出的准则，随着时间的推移，揭示了特定的模型更新的演变，以及它们如何映射到特定的接口功能和数据查询的使用评估心理模型。通过要求用户描述他们知道什么以及他们是如何知道的，研究人员可以收集结构化的，时间顺序的洞察用户的概念化过程，同时也有助于引导用户自己的发现。
2020-09-02 cs.HC cs.LG
Interactive Learning with Corrective Feedback for Policies based on Deep Neural Networks
Universidad de Chile（智利大学）；Delft University of Technology（代尔夫特理工大学）；AMTC Center（AMTC中心）
深度强化学习（DRL）已经成为基于深度神经网络（DNN）解决复杂决策问题的一种强有力的策略。然而，它对数据的要求很高，因此在大多数应用程序的物理系统中是不可行的。在这项工作中，我们采用了一种替代的交互式机器学习（IML）策略，用于基于人类纠正反馈来训练DNN策略，这种方法称为深度教练（D-COACH）。这种方法不仅利用了人类教师的知识和见解以及DNN的力量，而且不需要奖励函数（这有时意味着需要外部感知来计算奖励）。我们将深度学习与人类传达的纠正性建议（COACH）框架相结合，在该框架中，非专家人类通过纠正代理在执行过程中的行为来制定政策。D-COACH框架具有解决复杂问题的潜力，无需大量数据或时间。实验结果验证了该框架在三个不同的问题（两个模拟，一个与一个真正的机器人）的效率，与状态空间的低和高维度，显示出成功地学习策略的能力，连续的动作空间，如在赛车和推车杆问题比DRL更快。
2018-09-30 cs.LG stat.ML
CNN 101: Interactive Visual Learning for Convolutional Neural Networks
Georgia Institute of Technology（佐治亚理工学院）；Oregon State University（俄勒冈州立大学）
深度学习解决以前认为的难题的成功激励了许多非专家学习和理解这项令人兴奋的技术。然而，由于深度学习模型的复杂性，学习者往往很难迈出第一步。我们提出了我们正在进行的工作，CNN 101，一个交互式可视化系统，用于解释和教学卷积神经网络。通过紧密集成的交互式视图，CNN 101提供模型如何工作的概述和详细描述。使用现代网络技术构建的CNN 101在用户的网络浏览器中本地运行，而不需要专门的硬件，从而拓宽了公众对现代深度学习技术的教育访问。
2020-02-27 cs.AI cs.HC cs.LG
Deep Interactive Reinforcement Learning for Path Following of Autonomous Underwater Vehicle
Ocean University of China（中国海洋大学）
自主式水下机器人（AUV）在海洋探测中发挥着越来越重要的作用。现有的AUV通常不是完全自主的，并且通常限于预先规划或预先编程任务。强化学习和深度强化学习被引入到AUV的设计和研究中，以提高其自主性。然而，这些方法仍然很难直接应用于实际的AUV系统，因为稀疏的奖励和低的学习效率。结合深度强化学习和交互式强化学习的优点，提出了一种深度交互式强化学习方法用于水下机器人路径跟踪。此外，由于AUV在海洋中运行时，人类训练者无法提供人类奖励，而AUV需要适应不断变化的环境，因此我们进一步提出了一种同时从人类奖励和环境奖励中学习的深度强化学习方法。通过在Gazebo平台上的仿真，分别对AUV的直线跟踪和正弦曲线跟踪两种路径跟踪任务进行了验证。我们的实验结果表明，使用我们提出的深度交互式RL方法，AUV可以比仅从环境奖励的DQN学习器更快地收敛。此外，AUV从人类和环境奖励的深度RL学习也可以实现与深度交互式RL方法相似甚至更好的性能，并且可以通过进一步从环境奖励学习来适应实际环境。
2020-01-10 cs.AI cs.LG cs.RO
i-Algebra: Towards Interactive Interpretability of Deep Neural Networks
Pennsylvania State University（宾夕法尼亚州立大学）；Zhejiang University（浙江大学）
为深度神经网络（DNN）提供解释对于它们在决策的可解释性是关键先决条件的领域中的使用至关重要。尽管有大量关于解释DNN的工作，但大多数现有的解决方案都以临时、一次性和静态的方式提供可解释性，而没有考虑最终用户的感知、理解或响应，导致其在实践中的可用性较差。在本文中，我们认为DNN的可解释性应该实现为用户和模型之间的交互。我们提出了i-Algebra，这是第一个用于解释DNN的交互式框架。它的核心是一个原子的、可组合的运算符库，这些运算符在不同的输入粒度、不同的推理阶段以及不同的解释角度解释模型行为。利用声明性查询语言，用户能够构建各种分析工具（例如，“下钻”、“比较”、“假设”分析）。我们对i-Algebra进行了原型设计，并在一组具有代表性的分析任务中进行了用户研究，包括检查对抗性输入，解决模型不一致性，以及清理受污染的数据，所有这些都证明了它有前途的可用性。
2021-01-22 cs.HC cs.LG
Assessment Modeling: Fundamental Pre-training Tasks for Interactive Educational Systems
Riiid! AI Research（Riiid人工智能研究院）
与人工智能（AI）的许多其他领域一样，教育领域的AI（AIEd）中也有一些特定的任务，这些任务的标签既稀缺又昂贵，例如预测考试成绩或复习正确性。规避标签稀缺问题的一种常见方法是预先训练一个模型来学习学习项目内容的表示。然而，这样的方法未能利用可用的学生交互数据的全部范围，并且不对学生学习行为进行建模。为此，我们提出了评估建模，一类基本的预培训任务，一般的互动教育系统。评价是学生与系统互动的一个特征，可以作为教学评价。例如，学生回答的正确性和及时性。评估建模是以交互的周围环境为条件的评估预测。虽然对大量可用的交互式功能进行预训练是很自然的，但将预测目标限制在评估中会将任务的相关性集中在标签稀缺的教育问题上，并减少不太相关的噪音。虽然不同组合的评估的有效性是开放的探索，我们建议评估建模作为一阶的指导原则，选择适当的预培训任务的标签稀缺的教育问题。
2021-06-28 cs.AI cs.HC cs.LG
MolDesigner: Interactive Design of Efficacious Drugs with Deep Learning
Harvard University（哈佛大学）；Georgia Institute of Technology（佐治亚理工学院）；Gradio；IQVIA；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
药物的疗效取决于其对治疗靶点的结合亲和力和药代动力学。深度学习（DL）在预测药物疗效方面取得了显着进展。我们开发了MolDesigner，一个人在回路的网络用户界面（UI），以帮助药物开发人员利用DL预测来设计更有效的药物。开发人员可以在界面上绘制药物分子。在后端，超过17个最先进的DL模型生成对药物疗效至关重要的重要指标的预测。基于这些预测，药物开发人员可以编辑药物分子并重复直到满意。MolDesigner可以实时进行预测，延迟不到一秒。
2020-10-05 cs.HC cs.LG q-bio.QM
iNNspector: Visual, Interactive Deep Model Debugging
ETH Zurich（苏黎世联邦理工学院）；University of Konstanz（康斯坦茨大学）
本文提出构建深度学习实验数据空间的概念框架，并开发了提供多抽象层次数据交互式可视化的iNNspector系统，以简化模型调试过程，经真实用例和用户研究证明其有效性与可用性。
2024-07-25 cs.HC cs.LG
An Interactive Interpretability System for Breast Cancer Screening with Deep Learning
Vanderbilt University（范德堡大学）；Carnegie Mellon University（卡内基梅隆大学）
深度学习方法，特别是卷积神经网络，已经成为医学图像计算任务中的强大工具。虽然这些复杂的模型提供了出色的性能，但它们的黑盒性质可能会阻碍高风险决策的实际应用。在本文中，我们提出了一个互动系统，利用国家的最先进的可解释性技术，以协助放射科医生与乳腺癌筛查。我们的系统将深度学习模型集成到放射科医生的工作流程中，并提供新颖的交互，以促进对模型决策过程的理解。此外，我们证明了我们的系统可以利用用户交互逐步提供更细粒度的可解释性报告，标签开销很小。由于所采用的可解释性技术的通用性，我们的系统是领域不可知的，可用于许多不同的医学图像计算任务，为我们如何利用视觉分析来转换最初的静态可解释性技术以增强人类决策并促进医学AI的采用提供了一个新的视角。
2022-09-30 cs.AI cs.CV cs.HC
Learning to predict where to look in interactive environments using deep recurrent q-learning
National University of Ireland, Galway（爱尔兰国立大学戈尔韦分校）；University of Central Florida（中佛罗里达大学）；Iran University of Science and Technology（伊朗科技大学）
自下而上（BU）显著性模型在人类积极参与任务的复杂交互环境中表现不佳（例如，三明治制作和玩视频游戏）。在本文中，我们利用强化学习（RL）来突出显示输入帧的任务相关位置。我们提出了一个软注意力机制与深度Q网络（DQN）模型相结合，教RL代理如何玩游戏，并通过关注其视觉输入的最相关部分来查看。我们对几个Atari 2600游戏的评估表明，基于软注意力的模型可以预测固定位置显着优于自下而上的模型，如Itti-Kochs显着性和基于图形的视觉显着性（GBVS）模型。
2017-02-18 cs.CV cs.LG
A Deep Generative Model for Interactive Data Annotation through Direct Manipulation in Latent Space
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；University of Oldenburg（奥尔登堡大学）
针对标注数据缺乏制约机器学习应用的问题，提出一种深度生成模型，通过将图形界面坐标、时间和力与神经网络潜在空间、训练迭代和梯度类比，实现交互式数据标注，并研究了超参数影响以确定候选模型变体。
2023-05-24 cs.HC cs.LG
Interactive Naming for Explaining Deep Neural Networks: A Formative Study
Oregon State University（俄勒冈州立大学）
我们考虑用人类可识别的视觉概念来解释用于图像识别的深度神经网络的决策的问题。特别是，给定一个测试集的图像，我们的目标是解释每一个分类的少量的图像区域，或激活地图，这已与语义概念的人类注释。这允许生成分类的典型原因的概要视图，这可以帮助建立对分类器的信任和/或识别分类器可能不被信任的示例类型。为此，我们开发了一个用户界面的“交互式命名”，它允许一个人类注释手动聚类显着的激活地图在一个测试集到有意义的组称为“视觉概念”。本文的主要贡献是系统地研究了五名人类注释者使用交互式命名界面产生的视觉概念。特别是，我们认为，足够的概念解释分类的测试集的图像，对应的概念激活的单个神经元，和注释者之间的协议的视觉概念。我们发现，很大一部分的激活地图有可识别的视觉概念，并有显着的协议，不同的注释者对他们的外延。我们的工作是一个探索性的研究之间的相互作用机器学习和人类识别介导的可视化的学习结果。
2018-12-20 cs.CV cs.LG stat.ML
Towards Interactive Training of Non-Player Characters in Video Games
Electronic Arts（美国艺电公司）；Institute of Computational Modelling（计算建模研究所）
视频游戏中对高质量的非玩家角色（NPC）的需求很高。手工制作它们的行为是一个劳动密集型和容易出错的工程过程，游戏设计师只能进行有限的控制。我们建议通过在目标环境中使用模仿学习与人在循环中训练代理来交互地创建这样的NPC行为。虽然传统的行为克隆可能达不到预期的性能，我们表明，互动性可以大大提高它与适量的人类努力。我们训练的模型是马尔可夫模型的多分辨率集合，它可以按原样使用，也可以进一步“压缩”成更紧凑的模型，用于在消费者设备上进行推理。我们在OpenAI Gym中的一个例子上说明了我们的方法，在这个例子中，人类可以帮助快速训练一个代理，只需几个交互式演示。我们还概述了目前正在开发的第一人称射击游戏的NPC训练实验。
2019-06-03 cs.AI cs.LG
Light Interaction: Training-Free Inference Acceleration for Interactive Video World Models
Zhejiang University（浙江大学）；NVIDIA
针对交互式视频世界模型推理成本高的问题，提出免训练加速框架Light Interaction，通过自适应上下文管理、去噪缓存加速和3D块稀疏注意力实现最高2.59倍加速。
2026-06-19 cs.CV cs.LG
Multi-trainer Interactive Reinforcement Learning System
University of Southampton（南安普顿大学）
交互式强化学习可以通过人工反馈有效地促进Agent训练。然而，这种方法通常需要人类教师知道代理应该采取的正确行动。换句话说，如果人类老师并不总是可靠的，那么它就不能始终如一地指导智能体完成训练。在本文中，我们提出了一个更有效的交互式强化学习系统，通过引入多个训练器，即多训练器交互式强化学习（MTIRL），它可以聚合从多个非完美的训练器的二进制反馈到一个更可靠的奖励稀疏环境中的代理训练。特别是，我们的教练反馈聚合实验表明，我们的聚合方法具有最好的准确性相比，多数投票，加权投票，贝叶斯方法。最后，我们进行了一个网格世界的实验表明，MTIRL与审查模型训练的政策是更接近最优的政策比没有审查模型。
2022-10-14 cs.LG
NeuroViz: Real-time Interactive Visualization of Forward and Backward Passes in Neural Network Training
Boston University（波士顿大学）
提出NeuroViz交互式可视化工具，通过实时展示全连接神经网络训练中的激活值、权重更新和损失变化，以及逐神经元方程，显著提升训练透明度和可解释性。
2026-05-23 cs.LG
STAND: Self-Aware Precondition Induction for Interactive Task Learning
Georgia Institute of Technology（佐治亚理工学院）；Carnegie Mellon University（卡内基梅隆大学）
STAND通过自感知学习机制，在交互式任务学习中实现高效且准确的预条件诱导，提升训练一致性和主动学习支持。
2026-02-04 cs.LG
Training Robots to Evaluate Robots: Example-Based Interactive Reward Functions for Policy Learning
University of Pennsylvania（宾夕法尼亚大学）
身体上的相互作用往往有助于揭示那些不太明显的信息。例如，我们可能会拉桌子腿来评估它是否建造得很好，或者把水瓶倒过来检查它是否防水。我们建议训练机器人自动获得这样的互动行为，用于评估的结果，试图机器人技能执行。这些评估反过来充当“交互式奖励函数”（IRF），用于训练强化学习策略以执行目标技能，例如拧紧桌腿。此外，即使在任务策略被完全训练之后，IRF也可以作为改进在线任务执行的验证机制。对于任何给定的任务，我们的IRF都可以仅使用成功结果的示例来方便地训练，并且此后不需要进一步的规范来训练任务策略。在我们对模拟中的门锁和配重块堆叠以及真实机器人上的螺钉拧紧进行的评估中，IRF可以大幅提高性能，甚至可以通过演示或精心设计的奖励来超越基线。项目网址：https://sites.google.com/view/lirf-corl-2022/
2022-12-17 cs.LG cs.RO
CaptchaArena: A Large-Scale, Fine-Grained Dataset for Training Computer-Use Agents on Interactive CAPTCHAs
针对交互式验证码对计算机使用智能体的挑战，提出大规模细粒度数据集CaptchaArena，训练单一9B策略CaptchaAgent，通过监督微调和强化学习提升求解性能。
2026-09-29 cs.AI cs.CV cs.LG
InsightBoard: An Interactive Multi-Metric Visualization and Fairness Analysis Plugin for TensorBoard
InsightBoard通过统一界面整合多指标可视化与切片公平性诊断，帮助研究者在训练过程中分析训练动态、性能指标和子群体差异，提升模型公平性诊断的及时性和准确性。
2026-04-02 cs.AR cs.LG
Autoregressive Adversarial Post-Training for Real-Time Interactive Video Generation
ByteDance Seed（字节跳动 Seed）；The Chinese University of Hong Kong（香港中文大学）；ByteDance Intelligent Creation Lab（字节跳动智能创作实验室）
针对现有视频生成模型计算量大难适配实时交互场景的问题，提出自回归对抗后训练方法，将预训练潜空间扩散模型改造为高效自回归生成器，实现单卡/多卡H100上的高分辨率实时流式交互式视频生成。
2025-10-01 cs.AI cs.CV cs.LG
AutoCl : A Visual Interactive System for Automatic Deep Learning Classifier Recommendation Based on Models Performance
Islamic University of Technology（伊斯兰科技大学）；International University of Business Agriculture and Technology（国际商业农业与技术大学）；The University of Tennessee Health Science Center（田纳西大学健康科学中心）
如今，深度学习（DL）模型越来越多地应用于各个领域，没有技术专长和领域知识的人很难找到适合他们任务的模型。在本文中，我们介绍了AutoCl的可视化交互式推荐系统，旨在帮助非专家采用适当的DL分类。我们的系统使用户能够比较使用各种超参数设置训练的多个分类器的性能和行为，并自动推荐具有适当超参数的最佳分类器。我们比较了AutoCl与最近几个AutoML系统的功能，并表明它可以帮助非专家更好地选择DL分类器。最后，我们展示了使用公共数据集的图像分类的用例，以展示我们的系统的能力。
2022-02-24 cs.LG
Embedded Deep Bilinear Interactive Information and Selective Fusion for Multi-view Learning
Northwestern Polytechnical University（西北工业大学）；Nanjing University（南京大学）；National University of Defense Technology（国防科技大学）
多视图分类作为多视图学习的一种具体应用，通过对多个视图的最优融合，对传统的分类方法进行了改进。虽然以往的研究已经证明了多视点学习的优越性，但在深入研究中，还可以通过全面嵌入更强大的跨视点交互信息和更可靠的多视点融合策略来进一步提高多视点学习的优越性。为了实现这一目标，我们提出了一个新的多视图学习框架，使多视图分类更好地针对上述两个方面。也就是说，我们无缝地嵌入各种视图内的信息，跨视图的多维双线性交互信息，和一个新的视图集成机制到一个统一的框架，通过优化决策。特别地，我们训练不同的深度神经网络来学习各种视图内表示，然后通过视图之间的双线性函数从不同的双线性相似性动态地学习多维双线性交互信息。在此基础上，通过灵活调整视图权值的参数，自适应地融合多个视图的表示，不仅避免了权重的繁琐求解，而且为多视图分类提供了一种新的方法来选择有利于决策的少数有区别的视图.在六个公开数据集上的实验证明了该方法的有效性。
2020-07-13 cs.CV cs.LG
Deep Generative Multi-Agent Imitation Model as a Computational Benchmark for Evaluating Human Performance in Complex Interactive Tasks: A Case Study in Football
评估人类的表现是许多应用中的共同需求，例如在工程和运动中。在评估人类在完成复杂和交互式任务时的表现时，最常见的方法是使用已被证明对该环境有效的度量标准，或者使用主观测量技术。然而，这可能是一个容易出错和不可靠的过程，因为静态度量无法捕捉与这些任务相关的所有复杂上下文，并且主观测量中存在偏差。我们研究的目标是创建数据驱动的AI代理作为计算基准，以评估人类在解决涉及多个人类和上下文因素的困难任务时的表现。我们在足球表现分析的背景下证明了这一点。我们训练一个生成模型的基础上的条件变分递归神经网络（VRNN）模型的大型球员和球跟踪数据集。训练后的模型用于模拟两个团队之间的交互，并预测每个团队的表现。然后将训练好的条件VRNN模型作为评估团队绩效的基准。在英超足球数据集上的实验结果表明，我们的方法对足球分析中使用的现有最先进的静态度量是有用的。
2023-03-23 cs.LG cs.MA stat.ML
DeepEdit: Deep Editable Learning for Interactive Segmentation of 3D Medical Images
School of Biomedical Engineering & Imaging Sciences, King’s College London（伦敦国王学院生物医学工程与影像科学学院）；NVIDIA（英伟达）；Semmelweis University（塞麦尔维斯大学）；EBATINCA, S.L.（EBATINCA有限公司）；Beth Israel Deaconess Medical Center（贝斯以色列女执事医疗中心）；Isomics, Inc.（Isomics公司）
DeepEdit是一种结合非交互式与交互式分割的深度学习方法，支持自动分割、点击细化及主动学习，在多个医学数据集上验证了其能显著减少3D医学图像标注时间与精力。
2023-05-18 cs.CV cs.LG eess.IV
Progressive Multi-stage Interactive Training in Mobile Network for Fine-grained Recognition
细粒度视觉分类（FGVC）旨在从子类别中识别对象。这是一个非常具有挑战性的任务，因为阶级之间的微妙差异。现有的研究采用大规模的卷积神经网络或视觉Transformers作为特征提取器，这是非常昂贵的计算。事实上，细粒度识别的真实场景通常需要一个可以离线使用的更轻量级的移动网络。然而，基本的移动网络特征提取能力弱于大规模模型。本文基于轻量级的MobilenetV 2，提出了一种基于递归马赛克生成器的渐进式多阶段交互训练方法（RMG-PMSI）。首先，我们提出了一个递归的马赛克生成器（RMG），生成图像的不同粒度在不同的阶段。然后，不同阶段的特征通过多阶段交互（MSI）模块，该模块加强和补充了不同阶段的相应特征。最后，使用渐进式训练（P），可以充分利用模型在不同阶段提取的特征并相互融合。在三个著名的细粒度基准上的实验表明，RMG-PMSI可以显着提高性能，具有良好的鲁棒性和可移植性。
2021-12-08 cs.CV cs.LG
FILIP: Fine-grained Interactive Language-Image Pre-Training
Hong Kong University of Science and Technology（香港科技大学）；Sun Yat-sen University（中山大学）
无监督的大规模视觉语言预训练在各种下游任务上显示出有希望的进展。现有的方法通常通过错过足够信息的每个模态的全局特征的相似性来建模跨模态交互，或者使用视觉和文本标记上的交叉/自我注意来进行更细粒度的交互。然而，交叉/自我注意在训练和推理方面都存在效率低下的问题。在本文中，我们引入了一个大规模的细粒度交互式图像预训练（FILIP），以实现更精细的水平对齐通过跨模态后期交互机制，它使用视觉和文本令牌之间的令牌明智的最大相似度，以指导对比的目标。FILIP通过仅修改对比度损失，成功地利用了图像补丁和文本单词之间的细粒度表达能力，同时获得了在推理时离线预计算图像和文本表示的能力，从而保持了大规模训练和推理的效率。此外，我们构建了一个新的大规模图像-文本对数据集FILIP 300 M进行预训练。实验表明，FILIP在多个下游视觉语言任务（包括zero-shot图像分类和图像-文本检索）上实现了最先进的性能。词块对齐的可视化结果进一步表明，FILIP可以学习有意义的细粒度特征，具有良好的定位能力。
2021-11-09 cs.CV cs.LG
Deep Interactive Bayesian Reinforcement Learning via Meta-Learning
University of Oxford（牛津大学）；Microsoft Research（微软研究院）
与其他代理交互的代理通常不知道其他代理的策略是什么，但必须在与其他代理交互并了解其他代理的同时最大化自己的在线回报。最佳适应行为的不确定性下，对其他代理人的策略w.r.t.原则上可以使用交互式贝叶斯强化学习框架来计算一些先验。不幸的是，这样做在大多数情况下是棘手的，现有的近似方法仅限于小任务。为了克服这一点，我们建议元学习近似信念推理和贝叶斯最优行为对于给定的先验。为了对其他代理的信念进行建模，我们结合了顺序和分层变分自动编码器，并将此推理模型与策略一起进行元训练。我们的经验表明，我们的方法优于现有的方法，使用无模型的方法，从近似后验样本，保持无记忆模型的其他人，或不充分利用已知的环境结构。
2022-04-15 cs.LG cs.MA
Collaborative Interactive Evolution of Art in the Latent Space of Deep Generative Models
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
本文提出在创造性对抗网络的潜在空间中利用演化算法导航生成艺术图像，并结合协同人类反馈与智能变异算子提升图像质量，实验证明该方法能生成更具吸引力的艺术图像。
2024-03-28 cs.AI cs.CV cs.HC
Interactive Volume Visualization via Multi-Resolution Hash Encoding based Neural Representation
University of California - Davis（加州大学戴维斯分校）；Intel Corporation（英特尔公司）
本文通过结合GPU张量核心、CUDA框架与宏单元加速渲染算法，实现了体积神经表示的交互式光线追踪，并支持核外训练与免预训练，解决了体数据神经网络推理慢的问题。
2023-06-29 cs.GR cs.LG
Interactive Search Based on Deep Reinforcement Learning
随着机器学习技术的不断发展，各大电商平台纷纷推出基于其的推荐系统，以更高效地服务于大量不同需求的客户。与传统的监督学习相比，强化学习能够更好地捕捉用户在决策过程中的状态转变，并考虑一系列的用户动作，而不仅仅是用户在某一时刻的静态特征。从理论上讲，它将有一个长期的视角，产生一个更有效的建议。强化学习对数据的特殊要求使得它需要依赖离线虚拟系统进行训练。我们的项目主要是建立一个虚拟的用户环境进行离线培训。同时，尝试改进一种基于双聚类的强化学习算法，以扩展推荐代理的动作空间和推荐路径空间。
2020-12-09 cs.AI cs.LG
Interactive Double Deep Q-network: Integrating Human Interventions and Evaluative Predictions in Reinforcement Learning of Autonomous Driving
Center for Applied Autonomous Sensor Systems (AASS)（应用自主传感器系统中心）；Örebro University（奥雷布罗大学）；Computer Vision Laboratory（计算机视觉实验室）；Linköping University（利德斯霍尔大学）
交互式双深Q网络通过整合人类干预与评估预测，提升自动驾驶强化学习的性能和适应性。
2025-04-28 cs.AI cs.LG cs.RO
Interactive Post-Training for Vision-Language-Action Models
UT Austin（得克萨斯大学）；Nankai University（南开大学）
提出RIPT-VLA，一种基于强化学习的交互式后训练方法，仅用稀疏二元奖励微调VLA模型，显著提升性能并实现低数据下的高效泛化。
2025-05-22 cs.AI cs.CV cs.LG
Deep Interactive Segmentation of Medical Images: A Systematic Review and Taxonomy
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University Hospital Essen (AöR)（埃森大学医院）；German Cancer Research Center (DKFZ)（德国癌症研究中心）；Helmholtz Imaging（亥姆霍兹成像机构）
本文系统综述医学图像深度交互式分割方法，提出分类体系并分析121种方法的实践现状，指出缺乏跨方法比较等挑战及标准化基准需求。
2024-01-09 cs.AI cs.CV cs.HC
Training an Interactive Helper
Google Brain（谷歌大脑）
开发能够快速调整其行为以适应新任务的智能体仍然是一个挑战。元学习已被应用于这个问题，但以前的方法要么需要指定一个奖励函数，这可能是繁琐的，要么提供示范，这可能是低效的。在本文中，我们调查，如果，以及如何，一个“助手”代理可以训练，以交互方式适应他们的行为，以最大限度地提高另一个代理，我们称之为“总理”代理的奖励，而不观察他们的奖励或接收明确的演示。为此，我们建议元学习一个助手代理和一个主代理，主代理在训练过程中观察奖励函数，并作为人类主代理的代理。我们介绍了一种多代理合作觅食任务的分布，其中只有主代理知道应该收集的对象。我们证明，从出现的物理通信，训练有素的助手迅速推断和收集正确的对象。
2019-07-02 cs.AI cs.LG cs.MA
A Text-based Deep Reinforcement Learning Framework for Interactive Recommendation
Huazhong University of Science and Technology（华中科技大学）
强化学习（RL）由于其从动态交互中学习和规划长期性能的性质，近年来在交互式推荐系统（IRS）中受到了广泛的关注。IRS通常面临着大的离散行为空间问题，这使得现有的大多数基于RL的推荐方法效率低下。此外，数据稀疏性是大多数IRS面临的另一个具有挑战性的问题。虽然文本信息，如评论和描述是不敏感的稀疏性，现有的基于RL的推荐方法要么忽略或不适合纳入文本信息。为了解决这两个问题，在本文中，我们提出了一个基于文本的深度确定性策略梯度框架（TDDPG-Rec）的IRS。具体来说，我们利用文本信息映射到一个特征空间的项目和用户，这大大简化了稀疏性问题。此外，我们设计了一个有效的方法来构建一个行动候选集。通过从TDDPG-Rec中动态学习表达用户偏好的策略向量，我们可以有效地从候选集合中选择动作。通过在三个公共数据集上的实验，我们证明了TDDPG-Rec以时间有效的方式在多个基线上实现了最先进的性能。
2020-07-26 cs.IR cs.LG
Training an Interactive Humanoid Robot Using Multimodal Deep Reinforcement Learning
University of Lincoln（林肯大学）；University of Toulouse III（图卢兹第三大学）
训练机器人使用多种模式进行感知、行动和通信仍然是一个具有挑战性的问题，特别是如果机器人希望从少量的示例交互中有效学习的话。我们描述了一种学习方法，作为朝着这个方向迈出的一步，我们教一个人形机器人如何玩零和十字架的游戏。考虑到可以训练多种多模态技能来玩这个游戏，我们将注意力集中在训练机器人感知游戏，并在这个游戏中进行交互。我们的多模态深度强化学习代理感知多模态特征，并在玩耍时表现出言语和非言语动作。使用模拟的实验结果表明，机器人可以学习赢得或绘制高达98%的游戏。一个试点测试所提出的多模式系统的目标游戏-整合语音，视觉和手势-报告，合理和流畅的互动，可以实现使用所提出的方法。
2016-11-26 cs.AI cs.LG cs.RO
PEBBLE: Feedback-Efficient Interactive Reinforcement Learning via Relabeling Experience and Unsupervised Pre-training
University of California, Berkeley（加州大学伯克利分校）
将复杂的目标传递给强化学习（RL）代理通常是困难的，涉及到精心设计的奖励函数，这些函数既有足够的信息，又很容易提供。人在回路RL方法允许从业者通过定制的反馈来交互式地教导代理;然而，由于人类反馈非常昂贵，因此这种方法在规模上具有挑战性。在这项工作中，我们的目标是使这个过程更有效的样本和反馈。我们提出了一个离政策，交互式强化学习算法，利用反馈和离策略学习的优势。具体来说，我们学习的奖励模型，积极查询教师的偏好之间的两个剪辑的行为，并用它来训练代理。为了实现离策略学习，当代理的奖励模型改变时，我们重新标记代理的所有过去经验。我们还表明，预训练我们的代理与无监督的探索大大增加了其查询的里程。我们证明，我们的方法是能够学习任务的复杂性比以前考虑的人在循环的方法，包括各种运动和机器人操作技能。我们还表明，我们的方法能够利用实时的人类反馈来有效地防止奖励剥削，并学习难以用标准奖励函数指定的新行为。
2021-06-09 cs.AI cs.LG
Advancing Household Robotics: Deep Interactive Reinforcement Learning for Efficient Training and Enhanced Performance
Old Dominion University（欧道明大学）
本研究提出一种基于持久规则系统的深度交互式强化学习方法，通过保存和重用指导信息，加速家庭机器人训练并减少重复，提升其学习效率与性能。
2024-05-29 cs.LG cs.RO
Training an adaptive dialogue policy for interactive learning of visually grounded word meanings
Interaction Lab（交互实验室）；Heriot-Watt University（赫瑞瓦特大学）
我们提出了一个多模态的对话系统，从人类导师的感知接地词义的交互式学习。该系统集成了一个增量的，语义解析/生成框架-动态分类和类型论与记录（DS-TTR）-与一组视觉分类器，在整个交互过程中学习和地面的意义表示，它产生。我们使用这个系统与一个模拟的人类导师的互动，学习的含义，学习率的准确性，和努力/成本的导师研究不同的对话政策和能力的影响。我们表明，学习代理的整体性能受到以下因素的影响：（1）谁在对话中采取主动;（2）表达/使用他们对视觉属性的信心水平的能力;以及（3）处理椭圆和增量构建对话的能力。最终，我们训练了一种自适应对话策略，该策略优化了分类器准确性和辅导成本之间的权衡。
2017-09-29 cs.AI cs.CL cs.LG
Deep TAMER: Interactive Agent Shaping in High-Dimensional State Spaces
U.S. Army Research Laboratory（美国陆军研究实验室）；Columbia University（哥伦比亚大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
虽然深度强化学习的最新进展已经允许自主学习代理成功完成各种复杂任务，但现有算法通常需要大量训练数据。提高代理能够学习执行任务的速度的一种方法是利用人类培训师的输入。虽然这种输入可以采取多种形式，但实时的标量值反馈在人类难以或不可能提供专家演示的情况下特别有用。先前的方法已经显示了以这种方式提供的人类输入的有用性（例如，TAMER框架），但他们迄今尚未考虑高维状态空间或采用深度学习的使用。在本文中，我们两个都做：我们提出了Deep TAMER，这是TAMER框架的扩展，它利用了深度神经网络的表征能力，以便在很短的时间内与人类训练师一起学习复杂的任务。我们通过使用它和仅仅15分钟的人类提供的反馈来展示Deep TAMER的成功，以训练一个在Atari保龄球游戏中表现得比人类更好的代理-即使是最先进的强化学习方法也很难完成这项任务。
2018-01-19 cs.AI cs.LG
Algorithmic Improvements for Deep Reinforcement Learning applied to Interactive Fiction
Mila（米拉研究所）；McGill University（麦吉尔大学）；Google Brain（谷歌大脑）；DeepMind（深度思维）
基于文本的游戏是深度强化学习算法的自然挑战领域。它们的状态和动作空间组合起来很大，它们的奖励函数是稀疏的，并且它们是部分可观察的：智能体通过文本反馈被告知其动作的后果。在本文中，我们强调后一点，并考虑设计一个深度强化学习代理，可以单独从反馈中发挥作用。我们的设计认识到并利用了基于文本的游戏的结构特征。我们首先提出了一个上下文机制，基于累积奖励，这简化了学习问题，减轻了部分可观察性。然后，我们研究不同的方法，依赖于大多数行动是无效的，在任何给定的情况下，以下Zahavy等人的概念。的可采纳行为的概念。我们评估这些技术在一系列基于文本的游戏越来越困难的基础上的TextWorld框架，以及标志性的游戏佐克。从经验上讲，我们发现这些技术提高了应用于基于文本的游戏的基线深度强化学习代理的性能。
2019-11-28 cs.AI cs.LG
Emotion Manipulation Through Music -- A Deep Learning Interactive Visual Approach
Data Science Institute（数据科学研究所）；Columbia University（哥伦比亚大学）；Central Washington University（中华盛顿大学）；Transilvania University of Braşov（布拉索夫特兰西瓦尼亚大学）
本文提出一种基于AI的交互式音乐情绪操控流水线，可在保留旋律的同时反转歌曲情绪并用Circumplex模型可视化，且深度学习评估模型在4Q Emotion数据集上达到现有先进水平。
2024-06-12 cs.AI cs.CY cs.LG
Interactive World Simulator for Robot Policy Training and Evaluation
交互式世界模拟器通过构建物理一致的世界模型，实现了高效的机器人策略训练与评估，支持长时间稳定交互并展现与现实世界性能的强相关性。
2026-03-09 cs.CV cs.LG cs.RO
The Skincare project, an interactive deep learning system for differential diagnosis of malignant skin lesions. Technical Report
German Research Center for Artificial Intelligence（德国人工智能研究中心）
皮肤科医生的短缺导致寻求皮肤科护理的患者等待时间很长。此外，据报道，全科医生的诊断准确率低于人工智能软件的准确率。本文介绍了护肤项目（H2020，EIT Digital）。贡献包括基于交互式机器学习（IML）的临床决策支持技术，这是数字欧洲医疗保健基础设施的参考架构（也参考EIT MCPS），用于聚合数字化患者信息的技术组件，以及将决策支持技术集成到临床试验台环境中。然而，其主要贡献是为患者和医生提供皮肤病学诊断和决策支持系统，这是一个用于恶性皮肤病变鉴别诊断的交互式深度学习系统。在本文中，我们描述了它的功能和用户界面，以促进机器从人类输入中学习。基线深度学习系统提供了最先进的结果，并有可能增强全科医生甚至皮肤科医生的能力，该系统是使用来自皮肤病学图像数据库（ISIC）的去识别病例开发和验证的，该数据库有大约20000个用于开发和验证的病例，由委员会认证的皮肤科医生提供，定义了每个病例的参考标准。ISIC允许进行鉴别诊断，这是一个八种诊断的排名列表，用于在诊断模糊的常见环境中规划治疗。我们给出了护肤项目的成果的总体描述，我们专注于IML中支持人与机器之间的通信和协调的步骤。这是医疗领域未来认知助手发展的一个组成部分，我们描述了必要的智能用户界面。
2020-05-19 cs.CV cs.LG eess.IV
Asynchronous Reasoning: Training-Free Interactive Thinking LLMs
Yandex；HSE University（俄罗斯高等经济大学）；The University of Tokyo（东京大学）；MATS；Together AI
本文提出一种无需额外训练的LLM异步推理方法，通过位置嵌入特性实现同时思考、倾听和生成输出，提升数学、常识和安全推理任务的准确性和响应速度。
2026-05-13 cs.CL cs.LG
Interactive Pareto navigation for deep multi-task learning
Department of Computer Science, TU Dortmund, Dortmund, Germany（多特蒙德工业大学计算机科学系，德国多特蒙德）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习和人工智能研究所）
提出偏好帕累托探索（PPE）框架，通过预测-校正方法沿帕累托流形切线方向引导偏好，利用Krylov子空间方法避免Hessian计算，实现高效交互式多目标优化。
2026-06-19 cs.LG math.OC
Deep Graph Neural Point Process For Learning Temporal Interactive Networks
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院）；National Computer Network Emergency Response Technical Team/Coordination Center of China（中国国家计算机网络应急技术处理协调中心）；Zhongguancun Laboratory（中关村实验室）
本文提出深度图神经点过程模型 DGNPP，通过节点聚合层捕获拓扑静态表示、自注意力层动态更新嵌入，并结合最大似然估计，有效提升时序交互网络中的事件与时间预测性能。
2025-08-17 cs.AI cs.LG
