A Framework for Interactive Knowledge-Aided Machine Teaching
Georgia Institute of Technology(佐治亚理工学院)
机器教学(MT)是一个交互式的过程,其中人类通过扮演教师的角色来训练机器学习模型。设计机器翻译系统的过程涉及可能影响人类教师效率和机器学习者性能的决策。以前的研究提出并评估了具体的MT系统,但有一个一般的框架设计它们的讨论有限。我们提出了一个设计机器翻译系统的框架,并详细介绍了一个系统的文本分类问题作为一个具体的例子。我们的框架侧重于三个组成部分,即教学界面,机器学习者和知识库,和他们的关系描述了每个组件如何可以使其他人受益。我们的初步实验表明,机器翻译系统可以减少人类的教学时间和机器学习的出错率。
2022-04-21 cs.AI cs.HC cs.LG
DashGuide: Authoring Interactive Dashboard Tours for Guiding Dashboard Users
本文提出DashGuide框架与系统,通过捕获作者交互生成可播放的仪表板导览,以最少输入创作引导,经评估提升了创作效率与表达力。
2025-04-24 cs.HC
Teaching Spell Checkers to Teach: Pedagogical Program Synthesis for Interactive Learning
Georgia Institute of Technology(佐治亚理工学院);Stanford University(斯坦福大学);University of Buffalo(布法罗大学);University of Nevada , Reno(内华达大学里诺分校);University at Buffalo(布法罗大学)
SPIRE是一种通过拼写错误引导学习者探索语言知识的交互式拼写检查系统,结合教学程序合成技术提升写作学习效果。
2026-01-20 cs.HC
Agent Smith: Teaching Question Answering to Jill Watson
Georgia Institute of Technology(佐治亚理工学院)
构建人工智能智能体可能成本高昂。考虑一个问答代理,比如Jill Watson,它可以根据学生的教学大纲和其他课程材料,在在线课程的论坛上自动回答学生的问题。在一个新的在线课程的教学大纲上训练吉尔可能需要一百个小时或更多。机器教学-使用合成数据集对人工智能智能体进行交互式教学-可以减少训练时间,因为它结合了基于知识的AI,使用大型数据集的机器学习和交互式人在回路训练的优势。我们描述了代理史密斯,一个互动的机器教学代理,减少了训练一个新的在线类的吉尔所需的时间由一个数量级。
2022-04-06 cs.AI cs.HC cs.LG
Teachable Reality: Prototyping Tangible Augmented Reality with Everyday Objects by Leveraging Interactive Machine Teaching
IIIT-Delhi(德里英迪拉甘地信息技术学院);University of Calgary(卡尔加里大学)
本文介绍了可教现实,一个增强现实(AR)的原型工具,用于创建交互式的有形AR应用程序与任意的日常对象。Teachable Reality利用基于视觉的交互式机器教学(例如,Teachable Machine),它可以捕捉真实世界的交互,用于AR原型设计。它使用按需计算机视觉模型识别用户定义的有形和手势交互。在此基础上,用户可以轻松创建功能性AR原型,而无需编程,并通过一个用户操作创作界面实现。因此,我们的方法允许有形AR应用程序的灵活性,可定制性和通用性,可以解决当前基于标记的方法的局限性。我们探索设计空间并展示各种AR原型,其中包括有形和可变形的界面,上下文感知助手和身体驱动的AR应用程序。我们的用户研究和专家访谈的结果证实,我们的方法可以降低创建功能性AR原型的障碍,同时还可以实现灵活和通用的原型设计体验。
2023-02-21 cs.CV cs.HC cs.LG
Addressing UX Practitioners' Challenges in Designing ML Applications: an Interactive Machine Learning Approach
在为支持机器学习(ML)的应用程序设计用户界面时,UX从业者面临着新的挑战。交互式ML范例,如AutoML和交互式机器教学,降低了非专家最终用户创建,理解和使用ML模型的障碍,但它们在UX实践中的应用在很大程度上尚未得到研究。我们与27名用户体验从业者进行了一项基于任务的设计研究,我们要求他们为新的支持ML的应用程序提出概念验证设计。在任务过程中,我们的参与者有机会创建,测试和修改ML模型作为其工作流程的一部分。通过对任务后访谈的定性分析,我们发现,使用ML的直接交互式实验允许UX从业者将ML功能和底层数据与用户目标联系起来,构建可供性以增强最终用户与ML的交互,并识别ML相关的道德风险和挑战。我们在先前建立的人类AI指南的背景下讨论了我们的发现。我们还确定了交互式机器学习在用户体验过程中的一些局限性,并提出了基于研究的机器教学,作为与交互式机器学习一起对未来设计工具的补充。
2023-02-23 cs.HC
Robots and Children that Learn Together : Improving Knowledge Retention by Teaching Peer-Like Interactive Robots
Department of Computing, Sheffield Hallam University(谢菲尔德哈姆大学计算机系);LOHA Health Ltd(LOHA健康有限公司)
本研究引入交互式强化学习作为认知模型,使类同伴机器人可被儿童教授。实验表明,相比独立练习,教机器人能显著提高知识保持,尤其对低先验知识儿童,并首次证明多机器人课堂部署的可行性。
2025-06-23 cs.AI cs.HC cs.RO
Unpacking Human Teachers' Intentions For Natural Interactive Task Learning
University of Michigan(密歇根大学);Palo Alto Research Center(帕洛阿尔托研究中心)
交互式任务学习(ITL)是一个新兴的研究议程,研究设计复杂的智能机器人,可以通过自然的人类教师-机器人学习者互动获得新的知识。ITL方法对于设计智能机器人特别有用,这些机器人的行为可以通过与它们合作的人类来调整。各种研究团体都在为ITL提供方法,这项研究的一个很大的子集是\emph{robot-centered},重点是开发可以快速在线学习的算法。本文从\emph{human-centered}的角度研究ITL问题,为机器人设计提供指导,使人类教师可以自然地教授ITL机器人。在本文中,我们提出了1)互动教学研究(N=10)的定性双向分析,通过它,我们描述了人类教师在教机器人时所打算和执行的动作的各个方面; 2)深入讨论了两个参与者所采用的教学方法,以了解个人适应个人教学风格的必要性;和3)ITL机器人设计的要求,基于我们的分析和通知的计算理论的协作互动,SharedPlans。
2021-07-02 cs.HC cs.RO
Supporting Co-Adaptive Machine Teaching through Human Concept Learning and Cognitive Theories
本文提出交互式机器学习工具MOCHA,结合变异理论与结构对齐理论,通过反事实数据生成和分组呈现帮助用户与模型实现双向对齐,并在18人实验中验证其有效性与可用性。
2025-04-10 cs.HC
CalliSense: An Interactive Educational Tool for Process-based Learning in Chinese Calligraphy
针对书法传承中师资工具不足、技法难传授的问题,本研究开发了融合书写过程捕捉与可视化的教育工具CalliSense,经实证验证可显著提升教学效率、助力学习者掌握毛笔技法。
2025-02-21 cs.HC
Guided Data Discovery in Interactive Visualizations via Active Search
可视化分析的最新进展使我们能够从用户交互中学习并发现分析目标。这些创新为在数据探索期间积极引导用户奠定了基础。随着数据集规模和复杂性的增长,提供这种指导将变得更加重要,无法进行详尽的调查。与此同时,机器学习社区也在努力应对规模和复杂性不断增长的数据集,从而排除了详尽的标签。主动学习是为在训练期间主动引导模型而开发的广泛的算法家族。我们将考虑这些类似的研究重点的交叉点。首先,我们讨论了匹配主动学习算法的选择与手头任务的细微差别。这对性能至关重要,我们在模拟研究中证明了这一点。然后,我们提出的特定任务的数据发现的指导下,专门为这项任务设计的主动学习算法的用户研究的结果。
2022-07-15 cs.HC
Bridging the AI Adoption Gap: Designing an Interactive Pedagogical Agent for Higher Education Instructors
本研究采用以人为本的设计方法,通过访谈和参与式设计探究交互式教学智能体的设计,提出增强信任与社会透明度等建议以支持不同AI素养教师采用AI工具,避免扩大教学鸿沟。
2025-03-06 cs.HC
Stargazer: An Interactive Camera Robot for Capturing How-To Videos Based on Subtle Instructor Cues
现场和预先录制的视频教程是教授身体技能的有效手段,如烹饪或电子原型制作。一个专门的摄影师跟随教练的活动可以提高生产质量。然而,没有摄像师帮助的教师通常不得不在静态摄像机的限制下工作。我们提出了Stargazer,一种新的方法,用于协助教程内容创建与相机机器人,自主跟踪感兴趣的区域的基础上,教师的行动,以捕捉动态镜头。教师可以通过微妙的提示(包括手势和语音)调整Stargazer的相机行为,使他们能够将相机控制命令流畅地集成到教学活动中。我们的用户研究与六名教师,每个人都教一个独特的技能,表明参与者可以创建动态教程视频与各种主题,相机取景,相机角度组合使用Stargazer。
2023-03-06 cs.HC
Exploring the Effectiveness of Face-to-face Mixed Reality for Teaching with Chalktalk
使用投影演示媒体(如幻灯片)的教学缺乏对动态内容的支持,动态内容的形式和行为需要在讲座期间进行实时更改。最近的软件替代品,如Chalktalk软件平台,允许在演示文稿中以任意顺序和组合创建交互式模拟。然而,这些更动态的解决方案并没有针对面对面的交互进行优化:目光接触、注视方向以及对另一个人的运动与所呈现的内容的同时感知。为了探索这些面对面的互动在多大程度上可以改善讲座期间的学习和参与,我们提出了一个混合现实(MR)平台,该平台将Chalktalk的行为和模拟放置在一个镜像虚拟世界环境中,该环境专为面对面,一对一的互动而设计。我们将我们的系统与预测的Chalktalk进行比较,以评估其在学习,保留和参与程度方面的相对有效性。
2020-08-19 cs.HC
PlutoAR: An Inexpensive, Interactive And Portable Augmented Reality Based Interpreter For K-10 Curriculum
常规的K-10课程往往没有必要的负担得起的技术,涉及教学规定的课程与有效的分析技能建设的互动方式。在本文中,我们介绍了“PlutoAR”,这是一种基于纸质的增强现实解释器,它可扩展、价格实惠、便携,可以用作孩子们技能培养的平台。PlutoAR通过一个交互式工具包将增强现实(AR)融入其中,为学生提供两全其美的体验,从而克服了传统的非交互式教学方式。学生们剪出纸上的“瓷砖”,将这些瓷砖一个接一个地放在一个叫做“Launchpad”的更大的纸表面上,并使用PlutoAR移动应用程序,该应用程序可以在任何带有摄像头的Android设备上运行,并使用增强现实像解释器一样输出程序的每一步。PlutoAR具有内置的AR体验,如故事,使用条件循环解决迷宫,简单的初等数学和重力直觉。
2018-09-05 cs.CY cs.HC
Training Humans to Train Robots Dynamic Motor Skills
Department of Engineering, King’s College London(伦敦国王学院工程系)
示教学习(LfD)通常被认为是允许新手用户向机器人教授运动技能的自然和直观的方式。然而,重要的是要承认,LfD的有效性在很大程度上取决于教学质量,这可能无法保证新手。除了为特定的教学任务提供临时建议外,如何最有效地指导演示者进行信息演示,这仍然是一个悬而未决的问题。为此,本文调查了使用机器教学,以获得一个指数,用于确定演示的质量,并评估其使用的指导和培训新手成为更好的教师。一个简单的学习机器人的实验表明,通过所提出的方法,教师的指导和培训,可以导致高达66.5%的错误减少在学习技能。
2021-05-13 cs.AI cs.HC cs.RO
Teaching Shortest Path Algorithms With a Robot and Overlaid Projections
University of Primorska(普里莫尔斯卡大学);De La Salle University(德拉萨大学);Faculty of Information Studies(信息研究学院);Stellenbosch University(斯泰伦博斯大学)
本文提出Timmy——一个结合GoPiGo机器人与叠加投影的交互式教学系统,用于可视化三种最短路径算法,并通过两项用户研究初步验证了其在高级算法教学中的吸引力与可行性。
2024-11-23 cs.HC cs.RO
What Color is this? Explaining Art Restoration Research Methods using Interactive Museum Installations
本案例研究描述了一种设计交互式博物馆装置的方法,作为学生项目,目的是向广泛的游客展示绘画修复过程的研究成果。在一年半的时间里,媒体设计主席在两个讲座中创建了五个互动媒体站,以丰富特别展览“维罗纳:库奇纳周期”。《修复的杰作》该项目是在与德累斯顿国家艺术收藏馆的管理员和德累斯顿美术大学科学与考古实验室的员工密切沟通的情况下实现的。学生们必须了解外国内容,以及如何将其翻译成与媒体相关的环境。通过适当的教学方法,我们促使学生对这件事有了更深的理解。
2020-10-27 cs.HC
User Guidance for Interactive Camera Calibration
对于构建增强现实(AR)流水线,最关键的一步是摄像机校准,因为整体质量在很大程度上取决于它。而摄像机校准本身受摄像机到图案姿势选择的影响最大-但目前只有很少的研究引导用户到特定的姿势。我们建立在我们的新的相机校准框架,能够实时生成校准姿势,并提出了一个用户研究评估不同的可视化方法,以指导用户的目标姿势。使用所提出的方法,即使是新用户也能够在大约2分钟内执行精确的相机校准。
2019-07-09 cs.HC
A Multiliteracy Model for Interactive Visualization Literacy: Definitions, Literacies, and Steps for Future Research
Aarhus University(奥胡斯大学);Inria Bordeaux(法国国家信息与自动化研究所波尔多中心);University of Illinois(伊利诺伊大学)
本文提出交互可视化素养的多文学模型,结合四种已知素养与五种新素养,通过分析现有系统和探索性研究验证模型,并提出测量、评估、设计和教学的步骤。
2026-02-10 cs.HC
Interactive Learning from Activity Description
University of Maryland(马里兰大学);Microsoft Research(微软研究院);Rutgers University(罗格斯大学)
我们提出了一种新的交互式学习协议,使培训请求履行代理口头描述他们的活动。与模仿学习(IL)不同,我们的协议允许教学代理以最适合他们的语言提供反馈。与强化学习(RL)中的奖励相比,描述反馈更丰富,并允许提高样本复杂度。我们开发了一个概率框架和一个算法,实际上实现了我们的协议。两个具有挑战性的请求满足问题的实证结果表明,我们的方法的优势:与RL基线相比,它是更有效的样本;与IL基线相比,它实现了有竞争力的成功率,而不需要教学代理能够证明所需的行为使用学习代理的行动。除了经验评估,我们还提供了理论保证,我们的算法在一定的假设下的教师和环境。
2021-06-14 cs.AI cs.CL cs.HC
Teaching AI to Feel: A Collaborative, Full-Body Exploration of Emotive Communication
Institute of Neurosciences of the University of Barcelona Spain;Artificial Intelligence Research Institute (IIIA-CSIC) Barcelona Spain;Massachusetts Institute of Technology Cambridge USA;ESPRONCEDA Institute of Art \& Culture Barcelona Spain;Institute of Neurosciences of the University of;Artificial Intelligence Research Institute (IIIA-CSIC);Massachusetts Institute of Technology;ESPRONCEDA Institute of Art \& Culture
本文提出Commonaiverse交互装置,通过全身运动追踪与多推荐器AI系统,以参与者驱动的协作方式探索情感计算,推动情感AI向具身化、包容性和低偏见的方向发展。
2025-09-26 cs.AI cs.HC
Human-AI Interaction Design in Machine Teaching
Georgia Institute of Technology(佐治亚理工学院)
机器教学(MT)是一个交互过程,其中人类和机器交互,目的是为指定任务训练机器学习模型(ML)。人类教师交流他们的任务专业知识,机器学生收集所需的数据和知识来生成ML模型。机器翻译系统的开发,以共同减少教学时间和学习者的出错率。机器翻译系统中人机交互的设计不仅影响教学效率,而且通过影响教学质量间接影响机器翻译的性能。在本文中,我们建立在我们以前的工作,我们提出了一个MT框架,有三个组成部分,即,教学界面、机器学习器和知识库,并重点讨论了实现教学界面所涉及的人机交互设计。我们概述了从ML任务开始开发MT系统时需要解决的设计决策。本文遵循苏格拉底的方法,需要一个好奇的学生和一个明智的老师之间的对话。
2022-06-10 cs.AI cs.HC cs.LG
Designing conflict-based communicative tasks in Teaching Chinese as a Foreign Language with ChatGPT
Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
本研究针对大学对外汉语口语课程,设计基于冲突的交际任务以提升学习者口语互动能力,过程中借助ChatGPT完善教学方案,并探讨了师生与ChatGPT互动的特征及ChatGPT应用的影响。
2025-06-10 cs.AI cs.CY cs.HC
Awaking the Slides: A Tuning-free and Knowledge-regulated AI Tutoring System via Language Model Coordination
Tsinghua University(清华大学)
针对幻灯片多模态、教学动作异构导致难以转化为互动课堂的问题,研究团队开发免调优、知识管控的智能辅导系统Slide2Lecture,可将幻灯片转为结构化教学议程并管理互动课堂,效果优于现有方案,已实现大规模线上应用并开源代码。
2024-09-11 cs.AI cs.CL cs.HC
Machine Teaching by Domain Experts: Towards More Humane,Inclusive, and Intelligent Machine Learning Systems
本文认为,一个可能的方法来摆脱当前的机器学习(ML)系统的局限性是允许他们的开发直接由领域专家没有ML专家的调解。这可以通过使用概念,定义和类似的高级知识结构使ML系统交互式教学来实现。针对机器教学技术的最新进展,我们列出了这种以专家为中心的ML系统所面临的关键技术挑战,并建议它们在许多领域比传统ML系统更人性化,可能更智能。然后,我们认为,ML系统也可以像开源软件一样,从专家社区构建的角度受益匪浅,创建更具包容性的系统,从而实现对同一知识库的不同观点。本文还讨论了社区方法相对于当前构建ML系统的方法的优势,以及这种方法提出的具体挑战。
2019-08-19 cs.CY cs.HC
Efficient Human-in-the-loop System for Guiding DNNs Attention
Japan Advanced Institute of Science and Technology(日本北陆先端科学技术大学院大学);Jilin University(吉林大学);The University of Tokyo(东京大学)
注意力引导是解决深度学习中数据集偏差的一种方法,其中模型依赖于不正确的特征来做出决策。专注于图像分类任务,我们提出了一个高效的人在回路系统,以交互方式将分类器的注意力引导到用户指定的区域,从而减少同现偏差的影响,提高DNN的可移植性和可解释性。以前的注意力引导方法需要准备像素级的注释,并没有被设计为交互式系统。我们提出了一种新的交互式方法,允许用户简单的点击注释图像,并研究了一种新的主动学习策略,以显着减少注释的数量。我们进行了数值评估和用户研究,以评估多个数据集上的拟议系统。与现有的非主动学习方法相比,这种方法通常依赖于大量基于神经网络的分割模板来微调或训练DNN,我们的系统可以节省大量的人力和金钱,并获得一个微调的网络,即使在数据集有偏差的情况下也能更好地工作。实验结果表明,该系统高效、合理、可靠。
2023-02-06 cs.CV cs.HC cs.LG
SimCoachCorpus: A naturalistic dataset with language and trajectories for embodied teaching
Toyota Research Institute(丰田研究院);Cambridge, MA 02139(马萨诸塞州剑桥市02139);Los Altos, CA 94022(加州洛斯阿尔托斯94022)
为填补具身交互领域中语言与物理动作结合的数据集空白,我们构建了SimCoachCorpus,包含29名受试者在赛车模拟器中的驾驶数据(15名有教练指导,14名无指导),同步记录车辆状态、教练反馈及认知负荷等,可用于研究运动学习、语言现象及训练教学模型。
2026-06-16 cs.HC cs.RO
Prosody as a Teaching Signal for Agent Learning: Exploratory Studies and Algorithmic Implications
Vrije Universiteit(自由大学);Sony AI(索尼人工智能公司);Koç University(科克大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
本研究提出将语音韵律作为内隐教学信号用于智能体学习,通过两项探索性实验验证韵律的任务信息价值,给出韵律敏感算法设计准则,为提升人机交互下的智能体学习效率提供新方向。
2024-10-31 cs.HC cs.LG
On the Effect of Robot Errors on Human Teaching Dynamics
Tufts University(塔夫茨大学)
该研究通过用户实验探究机器人错误的存在及严重程度对人类教学动态三个维度的影响,为交互式学习界面设计和算法优化提供了参考。
2024-09-15 cs.AI cs.HC cs.RO
Improving Artificial Teachers by Considering How People Learn and Forget
Aalto University(阿尔托大学);University of Helsinki(赫尔辛基大学)
本文提出了一种新的基于模型的智能教学方法,特别强调与人类互动的教学干预措施的选择问题。而以前的工作集中在个性化的教学或优化教学干预序列,建议个性化的基于模型的规划方法代表了这两条研究线的融合。基于模型的规划通过对用户记忆模型参数的交互式学习来挑选最佳干预措施。该方法是新颖的,在其使用的认知模型,可以解释几个关键的个人和材料的具体特征相关的回忆/遗忘,以及规划技术,考虑用户的实践时间表。以基于规则的方法为基线,作者评估了该方法的好处在第二语言词汇学习的人工教学的对照研究(N=53)。
2021-02-19 cs.AI cs.HC
Teaching Linguistic Justice through Augmented Reality
本文提出AR语言地图,一种通过增强现实让中学生绘制语言体验以理解语言公正的推测性工具,旨在培养同理心、挑战语言种族主义并重视语言多样性。
2024-04-19 cs.ET cs.HC
Teaching Machine Learning Fundamentals with LEGO Robotics
本文介绍了一个基于网页的机器学习平台和为期两天的课程,通过无编程的机器人活动向12至17岁学生教授机器学习概念,展示了平台在提升学生理解力和学习动机方面的有效性。
2026-04-05 cs.AI cs.CY cs.HC
Interactive Program Synthesis for Modeling Collaborative Physical Activities from Narrated Demonstrations
University of California, Berkeley(加州大学伯克利分校);Meta;Aalto University(阿尔托大学)
本文提出通过交互式程序合成解决协作物理活动建模问题,利用叙述演示统一教学、检查和纠正系统逻辑,实验表明用户能有效修正程序以匹配意图。
2026-04-10 cs.AI cs.HC cs.LG
Machine Teaching of Active Sequential Learners
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所(HIIT));Aalto University(阿尔托大学)
机器教学解决了寻找最佳训练数据的问题,这些数据可以以最小的努力将学习算法引导到目标模型。在常规设置中,教师提供与真实数据分布一致的数据。然而,对于主动选择查询的顺序学习者,如多臂强盗和主动学习者,教师只能提供对学习者查询的响应,而不能设计完整的数据。在这种情况下,始终如一的教师在有限的视野中可能是次优的。我们制定这个顺序的教学问题,目前的技术在机器教学不解决,作为一个马尔可夫决策过程,与动态嵌套的学习者和教师的反应的行动模型。此外,我们解决的补充问题,从一个教师的计划学习:认识到教学意图的反应,学习者被赋予了一个模型的教师。我们在模拟实验和用户研究中使用多臂强盗学习者测试了该公式。结果表明,学习得到改善(i)计划教学和(ii)学习者有一个模型的教师。该方法提供的工具,考虑到战略(规划)的交互式智能系统,如推荐引擎的用户的行为,考虑他们作为有界最优的教师。
2019-11-01 cs.AI cs.HC cs.LG
Predicting Human Behavior in Autonomous Systems: A Collaborative Machine Teaching Approach for Reducing Transfer of Control Events
DFKI, Saarland Informatics Campus(德累斯顿人工智能研究所、萨尔兰州信息学院)
针对自主系统中传统控制权转移(ToC)常被不必要触发的问题,提出基于人类交互数据训练LSTM模型预测用户行为的方法,可减少非必要ToC事件,提升系统鲁棒性,为人机协作与工业自动化优化提供新思路。
2025-05-15 cs.AI cs.HC cs.RO