ITSS: Interactive Web-Based Authoring and Playback Integrated Environment for Programming Tutorials
基于视频的编程教程是作者用来指导学习者编写代码的一种流行的教程形式。尽管如此,这些视频的交互性主要限于控制视频流。有现有的作品,增加了互动性,以改善学习经验。尽管如此,这些解决方案仍然需要设置自定义录制环境,并且无法与播放环境良好集成。本文介绍了我们的集成ITSS环境,并评估我们的交互式编程教程的创作和播放的方便性。我们的环境被设计为在浏览器沙箱中运行,并且对记录交互操作的干扰较小。我们开发了一种记录方法,可以跟踪作者的交互动作(例如,键入代码、突出显示单词、滚动面板)并以文本和音频格式存储。我们使用录制的人工制品重播这些动作,让学习者能够更好地交互、集成和真实地回放作者的动作,而不是观看视频帧。我们的设计目标是1)高效的录音和回放,2)可扩展的交互功能,以帮助学生更好地学习,以及3)可扩展的基于Web的环境。我们的第一个用户研究的20名参与者谁执行的作者任务一致认为,这是有效的,很容易在我们的环境中创作互动视频,不需要额外的软件。我们对84名使用该环境的学生进行的第二次用户研究一致认为,增加的交互性可以帮助他们通过基于视频的教程更好地学习。我们的性能测试表明,环境可以扩展到支持多达500个并发用户。我们希望我们的开源环境能够让更多的教育工作者创建交互式编程教程。
2022-04-19 cs.HC cs.SE
The Interactive Dance Club: Avoiding Chaos In A Multi Participant Environment
Synesthesia
在1998年,我们设计了一个使能技术和场地概念,允许几个参与者影响一个共享的音乐和视觉体验。我们的主要目标是从几个参与者的输入中提供音乐上连贯和视觉上令人满意的结果。结果,互动舞蹈俱乐部,在佛罗里达州奥兰多举行的ACM SIGGRAPH 98大会上运行了四个晚上。在本文中,我们将简要介绍互动舞蹈俱乐部,我们的“互动的10条戒律”,以及我们从SIGGRAPH 98的首演中学到了什么。
2020-10-04 cs.HC cs.SD eess.AS
VIEW: A Virtual Interactive Web-based Learning Environment for Engineering
近年来,计算机辅助和基于网络的教育技术,如虚拟学习环境(VLE)的使用显著增加。这种VLE的一个例子是Web上的虚拟交互工程(VIEW)。VIEW是一个基于可扩展3D标准的基于Web的模块框架的3D虚拟,交互式,以学生为中心。这些模块致力于提高学生的成功和学习。在本文中,VIEW的最新发展以及相关的评估结果的概述。本研究亦进行实验研究,以比较学生在实体解剖活动与虚拟解剖活动中的学习经验与表现。本研究的结果表明,学生可以满足给定的学习目标,无论是物理或虚拟设置,他们的学习和表现有有限的差异。
2018-11-19 cs.HC
The Tribal Theater Model: Social Regulation for Dynamic User Adaptation in Virtual Interactive Environments
提出部落剧场模型,通过矩阵资源分配提升用户主体性以实现虚拟交互环境中的动态社会调节,实验证明其能有效改善交互体验并增强用户韧性表现。
2024-03-20 cs.HC cs.SI
Web-Based 3D and Haptic Interactive Environments for e-Learning, Simulation, and Training
知识创造发生在社会交往过程中。随着我们以服务为基础的社会逐渐演变为以知识为基础的社会,迫切需要更有效的协作和知识共享系统,供地理上分散的人们使用。我们提出使用Web3D组件和标准,如X3D,结合触觉(触觉)范例,开发新的通信渠道,电子学习和模拟。
2019-03-01 cs.GR cs.HC
Augmented Body: Changing Interactive Body Play
本文研究了玩家的身体作为一个系统,能够通过数字调解在一个有趣的环境中实现不熟悉的互动运动。数字和非数字环境中的身体交互可以被认为是对自我的感知操纵探索。这意味着玩家可以改变他们如何看待自己的身体及其运作,以创造一个新的有趣和原始的体验。因此,本文的问题,如何球员的互动可以改变他们的身体感知的变化,使用增强技术。
2016-04-21 cs.HC
Design Concerns for Integrated Scripting and Interactive Visualization in Notebook Environments
本文探讨了在计算笔记本环境中集成交互式可视化与脚本的设计方法,通过调用上下文树的设计研究、任务分析及用户验证,提出了结合两者优势的交互模型并总结了设计启示。
2024-10-16 cs.HC
Simulating Teams with LLM Agents: Interactive 2D Environments for Studying Human-AI Dynamics
University of Notre Dame(圣母大学);Aptima, Inc.(Aptima公司)
VirTLab系统利用LLM智能体在2D环境中创建可定制团队模拟,研究环境对协调、协作和涌现行为的影响,并通过实证评估和用户研究验证其效用,使模拟对各类用户可访问。
2025-10-09 cs.HC
Post-Lecture Interactive Environments for Conceptual Learning: A Randomized Comparison of Mixed Reality and Tangible Instruction in Undergraduate STEM Education
The University of Texas at Arlington(阿灵顿得克萨斯大学)
研究本科固体力学课后互动环境对概念学习的作用,用随机比较法对比沉浸式混合现实应用、实体工程工具包与纯讲座教学,发现互动环境效果好,各有优势。
2026-07-07 cs.HC
Devising Experiments with Interactive Environments
School of Computer Science, University of Nottingham(诺丁汉大学计算机学院);Department of Architecture and Built Environment, Faculty of Engineering, University of Nottingham(诺丁汉大学工程学院建筑与建成环境系)
本文针对沉浸式表演中无代码创作响应式声光的需求,设计了可由表演者操作的模块化交互系统,通过6场专业创作者工作坊验证,总结出支撑技术落地创意实践的三类团队策略。
2025-11-14 cs.HC
Interactive Learning of Environment Dynamics for Sequential Tasks
North Carolina State University(北卡罗来纳州立大学);Washington State University(华盛顿州立大学);Borealis AI;Brown University(布朗大学)
为了让机器人和其他人工智能体有效地学习执行最终用户定义的有用任务,它们不仅必须了解这些任务的目标,还必须了解用户环境的结构和动态。虽然现有的工作已经研究了如何从人类教师中推断出任务的目标,但智能体通常只能自己学习环境。为了解决这一限制,我们开发了一种算法,行为感知建模(BAM),它将教师的知识转化为代理环境的过渡动态模型。我们评估BAM在模拟和真正的人类教师,从任务演示和评价性反馈的组合学习,并表明它可以优于不明确考虑这种来源的动态知识的方法。
2019-07-19 cs.AI cs.HC
ClassCode: An Interactive Teaching and Learning Environment for Programming Education in Classrooms
随着对计算机素养和编码技能的需求不断增长,编程教育变得越来越重要。尽管交互式在线学习系统越来越受欢迎,但学校中的许多编程课程并没有改变传统课堂设置的教学形式。我们在这里看到了两个研究机会。学生可能有不同的专业知识和编程经验。因此,特定的内容和教学速度可能会让有经验的学生分心,也可能会让初学者感到沮丧。在一个大教室里,教师无法监督每个学生的学习进度,并且很难将教材与每个学生的理解水平相匹配。我们推出ClassCode,这是一个为课堂编程教育量身定制的基于网络的环境。学生可以按照自己的进度参加教师准备的在线教程。然后,他们可以通过在教程中进行交互式编码练习来加深理解。ClassCode跟踪每个学生的所有互动,并将其汇总给教师。这是一份进度报告,便于教师在现场提供额外的解释或修改课程材料。我们的用户评估通过一个小型讲座和专家评审,由教师和助教证实了ClassCode的潜力,揭示了它如何解决大学现有编程课程中的问题。
2020-01-22 cs.CY cs.HC
Tilt Map: Interactive Transitions Between Choropleth Map, Prism Map and Bar Chart in Immersive Environments
我们介绍了一种新颖的交互技术,用于在沉浸式环境中直观地在2D和3D地图可视化之间进行转换。我们的重点是可视化与地图上的区域特征相关的数据,例如,各州的人口密度。Map从2D choropleth图过渡到3D prism图,再过渡到2D条形图,以克服每种图的局限性。我们的论文包括两个用户研究。第一项研究比较了受试者在虚拟现实(VR)中使用2D Choropleth图和3D Prism图解释人口密度数据的任务绩效。我们观察到棱镜图的任务精度更高,但choropleth图的响应时间更快。这些视图的互补性启发了我们的混合式ECOMAP设计。我们的第二项研究比较了XNUMX Map:各种视图的并排排列;以及视图之间的交互式切换。结果表明,在用户偏好、准确性(与并排相比)和时间(与切换相比)方面,WMAP具有优势。
2020-06-25 cs.GR cs.HC
Predictive Simulation: Using Regression and Artificial Neural Networks to Negate Latency in Networked Interactive Virtual Reality
当前的虚拟现实系统通常受到性能/成本、可用性(尺寸)或两者的组合的限制。通过使用联网的客户机/服务器环境,我们解决了客户机的这些限制。然而,在这样做的过程中,我们引入了一个新的问题,即延迟增加。交互式网络虚拟环境(如游戏和模拟)的存在时间几乎与互联网一样长,并且一直面临延迟问题。我们提出了一个解决方案,用于否定与轻量级客户端的交互式网络虚拟环境的延迟的影响,相对于所使用的服务器。所提出的方法推断未来的客户端状态被纳入服务器的更新,这有助于同步客户端的动作和来自服务器的结果。我们将这种方法称为预测模拟。除了描述我们的方法外,在本文中,我们还研究了外推方法,因为我们的预测模拟方法的成功取决于强有力的预测。我们集中在回归方法和简要检查人工神经网络的使用。
2019-10-04 cs.HC
Preference-Learning Emitters for Mixed-Initiative Quality-Diversity Algorithms
本文提出偏好学习发射器(PLEs)通用框架,将其集成到交互式约束 MAP-Elites 系统中,通过学习设计师偏好并自动化生成步骤,在保持设计意图一致的同时加速混合主动式共同创作搜索,并在《太空工程师》游戏中通过用户研究验证了方法有效性。
2023-04-15 cs.HC cs.NE
Devising Interactive Spaces: A Rehearsal-Oriented Tool for Creating Responsive Environments for Immersive Theatre
Mixed Reality Lab, School of Computer Science, University of Nottingham(诺丁汉大学计算机科学学院混合现实实验室);Department of Architecture and Built Environment, Faculty of Engineering, University of Nottingham(诺丁汉大学工程学院建筑与建成环境系)
该研究提出一种面向排练的系统,通过可视化无代码编程层连接传感与输出,经六个工作坊完善。此系统支持快速配置等,让表演者在少技术支持下实验,专注于在戏剧创作早期将传感等作为创作素材,介绍了系统架构及应用条件。
2026-07-09 cs.HC
LiveDocs: Crafting Interactive Development Environments From Research Findings
本文提出LiveDocs倡议,通过构建交互式开发环境,使受众能够重新运行脚本、交互代码与数据,从而降低科学研究的复现与理解门槛,促进科学交流。
2024-02-12 cs.HC math.HO
A Collaborative Untethered Virtual Reality Environment for Interactive Social Network Visualization
随着虚拟现实技术作为游戏和视频播放平台的日益普及,需要研究如何最好地将当前技术水平应用于数据可视化的挑战。许多当前的VR系统是非协作的,而数据分析和可视化通常是一个多人的过程。我们在本文中的目标是解决技术和用户体验的挑战时,出现创建虚拟现实环境的协作数据可视化。我们专注于多个跟踪系统的集成和新的交互模式,这种集成可以使,随着视觉设计的考虑,特别适用于协作网络可视化在虚拟现实。我们展示了一个系统的协作互动与大型3D布局的Twitter朋友/跟随网络。该系统通过结合“Holojam”架构(OptiTrack运动捕捉平台内的多个GearVR头显)和Perception Neuron运动套装构建,提供不受束缚的全房间多人可视化体验。
2016-04-27 cs.GR cs.HC
CvhSlicer 2.0: Immersive and Interactive Visualization of Chinese Visible Human Data in XR Environments
针对人体解剖学研究与教育需求,提出CvhSlicer 2.0创新XR系统,可在商用XR头显上实现CVH数据集的沉浸式交互式可视化,经评估能提升用户参与度与教育效果。
2025-01-24 cs.GR cs.HC cs.MM
Customized Image Narrative Generation via Interactive Visual Question Generation and Answering
The University of Tokyo(东京大学);RIKEN(理化学研究所)
图像描述任务一直是以静态的方式进行研究的,定性的假设被认为是普遍适用的,无论描述的范围或目标如何。然而,在实践中,不同的观众可能会注意到图像的不同方面,并在不同的语境下产生不同的描述或解释。这种视角的多样性很难用传统的图像描述技术得到。在本文中,我们提出了一个定制的图像叙事生成任务,其中用户交互式地参与生成过程中提供的问题的答案。我们进一步尝试通过重复这样的交互阶段来学习用户的兴趣,并自动反映新图像的描述中的兴趣。实验结果表明,我们的模型可以生成各种描述从单一的图像,涵盖了更广泛的主题比传统的模型,同时可定制的目标用户的互动。
2018-04-27 cs.AI cs.CL cs.CV
Exploring Interactive Simulation of Grass Display Color Characteristic Based on Real-World Conditions
本文提出一种在虚拟环境中基于真实条件交互式模拟草地显示颜色变化特性的方法,旨在快速且准确获取颜色特性,实验表明其模拟结果与实际相近且效率优于传统方法。
2025-08-08 cs.GR cs.HC
VRKitchen: an Interactive 3D Virtual Environment for Task-oriented Learning
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
推进面向任务的学习(如视觉任务规划和强化学习)的主要挑战之一是缺乏用于训练和测试人工智能智能体的现实和标准化环境。以前,研究人员经常依赖于特设实验室环境。在利用3D物理引擎和用于室内和室外环境的照片真实感渲染构建的虚拟系统中已经有了最新的进展,但是那些系统中的具体化代理只能与世界进行简单的交互(例如,四处走动、移动物体等)。大多数现有的系统也不允许人类参与其模拟环境。在这项工作中,我们设计和实现了一个虚拟现实(VR)系统,VRKitchen,具有集成功能,i)使现代AI方法(例如,规划、强化学习等)以在现实环境中执行涉及大范围的细粒度对象操纵的复杂任务,以及ii)允许人类教师执行演示以训练代理(即,示教学习)。我们还提供标准化的评估基准和数据汇集工具,以促进在任务导向学习和超越研究的广泛使用。
2019-03-13 cs.AI cs.CV cs.HC
FireCommander: An Interactive, Probabilistic Multi-agent Environment for Heterogeneous Robot Teams
Georgia Institute of Technology(佐治亚理工学院)
本教程的目的是帮助个人使用\underline{FireCommander}游戏环境进行研究应用。FireCommander是一个交互式的、概率性的联合感知-行动侦察环境,在该环境中,机器人)协作以对抗动态的、传播的火点(例如,目标)。在FireCommander游戏中,一组代理必须负责在具有蔓延的火灾区域和一些设施(如房屋,医院,发电站等)的环境中最佳地处理野火情况。估计火灾状态),彼此之间传送感测到的火灾信息并且然后基于感测到的信息采取行动来扑灭火灾(例如,在估计的火灾位置上滴水)。FireCommander环境可以用于研究主题,涵盖从强化学习(RL)和从演示示教学习(LfD)到协调,心理学,人机交互(HRI)和团队合作的广泛应用。FireCommander环境有四个重要方面,总体而言,创建了一个非平凡的游戏:(1)复杂目标:多目标随机环境,(2)概率环境:代理的行为导致概率性能,(3)隐藏目标:部分可观察环境,(4)单任务机器人:仅感知和仅感知的代理。FireCommander环境在包括用于协调的仅Perception-only代理和仅Perception-only代理方面是首创的。它是一种通用的多用途游戏,可以用于各种组合优化问题和随机游戏,例如强化学习(RL),示教学习(LfD)和逆RL(iRL)的应用。
2021-10-27 cs.AI cs.HC cs.LG
AI-Powered Immersive Assistance for Interactive Task Execution in Industrial Environments
本研究提出一套基于大语言模型和语音转文本模型的AI驱动沉浸式VR辅助系统,通过提取专家操作的音视频信息提供分步指导,可降低工业场景下的认知负荷、提升效率与安全性。
2024-07-12 cs.HC cs.IR
UISim: An Interactive Image-Based UI Simulator for Dynamic Mobile Environments
University of California, San Diego (UCSD)(加州大学圣地亚哥分校);Google DeepMind(谷歌DeepMind)
UISim是一种基于图像的交互式UI模拟器,通过两阶段方法预测布局并合成图像,实现动态移动环境的真实UI转换,优于端到端基线,助力UI测试与AI智能体训练。
2025-09-26 cs.AI cs.CL cs.CV
InSight: A Benchmark for Agentic Claim Verification in Interactive Visualizations
City, University of London(伦敦城市大学);Imperial College London(帝国理工学院);The Alan Turing Institute(艾伦·图灵研究所)
本文提出InSight基准,用于交互式可视化中的智能体主张验证,含21349条主张,评估显示交互式验证仍是重大挑战,相关资源已发布。
2026-09-02 cs.CL cs.CV cs.HC
Interactive Problem Solving in Prolog
本文提出了一种环境,解决Prolog问题,已实现为虚拟实验室VILAB的一个模块。在问题解决过程中,学习者得到快速的自适应反馈。因此,分析学习者的行动,系统建议使用适当的辅助谓词,也将检查适当的实施。该环境的重点是VILAB中的鲁棒性和集成。
2006-11-03 cs.CY cs.HC cs.PL
A Dataset for Interactive Vision-Language Navigation with Unknown Command Feasibility
Boston University(波士顿大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
视觉语言导航(VLN),其中一个智能体遵循语言指令在视觉环境中,已被研究的前提下,输入的命令是完全可行的环境。然而,在实践中,由于语言模糊或环境变化,请求可能无法实现。为了研究具有未知命令可行性的VLN,我们引入了一个新的数据集Mobile app Tasks with Iterative Feedback(MoTIF),其目标是在移动应用程序中完成自然语言命令。移动应用程序提供了一个可扩展的域来研究VLN方法的实际下游使用。此外,移动应用程序命令提供交互式导航的指令,因为它们通过点击、键入或滑动导致具有状态变化的动作序列。MoTIF是第一个包含可行性注释的,包含二进制可行性标签和细粒度标签,用于说明为什么任务不可满足。我们进一步收集后续问题的模糊查询,使任务的不确定性解决方案的研究。配备我们的数据集,我们提出了可行性预测的新问题,其中自然语言指令和多模态应用程序环境用于预测命令的可行性。MoTIF提供了一个更真实的应用程序数据集,因为它包含许多不同的环境,高层次的目标和比以前的工作更长的动作序列。我们使用MoTIF评估交互式VLN方法,量化当前方法对新应用程序环境的泛化能力,并测量任务可行性对导航性能的影响。
2022-08-15 cs.CL cs.CV cs.HC