Understanding Players' Interaction Patterns with Mobile Game App UI via Visualizations
了解玩家如何在智能手机设备上与移动游戏应用进行交互,对于游戏专家开发和完善其应用产品非常重要。传统上,游戏专家通过对目标玩家进行深入的用户研究或迭代的UI设计过程来实现他们的目的,这无法捕获大规模个体玩家的交互模式。可视化用户UI操作的记录日志是定量理解交互模式的一种很有前途的方法。然而,很少有可视化工具已经开发的移动游戏应用程序交互,这是具有多点触摸动态操作和复杂的UI的挑战。在这项工作中,我们填补了空白,提出了一种可视化的方法,旨在了解玩家的互动模式,在多点触摸游戏应用程序与更复杂的互动支持的图标和一系列的技能按钮。特别地,我们识别玩家的动态手势模式,检查手势行为的相似性和差异性,并探索当前移动游戏应用程序UI设计与玩家的真实世界实践之间的潜在差距。三个案例研究表明,我们的方法是有前途的,可以潜在的补充理论UI设计的进一步研究。
2021-10-17 cs.HC
A Spiral into the Mind: Gaze Spiral Visualization for Mobile Eye Tracking
在没有感兴趣区域(AOI)信息的情况下比较来自多个参与者的移动眼动追踪数据是具有挑战性的,因为个体计时和坐标系统。我们提出了一种技术,凝视螺旋,可视化个人记录的基础上的图像内容的刺激。狭缝扫描可视化的螺旋布局用于创建扫描路径的紧凑表示。可视化提供了多个记录的概述,即使是长时间跨度,并帮助识别和注释记录中的重复模式。凝视螺旋还可以用作可以基于所建立的扫描路径度量被投影到2D空间的字形,以便解释度量并标识类似观看行为的组。我们提出了基于两个以自我为中心的数据集的例子,以证明我们的方法的注释和比较任务的有效性。我们的例子表明,该技术有可能让用户比较,即使是长期的记录普遍的情况下,没有手动注释。
2022-04-28 cs.HC
The Atlas of AI Incidents in Mobile Computing: Visualizing the Risks and Benefits of AI Gone Mobile
本研究开发了一种采用叙事和交互元素的可视化工具,基于54个真实事件,帮助公众理解移动计算中AI的风险与收益,并揭示低风险应用也可能引发重大事件。
2024-07-22 cs.HC
ManyFold: A Design Exploration of Data Visualization on Foldable Mobile Devices
TU Dresden(德累斯顿工业大学);Centre for Tactile Internet with Human-in-the-Loop (CeTI)(人机回环触觉互联网中心);City University of Hong Kong(香港城市大学)
本研究针对可折叠移动设备数据可视化认知缺口,构建设备中心设计空间与含四个视角的概念框架,经工作坊与原型验证,为该类设备可视化应用开发提供基础与启发。
2026-08-04 cs.HC
Don't Peek at My Chart: Privacy-preserving Visualization for Mobile Devices
针对移动设备可视化易被旁人偷看导致隐私泄露的问题,提出一种基于人类视觉感知的掩蔽方案,通过调整空间频率和亮度对比度,使图表近距离可读而远距离不可见,有效保护隐私。
2023-05-21 cs.CR cs.HC
Proteus: Shapeshifting Desktop Visualizations for Mobile via Multi-level Intelligent Adaptation
Nanyang Technological University(南洋理工大学);Providence Health & Services(普罗维登斯健康与服务);The Hong Kong Polytechnic University(香港理工大学)
Proteus通过多级智能适应技术,自动将桌面可视化转换为移动端可读的可视化,解决移动端屏幕尺寸和交互方式差异导致的显示问题。
2026-04-25 cs.HC cs.MA
Choriented Maps: Visualizing SDG Data on Mobile Devices
Choropleth地图和分级符号地图通常用于可视化定量地理数据。然而,随着类别数量的增加,区分相邻类别越来越具有挑战性。为了缓解这个问题,这项工作引入了两种新的可视化类型:choriented地图(使用颜色和方向作为变量来编码地理信息的地图)和choriented移动(为移动设备优化choriented地图)。这些地图在一项图形感知研究中进行了评估,该研究比较了几个欧洲国家的可持续发展目标(SDG)数据。Choriented地图和choriented移动可视化导致可比的,有时更好的有效性和信心分数比choropleth和毕业符号地图。Choriented地图和choriented移动可视化也表现良好,整体效率和表现较差,只有比分级符号地图。这些结果表明,在某些情况下,使用颜色和方向作为视觉变量相结合,可以提高地图符号的选择性和用户在地理数据探索过程中的表现。
2022-05-04 cs.HC
MARVisT: Authoring Glyph-based Visualization in Mobile Augmented Reality
本文提出移动 AR 创作工具 MARVisT,通过现实信息辅助非专家绑定数据、真实对象与虚拟字形,以快速创建基于字形的 AR 可视化,并用示例和用户研究验证其效果。
2024-05-10 cs.GR cs.HC
HoloTouch: Interacting with Mixed Reality Visualizations Through Smartphone Proxies
我们贡献的互动技术,增强混合现实(MR)的可视化与智能手机代理。通过将盔装显示器(HMD)与移动触摸屏相结合,我们可以通过精确的触摸输入、触觉反馈、高分辨率2D图形和物理操作来增强低分辨率全息3D图表。我们的方法旨在补充MR和物理可视化。大多数当前的MR可视化遭受不可靠的跟踪、低视觉分辨率和不精确的输入。另一方面,数据物理化虽然允许自然的物理操作,但在动态和交互式修改方面受到限制。我们演示了智能手机或平板电脑等移动设备如何作为MR数据交互的物理代理,创建支持精确操作和丰富输入和输出的动态可视化。我们描述了6种交互技术,这些技术利用了HMD和智能手机的综合物理性、传感和输出能力,并通过原型系统展示了这些交互。根据评估,我们概述了结合MR和物理图表的优势的机会。
2023-03-15 cs.HC
ClipGS-VR: Immersive and Interactive Cinematic Visualization of Volumetric Medical Data in Mobile Virtual Reality
Department of Computer Science and Engineering and Institute of Medical Intelligence and XR The Chinese University of Hong Kong(香港中文大学计算机科学与工程系及医疗智能与扩展现实研究所)
ClipGS-VR通过基于梯度的不透明度调节实现移动VR中的任意角度切片,提升体积医学数据的沉浸式交互可视化性能。
2026-01-27 cs.GR cs.HC
Chameleon: Automated Color Palette Adaptation for Dark Mode Data Visualizations
Singapore Management University(新加坡管理大学);Nanyang Technological University(南洋理工大学)
Chameleon通过自动调整颜色调色板,将亮模式可视化转换为深色模式,保持视觉清晰度和颜色语义,提升深色模式下的可视化体验。
2026-01-05 cs.HC
Modeling Mobile Visualization for Medical Reports of Complex Chronic Diseases
可视化复杂慢性病患者的病史(例如,不协调的慢性合并症(DCC))对于患者、他们的医疗保健提供者和他们的支持网络是一个挑战。DCC是一种健康状况,患者患有多种通常不相关的慢性疾病,这些疾病可能需要同时解决,但也可能与相互冲突的治疗指示有关。未来的工作目标是减少治疗冲突,提高患者的生活质量和护理,应仔细检查和可视化DCC的医疗报告,症状和治疗建议。在这项研究中,我们探讨了各种可视化模型和范式。我们分析这些模型和范例如何应用于可视化多方面的医疗数据。然后,我们提出了一个模型,将非结构化数据转换成时间切片,并描绘在一个单一的图形模型。我们报告了我们如何小心地将多方面的DCC记录转移到结构化数据表、可视化图形和各种硬件设备中。
2022-12-03 cs.HC cs.MM
Identification of crowds using mobile crowd detection (MCS) and visualization with the DBSCAN algorithm for a Smart Campus environment
本文探讨了在智慧校园环境中利用移动群智感知(MCS)和DBSCAN算法进行人群拥挤检测与可视化的可行性,初步结果表明该系统可有效预防拥挤事故并辅助公共空间管理。
2024-09-28 cs.CY cs.HC
Analysis of Personal Data Visualization Reviews On mHealth Apps (short paper)
移动设备,特别是智能手机,可以轻松快速地访问各种跟踪应用程序中的数据可视化。移动健康(mHealth)应用程序使非专家用户能够访问数据可视化,以跟踪他们的活动和健康相关问题,如心脏跟踪和药物治疗。然而,没有关于移动健康应用程序中数据可视化的用户体验或感知的工作。应用程序评论为研究人员提供了一个间接的锚点,以检查非专家用户如何感知数据可视化并与之交互,并确定关键挑战和建议。本文介绍了对Google Play商店上250个mHealth应用程序数据集报告的数据可视化应用程序评论的分析。我们发现了8,406条与数据可视化相关的评论。919条中立评论,1,557条负面评论,5,930条正面评论。通过分析用户评论,功能需求是这些应用程序评论中最常见的问题,其次是外观和感觉,然后是数据问题。一套完整的数据可视化似乎是mHealth应用程序最受欢迎的功能。在开发移动数据可视化时,我们使用这些评论来开发分类和数据可视化指南。
2022-02-22 cs.HC
Carina: Interactive Million-Node Graph Visualization using Web Browser Technologies
我们正在开发一个可扩展的交互式可视化系统,名为Carina,供人们探索百万节点图。通过使用最新的Web浏览器技术,Carina通过WebGL提供快速的图形渲染,并在桌面(通过Electron)和移动平台上工作。与大多数现有的图形可视化工具不同,Carina不将完整的图形存储在RAM中,使其能够处理多达69M条边的图形。我们正在努力改进和开源Carina,为研究人员和从业者提供一种新的、可扩展的方式来探索和可视化大型图形数据集。
2017-02-24 cs.HC
Touching Data: A Discoverability-based Evaluation of a Visualization Interface for Tablet Computers
虽然近年来出现了一些基于触摸的可视化系统,但对这些系统进行评估的工作相对较少。流行的方法将这些系统与桌面级应用程序进行比较,或者利用传统的基于培训的可用性研究。我们认为,现有的研究,而有用的,未能解决移动应用程序使用的一个关键方面-初始印象和可扩展性驱动的可用性。在过去的几年中,我们已经开发了一个基于平板电脑的可视化系统,Tangere,用于分析表格数据在多个协调视图配置。本文介绍了Tangere的一项基于易用性的用户研究,其中将该系统与商用平板电脑可视化系统Tableau的Vizable进行了比较。该研究强调了每个系统的设计与研究参与者产生共鸣的方面,我们反思这些发现,以确定未来基于平板电脑的数据可视化系统的设计原则。
2018-06-15 cs.HC
Visualization of Wearable Data and Biometrics for Analysis and Recommendations in Childhood Obesity
肥胖是非传染性疾病增加后的主要健康风险因素之一。了解影响肥胖的因素是非常复杂的,因为有很多变量可以影响导致肥胖的健康行为。现在,多个数据源可以用于研究健康行为,例如用于身体活动和睡眠的可穿戴传感器,社交媒体,移动和健康数据。在本文中,我们描述了一个仪表板的设计,从卡塔尔的儿童肥胖营地的体动记录和生物特征数据的可视化。该仪表板允许定量发现,可用于指导患者行为和定向定性研究。
2017-05-10 cs.HC
Data@Hand: Fostering Visual Exploration of Personal Data on Smartphones Leveraging Speech and Touch Interaction
大多数移动健康应用程序使用数据可视化来帮助人们查看他们的健康和活动数据,但这些应用程序对可视化数据探索的支持有限。此外,尽管有巨大的潜在好处,但在个人数据环境中的移动可视化研究很少。这项工作旨在通过语音实现灵活的时间操作,使人们能够在智能手机上轻松导航和比较他们的个人健康数据。我们设计并开发了Data@Hand,这是一款移动应用程序,利用了两种互补模式的协同作用:语音和触摸。通过对13名Fitbit长期用户的探索性研究,我们研究了多模态交互如何帮助参与者探索自己的健康数据。参与者成功地采用了多模式互动(即,语音和触摸),以方便和流畅的数据探索。基于定量和定性的研究结果,我们讨论了多模态交互的设计意义和机会,以更好地支持移动设备上的视觉数据探索。
2021-01-15 cs.HC
Energy Data Visualizations on Smartphones for Triggering Behavioral Change: Novel Vs. Conventional
本文介绍了使用合适的数据可视化对电能消耗的重要性以及它对减少所述消耗的影响。数据可视化工具构成了能源微矩的重要支柱,即,在正确的时间以正确的方式为特定的电力消费者提供正确的信息的概念。这种行为变化可以在良好的建议和适当的可视化的帮助下触发,以传达正确的信息。一个调查问卷是作为一个移动应用程序来评估不同群体的传统和新颖的可视化。传统的图表仅限于条形图、折线图和堆叠面积图,而新颖的可视化包含热图、螺旋图和设备级堆叠条形图。从参与者的回答中收集的重要结果表明,他们稍微倾向于传统的图表。然而,当分析问题被调查时,他们对新图表的理解要好8%。最后,回答了一个问题,一组可视化是否应该被完全丢弃,或者可以应用一些修改。
2020-10-08 cs.HC
Pen-based Interaction with Spreadsheets in Mobile Virtual Reality
虚拟现实(VR)可以增强移动知识工作的显示和交互,特别是电子表格应用。虽然电子表格被广泛使用,但在移动设备上进行交互具有挑战性,但在VR中使用它们还没有深入探讨。该领域的一个特殊的独特性是VR提供的沉浸式和大型显示空间之间的对比,与之形成对比的是可以为旅途中的信息工作者提供的非常有限的交互空间,例如飞机座椅或小工作空间。为了缩小这一差距,我们提出了一个工具集,用于使用沉浸式VR耳机和基于笔的输入来增强平板电脑上的电子表格交互。这种组合为提高电子表格交互的生产力提供了许多可能性。我们建议使用平板电脑周围和前面的空间来增强电子表格数据和元数据的可视化。例如,将工作表显示扩展到物理屏幕的边界之外,或者通过揭示工作表单元格之间隐藏的依赖关系来简化调试。结合精确的屏幕上输入的笔与周围的平板电脑的空间感测,我们提出了有效的创建和编辑的电子表格功能,如离屏分层菜单,可视化的工作表依赖关系,和凝视和触摸电子表格选项卡之间的切换工具。我们研究的可行性,建议的工具集使用基于视频的在线调查和基于专家的评估,指示性的人类性能的潜力。
2020-08-11 cs.HC
Anywhere & Everywhere: A Mobile, Immersive, and Ubiquitous Vision for Data Analytics
Aarhus University(奥胡斯大学)
本文针对数据无处不在且人们希望随时随地访问数据的需求,探讨了利用新型移动、沉浸式和普适技术构建的新兴分析形式,这些形式将在互联设备、交互式可视化和协作用户生态系统中改变未来数据分析方式。
2023-10-01 cs.HC
On-Body Visualization of Patient Data for Cooperative Tasks
电子健康记录(EHR)以数字形式系统地表示患者数据。然而,基于文本和可视化的EHR系统由于其复杂且相当不直观的访问结构而在医院工作流程中集成得很差。这在需要有效的、任务特定的信息传递的临床协作情况下尤其不利。在本文中,我们介绍了一种新的概念,解剖学集成的就地可视化,旨在从事合作任务的神经外科病房。基于我们的实地研究的结果和派生的设计目标,我们提出了一种方法,遵循医学中的视觉传统,这是密切相关的解剖,通过使用虚拟病人的身体作为空间表示的视觉编码的抽象医疗数据。更具体地说,我们提供了一个通用的一套正式的要求,这些种类的就地可视化,我们应用这些要求,以实现一个特定的可视化神经系统症状相关的鉴别诊断的椎间盘突出症,我们提出了一个原型实现的可视化概念的移动终端。此外,我们讨论了各种挑战相关的视觉编码和可见性的身体模型组件。最后,由10名神经外科医生对原型进行评估,他们评估了所提出的方法的有效性和进一步的潜力。
2020-02-27 cs.HC
VisAnywhere: Developing Multi-platform Scientific Visualization Applications
本文提出VisAnywhere,利用Web技术将单一代码库改造为多平台科学可视化应用,支持跨设备交互与协作。
2024-04-26 cs.GR cs.HC
SalienTime: User-driven Selection of Salient Time Steps for Large-Scale Geospatial Data Visualization
School of Computer Science;Technology\ China Normal University Shanghai China;State Key Laboratory of Estuarine;Coastal Research\ China Normal University Shanghai China;Technology\ China Normal University;Coastal Research\ China Normal University
针对大规模地理空间时序数据网页端时间选择繁琐的问题,本文结合专家需求定义多维度显著时间步,提出基于自编码器与动态规划的用户驱动选择方法,实现了灵活的上下文感知时间步筛选,并通过多类评估验证了效果。
2024-03-06 cs.HC cs.LG
A Mobile Application Front-End for Presenting Explainable AI Results in Diabetes Risk Estimation
School of Electrical Engineering(电气工程学院);Informatics(信息学);Bandung Institute of Technology(万隆技术学院);Bandung, Indonesia(印度尼西亚万隆)
本研究开发了一款移动应用前端,通过可视化和文本叙述提升用户对糖尿病风险估算中XAI结果的理解与行动能力。
2026-01-23 cs.AI cs.HC
Smell Pittsburgh: Community-Empowered Mobile Smell Reporting System
城市空气污染与各种人类健康因素有关,包括心肺疾病。由于缺乏可用的工具,空气质量差的社区往往依赖专家来确定污染源。考虑到这一点,我们开发了一个名为Pittsburgh的系统,该系统使社区成员能够报告气味并跟踪这些气味经常集中的地方。所有气味报告数据都可以在线公开访问。这些报告还被发送到当地卫生部门,并与监测站的空气质量数据一起显示在地图上。该可视化提供了当地污染景观的全面概述。此外,通过这些报告和空气质量数据,我们开发了一个模型来预测即将发生的气味事件,并发送推送通知通知给社区。我们对该系统的评估表明,让居民记录他们对污染气味的体验可以帮助确定当地的空气污染模式,并使社区能够倡导更好的空气质量。
2020-07-01 cs.HC
FoodWise: Food Waste Reduction and Behavior Change on Campus with Data Visualization and Gamification
FoodWise是一个双组件系统,通过数据叙事仪表板和移动应用激励校园社区减少食物浪费,并在HKUST部署中有效提升了用户意识和行为转变。
2023-07-27 cs.HC
Exploring and Visualizing COVID-19 Trends in India: Vulnerabilities and Mitigation Strategies
本文通过可视化和解释性分析印度官方 COVID-19 数据,考察 2020 年感染趋势及疫苗接种中心等缓解措施,强调数据可视化对公共卫生决策的价值。
2024-08-25 cs.CY cs.HC
Designing Mobile and Wearable Sensor-Fused Conversational Agents for Health and Wellbeing
Imperial College London(帝国理工学院);KIST(韩国科学技术研究院);IIT Hyderabad(印度理工学院海德拉巴分校)
本教程面向健康领域,旨在教授参与者使用WSDWAS工具,将可穿戴传感器数据与LLM驱动的对话智能体结合,实现从被动监测到可操作福祉对话的转变。
2026-08-17 cs.HC
Chronodes: Interactive Multi-focus Exploration of Event Sequences
移动医疗技术的出现提出了新的挑战,现有的可视化,交互式工具和算法尚未设计支持。在处理传感器数据和高维生理记录中的不确定性时,我们必须寻求改进当前的工具,这些工具从基于事件的趋势发现的传统角度来理解健康数据。Chronodes是一个旨在帮助研究人员收集、解释和建模移动健康(mHealth)数据的系统,我们使用了一系列交互技术,这些技术可以实现理解和探索基于事件的数据的新方法。Chronodes从大量不连续的移动健康数据流中发现并可视化频繁的事件序列,这些事件序列揭示了参与者和日期之间的常见时间顺序模式。然后,通过将这些序列作为互动元素进行推广,Chronodes提供了寻找、定义和比较表现出特定行为的参与者群体的机会。我们将Chronodes应用于一个真实的40GB mHealth数据集,捕获了大约400小时的数据。通过我们与20位行为和生物医学健康专家的试点研究,我们深入了解了Chronodes的功效,局限性以及对各种医疗保健场景的潜在适用性。
2016-09-27 cs.HC
Investigating the Ways in Which Mobile Phone Images with Open-Source Data Can Be Used to Create an Augmented Virtual Environment (AVE)
本文提出一种融合手机图像与开源地理空间数据构建增强虚拟环境的交互系统,利用Python与Unity实现数据处理与3D可视化,初步评估表明其能准确还原真实场景并提升用户的情境理解能力。
2025-09-17 cs.CY cs.GR cs.HC
Personalized Understanding of Blood Glucose Dynamics via Mobile Sensor Data
New York University(纽约大学)
连续血糖(CGM)监测仪彻底改变了糖尿病患者管理血糖的能力,并为人工胰腺系统铺平了道路。在本文中,我们用智能手机收集的传感器输入来增强CGM数据,并将其用于为患者和临床医生提供分析工具。我们使用自定义iOS应用程序收集了一名自由生活的1型糖尿病患者在9个月内的GPS数据、活动分类和血糖数据。该数据集在其大小、包含GPS数据以及从自由生活的患者非侵入性地收集的事实方面是新颖的。我们描述了一种方法来衡量发生的生活方式\textit{events}的基础上GPS和活动数据,并表明,他们可以捕获的情况下,食物消费,因此与血糖的变化。最后,我们将这些事件表示纳入我们的系统,以创建有用的可视化和通知,以帮助患者管理他们的糖尿病。
2023-02-02 cs.HC cs.LG
PAL: A Wearable Platform for Real-time, Personalized and Context-Aware Health and Cognition Support
个性化主动学习器(PAL)是一种可穿戴系统,用于实时的【形】、个性化和情境感知的健康和认知支持。PAL的系统由可穿戴设备、移动应用程序、云数据库、数据可视化Web应用程序和机器学习服务器组成。PAL的可穿戴设备使用多模态传感器(摄像头、麦克风、心率),具有设备上的机器学习和开放式耳机音频输出,以提供实时的【形】情境感知认知、行为和心理干预。PAL还允许用户跟踪他们的活动和生理状态之间的长期相关性,以做出明智的生活方式决定。在本文中,我们提出并开源PAL的系统,以便人们可以使用它的健康和认知支持应用程序。我们还开源了三个完全开发的示例应用程序,使用PAL进行基于面部的记忆增强,上下文语言学习和基于心率的心理支持。PAL灵活、模块化和可扩展的平台结合了数据驱动医学、移动心理学和认知增强的趋势,以支持数据驱动和增强健康和认知应用。
2019-05-03 cs.HC
Health Figures: An Open Source JavaScript Library for Health Data Visualization
我们看待数据的方式对我们如何理解它有很大的影响,特别是当数据与健康和健康有关时。由于自我跟踪设备的使用越来越多,以及不断向预防医学转变,更好地了解我们的健康数据是改善公民总体福利的重要组成部分。电子健康记录、自我跟踪设备和移动应用程序提供了丰富多样的数据,但这些数据往往难以理解。我们在hGraph可视化的基础上实现了hFigures库,并进行了额外的改进。该库的目的是以完整和有用的方式提供健康测量演变的可视化表示。我们研究的有用性和可用性的图书馆,建立一个健康数据可视化的应用程序,在健康教练计划。我们通过启发式评估、受控用户测试和可用性测试进行了用户评估。在启发式评估中,平均回答为6. 3分(满分7分),可用性专家进行的认知演练表明没有设计或不匹配错误。在CSUQ可用性测试中,该系统的平均得分为6.13分(满分7分),在ASQ可用性测试中,总体满意度得分为6.64分(满分7分)。我们开发了hFigures,这是一个开源库,用于可视化健康数据的完整,准确和规范化的图形表示。这个想法是基于hGraph的概念,但它提供了额外的关键功能,包括随着时间的推移比较多个健康测量。我们进行了可用性评估的图书馆作为一个关键组成部分的应用程序的健康和健康监测。结果表明,数据可视化库有助于帮助用户理解健康数据及其随时间的演变。
2016-05-20 cs.CY cs.HC
A Natural-language-based Visual Query Approach of Uncertain Human Trajectories
可视化查询对于交互式地探索海量轨迹数据至关重要。然而,数据的不确定性给满足高级分析要求带来了深刻的挑战。一方面,许多基础数据不包含准确的地理坐标,例如,移动电话的位置仅涉及区域(即,移动小区站),而不是精确的GPS坐标。另一方面,领域专家和普通用户更喜欢使用自然的方式,例如使用自然语言句子来访问和分析大量运动数据。在本文中,我们提出了一种可视化分析方法,可以从文本句子中提取时空约束,并支持对不确定移动轨迹数据的有效查询方法。该方法利用兴趣点及其所覆盖区域的语义信息对海量、空间不确定的轨迹进行编码,并采用有效的索引机制将轨迹文档存储在文本数据库中。可视化界面有助于查询条件规范,情境感知可视化和大型轨迹数据的语义探索。真实世界人类移动数据集上的使用场景证明了我们方法的有效性。
2019-10-11 cs.HC cs.IR
The Role of Embodiment in Intuitive Whole-Body Teleoperation for Mobile Manipulation
Computer Science Department, TU Darmstadt(图恩-达姆施塔特大学计算机科学系);University of São Paulo(圣保罗大学);Centre for Cognitive Science, TU Darmstadt(图恩-达姆施塔特大学认知科学中心);Systems AI for Robot Learning, German Research Center for AI (DFKI)(德国人工智能研究中心(DFKI)机器人学习系统AI)
该研究对比移动操作遥操作中耦合/解耦具身控制范式与VR/屏幕反馈机制,发现VR会增加任务耗时与负荷,耦合控制采集的数据更利于模仿学习,为高质量移动操作数据大规模采集提供参考。
2025-09-03 cs.HC cs.LG cs.RO
A VR System for Immersive Teleoperation and Live Exploration with a Mobile Robot
Institute of Computer Science II – Computer Graphics, University of Bonn(波恩大学计算机科学II系——计算机图形学);Institute of Computer Science VI – Autonomous Intelligent Systems, University of Bonn(波恩大学计算机科学VI系——自主智能系统)
灾害管理和工业检查等应用通常需要专家进入受污染的地方。为了规避对物理存在的需要,期望生成完全沉浸式的个人现场远程操作体验。然而,标准的基于视频的方法由于对相机视图的限制而遭受有限程度的沉浸感和态势感知,这影响了导航。在本文中,我们提出了一种新的基于虚拟现实的沉浸式机器人遥操作和场景探索的实用系统。在场景中操作时,机器人捕获RGB-D数据,并将其流式传输到基于SLAM的实时多客户端远程呈现系统。这里,已经捕获的场景部分的全局3D模型被重构并流传输到各个远程用户客户端,在那里执行用于例如盔装显示器设备(HMD)的渲染。我们介绍了一种新型的轻量级机器人客户端组件,它传输机器人特定的数据,并能够快速集成到现有的机器人系统。这样,与第一人称探索系统相比,操作员可以完全独立于捕获机器人的当前位置和视图在远程站点中进行探索和导航,从而补充了传统的远程操作输入设备。我们提供了一个概念验证的实现,并展示了我们的系统在交互式对象测量和带宽效率的数据流和可视化方面的能力和性能。此外,我们在用户研究中展示了其在纯粹基于视频的遥操作中的优势,揭示了更高程度的态势感知和在具有挑战性的环境中更精确的导航。
2020-02-03 cs.HC cs.RO