The effects of graphical interface design characteristics on human-computer interaction task efficiency
本文的主要目的是调查的影响，计算机屏幕界面设计和36个图形对象的相关几何特性对用户的任务效率。共有490名受试者参加了实验室实验，重点是直接操纵用户和计算机之间的视觉对话。受试者被要求从随机放置在计算机屏幕上的一组项目中选择一个对象，这些项目在视觉搜索过程中是唯一可见的。一个模型表示的平均对象采集时间作为图形对象的大小和配置的函数进行了开发和统计验证。该模型显示的图形对象（图标）和它们的分组（图标结构）的几何设计特性的影响，观察到的任务效率。报告的结果可以用于软件生命周期的这些阶段，集中在原型设计，设计和实现图形解决方案的有效的图形用户-计算机界面。
2012-11-28 cs.HC
Inventions on expressing emotions In Graphical User Interface
传统的GUI更机械，不能识别或传达情感。现代GUI试图推断用户可能的情绪状态和个性，并通过相应的情绪状态进行交流。情感通过图形图标、声音、图片和其他方式表达。情绪被发现是有用的，特别是在通信软件，交互式学习系统，机器人和其他自适应环境。已经开发了各种机制来通过图形用户界面表达情感。这篇文章举例说明了从美国专利数据库中选出的一些有趣的发明。
2014-04-27 cs.HC
Single-channel EOG-based human-machine interface with exploratory assessments using harmonic source separation
针对运动障碍患者的智能机器人系统已经进行了许多研究，其中已经开发了不同的传感器类型和不同的人机界面（HMI）方法。然而，这些研究未能实现在最低感测水平下的复杂活动检测。在本文中，采用探索性的方法来研究眼活动动力学和复杂的活动估计使用单通道EOG设备。首先，静态运动过程中的眼睛活动的平稳性进行了研究，发现一些活动是非平稳的。此外，在时域中的包络序列之间没有发现统计差异。然而，当用作低通滤波器的替代时，频域中的高频谐波分量被发现显著地改善对比眼活动和基于EOG-HMI的活动检测系统的性能。这些活动使用不同的分类器进行训练，并使用留一会话交叉验证来评估其预测成功率。因此，二维CNN模型实现了最高的性能，准确率为72.35%。此外，使用无监督学习评估聚类性能，并根据特征集的分组情况对结果进行评估。通过图形化用户界面对系统进行了实时测试，并利用受试者的分数和调查数据验证了系统的有效性。
2022-08-14 cs.HC
Graphical Interface for Visually Impaired People Based on Bi-stable Solenoids
本文提出了一种视觉障碍者图形触觉显示的硬件实现方案。触觉驱动器的实现采用双稳态、单片机和PIC单片机控制板。所选的每行显示器的串联激活算法允许使用最少数量的有源元件来设置和重置复位器。最后讨论了控制板的编程算法。该项目由保加利亚国家科学基金NSF Grant D ID 02 14，2009 2013资助
2014-01-21 cs.HC
Generative Programming of Graphical User Interfaces
生成式编程（GP）是一种计算范式，允许利用基本和可重用组件的配置自动创建整个软件家族。GP可以投射到不同的技术上，例如C++模板、Java-Bean、面向对象编程（AOP）或框架技术。本文重点介绍了框架技术，它有助于实现和完成软件组件的可能性。本文的目的是在GUI应用程序生成领域引入GP范式。它演示了如何从抽象规范生成具有GUI部件的自动定制可执行应用程序。
2004-05-23 cs.HC
Visualizations in Exploratory Search: A User Study with Stock Market Information
在本文中，我们提出了一种方法，集成了交互式可视化的探索性搜索过程。在这个模型中，可视化可以充当中心，在这里可以通过简单的用户界面访问大量信息。通过互动技术，这些信息可以与万维网上的相关信息相结合。我们将新的搜索概念应用到股票市场信息领域，并进行了用户研究。参与者可以在没有指示的情况下使用该界面，可以完成复杂的任务，如识别相关信息项，链接异构信息类型，并使用不同的交互技术来更容易地访问相关信息。通过这种方式，用户可以快速获取不熟悉领域的知识。
2012-09-11 cs.HC
Teaching young learners a foreign language via tangible and graphical user interfaces
与传统的教学方法相比，在协作学习部门中，使用有形界面在教学中被证明更有效，用户友好和有帮助。具体而言，有形界面“Makey Makey“是一个现代化工具，可加强学生之间的协作，在教育方面取得了积极成果，尽管迄今为止对这一界面所做的研究有限。“Makey Makey”成功地激励和吸引年轻学习者参与学习过程，表现出更好的表现和得分结果。此外，它在教学中的使用已被证明有利于每个年龄学习组的学习过程，这种创新的教学/学习方法的开发和使用有助于年轻学习者以不同的方式感知教育过程，并更有效地吸收新的认知领域。此外，教育工作者也从中受益，因为他们可以消除困难，并根据他们的教学方法使用实例更有效地教学，同时提高年轻学习者的平行技能。这项研究将证实以前的研究结果指出，新概念的同化是更容易与有形的界面比图形的，以及参与调查的年轻学习者在知识获取方面取得了显着的进步时，他们以前的知识。
2020-12-22 cs.HC
10 Inventions on Command Buttons in a Graphical User Interface
命令按钮可以包含文本标签或图形图像或两者。它可以是静态的或动画的。可以有许多不同的功能来使命令按钮吸引人和有效。由于命令按钮是一个典型的GUI元素，因此GUI的大多数改进通常也适用于命令按钮。此外，还存在具体地改进命令按钮的各个方面的发明。本文列举了从美国专利数据库中选出的10项发明。每个发明之后都简要地进行了基于TRIZ的分析。
2014-04-27 cs.HC
Inventions on Using Colors in Graphical User Interfaces
颜色是任何图形用户界面（GUI）的一个重要方面。颜色用于使GUI具有吸引力和意义。但是，使用颜色也有困难。颜色使用不当会导致不良影响。在错误的地方使用错误的颜色会使GUI看起来笨拙和混乱。除了美学问题，还有许多其他问题涉及到颜色。与颜色使用相关的矛盾之一是“GUI的颜色应该是可定制的，以适应用户的偏好。但与此同时，它不应该是可定制的，因为这会给其他用户带来烦恼和困惑。另一个与使用颜色有关的收缩是“用户应该被显示所有1600万种颜色以精确地选择所需的颜色，但从另一个角度来看，用户不应该被显示所有1600万种颜色，因为这会造成混乱和选择困难。“本文分析了从美国专利数据库中选择的一些发明，并说明了发明人如何能够解决与图形用户界面中的颜色使用有关的各种矛盾。
2014-04-27 cs.HC
Combining Multiple View Components for Exploratory Visualization
针对探索性可视化中“概览加细节”等概念在技术解释上的歧义，本文提出了视图与焦点基本组件的描述，并概述了它们的多重组合，为UI设计的视觉组合方法提供分类基础。
2023-09-14 cs.HC
Responsive Graphical User Interface (ReGUI) and its Implementation in MATLAB
BERG Faculty, Technical University of Kosice（科希策理工大学伯格学院）
本文介绍了一种创建应用程序的响应式图形用户界面（ReGUI）方法，并展示了其在MATLAB中的实现方式，该方法也可应用于其他编程语言。
2017-04-09 cs.HC cs.SE
The Command Line GUIde: Graphical Interfaces from Man Pages via AI
University of California San Diego（加利福尼亚大学圣迭戈分校）
本文提出通过AI将man页转化为图形界面规范，开发GUIde系统以可视化展示命令行工具选项，验证其在实际任务中的有效性。
2025-10-01 cs.AI cs.HC
Too Many Cooks: Exploring How Graphical Perception Studies Influence Visualization Recommendations in Draco
本文提出利用30篇图形感知研究结果构建Draco推荐算法，通过探索性分析验证其可行性，识别文献空白、聚类论文偏好并解释研究影响力差异，促进两领域协同发展。
2023-08-28 cs.HC
Conversational Exploratory Search via Interactive Storytelling
对话式界面可能会成为比今天的文本或触摸式界面更有效、更直观和更吸引人的人机交互方式。当前关于会话接口的研究工作主要集中在问答功能上，从而忽略了对目标信息查找之外的搜索活动的支持。当用户不熟悉他们的目标领域，不确定实现目标的方法，或者首先不确定他们的目标时，他们会进行探索性搜索。探索性搜索通常由信息可视化方法支持。然而，这种方法不能直接转化为会话搜索的设置。在本文中，我们调查的启示互动讲故事的工具，使探索性搜索的对话界面的框架内。交互式故事讲述提供了一种以用户喜欢的速度和顺序导航文档集合的方法。在我们的愿景中，互动式讲故事将与基于对话的系统相结合，该系统提供口头解释和响应式设计。我们讨论了挑战，并勾勒出将这一愿景付诸实践所需的研究议程。
2017-09-15 cs.HC cs.IR
Development of Graphical User Interface For Microwave Filter Design
本研究计画旨在开发一个低成本、具时效性的独立式图形用户界面（GUI），以应用于微波滤波器的设计。在整个项目中，微波滤波器技术背后的主要理论，它们的广义数学方程和它们的不同电路拓扑结构的分析已经过审查。这篇评论有助于提取微波滤波器设计所需的必要信息。此外，一个成功的和面向信息的GUI的指导原则和潜在的工程因素也被强调。为了执行该项目，高级GUI开发环境（GUIDE）与结构化编程方法一起被用来设计GUI，并对其相关功能进行编程。频率响应是通过使用每个滤波器类和类型的通用方程以及使用它们不同的电路拓扑（并联或串联拓扑）生成的。GUI还可以提供来自给定规范的无功元件值。此外，超宽带（UWB）带通滤波器，电容耦合和梳状线滤波器的设计特点也被纳入到独立的应用。最终的原型将为工业和教育机构服务。
2016-07-05 cs.HC
10 Inventions on scrolling and scrollbars in Graphical User Interface
滚动机制用于在有限的屏幕空间或窗口中显示和编辑大型文档。滚动机构可以包括垂直滚动条或水平滚动条或两者，以上下或左右移动文档的内容。屏幕上可能有导航按钮，代表键盘上的导航键。用户可以单击这些按钮滚动屏幕。可能有非常不同的滚动方法，例如使用“拇指”，如PDF文档中常用的。滚动可以在用户没有手或想要使用手进行其他活动的免提环境中通过眼球跟踪来实现。这篇文章举例说明了从美国专利数据库中选出的十项有趣的发明。
2014-04-27 cs.HC
Older Adults and Brain-Computer Interface: An Exploratory Study
在这项探索性研究中，我们研究了针对老年人的灵巧家庭技术（SHT）的背景下，非侵入性脑机接口（BCI）的可能性。在两个研讨会期间，一个是固定的，另一个是通过Zoom在线的，我们研究了最终用户对BCI在SHT环境中的潜力的见解。我们探讨了它的优点和缺点，以及老年人认为至关重要的功能以及他们将从中受益的功能。除了评估参与者在两次研讨会期间对此类设备的看法外，我们还分析了研讨会期间收集的见解所产生的一些关键考虑因素，例如潜在的障碍，减轻障碍的方法，与BCI相关的优势和机会。这些可能是有用的设计脑机接口互动范例和精确定位感兴趣的领域，在进一步的研究。
2021-04-05 cs.CY cs.HC cs.MM
Intelligent Canvas: Enabling Design-Like Exploratory Visual Data Analysis with Generative AI through Rapid Prototyping, Iteration and Curation
University of Maryland, College Park（马里兰大学帕克分校）
针对现有界面在探索性可视化数据分析中的局限，提出集成生成式AI的“类设计”intelligent canvas环境，支持快速原型设计、迭代与比较可视化管理，并通过N=10的用户研究验证其有效性。
2024-03-21 cs.AI cs.HC
COMODI: On the Graphical User Interface
我们提出了一系列的功能，图形用户界面（GUI）的计算MOTONIC集成器（COMODI）\cite{Synasc05a} \cite{COMODI}。鉴于特殊的要求，一个COMODI类型的框架科学计算施加和启发，从现有的解决方案，提供先进的图形可视化编程环境，我们确定这些元素和相关的行为，将不得不找到自己的方式进入COMODI的第一个版本。
2005-10-14 cs.CE cs.HC cs.MS
Hierarchical Graphical Models for Context-Aware Hybrid Brain-Machine Interfaces
提出了一种基于层次图模型的上下文感知混合脑机接口（hBMI），该接口利用脑电（EEG）和肌电（EMG）活动的概率融合。基于固定执行过程中收集的实验数据和随后的图像的五个不同的手势与两个肢体，我们证明了建议的hBMI系统的可行性，通过会话内和在线跨会话分类分析。此外，我们调查的上下文感知程度的模型模拟概率的方法，并强调我们的工作在神经生理驱动的机器人手假肢领域的潜在影响。
2018-09-15 cs.HC eess.SP
Inventions on Tree Navigators used in Graphical User Interface
树视图或树导航器用于显示以树的形式组织的分层数据。在树结构中有父节点和子节点。子节点还可以具有n个级别的后代。有很多方法可以使导航变得容易。其中一些是扩展和折叠分支，拆分树，在单独的树中显示父结点，缩放分支，向各个方向滚动等。有效地处理大型树仍然是一个困难的练习。努力仍然继续管理大量的节点，速度更快，更好的控制，用户友好和美观。本文从美国专利数据库中选取了五项关于树导航仪的发明。他们每个人都试图以不同的方式解决与树导航器相关的各种问题。每个发明也从TRIZ的角度进行了分析。
2014-04-27 cs.HC
Comparing LLM-Based Conversational and Graphical Interfaces for Industrial Decision Tasks: An Exploratory Mixed-Methods Study
Department of Computer Science（计算机科学系）；University of Pisa（比萨大学）；Department（部门）；San Matteo Hospital（圣玛泰奥医院）；Brunel University of London（伦敦布鲁内尔大学）
通过混合方法研究，比较了基于LLM的对话式界面与图形化仪表盘在工业决策任务中的表现，发现对话式界面可减少交互努力，但仪表盘在概览和验证方面仍有价值。
2026-05-29 cs.AI cs.CY cs.HC
Creating Interaction Scenarios With a New Graphical User Interface
以人为中心的计算领域在过去几年中取得了重大进展。人们承认，这一领域是多学科的，人是系统的核心。它显示了两个令人关切的问题：多学科和人。第一部分揭示了每个学科在全球研究中的重要作用，需要每个人之间的合作。第二个解释了越来越多的研究旨在通过赋予人在人机交互中的决定性作用来提高人的承诺度。本文着重于这两个问题，并提出了MICE（机器在其环境中的交互控制），这是一个系统，其中的人是谁作出的决定，以管理与机器的交互。在一个环境的上下文中，人类可以决定对象的动作，通过创建一个新的可视化程序设计语言的交互场景：scenL。
2012-06-14 cs.HC
GuiLiner: A Configurable and Extensible Graphical User Interface for Scientific Analysis and Simulation Software
大多数用户每天与之交互的计算机程序由图形用户界面（GUI）驱动。然而，许多科学应用程序都使用命令行界面（CLI），以方便开发并增加此模式提供的灵活性。科学应用程序开发人员将受益于能够为他们的CLI程序轻松提供GUI，从而保留两种交互模式的优点。GuiLiner是一个通用的、可扩展的和灵活的前端，旨在“托管”各种各样的数据分析或模拟程序。科学应用程序开发人员可以生成一个正确格式化的XML文件，描述他们的程序选项和一些文档，他们可以立即使用GuiLiner为他们的分析或模拟程序生成一个精心实现的GUI。
2008-06-02 cs.HC cs.SE
AltGr-Ergo, a Graphical User Interface for the SMT Solver Alt-Ergo
由于一阶逻辑的不可判定性和复杂性，SMT求解器可能不会终止于某些问题或需要很长的时间。当这种情况发生时，人们希望找到求解器失败的原因。为此，我们设计了AltGr-Ergo，这是SMT求解器Alt-Ergo的交互式图形界面，允许用户和工具开发人员帮助求解器完成一些证明。AltGr-Ergo提供实时的反馈，以评估和量化求解器的进度，并提供各种语法操作选项，以允许与Alt-Ergo进行更细粒度的交互。本文描述了这些功能及其实现，并给出了其中大多数功能的使用场景。
2017-01-25 cs.HC cs.LO
Theorema 2.0: A Graphical User Interface for a Mathematical Assistant System
Theorema 2.0代表重新设计，包括对Theorema系统的完全重新实现，该系统最初由Bruno Buchberger和他在RISC的Theorema小组设计，开发和实现。在本文中，我们提出了第一个原型的图形用户界面（GUI）的新系统。它在很大程度上依赖于Mathematica系统最新版本中引入的强大的交互功能，最重要的是可以将动态对象连接到界面元素，如滑块，菜单，复选框，单选按钮等。所有这些功能都完全集成到Mathematica编程环境中，并允许实现现代用户界面。
2013-07-08 cs.HC cs.MS cs.SC
Navigating the Unknown: A Chat-Based Collaborative Interface for Personalized Exploratory Tasks
Southeast University（东南大学）；Microsoft（微软公司）；Nanjing University（南京大学）
针对大语言模型聊天机器人在模糊查询下个性化支持不足的问题，提出融合多智能体框架与三面板结构化界面的CARE系统，可识别用户显隐性需求并生成定制方案，用户研究显示其相比基线系统更受偏好。
2024-10-31 cs.AI cs.CL cs.HC
Design & Development of the Graphical User Interface for Sindhi Language
University of Sindh（信德大学）
本文描述了一个基于Unicode的信德语图形用户界面的设计与实现。其想法是为信德人以及生活在全球各地的信德人提供一个软件平台，以便使用GUISL进行信德文件的编辑、排版、格式化和打印等基本任务。GUISL的实现采用Java技术，使系统具有平台无关性。本文介绍了几个设计问题的信德GUI在现有的软件工具和技术的背景下，并解释了如何映射和拼接技术已被用来实现信德文字的草书形状。
2014-01-07 cs.CL cs.HC
Spellburst: A Node-based Interface for Exploratory Creative Coding with Natural Language Prompts
Replit（Replit公司）；Stanford University（斯坦福大学）
Spellburst是一个由大语言模型驱动的创意编程环境，通过节点式界面、语义提示交互和语义-语法无缝切换，帮助艺术家更高效地进行生成艺术的探索式创作。
2023-08-07 cs.HC cs.LG cs.SE
Search Timelines: Visualizing Search History to Enable Cross-Session Exploratory Search
本文提出 Search Timelines 搜索界面，通过双层时间线可视化查询与已保存资源的历史，支持公共数字图书馆中的跨会话探索式搜索，实验表明其能提升用户参与度、可用性和感知知识增益。
2025-08-15 cs.HC cs.IR
Towards Intent-based User Interfaces: Charting the Design Space of Intent-AI Interactions Across Task Types
本文提出一项研究计划，通过新闻标题生成、类比生成和探索性可视化数据分析三类任务，系统探索意图-人工智能交互设计空间，以推动基于意图的用户界面发展，并针对不同经验用户优化意图表达与引导机制。
2024-05-02 cs.HC
NeuroSVM: A Graphical User Interface for Identification of Liver Patients
PES Institute of Technology（PES理工学院）
早期诊断肝脏感染对于更好的治疗至关重要。在今天的场景中，像传感器这样的设备用于检测感染。疾病样本的自动识别需要精确的分类技术。在这种情况下，本研究利用数据采掘方法对健康个体的肝脏患者进行分类。使用R平台实现了四种算法（朴素贝叶斯、Bagging、随机森林和SVM）用于分类。为了进一步提高分类精度，将支持向量机和前馈人工神经网络（ANN）相结合，建立了混合神经支持向量机模型。混合模型的性能进行了测试，使用统计参数，如均方根误差（RMSE）和平均绝对百分比误差（MAPE）。该模型的预测准确率为98.83%。结果表明，混合模型的建立提高了预测精度。为了服务于医学界对肝病患者的预测，一个图形化的用户界面（GUI）已经使用R。GUI作为一个包部署在R平台的本地存储库中，供用户执行预测。
2015-02-19 cs.HC cs.LG
DynEx: Dynamic Code Synthesis with Structured Design Exploration for Accelerated Exploratory Programming
DynEx通过结构化设计矩阵和模块化逐步代码生成，在探索式编程中增强设计探索，使用户能构建更复杂多样的原型。
2025-02-07 cs.HC
KitRobot: A multi-platform graphical programming IDE to program mini-robotic agents
IRISA（法国国家信息与自动化研究所雷恩布列塔尼大西洋研究中心）；University of South Brittany（南布列塔尼大学）；The Islamia University of Bahawalpur（巴哈瓦尔布尔伊斯兰大学）；Koc University（科奇大学）
微型机器人代理的图形编程IDE的分析、设计和开发允许新手用户通过图形拖放界面对机器人代理进行编程，而不知道中间程序设计语言的语法和语义。我们的工作从定义中间程序设计语言的语法和语义开始。主要的工作是定义这种语言的语法。使用图形化的拖放界面对微型机器人进行编程，为新手用户提供了一个用户友好的界面。用户可以通过拖放程序部分来图形化地编程，而不需要中间程序设计语言的专业知识。IDE非常灵活，因为它使用XML技术来存储程序对象（即循环，条件）和机器人对象（即传感器，执行器）。xml技术的使用允许在不修改底层设计和编程的情况下进行重大更改和更新接口。
2015-01-07 cs.HC cs.PL cs.RO
OpenMX Viewer: A web-based crystalline and molecular graphical user interface program
OpenMX Viewer（Material eXplorer Viewer的开源软件包）是一个基于Web的图形用户界面（GUI）程序，用于可视化和分析晶体和分子结构以及高斯立方体格式的3D网格数据，如电子密度和分子轨道。基于Web的GUI程序使我们能够通过拖放XYZ、CIF或OpenMX输入/输出文件快速可视化晶体和分子结构，并在Web浏览器中方便地分析静态/动态结构特性。几个基本的功能，如分析的Mulliken电荷，分子动力学，几何优化和能带结构。此外，基于移动立方体、移动四面体和带有仿射变换的表面网络算法，支持3D等值面技术，以立方体格式显示电子密度和分子/晶体轨道，并叠加晶体或分子结构。此外，实现了带结构查看器，用于在Web浏览器中显示带结构。通过访问OpenMX查看器的网站，最新的OpenMX查看器始终可供用户可视化各种结构并分析其属性，而无需安装，升级，更新，注册，登录和终端命令。
2019-03-26 cond-mat.mtrl-sci cs.HC
From Pixels to UI Actions: Learning to Follow Instructions via Graphical User Interfaces
Google DeepMind（谷歌DeepMind）；Google（谷歌）
本文提出基于像素截图与通用键鼠动作空间的 GUI 智能体，并借助像素预训练首次在 MiniWob++ 上超越人类众包工作者。
2023-12-06 cs.CL cs.CV cs.HC
Designing Flexible GUI to Increase the Acceptance Rate of Product Data Management Systems in Industry
产品数据管理（PDM）桌面和基于网络的系统维护组织的技术和管理数据，以通过改进开发过程、业务流程、变更管理、产品结构管理、项目跟踪和资源规划来提高产品质量。虽然PDM在很大程度上使工业受益，但PDM社区在PDM系统开发中面临着一个非常严重的未解决的问题，即灵活和用户友好的图形用户界面，以实现有效的人机通信。PDM系统同时提供不同的服务和功能，但大多数PDM系统的图形用户界面的设计方式并不是用户（特别是新用户）可以轻松学习和使用它们。针对这一问题，在人机交互领域进行了深入的研究，得到的数据提供了使用富互联网应用程序的图形用户界面开发的信息。本研究的目标是支持PDM领域的一个概念模型的建议，实现一个灵活的基于Web的图形用户界面。所提出的概念模型被成功地设计成实施模型，并由此产生的原型投入价值的领域，现在是可用的。文中详细介绍了该方案的主要概念、实现设计和开发的原型系统。最后，将原型系统与现有PDM系统的相应功能进行了比较，Windchill和CIM评估其针对目标挑战的有效性
2011-03-06 cs.HC
TransBench: Breaking Barriers for Transferable Graphical User Interface Agents in Dynamic Digital Environments
Beihang University（北京航空航天大学）；The Chinese University of Hong Kong（香港中文大学）；Beijing Institute of Technology（北京理工大学）；Baidu Inc.（百度公司）
TransBench是首个系统评估GUI智能体跨版本、跨平台、跨应用可迁移性的基准，实验证明其能显著提升接地准确性，推动智能体在动态真实环境中的应用。
2025-05-27 cs.AI cs.HC
Interactive Visual Facets to Support Fluid Exploratory Search
探索性搜索从定义不明确的目标开始，包括浏览、学习和制定新的搜索目标。为了流畅地支持这种动态搜索行为，我们专注于设计交互式视觉方面（IVF），可视化信息方面，以支持用户的理解和控制的信息空间。为此，我们回顾了现有的分面搜索界面，并得出了两个尚未完全解决的设计要求（DR），以支持探索性搜索中的流体相互作用。然后，我们通过设计一个IVF工具来举例说明这些要求，该工具分别协调代表项目分布和汇总的线性和分类方面，并为多方面探索（DR 1）提供背景。为了支持搜索条件（DR 2）之间的快速转换，该工具引入了一种新颖的设计概念，即使用方面来选择项目，而无需过滤项目空间。特别是，我们提出了一种过滤器滑动技术，使用户能够拖动一个分类方面的线性方面的酒吧顺序查看项目的交叉点的两个方面，以及分类方面动态总结的项目在互动。三个应用程序演示了这些功能如何轻松地支持信息发现。一项针对11名参与者的用户研究表明，通过时间轴导航的动态建议可以帮助发现有用的搜索建议;新的设计概念比使用方面值作为过滤器更受欢迎。基于这些实践，我们推导出IVF设计对流体、探索性搜索的影响。
2021-09-11 cs.HC
Divisi: Interactive Search and Visualization for Scalable Exploratory Subgroup Analysis
本文提出探索性子组分析任务，并开发基于快速近似发现算法的交互式工具 Divisi，支持子组重排、细化及重叠覆盖可视化，实验表明其能促进复杂数据中的意外模式发现。
2025-02-14 cs.HC
Social Robots for People with Developmental Disabilities: A User Study on Design Features of a Graphical User Interface
Simon Fraser University（西蒙弗雷泽大学）
社交机器人，也被称为服务或助理机器人，近年来已被开发用于改善人类的生活质量。具有社交能力的智能机器人的设计可以根据目标用户组而变化。在这项工作中，我们评估的社会机器人的角色，功能和沟通方式的社会代理人提供服务或娱乐的用户与发育障碍的背景下的效果。在本文中，我们描述了一个社会机器人，帮助患有发育障碍的人的界面设计的探索性研究。我们开发了一系列原型，并在用户研究中测试了其中一个，其中包括三个具有不同功能水平的居民。记录整个研究，用于以下定性数据分析。结果表明，每个设计因素在传递信息和提高参与度方面发挥了不同的作用。我们还注意到，一些适用于普通用户的基本设计原则并不适用于我们的目标用户组。我们得出结论，社交机器人可以使我们的目标用户受益，并承认这些机器人不适合基于我们用户反馈的某些场景。
2018-08-01 cs.HC cs.RO
Graph4GUI: Graph Neural Networks for Representing Graphical User Interfaces
Aalto University（阿尔托大学）；YaiYai Ltd（YaiYai有限公司）；MIT（麻省理工学院）
Graph4GUI利用图神经网络捕获GUI元素的属性及其语义与视觉空间约束，学习到的表示在GUI自动补全等任务中表现优异，提升了设计对齐度、视觉吸引力及设计师效率。
2024-04-21 cs.AI cs.CV cs.HC
A Visual Analytics Approach for Exploratory Causal Analysis: Exploration, Validation, and Applications
使用因果关系来指导决策已经成为各个领域的重要分析任务，从营销和医学到教育和社会科学。虽然已经开发了强大的统计模型来从数据中推断因果关系，但领域从业者仍然缺乏有效的视觉界面来解释因果关系并将其应用于决策过程。通过与领域专家的访谈研究，我们描述了他们当前的决策工作流程，挑战和需求。通过迭代设计过程，我们开发了一个可视化工具，允许分析师在现实世界的决策场景中探索，验证和应用因果关系。该工具提供了一个不确定性感知的因果图可视化，用于呈现从高维数据推断的大量因果关系。在因果关系图之上，它支持一组直观的用户控件，用于执行假设分析和制定行动计划。我们报告的两个案例研究，在市场营销和学生咨询，以证明用户可以有效地探索因果关系和设计行动计划，以达到他们的目标。
2020-09-05 cs.HC
Visual Grounding Methods for Efficient Interaction with Desktop Graphical User Interfaces
Research and Innovation Lab, Novelis（创新研究实验室，Novelis）
本文针对GUI合成图像视觉定位不足的问题，提出IVGocr和IVGdirect两种指令视觉定位方法，并构建专用数据集及CPV评估指标，以提升AI智能体与桌面界面的交互效率。
2025-07-18 cs.AI cs.HC
GUIDE: Graphical User Interface Data for Execution
SuperAGI Research（SuperAGI研究院）
本文提出面向RPA的GUI多模态数据集GUIDE，覆盖多网站与多平台并含动作定位标注，还据此构建自动化模型V-Zen。
2024-10-27 cs.AI cs.HC
Low-code LLM: Graphical User Interface over Large Language Models
Microsoft Research Asia（微软亚洲研究院）
本文提出Low-code LLM框架，通过六种低代码可视化编程交互和Planning/Executing双LLM架构，使用户无需编写复杂提示词即可可控地完成复杂任务，并通过四个典型应用验证其有效性。
2024-04-01 cs.CL cs.HC
Edhibou: a Customizable Interface for Decision Support in a Semantic Portal
随着所需技术的成熟，语义Web正变得越来越现实。然而，在现阶段，重要的是提供便利最终用户使用和部署这些技术的工具。在本文中，我们描述了EdHibou，一个自动生成的，基于本体的图形用户界面，集成在一个语义门户。EdHibou的特殊性在于它利用OWL推理能力在底层本体上提供智能功能，如决策支持。我们基于OWL中临床指南的形式化，介绍了EdHibou在医疗决策支持中的应用，并展示了如何利用图形组件本体对其进行定制。
2008-11-03 cs.AI cs.HC
Voice CMS: updating the knowledge base of a digital assistant through conversation
Orange Research（奥兰治研究）
本研究提出一种基于多智能体LLM架构和语音用户界面（VUI）的解决方案来更新数字助理知识库。对比实验表明，尽管VUI整体可用性低于图形界面，但在低复杂度任务中更受用户偏好，且输入内容质量相当，混合界面有望解决认知负荷等挑战。
2025-05-28 cs.AI cs.HC cs.MA
Dynamic Planning for LLM-based Graphical User Interface Automation
School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）；School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University（上海交通大学电子信息与电气工程学院）
针对LLM GUI智能体因动态环境和历史过长导致规划失效的问题，提出D-PoT方法动态调整规划，准确率较GPT-4V提升12.7%，并增强泛化与抗幻觉能力。
2024-12-19 cs.AI cs.HC
Exploiting Preference Elicitation in Interactive and User-centered Algorithmic Recourse: An Initial Exploration
本文提出一种引导式交互范式以在算法补救中引导用户偏好，实验表明其提升效率但限制探索自由，建议结合探索与引导以平衡效率与用户自由度。
2024-04-08 cs.CY cs.HC cs.LG
AI-Instruments: Embodying Prompts as Instruments to Abstract & Reflect Graphical Interface Commands as General-Purpose Tools
Microsoft Research（微软研究院）；Université Paris-Saclay, CNRS, Inria（巴黎-萨克雷大学、法国国家科学研究中心、法国国家信息与自动化研究所）；Carnegie Mellon University（卡内基梅隆大学）；Microsoft（微软公司）
AI-Instruments将提示具象化为可重用工具，通过反映和接地原则帮助用户在AI辅助设计中探索、细化模糊意图，并利用LLM生成新工具控制，经图像生成探针和用户研究验证。
2025-02-26 cs.AI cs.HC
Object Detection for Graphical User Interface: Old Fashioned or Deep Learning or a Combination?
Australian National University（澳大利亚国立大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织 Data61）；Monash University（蒙纳士大学）；University of New South Wales（新南威尔士大学）；Shanghai Jiao Tong University（上海交通大学）
检测GUI图像中的图形用户界面（GUI）元素是特定于域的目标检测任务。它支持许多软件工程任务，例如GUI动画和测试、GUI搜索和代码生成。现有的GUI元素检测研究直接借用计算机视觉（CV）领域的成熟方法，包括依赖于传统图像处理特征（例如，canny edge、contours）和深度学习模型，这些模型学习从大规模GUI数据中进行检测。不幸的是，这些CV方法最初并没有意识到GUI和GUI元素的独特特性以及GUI元素检测任务的高定位精度。我们进行了第一次大规模的实证研究，七个代表性的GUI元素检测方法超过50k GUI图像，以了解这些方法的能力，局限性和有效的设计。这项研究不仅揭示了要解决的技术挑战，但也通知新的GUI元素检测方法的设计。我们针对GUI设计了一种新的非文本GUI元素检测方法，该方法采用自上而下的粗到细策略，并将其与成熟的深度学习模型相结合用于GUI文本检测。我们对25，000张GUI图像的评估表明，我们的方法显著提高了GUI元素检测的最新性能。
2020-09-07 cs.CV cs.HC cs.LG
Fashionista: A Fashion-aware Graphical System for Exploring Visually Similar Items
为了构建一个时尚推荐系统，我们需要帮助用户检索在视觉上与特定查询相似的时尚物品，原因包括搜索替代品（即，替代品），以生成视觉上一致的时尚服装，以及其他应用。在服装和配饰等领域，这些考虑因素尤其重要，因为物品的视觉外观是指导用户决策的关键特征。然而，像亚马逊和eBay这样的现有系统仍然主要依赖于关键字搜索和推荐松散一致的项目（例如，基于共同购买或浏览数据），而没有使用视觉信息来满足上述需求的界面。在本文中，我们试图填补这一空白，设计和实现一个基于图像的查询系统，称为Fashionista，它提供了一个图形界面，以帮助用户有效地探索这些项目，不仅在视觉上类似于一个给定的查询，但也是时尚的，由视觉感知的推荐方法确定。从方法论上讲，Fashionista学习了一个低维的视觉空间，以及从大型二进制反馈数据语料库中学习时尚趋势的演变，例如我们在本演示中使用的亚马逊女装和配饰的购买历史。
2016-03-31 cs.HC cs.IR
PROOFTOOL: a GUI for the GAPT Framework
本文介绍了证明理论通用体系结构（GAPT）框架的图形用户界面PROOFTOOL。它的特点描述，重点不仅是可视化，但也对证据和相关的树型结构的分析和转换，并解释其实现。最后，PROOFTOOL与其他三个图形界面进行了比较，证明。
2013-07-08 cs.HC cs.LO cs.MS
