Hierarchical Graphical Models for Context-Aware Hybrid Brain-Machine Interfaces
提出了一种基于层次图模型的上下文感知混合脑机接口(hBMI),该接口利用脑电(EEG)和肌电(EMG)活动的概率融合。基于固定执行过程中收集的实验数据和随后的图像的五个不同的手势与两个肢体,我们证明了建议的hBMI系统的可行性,通过会话内和在线跨会话分类分析。此外,我们调查的上下文感知程度的模型模拟概率的方法,并强调我们的工作在神经生理驱动的机器人手假肢领域的潜在影响。
2018-09-15 cs.HC eess.SP
GuiLiner: A Configurable and Extensible Graphical User Interface for Scientific Analysis and Simulation Software
大多数用户每天与之交互的计算机程序由图形用户界面(GUI)驱动。然而,许多科学应用程序都使用命令行界面(CLI),以方便开发并增加此模式提供的灵活性。科学应用程序开发人员将受益于能够为他们的CLI程序轻松提供GUI,从而保留两种交互模式的优点。GuiLiner是一个通用的、可扩展的和灵活的前端,旨在“托管”各种各样的数据分析或模拟程序。科学应用程序开发人员可以生成一个正确格式化的XML文件,描述他们的程序选项和一些文档,他们可以立即使用GuiLiner为他们的分析或模拟程序生成一个精心实现的GUI。
2008-06-02 cs.HC cs.SE
Graphical Interface for Visually Impaired People Based on Bi-stable Solenoids
本文提出了一种视觉障碍者图形触觉显示的硬件实现方案。触觉驱动器的实现采用双稳态、单片机和PIC单片机控制板。所选的每行显示器的串联激活算法允许使用最少数量的有源元件来设置和重置复位器。最后讨论了控制板的编程算法。该项目由保加利亚国家科学基金NSF Grant D ID 02 14,2009 2013资助
2014-01-21 cs.HC
Generative Programming of Graphical User Interfaces
生成式编程(GP)是一种计算范式,允许利用基本和可重用组件的配置自动创建整个软件家族。GP可以投射到不同的技术上,例如C++模板、Java-Bean、面向对象编程(AOP)或框架技术。本文重点介绍了框架技术,它有助于实现和完成软件组件的可能性。本文的目的是在GUI应用程序生成领域引入GP范式。它演示了如何从抽象规范生成具有GUI部件的自动定制可执行应用程序。
2004-05-23 cs.HC
To design interfaces for exploratory data analysis, we need theories of graphical inference
计算机科学和统计学的研究和发展已经产生了越来越复杂的软件界面,用于交互式和探索性分析,并针对容易的模式发现和数据暴露进行了优化。但是,强调探索而不是其他分析阶段的设计哲学可能会混淆对灵活性的需求,并得出结论,即探索性可视化分析本质上是无模型的,不能形式化。我们描述了如何在没有人类统计推断理论的基础上,探索性视觉分析的研究可能会导致矛盾的界面目标和不确定性的表示,从而阻止用户进行有效的推断。我们讨论了如何在贝叶斯统计框架中的模型检查的概念,探索性和验证性分析,以及这种理解如何与其他提出的图形推理理论。将交互式分析视为由模型检查驱动,这为围绕探索性和可视化分析的软件和实证研究提出了新的方向。例如,系统应该能够指定和显式地将数据与空值和其他参考分布进行比较,并更好地表示不确定性。贝叶斯和其他图形推理理论的含义应该根据人们交互分析的结果进行测试,以推动理论的发展。
2021-07-06 cs.HC
AltGr-Ergo, a Graphical User Interface for the SMT Solver Alt-Ergo
由于一阶逻辑的不可判定性和复杂性,SMT求解器可能不会终止于某些问题或需要很长的时间。当这种情况发生时,人们希望找到求解器失败的原因。为此,我们设计了AltGr-Ergo,这是SMT求解器Alt-Ergo的交互式图形界面,允许用户和工具开发人员帮助求解器完成一些证明。AltGr-Ergo提供实时的反馈,以评估和量化求解器的进度,并提供各种语法操作选项,以允许与Alt-Ergo进行更细粒度的交互。本文描述了这些功能及其实现,并给出了其中大多数功能的使用场景。
2017-01-25 cs.HC cs.LO
Design & Development of the Graphical User Interface for Sindhi Language
University of Sindh(信德大学)
本文描述了一个基于Unicode的信德语图形用户界面的设计与实现。其想法是为信德人以及生活在全球各地的信德人提供一个软件平台,以便使用GUISL进行信德文件的编辑、排版、格式化和打印等基本任务。GUISL的实现采用Java技术,使系统具有平台无关性。本文介绍了几个设计问题的信德GUI在现有的软件工具和技术的背景下,并解释了如何映射和拼接技术已被用来实现信德文字的草书形状。
2014-01-07 cs.CL cs.HC
Teaching young learners a foreign language via tangible and graphical user interfaces
与传统的教学方法相比,在协作学习部门中,使用有形界面在教学中被证明更有效,用户友好和有帮助。具体而言,有形界面“Makey Makey“是一个现代化工具,可加强学生之间的协作,在教育方面取得了积极成果,尽管迄今为止对这一界面所做的研究有限。“Makey Makey”成功地激励和吸引年轻学习者参与学习过程,表现出更好的表现和得分结果。此外,它在教学中的使用已被证明有利于每个年龄学习组的学习过程,这种创新的教学/学习方法的开发和使用有助于年轻学习者以不同的方式感知教育过程,并更有效地吸收新的认知领域。此外,教育工作者也从中受益,因为他们可以消除困难,并根据他们的教学方法使用实例更有效地教学,同时提高年轻学习者的平行技能。这项研究将证实以前的研究结果指出,新概念的同化是更容易与有形的界面比图形的,以及参与调查的年轻学习者在知识获取方面取得了显着的进步时,他们以前的知识。
2020-12-22 cs.HC
10 Inventions on Command Buttons in a Graphical User Interface
命令按钮可以包含文本标签或图形图像或两者。它可以是静态的或动画的。可以有许多不同的功能来使命令按钮吸引人和有效。由于命令按钮是一个典型的GUI元素,因此GUI的大多数改进通常也适用于命令按钮。此外,还存在具体地改进命令按钮的各个方面的发明。本文列举了从美国专利数据库中选出的10项发明。每个发明之后都简要地进行了基于TRIZ的分析。
2014-04-27 cs.HC
Inventions on Using Colors in Graphical User Interfaces
颜色是任何图形用户界面(GUI)的一个重要方面。颜色用于使GUI具有吸引力和意义。但是,使用颜色也有困难。颜色使用不当会导致不良影响。在错误的地方使用错误的颜色会使GUI看起来笨拙和混乱。除了美学问题,还有许多其他问题涉及到颜色。与颜色使用相关的矛盾之一是“GUI的颜色应该是可定制的,以适应用户的偏好。但与此同时,它不应该是可定制的,因为这会给其他用户带来烦恼和困惑。另一个与使用颜色有关的收缩是“用户应该被显示所有1600万种颜色以精确地选择所需的颜色,但从另一个角度来看,用户不应该被显示所有1600万种颜色,因为这会造成混乱和选择困难。“本文分析了从美国专利数据库中选择的一些发明,并说明了发明人如何能够解决与图形用户界面中的颜色使用有关的各种矛盾。
2014-04-27 cs.HC
KitRobot: A multi-platform graphical programming IDE to program mini-robotic agents
IRISA(法国国家信息与自动化研究所雷恩布列塔尼大西洋研究中心);University of South Brittany(南布列塔尼大学);The Islamia University of Bahawalpur(巴哈瓦尔布尔伊斯兰大学);Koc University(科奇大学)
微型机器人代理的图形编程IDE的分析、设计和开发允许新手用户通过图形拖放界面对机器人代理进行编程,而不知道中间程序设计语言的语法和语义。我们的工作从定义中间程序设计语言的语法和语义开始。主要的工作是定义这种语言的语法。使用图形化的拖放界面对微型机器人进行编程,为新手用户提供了一个用户友好的界面。用户可以通过拖放程序部分来图形化地编程,而不需要中间程序设计语言的专业知识。IDE非常灵活,因为它使用XML技术来存储程序对象(即循环,条件)和机器人对象(即传感器,执行器)。xml技术的使用允许在不修改底层设计和编程的情况下进行重大更改和更新接口。
2015-01-07 cs.HC cs.PL cs.RO
From Pixels to UI Actions: Learning to Follow Instructions via Graphical User Interfaces
Google DeepMind(谷歌DeepMind);Google(谷歌)
本文提出基于像素截图与通用键鼠动作空间的 GUI 智能体,并借助像素预训练首次在 MiniWob++ 上超越人类众包工作者。
2023-12-06 cs.CL cs.CV cs.HC
NeuroSVM: A Graphical User Interface for Identification of Liver Patients
PES Institute of Technology(PES理工学院)
早期诊断肝脏感染对于更好的治疗至关重要。在今天的场景中,像传感器这样的设备用于检测感染。疾病样本的自动识别需要精确的分类技术。在这种情况下,本研究利用数据采掘方法对健康个体的肝脏患者进行分类。使用R平台实现了四种算法(朴素贝叶斯、Bagging、随机森林和SVM)用于分类。为了进一步提高分类精度,将支持向量机和前馈人工神经网络(ANN)相结合,建立了混合神经支持向量机模型。混合模型的性能进行了测试,使用统计参数,如均方根误差(RMSE)和平均绝对百分比误差(MAPE)。该模型的预测准确率为98.83%。结果表明,混合模型的建立提高了预测精度。为了服务于医学界对肝病患者的预测,一个图形化的用户界面(GUI)已经使用R。GUI作为一个包部署在R平台的本地存储库中,供用户执行预测。
2015-02-19 cs.HC cs.LG
Development of Graphical User Interface For Microwave Filter Design
本研究计画旨在开发一个低成本、具时效性的独立式图形用户界面(GUI),以应用于微波滤波器的设计。在整个项目中,微波滤波器技术背后的主要理论,它们的广义数学方程和它们的不同电路拓扑结构的分析已经过审查。这篇评论有助于提取微波滤波器设计所需的必要信息。此外,一个成功的和面向信息的GUI的指导原则和潜在的工程因素也被强调。为了执行该项目,高级GUI开发环境(GUIDE)与结构化编程方法一起被用来设计GUI,并对其相关功能进行编程。频率响应是通过使用每个滤波器类和类型的通用方程以及使用它们不同的电路拓扑(并联或串联拓扑)生成的。GUI还可以提供来自给定规范的无功元件值。此外,超宽带(UWB)带通滤波器,电容耦合和梳状线滤波器的设计特点也被纳入到独立的应用。最终的原型将为工业和教育机构服务。
2016-07-05 cs.HC
10 Inventions on scrolling and scrollbars in Graphical User Interface
滚动机制用于在有限的屏幕空间或窗口中显示和编辑大型文档。滚动机构可以包括垂直滚动条或水平滚动条或两者,以上下或左右移动文档的内容。屏幕上可能有导航按钮,代表键盘上的导航键。用户可以单击这些按钮滚动屏幕。可能有非常不同的滚动方法,例如使用“拇指”,如PDF文档中常用的。滚动可以在用户没有手或想要使用手进行其他活动的免提环境中通过眼球跟踪来实现。这篇文章举例说明了从美国专利数据库中选出的十项有趣的发明。
2014-04-27 cs.HC
OpenMX Viewer: A web-based crystalline and molecular graphical user interface program
OpenMX Viewer(Material eXplorer Viewer的开源软件包)是一个基于Web的图形用户界面(GUI)程序,用于可视化和分析晶体和分子结构以及高斯立方体格式的3D网格数据,如电子密度和分子轨道。基于Web的GUI程序使我们能够通过拖放XYZ、CIF或OpenMX输入/输出文件快速可视化晶体和分子结构,并在Web浏览器中方便地分析静态/动态结构特性。几个基本的功能,如分析的Mulliken电荷,分子动力学,几何优化和能带结构。此外,基于移动立方体、移动四面体和带有仿射变换的表面网络算法,支持3D等值面技术,以立方体格式显示电子密度和分子/晶体轨道,并叠加晶体或分子结构。此外,实现了带结构查看器,用于在Web浏览器中显示带结构。通过访问OpenMX查看器的网站,最新的OpenMX查看器始终可供用户可视化各种结构并分析其属性,而无需安装,升级,更新,注册,登录和终端命令。
2019-03-26 cond-mat.mtrl-sci cs.HC
Graph4GUI: Graph Neural Networks for Representing Graphical User Interfaces
Aalto University(阿尔托大学);YaiYai Ltd(YaiYai有限公司);MIT(麻省理工学院)
Graph4GUI利用图神经网络捕获GUI元素的属性及其语义与视觉空间约束,学习到的表示在GUI自动补全等任务中表现优异,提升了设计对齐度、视觉吸引力及设计师效率。
2024-04-21 cs.AI cs.CV cs.HC
Inventions on Tree Navigators used in Graphical User Interface
树视图或树导航器用于显示以树的形式组织的分层数据。在树结构中有父节点和子节点。子节点还可以具有n个级别的后代。有很多方法可以使导航变得容易。其中一些是扩展和折叠分支,拆分树,在单独的树中显示父结点,缩放分支,向各个方向滚动等。有效地处理大型树仍然是一个困难的练习。努力仍然继续管理大量的节点,速度更快,更好的控制,用户友好和美观。本文从美国专利数据库中选取了五项关于树导航仪的发明。他们每个人都试图以不同的方式解决与树导航器相关的各种问题。每个发明也从TRIZ的角度进行了分析。
2014-04-27 cs.HC
Creating Interaction Scenarios With a New Graphical User Interface
以人为中心的计算领域在过去几年中取得了重大进展。人们承认,这一领域是多学科的,人是系统的核心。它显示了两个令人关切的问题:多学科和人。第一部分揭示了每个学科在全球研究中的重要作用,需要每个人之间的合作。第二个解释了越来越多的研究旨在通过赋予人在人机交互中的决定性作用来提高人的承诺度。本文着重于这两个问题,并提出了MICE(机器在其环境中的交互控制),这是一个系统,其中的人是谁作出的决定,以管理与机器的交互。在一个环境的上下文中,人类可以决定对象的动作,通过创建一个新的可视化程序设计语言的交互场景:scenL。
2012-06-14 cs.HC
TransBench: Breaking Barriers for Transferable Graphical User Interface Agents in Dynamic Digital Environments
Beihang University(北京航空航天大学);The Chinese University of Hong Kong(香港中文大学);Beijing Institute of Technology(北京理工大学);Baidu Inc.(百度公司)
TransBench是首个系统评估GUI智能体跨版本、跨平台、跨应用可迁移性的基准,实验证明其能显著提升接地准确性,推动智能体在动态真实环境中的应用。
2025-05-27 cs.AI cs.HC
Social Robots for People with Developmental Disabilities: A User Study on Design Features of a Graphical User Interface
Simon Fraser University(西蒙弗雷泽大学)
社交机器人,也被称为服务或助理机器人,近年来已被开发用于改善人类的生活质量。具有社交能力的智能机器人的设计可以根据目标用户组而变化。在这项工作中,我们评估的社会机器人的角色,功能和沟通方式的社会代理人提供服务或娱乐的用户与发育障碍的背景下的效果。在本文中,我们描述了一个社会机器人,帮助患有发育障碍的人的界面设计的探索性研究。我们开发了一系列原型,并在用户研究中测试了其中一个,其中包括三个具有不同功能水平的居民。记录整个研究,用于以下定性数据分析。结果表明,每个设计因素在传递信息和提高参与度方面发挥了不同的作用。我们还注意到,一些适用于普通用户的基本设计原则并不适用于我们的目标用户组。我们得出结论,社交机器人可以使我们的目标用户受益,并承认这些机器人不适合基于我们用户反馈的某些场景。
2018-08-01 cs.HC cs.RO
Visual Grounding Methods for Efficient Interaction with Desktop Graphical User Interfaces
Research and Innovation Lab, Novelis(创新研究实验室,Novelis)
本文针对GUI合成图像视觉定位不足的问题,提出IVGocr和IVGdirect两种指令视觉定位方法,并构建专用数据集及CPV评估指标,以提升AI智能体与桌面界面的交互效率。
2025-07-18 cs.AI cs.HC
PROOFTOOL: a GUI for the GAPT Framework
本文介绍了证明理论通用体系结构(GAPT)框架的图形用户界面PROOFTOOL。它的特点描述,重点不仅是可视化,但也对证据和相关的树型结构的分析和转换,并解释其实现。最后,PROOFTOOL与其他三个图形界面进行了比较,证明。
2013-07-08 cs.HC cs.LO cs.MS
Voice CMS: updating the knowledge base of a digital assistant through conversation
Orange Research(奥兰治研究)
本研究提出一种基于多智能体LLM架构和语音用户界面(VUI)的解决方案来更新数字助理知识库。对比实验表明,尽管VUI整体可用性低于图形界面,但在低复杂度任务中更受用户偏好,且输入内容质量相当,混合界面有望解决认知负荷等挑战。
2025-05-28 cs.AI cs.HC cs.MA
GUIDE: Graphical User Interface Data for Execution
SuperAGI Research(SuperAGI研究院)
本文提出面向RPA的GUI多模态数据集GUIDE,覆盖多网站与多平台并含动作定位标注,还据此构建自动化模型V-Zen。
2024-10-27 cs.AI cs.HC
Object Detection for Graphical User Interface: Old Fashioned or Deep Learning or a Combination?
Australian National University(澳大利亚国立大学);Data61, CSIRO(澳大利亚联邦科学与工业研究组织 Data61);Monash University(蒙纳士大学);University of New South Wales(新南威尔士大学);Shanghai Jiao Tong University(上海交通大学)
检测GUI图像中的图形用户界面(GUI)元素是特定于域的目标检测任务。它支持许多软件工程任务,例如GUI动画和测试、GUI搜索和代码生成。现有的GUI元素检测研究直接借用计算机视觉(CV)领域的成熟方法,包括依赖于传统图像处理特征(例如,canny edge、contours)和深度学习模型,这些模型学习从大规模GUI数据中进行检测。不幸的是,这些CV方法最初并没有意识到GUI和GUI元素的独特特性以及GUI元素检测任务的高定位精度。我们进行了第一次大规模的实证研究,七个代表性的GUI元素检测方法超过50k GUI图像,以了解这些方法的能力,局限性和有效的设计。这项研究不仅揭示了要解决的技术挑战,但也通知新的GUI元素检测方法的设计。我们针对GUI设计了一种新的非文本GUI元素检测方法,该方法采用自上而下的粗到细策略,并将其与成熟的深度学习模型相结合用于GUI文本检测。我们对25,000张GUI图像的评估表明,我们的方法显著提高了GUI元素检测的最新性能。
2020-09-07 cs.CV cs.HC cs.LG
Low-code LLM: Graphical User Interface over Large Language Models
Microsoft Research Asia(微软亚洲研究院)
本文提出Low-code LLM框架,通过六种低代码可视化编程交互和Planning/Executing双LLM架构,使用户无需编写复杂提示词即可可控地完成复杂任务,并通过四个典型应用验证其有效性。
2024-04-01 cs.CL cs.HC
Edhibou: a Customizable Interface for Decision Support in a Semantic Portal
随着所需技术的成熟,语义Web正变得越来越现实。然而,在现阶段,重要的是提供便利最终用户使用和部署这些技术的工具。在本文中,我们描述了EdHibou,一个自动生成的,基于本体的图形用户界面,集成在一个语义门户。EdHibou的特殊性在于它利用OWL推理能力在底层本体上提供智能功能,如决策支持。我们基于OWL中临床指南的形式化,介绍了EdHibou在医疗决策支持中的应用,并展示了如何利用图形组件本体对其进行定制。
2008-11-03 cs.AI cs.HC
Comparing LLM-Based Conversational and Graphical Interfaces for Industrial Decision Tasks: An Exploratory Mixed-Methods Study
Department of Computer Science(计算机科学系);University of Pisa(比萨大学);Department(部门);San Matteo Hospital(圣玛泰奥医院);Brunel University of London(伦敦布鲁内尔大学)
通过混合方法研究,比较了基于LLM的对话式界面与图形化仪表盘在工业决策任务中的表现,发现对话式界面可减少交互努力,但仪表盘在概览和验证方面仍有价值。
2026-05-29 cs.AI cs.CY cs.HC
Dynamic Planning for LLM-based Graphical User Interface Automation
School of Computer Science and Technology, Harbin Institute of Technology(哈尔滨工业大学计算机科学与技术学院);School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University(上海交通大学电子信息与电气工程学院)
针对LLM GUI智能体因动态环境和历史过长导致规划失效的问题,提出D-PoT方法动态调整规划,准确率较GPT-4V提升12.7%,并增强泛化与抗幻觉能力。
2024-12-19 cs.AI cs.HC
Designing Flexible GUI to Increase the Acceptance Rate of Product Data Management Systems in Industry
产品数据管理(PDM)桌面和基于网络的系统维护组织的技术和管理数据,以通过改进开发过程、业务流程、变更管理、产品结构管理、项目跟踪和资源规划来提高产品质量。虽然PDM在很大程度上使工业受益,但PDM社区在PDM系统开发中面临着一个非常严重的未解决的问题,即灵活和用户友好的图形用户界面,以实现有效的人机通信。PDM系统同时提供不同的服务和功能,但大多数PDM系统的图形用户界面的设计方式并不是用户(特别是新用户)可以轻松学习和使用它们。针对这一问题,在人机交互领域进行了深入的研究,得到的数据提供了使用富互联网应用程序的图形用户界面开发的信息。本研究的目标是支持PDM领域的一个概念模型的建议,实现一个灵活的基于Web的图形用户界面。所提出的概念模型被成功地设计成实施模型,并由此产生的原型投入价值的领域,现在是可用的。文中详细介绍了该方案的主要概念、实现设计和开发的原型系统。最后,将原型系统与现有PDM系统的相应功能进行了比较,Windchill和CIM评估其针对目标挑战的有效性
2011-03-06 cs.HC
AI-Instruments: Embodying Prompts as Instruments to Abstract & Reflect Graphical Interface Commands as General-Purpose Tools
Microsoft Research(微软研究院);Université Paris-Saclay, CNRS, Inria(巴黎-萨克雷大学、法国国家科学研究中心、法国国家信息与自动化研究所);Carnegie Mellon University(卡内基梅隆大学);Microsoft(微软公司)
AI-Instruments将提示具象化为可重用工具,通过反映和接地原则帮助用户在AI辅助设计中探索、细化模糊意图,并利用LLM生成新工具控制,经图像生成探针和用户研究验证。
2025-02-26 cs.AI cs.HC
Plottery: A Code-Integrated GUI for Matplotlib
University of California San Diego(加州大学圣地亚哥分校);Cornell University(康奈尔大学)
该研究提出Plottery,一款Jupyter notebook扩展,为Matplotlib添加图形直接操作功能,支持用户在图形界面、代码和AI交互间无缝切换,经用户研究验证其交互模式的实用性。
2026-10-14 cs.HC
Interactive in-base street model edit: how common GIS software and a database can serve as a custom Graphical User Interface
Université Paris-Est(巴黎东大学)
我们的现代世界产生了越来越多的数据,特别是地理空间数据,随着传感技术的进步,矢量数据的复杂性和组织性不断增加。需要工具来有效地创建和编辑这些矢量地理空间数据。过程生成一直是生成强组织数据的首选工具,但它可能很难控制。由于这些数据可能涉及到采取后果完整的现实生活中的决策,用户交互需要检查数据和编辑它。这样做的经典过程将是建立一个特设的图形用户界面(GUI)工具,适用于所使用的模型和方法。这项任务很困难,需要大量的资源,并且非常特定于一个模型,因此很难共享和重用。此外,已经存在许多通用的GUI来编辑矢量数据,每一个都有其特殊性。我们提出了一个范式的变化,而不是建立一个特定的工具,一个任务,我们使用常见的GIS软件作为图形用户界面,并从软件中的数据库内的特定交互。在这种模式中,GIS软件简单地修改数据库图层的几何形状和属性,数据库使用这些更改来执行自动化任务。这种新的模式有许多优点。第一个是通用性。通过库内交互,任何GIS软件都可以用于执行编辑,无论该软件是桌面软件还是Web应用程序。第二个是并发性和一致性。由于交互是基于内部的,因此使用数据库功能可以实现无缝的多用户工作,并可以保证数据处于一致的状态。最后,我们提出的工具,以促进多用户编辑,无论是在编辑阶段(每个用户知道哪些领域被其他用户编辑),编辑之前和之后(编辑规划,编辑区域的分析)。
2018-01-17 cs.CG cs.CV cs.DB
Fashionista: A Fashion-aware Graphical System for Exploring Visually Similar Items
为了构建一个时尚推荐系统,我们需要帮助用户检索在视觉上与特定查询相似的时尚物品,原因包括搜索替代品(即,替代品),以生成视觉上一致的时尚服装,以及其他应用。在服装和配饰等领域,这些考虑因素尤其重要,因为物品的视觉外观是指导用户决策的关键特征。然而,像亚马逊和eBay这样的现有系统仍然主要依赖于关键字搜索和推荐松散一致的项目(例如,基于共同购买或浏览数据),而没有使用视觉信息来满足上述需求的界面。在本文中,我们试图填补这一空白,设计和实现一个基于图像的查询系统,称为Fashionista,它提供了一个图形界面,以帮助用户有效地探索这些项目,不仅在视觉上类似于一个给定的查询,但也是时尚的,由视觉感知的推荐方法确定。从方法论上讲,Fashionista学习了一个低维的视觉空间,以及从大型二进制反馈数据语料库中学习时尚趋势的演变,例如我们在本演示中使用的亚马逊女装和配饰的购买历史。
2016-03-31 cs.HC cs.IR
Neither Replacement nor Panacea: Comparing LLM-Based Conversational and Graphical Decision Support in Industrial Tasks
Department of Computer Science, University of Pisa(比萨大学计算机科学系);Department of Computer Science, Brunel University of London(伦敦布鲁内尔大学计算机科学系)
通过混合因子实验,比较基于LLM的对话式界面与仪表盘在工业决策支持中的效果,发现对话界面在低复杂度任务中降低认知负荷和加快完成时间,但优势随任务复杂度增加而消失,且未提高决策准确性。
2026-05-29 cs.AI cs.CY cs.HC
HapKnob -- A Motorized Shape-changing Haptic Knob Interface
本文提出HapKnob电动变形旋钮接口,通过七种形状配置和多种力反馈渲染,解决触摸屏交互中物理接口缺失问题,并支持无视觉场景下的用户界面交互。
2024-11-20 cs.HC
Examining users preferences towards vertical graphical toolbars in simple search and point tasks
本研究的主要目的是探讨在简单的直接操作任务中,包括认知过程以及视觉引导的指向活动的偏好的性质及其与客观措施的关系。所进行的实验涉及的图形结构类似于广泛使用的图形界面。考察了图形面板位置、面板配置以及目标大小对用户任务效率和被试偏好的影响。参加者被要求在效率考试前后表达他们对测试板的态度。这种主观评价是在层次分析法(AHP; Saaty,1977; 1980)的框架内进行的。所获得的主观结果显示,在完成任务之前和之后,受试者对检查面板的偏好存在显着差异。看来,用户能够比较快地改变他们的想法后,获得一些经验与调查的刺激。此外,应用聚类分析显示,受试者在他们的意见是不同质的,他们形成的群体具有相似的偏好结构。
2012-11-28 cs.HC
Challenges and Opportunities of Content Optimization for Freeform User Interfaces
虽然最近关于形状技术的创新允许创建具有几乎无限形状因子的显示器,但是当前的图形用户界面仍然依赖于矩形布局和内容。这种矩形的传统阻碍了自由形式显示器的发展,自由形式显示器对于在需要的地方和时间显示交互式动态内容的普遍场景特别相关。通过挑战矩形显示器上流行的布局传统,自由形式的用户界面提出了设计挑战,这要求探索计算方法与用户界面生成和适应之间的相互联系。在这份意见书中,我们报告了以前在自由形式用户界面内容优化方面的工作,并预测了即将到来的挑战和机遇。
2023-02-06 cs.HC
Terminal Is All You Need: Design Properties for Human-AI Agent Collaboration
University of Geneva(日内瓦大学)
本文提出终端作为人机协同设计的典范,强调其在表示兼容性、行为透明性和低参与门槛三方面的核心属性。
2026-03-11 cs.HC
Integration of Flexible Web Based GUI in I-SOAS
University of Wuerzburg(维尔茨堡大学);Vienna University of Technology(维也纳技术大学);Technical University Sofia(索非亚技术大学)
有必要改进目前基于web的图形用户界面的概念,以开发更灵活和智能的界面,从而像大多数基于桌面的应用程序一样在用户端提供易用性并增加舒适度。本研究的目标是实现灵活的GUI组成的可视化组件管理器与不同的组件的功能,设计和目的。在这篇研究论文中,我们提出了一个富互联网应用程序(RIA)为基础的图形用户界面基于Web的产品开发,并进入细节,我们提出了现有的RIA技术之间的比较,在GUI开发和开发的原型中采用的方法。
2010-11-14 cs.AI cs.HC
mage: Fluid Moves Between Code and Graphical Work in Computational Notebooks
我们的目标是增加数据工作者为工作选择正确工具的灵活性,无论该工具是代码库还是交互式图形用户界面(GUI)。为了实现这种灵活性,我们使用新的API mage扩展了计算笔记本,该API mage支持可以根据需要将自己表示为代码和GUI的工具。我们讨论了图像的设计以及在数据工作的灵活代码/GUI工具的空间中的设计机会。为了了解工具需求,我们与九位专业从业者进行了一项研究,并征求了他们对灵活代码/GUI工具的mage和潜在领域的反馈。然后,我们为mage实现了六个客户端工具,说明了我们研究发现的主要主题。最后,我们讨论了在为数据工作者提供灵活的代码/GUI交互方面面临的挑战。
2020-09-22 cs.HC cs.SE
"They Aren't Built For Me": A Replication Study of Visual Graphical Perception with Tactile Representations of Data for Visually Impaired Users
本研究复制了Cleveland和McGill的图形感知实验,使用起泡打印技术测试11名视障受试者,发现他们阅读图表速度快且准确率高,并探讨了触觉图形编码策略及专用编码需求。
2024-10-11 cs.HC
Eye-GUIDE (Eye-Gaze User Interface Design) Messaging for Physically-Impaired People
Technological Institute of the Philippines(菲律宾理工学院)
Eye-GUIDE是一种辅助沟通工具,专为瘫痪或身体受损的人设计,他们无法移动身体的一部分,特别是那些沟通仅限于眼球运动的人。原型由一台相机和一台电脑组成。摄像头捕获图像,然后将其发送到计算机,计算机将是解释数据的人。因此,Eye-GUIDE专注于基于相机的视线跟踪。设计者设计的原型可以执行简单的任务,并提供图形用户界面,以便瘫痪或身体受损的人可以轻松使用。
2013-02-07 cs.CV cs.HC
A Framing and Analysis of Applicative Tangible Interfaces
Univ. Bordeaux(波尔多大学);ESTIA Institute of Technology(埃斯蒂亚理工学院)
本文提出将应用式具身用户界面拆分为四个组件,通过新的交互模型描述其角色,并展示了如何将159个物理物品分配到这些组件中,以推动该领域的发展。
2025-12-30 cs.HC
Torrit: A GUI-Based Power System Simulation Platform
对电力系统操作和控制的充分教育需要在基于图形用户界面(GUI)的软件上的实践经验。目前,大多数商业软件没有高灵活性的免费版本,大多数免费软件没有良好的界面。本文介绍了一个基于GUI的应用程序,称为“Torrit”的电力系统,特别是输电系统的执行操作。它是用Python编写的,因为它的快速开发能力。Torrit的主窗口包括一个单独的画布,具有一些标准的图形交互功能,如创建、删除、复制、移动、双击等。该应用程序的测试版是本文的重点,它允许以三种不同的模式执行、保存和重新打开项目:每单位计算、功率流和状态估计。然而,它仍然处于初级阶段,计划在未来进行许多扩展,以满足学术界和工业界的需求。
2020-08-14 cs.HC cs.SY eess.SY
Scaling Computer-Use Grounding via User Interface Decomposition and Synthesis
The University of Hong Kong(香港大学);Salesforce AI Research(Salesforce AI研究院)
本文提出OSWorld-G基准和Jedi数据集,通过界面分解与合成训练多尺度模型,显著提升GUI接地能力,并将OSWorld任务成功率从5%提升至27%。
2025-10-24 cs.AI cs.CL cs.CV
Extended LTLvis Motion Planning interface (Extended Technical Report)
Arizona State University(亚利桑那州立大学)
本文提出一种基于 Android 的扩展 LTL 图形草图接口,通过预定义感兴趣区域和用户绘制参考轨迹,在自定义路径与 LTL 规范之间平衡生成运动规划,并给出实验结果。
2016-07-24 cs.HC cs.RO
Measuring User Experience of Adaptive User Interfaces using EEG: A Replication Study
本文通过 40 名参与者的内部复现实验,验证 EEG 信号可评估图形化自适应菜单的用户体验,并揭示菜单结构、字体与颜色对脑响应差异的影响。
2023-06-06 cs.HC cs.SE
CobotTouch: AR-based Interface with Fingertip-worn Tactile Display for Immersive Operation/Control of Collaborative Robots
复杂的机器人任务需要人类的合作,以从他们的高度灵活性中受益。频繁的人机交互需要耗费大量的精力和时间。直观且易于使用的机器人控制界面减少了对工人的负面影响,特别是对经验不足的用户。在本文中,我们提出了CobotTouch,一种新的直观的机器人控制界面与指尖触觉反馈。建议的接口包括一个投影的图形用户界面的机器人手臂上的手势识别的基础上控制的机器人末端执行器的位置,和一个可穿戴的触觉接口提供触觉反馈用户的指尖。我们评估了用户的感知所设计的触觉模式所呈现的触觉界面和直观的机器人控制系统的用例。实验结果表明,该方法对触觉图形的平均识别率为75.25%. NASA的平均任务负荷指数(TLX)表明,小的精神和时间的需求证明了高水平的CobotTouch与协作机器人的互动的直观性。
2022-11-02 cs.HC
Single-window Integrated Development Environment
本文通过引入单窗口图形用户界面来解决IDE界面复杂性的问题。这种方法是从IDE中删除额外的子窗口,从而允许用户只打开文本编辑器窗口。我们描述了一个基于最流行的现代集成环境的IDE GUI的抽象模型,它具有广义的用户界面部分。然后将此抽象模型重组为单窗口界面模型:从代码编辑窗口提供对常见IDE功能的访问,同时删除实用程序窗口,而不损失IDE功能。然后介绍了单窗口GUI在KDevelop 4上的实现。最后对几个著名的IDE的工具视图和可用性进行了综述.
2012-07-06 cs.HC cs.SE
Reactive Semantics for User Interface Description Languages
本文针对用户界面描述语言形式化验证不足的问题,为核心响应式UIDL Smalite提出指称语义模型,为构建形式化验证的UIDL编译器奠定基础。
2025-08-19 cs.HC cs.PL cs.SE