Automated Usability Testing: Analysing Asia Web Sites
Web可用性仍然是一个紧迫的问题。多年来,研究人员已经开发了用于进行自动Web可用性测试的工具。本研究使用我们自己的基于PHP和MySQL的工具AWebHUT:自动Web主页可用性测试仪来评估完整Dmoz(www.dmoz.org)亚洲网站的Web可用性(时间戳为45126 2011-12-03 04:12:46 GMT)。该工具使用了一个广泛的自动化定量分析的XHTML源代码的主页对17个有组织的网站可用性准则。自动化的定量方法在大规模上是有效的,以实现更好的可用性。AWebHUT使用四个Web可用性级别,例如N:中性,V:违反,R:尊重和E:错误来评估Web可用性。本研究的主要目的是产生数据,用于回答研究问题,(1)是否有任何类别的网站有可用性问题?哪几个?以及(2)是否存在可用性通常较高的类别?为什么要这样?调查结果表明,所有亚洲类别都存在可用性问题。此外,有四个网站的网页可用性问题最高的违规百分比为71。更进一步,亚洲类别:天气具有最高的可用性问题,平均违规百分比为42.2819。天气类别使用表格和图像,其中相当多的表格和图像不符合与表格和图像相关的网络可用性指南。更进一步,亚洲希望获得与北美,欧洲和澳大利亚相同的可用性水平,因此必须在亚洲网站中进行自动Web可用性评估,以识别对改善亚洲网站至关重要的Web可用性问题。
2012-12-09 cs.HC
What is Human-Centeredness in Human-Centered AI? Development of Human-Centeredness Framework and AI Practitioners' Perspectives
本文针对AI领域“以人为本”定义缺乏共识的问题,开发并实证验证了一个包含26项属性、分为四个层级的分层框架,为AI从业者提供了促进包容性设计和伦理标准的可操作指导。
2025-02-05 cs.HC
Usability Testing untuk Mengukur Kepuasaan Pengguna Website Mailo Store
当今全球化时代的技术发展是不可避免的,技术进步日益迅速,成为生活中非常需要的信息媒介。Mailo store是使用网站和互联网作为向更广泛社区存储信息的媒介的中小企业之一,因此需要进行评估,以衡量网站用户使用可用性测试的易用性,该测试有8个变量,即学习(可学习性),效率(效率),容易记忆(可记忆性),错误和安全性(错误),易于理解(可理解性),易于操作(可操作性),吸引用户注意力(吸引力),满意度(满意度)。本研究以随机抽样方式,向109位受访者发放问卷,收集资料。此外,使用SPSS 25版软件处理所获得的数据。所用的数据分析方法是一种定量分析方法,使用有效性和可靠性测试,经典的假设检验,多元回归检验和假设检验。可用性测试方法的评估结果将有助于Mailo商店网站的可持续性和未来的发展,使其变得更好。
2022-06-27 cs.HC
Role of context in usability evaluations: A review
可用性通常被定义为系统在特定环境中由特定用户执行特定任务的能力。可用性评估包括测试系统的预期可用性。可用性测试在自然环境(现场)或人工环境(实验室)中进行。可用性评估的结果受到评估环境的影响。以前的研究只关注物理环境(实验室和现场)对结果的影响,但很少关注社会环境(测试期间在场的人)的影响。因此,本研究旨在回顾在可用性评估过程中考虑上下文的重要性。背景是通过行为设置的理论进行探讨,根据该理论,个人的行为受到他们发挥作用的物理环境和社会环境的强烈影响。这一审查的结果表明,物理和社会环境中起着重要的作用,可用性评估。此外,它还建议,可用性评估模型应该包括上下文作为一个重要组成部分的框架。
2012-04-10 cs.HC
UXCascade: Scalable Usability Testing with Simulated User Agents
ETH Zurich(苏黎世联邦理工学院);Adobe Research(Adobe研究院)
UXCascade通过多级分析工作流程,帮助从业者在早期界面开发中实现迭代反馈,通过提取、汇总和展示代理生成的可用性反馈,支持可操作的设计改进。
2026-08-12 cs.HC
Culture and International Usability Testing: The Effects of Culture in Structured Interviews
软件产品的全球受众包括不同国家、宗教和文化的成员:说不同语言、有不同生活方式、对任何给定产品有不同看法和期望的人。界面开发中的一个主要障碍是,在用于开发用户界面的可用性工程方法中,没有足够的经验证据来证明文化的影响。本文提出了一个对照研究调查文化的有效性结构化面试的可用性测试。该实验包括一个网站的可用性测试与两个独立的小组的印度参与者由两名面试官;一个属于印度文化和其他的英美文化。参与者发现了更多的可用性问题,并提出了更多的建议,面试官谁是同一个(印度)文化的成员比外国(英美)面试官。本研究的结果实证性地证实了在国际用户测试中,文化显著影响结构化访谈的有效性。这项工作的可用性工程的影响进行了讨论。
2004-05-13 cs.HC cs.SE
Usability Testing of an Explainable AI-enhanced Tool for Clinical Decision Support: Insights from the Reflexive Thematic Analysis
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
通过20名美国临床医生的可用性测试和反思性主题分析,提出了可解释性的具体框架和操作定义,以指导AI工具定制化开发,提升临床接受度。
2026-06-29 cs.HC
An Online A/B Testing Decision Support System for Web Usability Assessment Based on a Linguistic Decision-making Methodology: Case of Study a Virtual Learning Environment
提出基于语言决策和设计思维的Web可用性评估方法论,整合至A/B测试决策支持系统,通过真实用户评估墨西哥大学的三个Moodle平台验证有效性。
2025-07-16 cs.HC cs.SE
Investigating Quality of Institutional Repository Website Design Using Usability Testing Framework
网站设计质量是网站成功的影响因素之一。设计如何帮助用户有效地使用网站,并在使用结束时感到满意。然而,这是一个共同的趋势,网站设计的基础上开发人员的角度和缺乏考虑用户的重要性。因此,根据用户的感知,网站可用性的程度往往较低。本研究旨在了解用户体验使用机构知识库(IR)网站在印度尼西亚的公立大学。本研究以可用性测试框架作为可用性测试方法。大约有12名参与者有意参与他们的关键线人特征。遵循三种经验数据汇集技术(即,问卷调查法、形式实验法、有声思维法),在数据分析阶段采用可用性量表矩阵进行描述性分析,采用定性数据分析(QDA)Miner Lite软件进行内容分析。最后,在研究的最后,提出了一些视觉设计的建议。在案例研究方面,除了对下一次网站开发有实际意义的建议外,研究设计的清晰度也可以帮助学者如何在多技术研究设计中结合多种可用性测试技术。
2021-01-13 cs.HC cs.SE
A critical analysis of cognitive load measurement methods for evaluating the usability of different types of interfaces: guidelines and framework for Human-Computer Interaction
本文通过系统性综述76篇文献,分析了评估计算机软件、VR等不同用户界面可用性的认知负荷测量方法的使用占比与优缺点,并提出框架指导测试人员选择合适方法。
2024-02-19 cs.HC
Does GenAI Make Usability Testing Obsolete?
Universität Hamburg(汉堡大学)
本文提出UX-LLM,一种基于大视觉语言模型的可用性问题预测工具,虽无法完全替代传统测试,但可作为补充,尤其适用于资源有限的小型团队。
2026-01-13 cs.HC cs.SE
Fostering of innovative usability testing to develop mobile application for mobile collaborative learning (MCL)
随着新技术的出现,人们的注意力从计算机支持的协作学习(CSCL)转移到移动支持的协作学习。MCL是教育组织对教学活动的高度要求。一些MCL的支持架构,包括应用程序被引入到几个领域,以改善这些组织的活动,但他们需要更简洁的范式,以支持两种类型的协作:同步和异步。本文介绍了一种新的预可用性测试方法,该方法为MCL开发新的教学小组应用程序提供了教育支持,并给出了完整的画面。应用程序的功能包括异步和同步协作支持。为了验证应用程序的功能,我们进行了后可用性测试和启发式评估,这有助于收集经验数据,以证明集团应用程序的有效性和适用性。此外,应用旨在提高学习效果,随时随地教育人们。
2014-10-14 cs.CY cs.HC
Integrating User eXperience Practices into Software Development Processes: Implications of Subjectivity and Emergent Nature of UX
许多软件公司在与用户体验(UX)以及如何将UX实践集成到现有开发过程中的工作中面临挑战。更好地了解这些挑战可以帮助研究人员和从业人员更好地应对这些挑战。现有的研究没有分析与其他软件质量特征(包括可用性)相关的用户体验挑战。在这项实证研究中,我们采访了来自8家软件开发公司的17名从业人员。对它们的答复进行了编码,并进行了专题分析。我们报告了从业者在UX工作中面临的11个挑战。其中一些挑战与现有文献中关于可用性或软件质量特征的报告部分重叠。与这些重叠相反,我们研究的参与者要么认为许多用户体验特有的挑战,要么比可用性或其他质量特征更严重。虽然在表面上,用户体验和其他质量特征的挑战是重叠的,但我们通过用户体验的两个主要方面(主观性和涌现性)在更深层次上区分这些挑战。特别是,我们确定了至少五个对用户体验本质至关重要的问题,并为从业者的工作增加了至少七个额外的困难。这些困难可以解释为什么从业者认为挑战比其他质量特征更严重。我们的研究结果可以帮助研究人员确定工业相关的研究领域,并为从业人员从经验研究的挑战中学习,并根据这些知识进行改进。调查重叠可以帮助找到研究领域,不仅可以提高用户体验的实践,还可以提高软件质量。它还使从业者更容易发现,更好地理解以及找到针对UX挑战的缓解策略。
2016-05-12 cs.HC cs.SE
UXAgent: An LLM Agent-Based Usability Testing Framework for Web Design
Northeastern University(东北大学);Amazon(亚马逊公司);University of Notre Dame(圣母大学)
UXAgent利用LLM智能体自动生成数千个模拟用户对网页设计进行可用性测试,支持定性、定量和视频分析,帮助UX研究人员在真人实验前迭代研究设计。
2025-04-05 cs.CL cs.HC
UXAgent: A System for Simulating Usability Testing of Web Design with LLM Agents
Northeastern University(东北大学);Amazon(亚马逊);University of Notre Dame(诺特尔大学)
UXAgent系统利用LLM智能体自动生成模拟用户并交互式测试网站,帮助UX研究人员在真实实验前评估和迭代可用性测试研究设计,并通过启发式评估验证了其创新性与潜在问题。
2025-09-19 cs.CL cs.HC
Usability Engineering of Games: A Comparative Analysis of Measuring Excitement Using Sensors, Direct Observations and Self-Reported Data
可用性工程和可用性测试是不断发展的概念。有趣的研究和新的想法不时出现。本文通过考虑观察者意见、自我报告数据和基于EDA的生理传感器数据这三种措施来测试使用基于EDA的生理测量作为可用性测试工具的假设。对这些数据进行了比较和统计分析。最后讨论了从这些主观和客观措施中获得的结果,这些结果部分支持了这一假设。
2014-08-29 cs.HC cs.SE
Classification and taxonomy of mobile application usability issues
Gdansk University of Technology(格但斯克理工大学)
本文提出了一种新的三层应用-用户-资源分类系统,分类了16类移动应用可用性问题,旨在提升人机交互领域的可用性研究与实践。
2025-12-05 cs.HC
How Do Open Source Software Contributors Perceive and Address Usability? Valued Factors, Practices, and Challenges
可用性是开放源码软件(OSS)中日益关注的问题。考虑到开放源码软件领域最近的变化,必须审查开放源码软件贡献者当前重视的因素、实践和有关可用性的挑战。我们通过对开放源码软件应用程序的广泛贡献者进行调查,积累了这方面的知识。通过分析84份调查问卷,我们发现许多参与者认识到可用性的重要性。虽然大多数参与者依赖问题跟踪系统来收集用户反馈,但也有一些参与者采用了典型的以用户为中心的设计方法。然而,大多数与会者展示了以系统为中心而不是以用户为中心的观点。在最近的开发背景下,了解终端用户的各种需求和综合各种反馈意见,对开放源码软件的贡献者在解决可用性问题时提出了独特的挑战。我们的工作为OSS从业者和工具设计者提供了重要的见解,以探索促进以用户为中心的思维方式和改善当前OSS社区的可用性实践的方法。
2020-07-13 cs.HC cs.SE
AI Agents for Web Testing: A Case Study in the Wild
Columbia University(哥伦比亚大学)
本研究针对传统Web测试难以捕捉复杂用户行为、易遗漏可用性问题的不足,提出基于AI智能体的Web测试框架WebProber,可自主探索网站并生成报告,在120个学术个人网站测试中发现29个传统工具遗漏的问题,为下一代以用户为中心的测试框架提供方向。
2025-09-05 cs.AI cs.HC cs.SE
AI-Assisted Social Story Intervention for Special Education: The Design of AdaptED Stories
New York University Abu Dhabi(阿布扎比纽约大学)
针对社会故事定制耗时问题,提出从业者引导的AdaptED Stories系统,利用学生档案自动生成文本与视觉,支持审查与阅读支持,经评估可减轻负担并促进个性化创作。
2026-09-22 cs.HC
Enriching Verbal Feedback from Usability Testing: Automatic Linking of Thinking-Aloud Recordings and Stimulus using Eye Tracking and Mouse Data
本文提出利用眼动追踪和鼠标数据自动关联出声思维言语反馈与网页刺激区域,实验表明注视比鼠标指向具有显著更高的命中率,能更有效地定位用户反馈对应的界面元素。
2023-07-11 cs.AI cs.HC
Synthetic Heuristic Evaluation: A Comparison between AI- and Human-Powered Usability Evaluation
University of Washington(华盛顿大学)
本文提出基于多模态大语言模型的合成启发式评估方法,在两个应用上识别出73%和77%的可用性问题,超过5名人类专家,且在布局检测上表现突出,为AI驱动的可用性评估设计提供了依据。
2025-07-03 cs.AI cs.HC
Synthetic Cognitive Walkthrough: Aligning Large Language Model Performance with Human Cognitive Walkthrough
University of Washington(华盛顿大学)
研究探讨了大型语言模型能否通过模拟人类行为来提升认知 walkthrough 的效率,并展示了其在可用性测试中的潜在应用价值。
2025-12-03 cs.HC
Exploring Usability and Legal Practice: Insights from German Judicial Users of Digital Forensics
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡大学);Ruhr University Bochum(波鸿鲁尔大学)
本研究以德国北威州司法从业者为对象,将数字取证视为刑事诉讼社会技术系统的一部分,调查发现其在整合、沟通及可用性方面存在改进空间并提出相关方向。
2026-08-04 cs.CR cs.HC
Exploring Practitioner Perspectives On Training Data Attribution Explanations
Tübingen AI Center(蒂宾根人工智能中心);University of Tübingen(蒂宾根大学);DGIST(大邱庆北科学技术院)
通过采访10位从业者,研究发现训练数据归因(TDA)解释因知名度低而未被广泛使用,呼吁社区从人机协作视角关注其效用并拓宽评估以反映实际用例。
2023-11-22 cs.HC cs.LG
Practitioners' Perspectives on Designing Data Visualizations for the General Public
University of Vienna(维也纳大学);Leiden University(莱顿大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);AIT Austrian Institute of Technology(奥地利技术研究所)
通过对21位新闻领域从业者的半结构化访谈,研究他们如何构思读者、将概念转化为设计选择并评估作品,发现从业者依赖宽泛的受众定义,主要依靠同行反馈或社交指标而非用户测试进行评估,并识别出面向未定义公众的常用策略,提出受众中心设计工具的建议。
2026-05-28 cs.HC
A Scoping Study of Evaluation Practices for Responsible AI Tools: Steps Towards Effectiveness Evaluations
本研究通过对37篇相关出版物的定性分析,发现当前负责任AI(RAI)工具的评估多聚焦可用性而忽视实践有效性,进而借鉴其他领域方法提出开发者与社区层面的步骤,以推进RAI工具的有效性评估。
2024-01-30 cs.HC
The Usability of Advanced Type Systems: Rust as a Case Study
强制执行各种正确性和安全性保证的高级类型系统--例如线性和所有权类型--在程序设计语言研究界有着悠久的历史。尽管有这样的历史,但对这些类型系统及其可用性的以人为中心的评估几乎是不存在的,经验评估仅限于在专家(即类型系统的创建者)编写的程序中测试它们的表现力。在过去的几年里,随着在流行的Rust程序设计语言中采用仿射类型和所有权的版本,这种情况已经开始改变。随着Rust的流行,各种研究开始实证评估Rust的所有权和生命周期规则的可用性,提供了有关此类类型系统可用性的定性和定量信息。他们发现,尽管Rust在实现其安全性和性能承诺方面取得了普遍成功,但这些规则具有陡峭的学习曲线,并一再被认为是采用Rust的障碍。在这份报告中,我简要介绍了线性类型和基于区域的存储管理的历史,它们直接启发了Rust的类型系统。然后,我介绍了Rust的所有权和生命周期规则,并介绍了学术研究中最先进的可用性。我讨论了为什么这些规则很难学习和应用的理论论据和经验证据,并调查了解决这些困难的现有工作。我还借鉴了HCI和CS教育社区的更广泛的工作,以建议在这一领域的未来工作。
2023-01-05 cs.HC cs.PL
A Brief Survey of Current Software Engineering Practices in Continuous Integration and Automated Accessibility Testing
本文综述了通过持续集成改善软件无障碍性的现状与采用障碍,并探讨了敏捷团队实施自动化无障碍测试的培训步骤及可视化流程。
2021-02-27 cs.CY cs.HC cs.MM