Memory Remedy: An AI-Enhanced Interactive Story Exploring Human-Robot Interaction and Companionship
本文介绍了一种利用AI生成内容(AIGC)和多种媒体开发的沉浸式互动故事《记忆疗法》,通过闪回叙事探索机器人主角与老年人的关系,旨在引发对机器人陪伴和AI与人类关系的反思。
2024-11-07 cs.HC
Interactive Discovery of Coordinated Relationship Chains with Maximum Entropy Models
现代视觉分析工具促进了人在环分析,但在引导用户走向有趣和有前途的研究方向方面能力有限。当分析任务本质上是探索性的时,这个问题尤其严重,例如,在大量文本数据集中发现潜在的协调关系。此类任务在情报分析和安全取证等领域非常常见,其目标是发现桥接多种类型关系的惊人联盟。我们引入了新的最大熵模型来发现令人惊讶的关系链,利用文档中实体出现的计数数据。这些模型被嵌入在一个可视化的分析系统称为MERCER,把关系束作为第一类对象,并指导用户对有前途的查询线。我们展示了用户输入如何明智地直接分析有效的结论,而纯粹的算法方法可能会误入歧途。实验结果的合成和真实的数据集从情报界。
2015-12-29 cs.DB cs.HC
Interactive Learning for Identifying Relevant Tweets to Support Real-time Situational Awareness
Purdue University(普渡大学);University of Colorado Boulder(科罗拉多大学博尔德分校)
各个领域的用户越来越多地利用实时的【形】社交媒体数据来获得快速的态势感知。然而,由于大量数据中的高噪声,有效地确定语义上相关的信息可能是困难的,并且由于每个终端用户针对不同事件改变相关性的定义而进一步复杂化。现有的大多数短文本相关性分类方法未能将用户的知识纳入分类过程。结合交互式用户反馈的现有方法集中在历史数据集上。因此,分类器不能针对特定事件或依赖于用户的需求进行实时的【形】交互式再训练。这限制了实时的【形】态势感知,因为分类错误的流数据无法立即纠正,从而也可能对重要的传入数据进行错误分类。我们提出了一种新的交互式学习框架,以改善分类过程中,用户迭代地纠正实时训练分类模型的即时预测改进的相关性的推文。我们计算评估我们的分类模型,以适应学习互动率。我们的研究结果表明,我们的方法优于最先进的机器学习模型。此外,我们将我们的框架与扩展的社交媒体分析和报告工具包(SMART)2.0系统集成,允许在为实时的【形】态势感知量身定制的可视化分析系统中使用我们的交互式学习框架。为了证明我们的框架的有效性,我们提供了领域专家的反馈,从第一响应者谁使用扩展SMART 2.0系统。
2019-10-07 cs.CL cs.HC cs.LG
Interactive Prior Elicitation of Feature Similarities for Small Sample Size Prediction
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所);Aalto University(阿尔托大学)
在“小$n$,大$p$“条件下的回归,即小样本量$n$和学习数据集中的大量特征$p$,是一种循环设置,其中从数据学习是困难的。利用关于特征的关系的先验知识,可以有效地减少$p$,但是对于专家来说,解释这种先验知识是困难的。在本文中,我们介绍了一种新的方法,用于引发专家先验知识的相似性的预测任务中的功能的作用。其关键思想是使用交互式多维标度(MDS)类型的散点图显示的功能,以引出的相似性关系,然后使用的预测参数的先验分布中引出的关系。具体而言,为了学习用贝叶斯线性回归预测目标变量,使用特征关系来构建具有回归系数的全协方差矩阵的高斯先验。在模拟和真实用户对文本数据的实验中,我们的方法的评估证实了特征相似性的先验启发提高了预测精度。此外,启发与交互式散点图显示优于直接启发,其中用户选择功能对从功能列表。
2017-02-28 cs.HC cs.LG
CogIntAc: Modeling the Relationships between Intention, Emotion and Action in Interactive Process from Cognitive Perspective
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
意图、情感和行动是人类活动中重要的心理因素,在个体之间的互动中发挥着重要作用。如何在认知层面上分析个体之间的意图、情感和行为之间的关系,从而对个体之间的交互过程进行建模,是一个具有挑战性的问题。在本文中,我们提出了一个新的认知框架的个人互动。该框架的核心是个体通过内在意图驱动的外部行动实现互动。基于这一思想,个体之间的互动可以通过建立意图、情感和行动之间的关系来构建。此外,我们对个体之间的相互作用进行了分析,并对预测结果给出了合理的解释。为了验证框架的有效性,我们重建了一个数据集,并提出了三个任务以及相应的基线模型,包括动作溯因,情感预测和动作生成。这个新颖的框架展示了一个有趣的视角,即在认知科学中模仿人类的精神状态。
2022-05-16 cs.CL cs.HC
ConceptExplainer: Interactive Explanation for Deep Neural Networks from a Concept Perspective
传统的适用于模型用户的深度学习可解释性方法无法在全局层面上解释网络行为,并且在提供细粒度解释方面不灵活。作为一种解决方案,基于概念的解释由于其人类的直观性和描述全局和局部模型行为的灵活性而受到关注。概念是一组类似有意义的像素,它们表达一个概念,嵌入在网络的潜在空间中,通常是手工生成的,但最近通过自动化方法发现了。不幸的是,所发现的概念的数量和多样性使得难以导航和理解概念空间。可视化分析可以通过支持概念空间的结构化导航和探索,为用户提供基于概念的模型行为见解,从而在弥合这些差距方面发挥重要作用。为此,我们设计,开发和验证ConceptExplainer,一个可视化的分析系统,使人们能够交互式地探测和探索概念空间,解释模型的行为在实例/类/全局级别。该系统通过迭代原型开发,以解决建模用户在解释深度学习模型的行为时面临的许多设计挑战。通过严格的用户研究,我们验证了ConceptExplainer如何支持这些挑战。同样,我们进行了一系列的使用场景,以演示系统如何支持跨各种任务和解释粒度的模型行为的交互式分析,例如识别对分类很重要的概念,识别训练数据中的偏差,以及理解如何在不同的和看似不同的类中共享概念。
2022-10-25 cs.HC
Atlas of Human-AI Interaction: An Interactive Knowledge Graph for Research Sensemaking at Scale
MIT Media Lab, Massachusetts Institute of Technology(麻省理工学院媒体实验室)
本文提出Atlas of Human-AI Interaction平台,用LLM从千余篇HCI论文中抽取因果发现并构建可导航知识图谱,支持研究者识别主题与研究空白。
2026-10-26 cs.HC
An Interactive Approach for Identifying Structure Definitions
我们掌握和理解复杂现象的能力基本上是基于识别结构并将它们相互关联。例如,对天气状况的任何气象描述及其演变的解释都依赖于气象结构,如对流和环流结构、云场和雨锋。所有这些都是时空结构,由基础领域中的时间依赖模式定义。通常,这种结构是由语言描述来定义的,这种语言描述与专家或多或少统一的、往往有些模糊的心理图像相对应。然而,结构或更一般地概念的精确、正式定义通常是期望的,例如,以实现自动化数据分析或现象学模型的开发。在这里,我们提出了一个系统的方法和交互式工具,以获得正式的时空结构的定义。这一工具使专家能够根据包含各自结构的随时间变化的字段的数据集,评价和比较不同的结构定义。由于结构定义通常是参数化的,因此重要的部分是确定在所有时间步长中导致所需结构的参数范围。此外,重要的是允许同时对所得结构进行定量评价。我们演示了使用的工具,将其应用到两个气象的例子:找到结构的定义涡核和中心线的暂时演变的热带气旋。理想情况下,结构定义应该是客观的,并适用于尽可能多的数据集。然而,找到这样的定义,例如,对于气象学中常见的大气结构,只能是一个长期的目标。拟议的程序以及所提出的工具只是促进这一漫长而艰巨的道路的第一种方法。
2021-12-07 cs.HC physics.ao-ph
Magicarpet: A Parent-child Interactive Game Platform to Enhance Connectivity between Autistic Children and Their Parents
针对自闭症儿童与父母社交连接不足的问题,提出互动游戏地毯Magicarpet,通过五家庭用户研究验证,证明其能提升儿童游戏动机与参与度,展现HCI设计促进亲子连接的潜力。
2025-03-28 cs.HC
Towards Effective Generation of Interactive Visualizations with Vibe Coding: An Empirical Study
Beijing Institute of Technology(北京理工大学)
本研究通过78名参与者的用户研究,系统性评估氛围编码生成交互式可视化的能力、用户体验与协作策略,为优化氛围编码实践提供了见解。
2026-09-01 cs.HC
Identifying & Interactively Refining Ambiguous User Goals for Data Visualization Code Generation
Northeastern University(东北大学);Carnegie Mellon University(卡内基梅隆大学)
本研究针对数据可视化代码生成中的用户目标模糊问题,提出模糊类型分类法与量化指标,并利用多轮语用对话(基于格莱斯合作原则等模型)减少模糊性,提升代码准确性。
2025-10-10 cs.AI cs.CL cs.CV
Preliminary Evaluation of Interactive Search Engine Interface for Visually Impaired Users
这项工作的设计,评估,并改善了建议搜索引擎界面视障VI用户有效地执行网络搜索活动。我们的概念建模技术是基于形式概念分析FCA,用于数据分析。这种方法突出了分层的方法来表示所发现的概念。它与上下文交互式导航相结合,在一个接口,这是所谓的交互式搜索引擎(InteractSE)。此界面旨在减少VI用户浏览搜索结果所需的时间和精力。InteractSE的可用性和可访问性由专家使用Nielsen指南和Web内容可访问性指南WCAG 2.0进行评估。分析是根据识别的可用性问题及其平均严重性评级进行的。结果表明,最常见的违反规则从尼尔森集的一致性,文档,和所有的问题的平均严重性评级是轻微的。结果还显示,最常违反的WCAG 2指南是可区分的,其次是可导航和可供性。使用WCAG 2指南发现的所有问题的平均严重性等级也是轻微的。结果表明,尼尔森统计学和WCAG 2.0指南有助于识别几个可用性问题,如果单独使用它们中的任何一个,可能会遗漏。
2020-03-04 cs.HC
BiasEye: A Bias-Aware Real-time Interactive Material Screening System for Impartial Candidate Assessment
本文提出BiasEye,一个偏见感知的实时交互式材料筛选可视化系统,通过机器学习建模个人筛选偏好来帮助用户识别和缓解认知偏见,用户研究表明其能有效提升决策者的偏见意识与决策信心。
2024-02-14 cs.HC
Interactive AI and Human Behavior: Challenges and Pathways for AI Governance
本文基于跨学科研讨会,识别交互式人工智能中人机长期关系带来的治理挑战,提出整合行为洞察的以结果为导向的监管方法,并给出以人为中心的治理建议。
2025-08-12 cs.CY cs.HC
Embracing Companion Technologies
随着越来越多的交互式设备提供类似人类的帮助,越来越需要了解交互式代理的人类体验。当具有人类特征的交互式人工制品在我们的日常体验中交织在一起时,我们需要确保它们承担正确的角色并为我们的福祉做出贡献。在这一理论探索中,我们提出了一个重新构建我们的理解与日常技术的互动,提出了数字同伴的隐喻。我们采用的理论在哲学的同理心,提出了一个框架,了解用户如何发展与数字代理的关系。同伴技术的经验框架提供了用户的心理需求和交互系统的同伴特征之间的联系。我们的工作提供了一个理论基础,重新思考用户体验的日常人工制品与人文的心态,并提出了未来的挑战,人机交互。
2020-09-10 cs.HC
Impact of Feedback Type on Explanatory Interactive Learning
University College Dublin(都柏林大学)
解释性交互学习(XIL)收集用户对视觉模型解释的反馈,以实现基于人在回路(HITL)的交互学习场景。不同的用户反馈类型将对用户体验和与收集反馈相关联的成本具有不同的影响,因为不同的反馈类型涉及不同级别的图像注释。虽然XIL已被用于提高多个领域的分类性能,但不同用户反馈类型对模型性能和解释准确性的影响尚未得到很好的研究。为了指导未来的XIL工作,我们比较了图像分类任务中两种不同用户反馈类型的有效性:(1)指示算法忽略某些虚假图像特征,以及(2)指示算法专注于某些有效图像特征。我们使用的解释,从一个服从加权类激活映射(GradCAM)为基础的XIL模型,以支持这两种反馈类型。我们发现,识别和注释虚假的图像特征,一个模型发现显着的结果在优越的分类和解释精度比用户反馈,告诉模型专注于有效的图像特征。
2022-09-26 cs.AI cs.HC
Improved Explanatory Efficacy on Human Affect and Workload through Interactive Process in Artificial Intelligence
School of Computing, KAIST(韩国科学技术院计算机学院)
尽管最近在可解释的人工智能系统领域取得了进展,但用于评估此类系统可用性的具体量化措施尚不存在。确保解释性界面在与用户交互方面的成功需要人类和人工智能之间的循环共生关系。因此,我们提出了解释功效,一种新的衡量标准,用于评估强度的循环关系的接口展品。此外,在一项用户研究中,我们评估了感知的影响和工作量,并记录了参与者与我们定制的迭代解释界面互动时的EEG信号,以构建个性化推荐系统。我们发现,系统的感知驱动的迭代任务具有更大的解释功效的特点是统计上显着的半球差异的神经信号与62.4%的准确性,表明神经相关的解释功效的措施的可行性。这些发现对于旨在研究人类-人工智能伙伴关系的循环生态系统的研究人员来说是有益的。
2020-10-23 cs.AI cs.HC cs.LG
ASQ-IT: Interactive Explanations for Reinforcement-Learning Agents
Technion - I.I.T(以色列理工学院);University of Haifa(海法大学)
随着强化学习方法越来越多地积累成就,理解其解决方案的需求变得更加重要。大多数可解释的强化学习(XRL)方法生成静态解释,描述了开发人员对应该解释什么和如何解释的直觉。相反,社会科学的文献提出,有意义的解释被构造为解释者和被解释者之间的对话,这表明用户和她与代理人的沟通扮演着更积极的角色。在本文中,我们提出了ASQ-IT -一个交互式工具,提出了代理在其环境中的查询的基础上,描述感兴趣的行为的时间属性的代理的视频剪辑。我们的方法是基于形式化的方法:查询ASQ-IT的用户界面映射到一个片段的线性时序逻辑有限的痕迹(LTLf),我们开发的,我们的算法是基于自动机理论的查询处理。用户研究表明,最终用户可以理解和制定查询ASQ-IT,并使用ASQ-IT帮助用户识别错误的代理行为。
2023-01-24 cs.AI cs.HC
MindTrellis: Co-Creating Knowledge Structures with AI through Interactive Visual Exploration
University of Waterloo(多伦多大学);York University(约克大学);Nanyang Technological University(南洋理工大学)
本文提出MindTrellis系统,通过人机协作动态构建知识图谱,提升多文档信息整合效率,降低认知负荷。
2026-04-25 cs.AI cs.HC cs.IR
A Deep Generative Model for Interactive Data Annotation through Direct Manipulation in Latent Space
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);University of Oldenburg(奥尔登堡大学)
针对标注数据缺乏制约机器学习应用的问题,提出一种深度生成模型,通过将图形界面坐标、时间和力与神经网络潜在空间、训练迭代和梯度类比,实现交互式数据标注,并研究了超参数影响以确定候选模型变体。
2023-05-24 cs.HC cs.LG
An Interactive Medical Image Segmentation Framework Using Iterative Refinement
在临床评估中,经常对医学图像进行图像分割以识别疾病。因此,它已成为主要的研究领域之一。传统的图像分割技术不能提供令人满意的分割结果的医学图像,因为它们包含的不规则性。在分割之前需要对它们进行预处理。为了得到最适合医学图像分割的方法,我们提出了一种两阶段算法。第一阶段使用数学形态学自动生成感兴趣区域的二进制标记图像。该标记用作第二阶段的掩模图像,第二阶段在输入图像上使用GrabCut,从而产生有效的分割结果。所获得的结果可以通过使用图形用户界面(GUI)进行的用户交互来进一步细化。实验结果表明,该方法是准确的,并提供了令人满意的分割结果与最小的用户交互的医学以及自然图像。
2016-06-05 cs.CV cs.HC
An Interactive Explanatory AI System for Industrial Quality Control
Fraunhofer Institute for Integrated Circuits IIS(弗劳恩霍夫集成电路研究所IIS)
基于机器学习的图像分类算法,如深度神经网络方法,将越来越多地用于关键环境,如工业中的质量控制,其中决策的透明度和可理解性至关重要。因此,我们的目标是将缺陷检测任务扩展到一个交互式的人在环的方法,使我们能够整合丰富的背景知识和复杂关系的推理超越传统的纯数据驱动的方法。我们提出了一种方法,在工业质量控制设置的分类,结合(可解释的)知识驱动和数据驱动的机器学习方法,特别是归纳逻辑程序设计和卷积神经网络的优势,与人类的专业知识和控制的交互式支持系统。由此产生的系统可以帮助领域专家进行决策,为结果提供透明的解释,并整合来自用户的反馈;从而减少人类的工作量,同时尊重他们的专业知识,而不会消除他们的代理或责任。
2022-03-17 cs.CV cs.HC cs.LG
Augmenting Decision Making via Interactive What-If Analysis
Sigma Computing(西格玛计算);University of Maryland(马里兰大学);University of Amsterdam(阿姆斯特丹大学);University of Massachusetts(马萨诸塞大学)
业务数据分析的基本目标是使用数据改进业务决策。业务用户通常会做出决策以实现关键绩效指标(KPI),例如增加客户保留率或销售额,或降低成本。为了发现假设为驱动因素的数据属性与对应于感兴趣的KPI的数据属性之间的关系,业务用户目前需要执行冗长的探索性分析。这涉及考虑多种组合和场景,并相应地对数据执行切片、切割和变换,例如,分析一年中各季度的客户保留率,或建议跨客户阶层的最佳媒体渠道。然而,数据集日益复杂,加上人类的认知局限性,使得即使是简单的数据集,也很难进行多个假设。因此,在心理上进行这样的分析是很困难的。现有的商业工具要么提供部分解决方案,要么无法完全满足商业用户的需求。在这里,我们认为四个功能,使业务用户交互式学习和推理的数据属性集之间的关系,从而促进数据驱动的决策。我们在SystemD中实现了这些功能,SystemD是一个交互式可视化数据分析系统,使业务用户能够通过提出假设问题来实验数据。我们通过三个业务用例来评估该系统:营销组合建模、客户保留分析和交易完成分析,并报告来自多个业务用户的反馈。用户发现SystemD的功能非常有用,可以围绕他们感兴趣的KPI快速测试和验证他们的假设,解决他们未满足的分析需求。反馈还表明,可以增强用户体验设计,以进一步提高这些功能的可理解性。
2022-02-09 cs.DB cs.HC cs.LG
Think, Act, and Ask: Open-World Interactive Personalized Robot Navigation
University of Michigan(密歇根大学)
针对零样本目标导航忽略自然语言交互与个性化识别的问题,提出ORION框架,利用大语言模型进行序列决策,协同感知、导航与通信模块,实现开放世界交互式个性化机器人导航,并验证了用户反馈对性能的提升作用。
2024-05-29 cs.CL cs.HC cs.RO
Enhanced Automated Quality Assessment Network for Interactive Building Segmentation in High-Resolution Remote Sensing Imagery
Wuhan University(武汉大学);Hubei Luojia Laboratory(湖北珞珈实验室)
针对高分辨率遥感影像交互式建筑物分割的质量评估难题,提出 IBS-AQSNet,通过双骨干特征提取、特征融合及多尺度差分解码器识别漏分割与误分割区域,并在 EVLab-BGZ 数据集上验证其优越性。
2024-01-18 cs.CV cs.HC
Artificial Intelligence (AI) and IT identity: Antecedents Identifying with AI Applications
University of Michigan(密歇根大学)
在人工智能和自动化时代,机器已经接管了许多关键的管理任务。用人工智能系统取代管理人员可能会对员工的工作成果产生负面影响。目前还不清楚工人是否从与人工智能系统的关系中获得了同样的好处,这就提出了一个问题:人工智能系统与工人之间的关系在多大程度上影响了工人的工作成果?我们利用IT身份来了解AI系统对工作绩效的影响。从这一理论角度出发,我们提出了一个研究模型,并对97名MTurk工人进行了调查,以检验模型。研究结果表明,工作角色认同和组织认同是认同人工智能系统的关键决定因素。此外,研究结果表明,与人工智能系统的识别确实提高了工作绩效。
2020-05-15 cs.AI cs.CY cs.HC
Data Programming by Demonstration: A Framework for Interactively Learning Labeling Functions
Megagon Labs(Megagon实验室);University of Waterloo(滑铁卢大学);Georgia Tech(佐治亚理工学院)
数据编程是一种程序化的弱监督方法,可以有效地管理大规模标记的训练数据。然而,编写数据程序(标记函数)需要编程素养和领域专业知识。许多主题专家既不精通编程,也没有时间有效地编写数据程序。此外,无论一个人在编码或机器学习方面的专业知识如何,通过枚举规则和阈值将领域专业知识转换为标记函数不仅耗时而且固有地困难。在这里,我们提出了一个新的框架,数据编程演示(DPBD),生成标签规则,使用用户的交互式演示。DPBD旨在减轻用户编写标记函数的负担,使他们能够专注于更高级别的语义,例如识别标记任务的相关信号。我们操作我们的框架与统治者,一个交互式系统,综合标签规则的文档分类,使用跨级注释的用户文档的例子。我们通过一项用户研究将Ruler与传统的数据编程进行了比较,该研究由10位数据科学家为情感和垃圾邮件分类任务创建标签函数。我们发现,统治者更容易使用和学习,并提供更高的整体满意度,同时提供判别模型的性能相比,通过传统的数据编程实现。
2020-09-15 cs.CL cs.DB cs.HC
Interactive user interface based on Convolutional Auto-encoders for annotating CT-scans
Örebro University(厄勒布鲁大学)
高分辨率计算机断层扫描(HRCT)是间质性肺疾病最重要的成像方式,放射科医生感兴趣的是确定某些模式,以及它们的体积和区域分布。机器学习的使用可以通过执行语义分割来帮助放射科医生完成这两项任务。在本文中,我们提出了一个互动的注释工具,语义分割,协助放射科医生在标记CT扫描。由六位放射科医师和放射科住院医师对注释工具进行评估,将健康肺部和HRCT图像中的网状模式进行分类。通过系统可用性评分(SUS)和使用工具注释CT容积的阅片师的交互信息评价系统的可用性。结果发现,体验到的可用性以及用户与系统的交互方式在用户之间存在差异。较高的SUS分数是由用户给出的,这些用户将学习速度优先于模型准确性,并且在手动标记上花费的时间较少,而是利用GUI提供的建议。对阅片者之间注释差异的分析显示,肺纤维化中健康和受累肺实质的分类基本一致(Cohen kappa=0.69)。读者之间的差异是对地面实况定义的挑战。
2019-04-26 cs.CV cs.HC cs.LG
Intelligent Co-Design: An Interactive LLM Framework for Interior Spatial Design via Multi-Modal Agents
Hong Kong Center for Construction Robotics(香港建设机器人中心)
本文提出一种基于LLM的多模态多代理框架,通过自然语言描述和图像动态生成3D设计,提升用户参与度和设计效率。
2026-03-16 cs.AI cs.HC cs.MA