A Hierarchical Variable Autonomy Mixed-Initiative Framework for Human-Robot Teaming in Mobile Robotics
University of West Attica(西阿提卡大学);University of Manchester(曼彻斯特大学);University of Birmingham(伯明翰大学)
本文提出了一种混合主动(MI)框架,用于解决远程人类操作员和人工智能智能体之间的控制权限转移问题时,合作控制移动机器人。我们的分层专家指导混合主动控制切换器(HierEMICS)利用人类操作员的状态和意图的信息。控制切换策略是基于一个关键层次。在高保真模拟灾难响应和远程检查的情况下进行了实验评估,比较HierEMICS与最先进的专家指导的混合主动控制切换器(EMICS)的背景下,移动机器人导航。结果表明,HierEMICS减少了人类和人工智能智能体之间的控制冲突,这是一个根本的挑战,在MI控制范式,也在相关的共享控制范式。此外,我们提供了统计学上显著的证据,证明航行安全性得到了改善(即,更少的冲突)、LOA切换效率以及用于控制减少的冲突。
2022-11-25 cs.AI cs.HC cs.MA
Human operator cognitive availability aware Mixed-Initiative control
University of West Attica(西阿提卡大学);University of Birmingham(伯明翰大学)
本文提出了一种用于远程操作移动机器人的认知可用性感知混合主动控制器。控制器可以在不同的自主级别(LOA)之间进行动态切换,由人工智能或人类操作员发起。控制器利用最先进的计算机视觉方法和现成的网络摄像头来推断操作员的认知可用性并通知AI发起的LOA切换。这是一个质的进步,比以前的混合主动(MI)控制器。该控制器在灾难响应实验中进行评估,在该实验中,人类操作员必须与远程机器人进行探索任务。MI系统被证明是有效地协助运营商,表现出定量和定性的结果和工作量。此外,评估复杂的MI控制器的实验困难的一些见解。
2021-08-26 cs.AI cs.HC cs.MA
Story Designer: Towards a Mixed-Initiative Tool to Create Narrative Structures
Malmö University(马尔默大学);New York University(纽约大学)
叙事是游戏的主要组成部分,其设计在识别,编码,解释,评估和生成它们时提出了挑战。解决这个问题的一种方法是在更抽象的层面上进行叙事设计,比如叙事结构。本文介绍了故事设计师,一个混合主动的共同创造的叙事结构工具,建立在进化地牢设计师(EDD)的顶部,使用比喻,在许多媒体类型的叙事约定,设计这些结构。故事设计师使用比喻作为叙事设计师的构建块,通过将它们在称为叙事图的图形结构中相互连接来组成完整的叙事结构。我们的混合主动方法允许设计师手动创建他们的叙事图,并使用这些图形为底层进化算法提供信息,使用MAP-Elites创建质量多样化的建议。设计师可以直观地表示建议,以进行比较和评估,然后可以将其纳入设计中,用于进一步的手册版本。同时,我们使用EDD中设计的层次作为叙事结构的约束,将层次设计和叙事交织在一起。我们评估这些限制和系统的适应性和表现力的影响,从而在一个潜在的工具,以创建叙事结构相结合的水平设计方面的叙述。
2022-10-11 cs.AI cs.HC
DocuTeam: Mixed-Initiative Multi-Agent Discussions around Evolving Documents
KAIST(韩国科学技术院);Seoul National University(首尔国立大学);SkillBench
DocuTeam提出混合主动多智能体讨论系统,用户与智能体均可发起对话,智能体监控文档变化主动引导讨论,实验证明其提升结果新颖性、相关性和具体性且不增加认知负荷。
2026-09-25 cs.AI cs.HC
ScholarMate: A Mixed-Initiative Tool for Qualitative Knowledge Work and Information Sensemaking
Computer Science, University of Toronto(计算机科学,多伦多大学)
ScholarMate是一种结合AI辅助与人类监督的交互式系统,旨在提升定性分析的效率和可解释性,通过动态文本片段管理与基于证据的主题命名,支持人机协作的意义建构任务。
2026-02-04 cs.AI cs.HC
PromptCrafter: Crafting Text-to-Image Prompt through Mixed-Initiative Dialogue with LLM
KAIST(韩国科学技术院)
针对文生图提示词创建效率低的问题,提出混合主动系统PromptCrafter,通过与LLM的迭代对话、澄清问题回应及历史回退功能,帮助用户高效探索模型能力并构建提示词,同时介绍了其设计与后续计划。
2023-07-18 cs.AI cs.HC
HiLSVA: Design and Evaluation of a Human-in-the-Loop Agentic System for Scientific Visualization
Department of Computer Science and Engineering, University of Notre Dame(Notre Dame 大学计算机科学与工程系)
提出HiLSVA,一种人机协同智能系统,通过计划优先的多智能体架构、显式人类监督和逐步溯源,支持混合主动的科学可视化工作流,增强而非替代人类分析推理。
2026-07-20 cs.AI cs.GR cs.HC
A Mixed Initiative Semantic Web Framework for Process Composition
School of Computer Science, Carnegie Mellon University(卡内基梅隆大学计算机科学学院);SAP(思爱普公司)
语义Web技术提供了这样的前景:无论是在给定的组织内还是跨多个组织,都可以显著减少集成现有企业功能以支持新的复合流程所需的工作量。这一领域的大量工作旨在完全自动化这一过程,同时假设所有功能都已经以具有丰富和准确注释的语义Web服务的形式封装。在本文中,我们认为这种假设往往是不现实的。相反,我们描述了一个混合的主动框架,语义Web服务发现和组合,旨在灵活地交错人类的决策和自动化功能的环境中,注释可能是不完整的,甚至不一致的。
2020-06-03 cs.AI cs.SE
Mixed-Initiative Context: Structuring and Managing Context for Human-AI Collaboration
George Mason University(乔治梅森大学);University of California, San Diego(加利福尼亚大学圣迭戈分校);City University of Hong Kong(香港城市大学)
本文提出混合发起式上下文,通过结构化和可操作的交互对象,动态组织协作流程中的上下文,提升人机协作效率与可控性。
2026-04-08 cs.AI cs.HC
Specifying and Staging Mixed-Initiative Dialogs with Program Generation and Transformation
University of Dayton(代顿大学)
灵活的人机对话,如在信息亭和智能手机应用程序中使用的对话,是具有挑战性的,因为每个用户可能会引导对话的许多不同的方向。本研究的目的是改善对话规范和实现。为了做到这一点,我们丰富了一个符号的基础上的概念,从程序设计语言,特别是部分评估,指定各种主动报告,混合主动对话框中的一个简洁的表示,作为一个设计的对话实现。我们还建立了一个对话挖掘系统,从需求中提取这种符号的规范。为了证明这样的规范提供了一个对话实现的设计,我们建立了一个系统,自动生成一个对话的实现,称为stager,从it.These两个组件构成一个对话建模工具包,自动对话规范和实现。这些结果提供了一个概念的证明,并展示了从程序设计语言的角度研究对话规范和实现。在旅游、教育和医疗保健等领域,对话框无处不在,再加上对智能手机应用程序的需求,为进一步研究这些结果提供了一个前景。
2015-12-21 cs.AI cs.HC cs.PL
Neural Generation Meets Real People: Towards Emotionally Engaging Mixed-Initiative Conversations
Stanford NLP(斯坦福自然语言处理实验室)
我们将开放域对话代理Chirpy Cardinal作为2019年Alexa Prize竞赛的研究平台。构建一个开放领域的社交机器人,与真实的人交谈是具有挑战性的-这样的系统必须满足多种用户期望,如广泛的世界知识,对话风格和情感联系。我们的社交机器人按照用户的要求与他们互动-优先考虑他们的兴趣、感受和自主权。因此,我们的社交机器人提供了一个响应式的、个性化的用户体验,能够明智地谈论各种各样的话题,也能同情地谈论日常生活。神经生成在实现这些目标中起着关键作用,为我们的对话和情感基调提供了支柱。在比赛结束时,Chirpy Cardinal以3.6/5.0的平均评分进入决赛,平均对话持续时间为2分16秒,90%的持续时间超过12分钟。
2020-09-05 cs.AI cs.CL
RADAR-X: An Interactive Mixed Initiative Planning Interface Pairing Contrastive Explanations and Revised Plan Suggestions
Arizona State University(亚利桑那州立大学)
决策支持系统力求促成知情决策。近年来,自动化规划技术已被用于使此类系统能够更好地帮助人在回路中。这种决策支持系统的中心思想是用自动规划技术增强人在回路中的能力,并提高决策的质量。除了提供规划支持外,有效的决策支持系统必须能够根据特定的用户查询为其最终用户提供直观的解释。以此为动机,我们提出了我们的决策支持系统雷达-X展示的能力,让用户在一个互动的解释性对话,首先使他们能够指定一个替代建议的决定(我们称之为箔),然后提供对比解释这些用户指定的箔,帮助用户理解为什么选择了一个特定的计划替代(或箔)。此外,该系统使用此对话,以引起用户的潜在偏好,并通过三种不同的交互策略提供修改后的计划建议。
2022-06-03 cs.AI
Beyond Prompts: Exploring the Design Space of Mixed-Initiative Co-Creativity Systems
School of Interactive Computing(交互计算学院);College of Computing(计算学院);Georgia Institute of Technology(佐治亚理工学院)
本文提出人类-AI混合主动共创系统的意图沟通设计空间,并通过185人实验表明更广覆盖可提升体验与目标达成,同时揭示专业群体偏好差异及可审查性、可解释性等新维度。
2023-05-03 cs.AI
Designer Modeling through Design Style Clustering
Malmö University(马尔默大学);New York University(纽约大学)
我们建议在混合主动游戏内容创作工具中建模设计师风格作为原型设计痕迹。这些设计痕迹被公式化为设计风格之间的过渡;这些设计风格反过来又通过聚类所有中间设计来找到,从而形成完整的设计。这种方法在Evolutionary Dungeon Designer中实现,这是一个混合主动系统的研究平台,用于创建冒险和地牢爬虫游戏。我们以房间设计风格的形式呈现结果,可以对其进行分析以更好地了解用户设计的房间类型,以及这些房间之间的原型序列的形式,即,设计师人物角色。
2022-01-20 cs.AI cs.HC
Analysing the Effect of Clarifying Questions on Document Ranking in Conversational Search
University of Amsterdam(阿姆斯特丹大学)
最近对会话搜索的研究强调了混合主动性在会话中的重要性。为了实现混合主动性,系统应该能够向用户提出澄清问题。然而,在对文档进行排名时,还没有分析基本排名模型(支持对话式搜索)解决这些澄清问题和答案的能力。为此,我们分析了一个词汇排名模型的会话搜索数据集的性能与澄清的问题。我们调查,定量和定性,澄清问题和用户的答案的不同方面如何影响排名的质量。我们认为,需要有一些细粒度的治疗整个会话轮的澄清,明确的反馈的基础上,这是目前在这种混合的主动设置。根据我们的研究结果,我们引入了一个简单的基于知识的词汇基线,显着优于现有的天真基线。我们的工作旨在提高我们对这一特定任务中存在的挑战的理解,并为设计更合适的会话排名模型提供信息。
2020-08-11 cs.AI cs.CL cs.HC
GPT for Games: A Scoping Review (2020-2023)
College of Art, Media, and Design(艺术、媒体与设计学院);Northeastern University(东北大学)
本文通过综述55篇文章,系统梳理了2020至2023年GPT在游戏中的五类关键应用,并为各领域提出未来研究方向,以推动游戏开发与玩家体验的创新。
2024-04-27 cs.AI cs.HC
Creative Wand: A System to Study Effects of Communications in Co-Creative Settings
Georgia Institute of Technology(佐治亚理工学院)
最近的神经生成系统已经证明了程序生成游戏内容,图像,故事等的潜力。然而,大多数神经生成算法是“不受控制的”,在这个意义上,用户在最初的提示规范之外的创造性决策中几乎没有发言权。共同创造的混合主动系统需要以用户为中心的方法来影响算法,特别是当用户不太可能拥有机器学习专业知识时。共同创造系统的关键是能够将想法和意图从用户传达给代理,以及从代理传达给用户。共同创造人工智能的关键问题包括:用户如何表达他们的创造意图?创造性的人工智能系统如何传达他们的信念,解释他们的行动,或指导用户代表他们采取行动?什么时候创造性的人工智能系统应该采取主动?这些问题的答案将使我们能够开发出更好的共同创造系统,使人类更有能力表达他们的创造意图。我们介绍CREATIVE-WAND,这是一个可定制的框架,用于调查共同创造的混合倡议生成。CREATIVE-WAND允许将生成模型和人类-智能体通信通道即插即用注入到基于聊天的界面中。它提供了许多维度,AI生成器和人类可以在共同创造过程中进行交流。我们说明了创意魔杖框架,用它来研究一个维度的共同创造性的沟通全球与本地的创作意图规范的用户在讲故事的背景下。
2022-08-04 cs.AI cs.HC
Empowering Quality Diversity in Dungeon Design with Interactive Constrained MAP-Elites
Malmö University(马尔默大学);New York University(纽约大学)
我们建议使用质量多样性算法的混合主动游戏内容生成。这个想法是作为进化地牢设计器的一个新功能实现的,进化地牢设计器是一个混合主动设计的系统,你通常会在电脑角色扮演游戏中找到这种类型的关卡。该功能使用MAP-Elites算法,这是一种照明算法,它将种群划分为多个单元,具体取决于它们沿多个行为维度的值。用户可以灵活地、动态地选择相关的变异维度,并将算法产生的建议融入到地图设计中。同时,人类执行的任何修改都会反馈到MAP-精英中,并用于生成进一步的建议。
2019-06-12 cs.AI cs.NE
Making Multimodal LLMs Reliable Chart Data Extractors: A Benchmark and Training Framework
Zhejiang University(浙江大学);Guangdong University of Technology(广东工业大学)
针对多模态大语言模型在图表数据提取中数值精度不足的问题,提出渐进式学习训练框架,显著提升7B参数模型的准确率,达到最优性能。
2026-06-29 cs.AI cs.HC
MineNPC-Task: Task Suite for Memory-Aware Minecraft Agents
Microsoft(微软);Microsoft Research(微软研究院);Microsoft Research United States(微软研究院美国)
MineNPC-Task通过与专家玩家共同游戏生成任务,评估记忆感知Minecraft代理在开放世界中的表现,发现代码执行等任务中的崩溃模式,并提出改进内存持久性的需求。
2026-01-09 cs.AI
Integrating Automated Play in Level Co-Creation
Georgia Institute of Technology(佐治亚理工学院);University of Alberta(阿尔伯塔大学);Worcester Polytechnic Institute(伍斯特理工学院)
在关卡共同创建中,AI和人类共同创建一个视频游戏关卡。关卡共同创造中的一个开放性挑战是如何授权人类用户以确保最终关卡的特定质量,例如挑战。对于视频游戏关卡的自动化路径和自动化游戏测试已经有了大量的研究,但没有研究如何将这些整合到工具中。在这个演示中,我们提出了一个改进的Morai Maker混合主动水平编辑器的超级马里奥兄弟,包括自动路径和挑战近似功能。
2019-11-20 cs.AI cs.HC
Pitako -- Recommending Game Design Elements in Cicero
New York University(纽约大学);University of Southern California(南加州大学)
推荐系统在电子商务中得到了广泛而成功的应用。可以用于设计吗?在本文中,我们介绍Pitako 1,一个工具,应用推荐系统的概念,以协助人类的创造性任务。更具体地说,Pitako通过将人类设计的游戏作为输入来提供建议,并推荐力学和动力学作为输出。Pitako作为一个新系统在基于人工智能的混合主动游戏设计助手Cicero中实现。本文讨论了实现Pitako的动机及其技术细节,并提供了使用示例。我们相信Pitako可以影响推荐系统的使用,帮助人类完成日常任务。
2019-07-08 cs.AI cs.HC cs.IR
SuSketch: Surrogate Models of Gameplay as a Design Assistant
Institute of Digital Games, University of Malta(马耳他大学数字游戏研究所)
本文介绍了SuSketch,一个第一人称射击游戏关卡的设计工具。SuSketch为设计师提供了两个特定角色类的竞争玩家的游戏预测。该界面允许设计者与人工智能创建者并肩工作,并接收各种类型的反馈,例如路径信息,完整播放中玩家之间的预测平衡,或玩家死亡位置的预测热图。系统还主动设计等级和职业配对的替代方案,并将其作为改善游戏预测平衡的建议呈现给设计师。SuSketch提供了一种将机器学习集成到混合主动共同创造工具中的新方法,作为在大型人工游戏轨迹语料库上训练的人类游戏的替代品。一项针对16名游戏开发者的用户研究表明,该工具易于使用,但也强调了使SuSketch更易于访问和更易于解释的必要性。
2021-03-22 cs.AI cs.HC cs.LG
Lode Encoder: AI-constrained co-creativity
New York University(纽约大学)
本文提出Lode Encoder,一个为Lode Runner设计的游戏化混合主动关卡创建系统,通过多个自编码器生成风格相近的关卡版本,并允许用户通过“绘制”建议来构建和编辑关卡,以鼓励设计师探索新可能性。
2023-08-02 cs.AI cs.LG
Scout: Rapid Exploration of Interface Layout Alternatives through High-Level Design Constraints
Paul G. Allen School(保罗·G·艾伦学院);University of Washington(华盛顿大学);The Information School(信息学院)
虽然探索替代方案是创建更好的界面设计的基础,但当前创建替代方案的过程通常是手动的,限制了设计师可以探索的替代方案。我们提出了侦察,一个系统,帮助设计师快速探索的替代方案,通过混合主动互动与高层次的约束和设计反馈。现有的基于约束的布局系统使用低级空间约束,并且通常产生单个设计。为了支持设计人员对备选方案的探索,Scout引入了基于设计概念的高级约束(例如,语义结构、强调、顺序),并将它们形式化为求解器用于生成潜在布局的低级空间约束。在对18名界面设计师的评估中,我们发现Scout:(1)帮助设计师创建空间上更多样化的布局,其质量与使用基线工具创建的布局相似;(2)可以帮助设计师避免线性设计过程,并快速构思他们认为自己不会想到的布局。
2020-01-15 cs.AI cs.HC
A Controllable Co-Creative Agent for Game System Design
Georgia Institute of Technology(佐治亚理工学院)
针对游戏共创系统局限于特定类型的问题,提出一种基于类状态机组件和资源流的可控共创智能体,通过可控指标、设计评估器及进化设计平衡器与生成器,实现广泛适用的游戏系统设计并支持人类控制。
2023-08-04 cs.AI