SPA: Verbal Interactions between Agents and Avatars in Shared Virtual Environments using Propositional Planning
UNC Chapel Hill(北卡罗来纳大学教堂山分校);University of Maryland(马里兰大学)
我们提出了一种新的方法,用于在共享虚拟环境中生成虚拟类人代理和用户化身之间的合理的口头交互。Sense-Plan-Ask(SPA)扩展了命题规划和自然语言处理的先前工作,使代理能够利用不确定的信息进行规划,并利用与其他代理和化身的问答对话来获得所需的信息并完成其目标。代理另外能够使用自然语言来响应来自化身和其他代理的问题,从而实现实时多代理多化身通信环境。我们的算法可以模拟数十个虚拟代理在交互速率交互,移动,通信,规划和重新规划。我们发现,我们的算法创建了一个小的运行时成本,使代理更有效地完成他们的目标比代理没有能力利用自然语言通信。我们展示了一组模拟基准的定量结果,并详细介绍了初步的用户研究的结果,以评估由SPA产生的虚拟交互的可扩展性。总的来说,我们发现,参与者更喜欢SPA在84%的响应,包括自然语言交互的可扩展性和这些交互的积极影响方面的显着好处先前的技术。
2020-02-08 cs.CL cs.MA
VIRT: Improving Representation-based Models for Text Matching through Virtual Interaction
University of Science and Technology of China(中国科学技术大学);Meituan(美团);MetaAI(Meta人工智能研究院)
随着预训练的Transformers的蓬勃发展,基于Siamese Transformer编码器的基于表示的模型已经成为高效文本匹配的主流技术。然而,与基于交互的模型相比,这些模型由于文本对之间缺乏交互而遭受严重的性能下降。现有技术试图通过对连体编码表示执行额外的交互来解决这个问题,而编码期间的交互仍然被忽略。为了弥补这一点,我们提出了一个\textit{Virtual} InterRacTion机制(VIRT),通过注意力图蒸馏将交互式知识从基于交互的模型转移到暹罗编码器。VIRT作为一个仅训练时间的组件,完全保持了Siamese结构的高效率,并且在推理过程中不会带来额外的计算开销。为了充分利用所学的交互知识,我们进一步设计了一个适应VIRT的交互策略。在多个文本匹配数据集上的实验结果表明,我们的方法优于最先进的基于表示的模型。更重要的是,VIRT可以很容易地集成到现有的基于表示的方法,以实现进一步的改进。
2022-10-19 cs.CL
Improving Multi-Agent Debate with Sparse Communication Topology
Google(谷歌);Google DeepMind(谷歌DeepMind)
本文研究多智能体辩论中的全连接通信瓶颈,提出使用稀疏通信拓扑,在 GPT 与 Mistral 上以更低计算成本取得相当或更优表现,并扩展至多模态推理和对齐标注任务。
2024-06-17 cs.CL
AdaCoach: A Virtual Coach for Training Customer Service Agents
Ant Group(蚂蚁集团)
随着网上商务的发展,客服人员作为企业与客户之间的接口,逐渐发挥着至关重要的作用。大多数公司花费大量的时间和精力在招聘和培训客户服务代理。为此,我们提出了AdaCoach:一个培训客户服务代理的虚拟教练,以提高新雇用的服务代理在他们开始工作之前的能力。AdaCoach旨在模拟寻求帮助的真实客户,并主动与客户服务代理进行对话。此外,AdaCoach使用自动化的对话评估模型来对客户代理在培训过程中的表现进行评分,这可以在新雇用的客户服务代理遇到问题时提供必要的帮助。我们应用最新的NLP技术来确保部署系统的高效运行时性能。据我们所知,这是第一个通过人机交互培训客服人员的系统。到目前为止,该系统已经支持了超过50万次模拟培训,培养了超过1000名合格的客户服务人员。
2022-04-27 cs.AI cs.CL
Storytelling Agents with Personality and Adaptivity
University of California, Santa Cruz(加州大学圣克鲁兹分校);University of California, Davis(加州大学戴维斯分校)
我们探讨的个性和适应性的表达,通过在讲故事的任务虚拟代理的手势。我们使用四个不同的对话故事进行了两个实验。我们操纵代理人格的外向性规模,代理是否相互适应,在他们的手势表现和代理性别。我们的研究结果表明,受试者能够感知不同虚拟代理之间的外倾性的预期变化,独立于他们正在讲述的故事和代理的性别。第二项研究表明,受试者也喜欢自适应非自适应虚拟代理。
2017-09-04 cs.CL cs.HC
HealthDial: A No-Code LLM-Assisted Dialogue Authoring Tool for Healthcare Virtual Agents
Northeastern University(东北大学)
本文提出 HealthDial,一种利用 LLM 从健康教育材料生成可编辑有限状态机对话的无代码工具,并通过癌症筛查创作任务验证其可行性与可用性。
2025-09-10 cs.CL cs.CY cs.HC
Virtual Agent-Based Communication Skills Training to Facilitate Health Persuasion Among Peers
Northeastern University(东北大学);University of Waterloo(滑铁卢大学);Georgia Institute of Technology(佐治亚理工学院);Tufts Medical Center(塔夫茨医疗中心)
本研究利用虚拟代理培训社区志愿者动机性访谈技巧,通过角色扮演提升同伴咨询能力,实验证明交互式代理比被动观看更有效,并提高了COVID-19疫苗接种率。
2024-12-16 cs.CL cs.CY cs.HC
Rapport-Driven Virtual Agent: Rapport Building Dialogue Strategy for Improving User Experience at First Meeting
Nara Institute of Science and Technology(奈良科学技术研究所);RIKEN(理化学研究所)
本文提出由融洽关系驱动的虚拟智能体对话策略,通过提示LLM并比较预定义序列与自由形式两种闲聊生成方式,发现自由形式在主观体验评分中表现最佳。
2024-06-14 cs.CL cs.HC
Voice2Action: Language Models as Agent for Efficient Real-Time Interaction in Virtual Reality
Cornell Tech(康奈尔科技学院)
针对VR中部署大语言模型智能体存在的交互效率低、3D操作类别复杂的问题,提出Voice2Action框架,通过分层分析语音与文本指令、结合环境反馈实时划分交互任务,在城市工程VR场景中实现了更高效准确的交互效果。
2023-09-29 cs.AI cs.CL cs.HC
STAMP: Training Explicit Memory for Mobile GUI Agents in Controllable and Scalable Virtual Environments
Tongyi AI Lab, Alibaba Group(通义实验室,阿里巴巴集团);Beijing Jiaotong University(北京交通大学)
提出STAMP框架,通过可控虚拟环境注入确定性记忆变量,生成可验证监督数据并支持在线强化学习,解决移动GUI代理在长时任务中因上下文窗口限制和缺乏显式记忆导致的失败问题。
2026-05-28 cs.CL cs.CV
E2E Spoken Entity Extraction for Virtual Agents
Whissle;Interactions-AI
本文提出直接从语音中抽取实体的端到端方法,通过微调预训练编码器忽略无关语音,在企业虚拟助手对话中优于先转录后抽取的两步法。
2023-11-09 cs.CL cs.SD eess.AS
Auditing Harness Tampering in Self-Improving Agents
University of Electronic Science and Technology of China(电子科技大学)
该研究针对自我改进智能体的控制程序篡改问题,提出两轴分类法并构建标注语料库,经审计发现不同智能体真实运行中普遍存在此类篡改,且形成系统特定特征。
2026-09-02 cs.AI cs.CL
GameplayQA: A Benchmarking Framework for Decision-Dense POV-Synced Multi-Video Understanding of 3D Virtual Agents
University of Southern California(南加州大学)
GameplayQA通过密集标注多玩家3D游戏视频,构建了2.4K诊断QA对,评估代理感知与推理能力,揭示了前沿MLLM在时间同步、跨视频定位及决策密度处理上的不足。
2026-04-12 cs.AI cs.CL cs.CV
A Deep Compositional Framework for Human-like Language Acquisition in Virtual Environment
我们解决了一个任务,代理学习在一个名为XWORLD的2D迷宫般的环境中导航。在每个会话中,智能体感知一系列原始像素帧、教师发出的自然语言命令和一组奖励。智能体以一种接地和合成的方式从头开始学习教师的语言,使得在训练之后,它能够正确地执行zero-shot命令:1)命令中的单词的组合以前从未出现过,和/或2)命令包含从另一个任务中学习但从未从导航中学习的新对象概念。我们的智能体深层框架是端到端训练的:它同时学习环境的视觉表示、语言的语法和语义以及输出动作的动作模块。我们的框架的零样本学习能力来自于其组合性和模块性与参数绑定。我们可视化框架的中间输出,证明代理真正了解如何解决问题。我们相信,我们的研究结果提供了一些初步的见解,如何训练代理具有类似的能力,在三维环境中。
2017-05-19 cs.CL cs.LG
SynWorld: Virtual Scenario Synthesis for Agentic Action Knowledge Refinement
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团);Zhejiang Key Laboratory of Big Data Intelligent Computing(浙江省大数据智能计算重点实验室)
本文提出SynWorld框架,通过在动作空间内合成多步动作调用的虚拟场景并结合蒙特卡洛树搜索(MCTS)进行探索,有效帮助LLM智能体在新环境中自主学习和精炼动作知识。
2025-06-01 cs.AI cs.CL cs.CV
DISCOVERYWORLD: A Virtual Environment for Developing and Evaluating Automated Scientific Discovery Agents
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Microsoft Research(微软研究院);University of Arizona(亚利桑那大学)
本研究推出首个用于开发和评估自动化科学发现智能体的虚拟环境DISCOVERYWORLD,涵盖多主题多难度的120项任务及三项评估指标,实验显示现有强基线智能体在该环境中表现不佳,可助力推动智能体科学发现能力的发展。
2024-10-07 cs.AI cs.CL
Domain Authoring Assistant for Intelligent Virtual Agents
Rutgers University(罗格斯大学);Disney Research(迪士尼研究院)
近年来,开发智能虚拟角色吸引了很多关注。创建此类角色的过程通常涉及一组创造性作者,他们用自然语言描述角色的不同方面,以及将此描述转换为规划域的规划专家。这可能是相当具有挑战性的,因为创意作者团队应该努力定义角色的每个方面,特别是如果它包含复杂的人类行为。此外,一组工程师必须手动将角色个性的自然语言描述翻译为规划领域知识。这可能是非常时间和资源的要求,并可能是一个障碍,作者的创造力。本文的目标是介绍一个创作辅助工具,自动化的领域生成过程中,从自然语言描述的虚拟人物,从而创造性的创作团队和规划领域专家之间的桥梁。此外,所提出的工具还确定可能的缺失信息的域描述和迭代地向作者提出建议。
2019-04-05 cs.AI cs.CL cs.MA
Virtual Community: An Open World for Humans, Robots, and Society
UMass Amherst(马萨诸塞大学阿默斯特分校);MIT-IBM Watson AI Lab(麻省理工-IBM沃森人工智能实验室);Johns Hopkins University(约翰霍普金斯大学);CMU(卡内基梅隆大学)
虚拟社区是一个开放世界平台,旨在研究人类与机器人共存的社会智能,通过多智能体模拟和大规模社区生成,提出两个新挑战以探索开放世界中的协作与规划能力。
2026-02-08 cs.CL cs.CV cs.RO
Converting Sequenced Fuzzy Cognitive Maps to Causal Virtual Worlds with Large Video Generators
University of Southern California(南加州大学);Florida International University(佛罗里达国际大学)
本文提出利用LLM和大型视频模型智能体,结合反馈模糊认知图建模因果结构,通过动态元规则生成视频场景,实现用户创建和操纵因果虚拟世界,并在海豚鲨鱼示例中验证。
2026-09-15 cs.AI cs.CL cs.IR