Extending Neural Generative Conversational Model using External Knowledge Sources
McGill University(麦吉尔大学);Facebook AI Research(Facebook人工智能研究院)
由于大型语料库的可用性,连接主义方法在会话代理中的使用进展迅速。然而,目前的生成性对话模式往往缺乏连贯性,内容贫乏。这项工作提出了一个架构,将非结构化的知识源,以提高下一个话语预测聊天类型的生成对话模型。我们专注于使用Reddit News数据集训练的序列到序列(Seq2Seq)会话代理,并考虑从维基百科摘要以及NELL知识库中整合外部知识。我们的实验表明,在利用外部知识时,训练时间更快,困惑度更高。
2018-09-14 cs.AI cs.CL
CHAI-DT: A Framework for Prompting Conversational Generative AI Agents to Actively Participate in Co-Creation
IBM(国际商业机器公司)
本文提出CHAI-DT提示框架,使对话式生成AI代理(如ChatGPT)能借鉴人际促进方法,积极参与设计思维共同创造,实验证明其能提供情境化、有用且创新的输入,并讨论了相关益处、局限与未来方向。
2023-05-05 cs.AI cs.HC
HiveTraceGuard-Pro: A Compact Generative Guardrail for Prompt Injection, Jailbreaks, and Adversarial Obfuscation
HiveTraceLab(蜂巢追踪实验室)
本研究提出HiveTraceGuard-Pro,一款基于Qwen3-0.6B微调的0.6B参数生成式护栏,在俄语提示注入等任务中表现优异,延迟最低,相关权重已开源。
2026-09-02 cs.AI cs.CR
Bounded Minds, Generative Machines: Envisioning Conversational AI that Works with Human Heuristics and Reduces Bias Risk
The University of Oklahoma(俄克拉荷马大学)
本文提出对话AI应与人类启发式方法协同工作,以减少偏见风险并提升决策质量。
2026-01-19 cs.AI cs.ET cs.HC
Safety Reconstructed: Generative Modeling via Masked Diffusion Builds Strong Safety Guardrails
University of Neuchâtel(纳沙泰尔大学);Delft University of Technology(代尔夫特理工大学);IBM Research(IBM研究);University of Turin(都灵大学)
针对现有安全护栏模型训练目标狭窄、依赖捷径特征的问题,本文提出LLaDA-Guard,利用掩码扩散语言模型进行类条件重建,将监督扩展到每个令牌,在多个基准上提升性能与校准,并支持令牌级风险定位与安全重写。
2026-09-29 cs.AI cs.CL
SAGE: Safety-First Defense-in-Depth Guardrails for Verified Lifecycle Control of High-Impact Generative AI
Quandary Peak Research(Quandary Peak研究公司)
研究高影响力生成式人工智能的生命周期控制问题,提出SAGE安全至上、授权分离架构,结合多种技术手段。通过形式化结果和实验验证,确立安全优先级等,给出有害合规估计,还介绍了预先注册的扩展测试方法。
2026-07-28 cs.AI cs.CR
Building a Domain-specific Guardrail Model in Production
Emergence AI;Stanford University(斯坦福大学)
本文以K-12教育平台为例,介绍了构建和部署领域专用护栏模型的完整流程,包括需求制定、训练与基准测试,以及从硬件到推理层的全栈优化,其模型在教育和安全基准上优于同类及更大规模的模型。
2024-07-24 cs.AI cs.CY cs.LG
Learning from a Generative AI Predecessor -- The Many Motivations for Interacting with Conversational Agents
Mojang Studios(Mojang工作室);Microsoft Corporation(微软公司);University of Washington(华盛顿大学)
本研究通过分析2000名匿名用户的完整聊天记录,揭示了人们与微软Zo等早期对话代理交互的十几种动机,为生成式AI在缺乏明确收入模式时如何通过提升吸引力获益提供了机遇与挑战的参考。
2023-12-31 cs.AI cs.CL cs.HC
Carolina Guide: A Multi-Agent RAG System with Institutional Guardrails for Academic Policy Assistance
University of South Carolina(南卡罗来纳大学)
提出Carolina Guide系统,采用模块化多智能体管道与机构护栏,基于检索增强生成提供学术政策咨询,在90查询测试集上达到98.9%检索成功率,安全F1为0.89。
2026-06-11 cs.AI cs.IR
Business and ethical concerns in domestic Conversational Generative AI-empowered multi-robot systems
University of Vaasa(瓦萨大学);University of Arts London(伦敦艺术大学);University of Jyväskylä(于韦斯屈莱大学);University of Helsinki(赫尔辛基大学);Free University of Bozen-Bolzano(博尔扎诺自由大学);University of Tampere(坦佩雷大学)
本文针对CGI赋能的协作式多机器人系统,分析其商业风险与多维伦理陷阱,并报告MORUL伦理模型的开发阶段。
2024-01-12 cs.AI cs.CY
Quality Assurance of Generative Dialog Models in an Evolving Conversational Agent Used for Swedish Language Practice
RISE Research Institutes of Sweden(瑞典RISE研究院);Lund University(隆德大学);NordAxon AB(NordAxon公司)
由于移民的大趋势,高效和有效的第二语言习得至关重要。一个提议的解决方案涉及支持AI的会话代理,用于以人为中心的交互式语言实践。我们目前正在进行的行动研究的结果,针对虚拟工作面试培训的专有生成对话模型的质量保证。行动小组引出了一组38个需求,我们为其中15个对不断发展的解决方案特别感兴趣的需求设计了相应的自动化测试用例。我们的研究结果表明,六个测试用例设计可以检测候选模型之间有意义的差异。虽然自然语言处理应用程序的质量保证是复杂的,我们提供了一个自动化框架的初步步骤,机器学习模型选择的背景下,不断发展的会话代理。未来的工作将集中在MLOps设置中的模型选择。
2022-03-29 cs.AI cs.CL cs.SE
Provably Secure Agent Guardrail
University of Science and Technology of China(中国科学技术大学)
针对现有语义护栏无法提供确定性安全下界的问题,提出基于逻辑推理基本限制的新安全范式,并引入可执行证明约束动作框架,通过神经符号隔离架构实现零攻击成功率和零误报率。
2026-05-28 cs.AI cs.CR
ConvGenVisMo: Evaluation of Conversational Generative Vision Models
TH Köln - University of Applied Sciences(科隆应用技术大学);Ultimate;Microsoft(微软)
本文提出 ConvGenVisMo 框架,用于评估对话式生成视觉模型,包含新基准数据集及自动评估指标,以支持在现实场景中分析 CGVM 的性能。
2023-05-28 cs.AI cs.CV
Conversational Process Modeling: Can Generative AI Empower Domain Experts in Creating and Redesigning Process Models?
Technical University of Munich(慕尼黑工业大学);SAP Signavio
本文系统评估生成式AI聊天机器人对对话式流程建模的支持,结合生命周期场景、文献分类、KPI、提示词与用户调查,提出实践和研究建议。
2024-01-18 cs.AI cs.CL
HeroNet: A Hybrid Retrieval-Generation Network for Conversational Bots
Harbin Institute of Technology(哈尔滨工业大学)
使用自然语言,会话机器人提供了前所未有的方式,许多领域的挑战,如信息搜索,项目推荐,和问答。现有的机器人通常是通过基于检索或基于生成的方法开发的,但这两种方法都有自己的优点和缺点。为了将这两种方法组合起来,我们提出了一个混合检索生成网络(HeroNet),它具有三个方面的思想:1)。为了生成高质量的句子表示,HeroNet在两个子任务上执行多任务学习:相似搜索发现和查询-响应匹配。具体来说,检索性能得到提高,而模型的大小是通过训练两个轻量级的,特定于任务的适配器模块,共享只有一个底层的T5编码器模型减少。2)。通过引入对抗训练,HeroNet能够同时解决检索和生成任务,同时最大限度地提高彼此的性能。3)。检索结果作为先验知识用于提高生成性能,生成结果由检索器进行评分,并将评分值集成到生成器的交叉熵损失函数中。在开放数据集上的实验结果证明了HeroNet的有效性,我们的代码可以在https://github.com/TempHero/HeroNet.git上获得
2023-02-08 cs.AI
Evaluating Large Language Models as Generative User Simulators for Conversational Recommendation
University of California, San Diego(加利福尼亚大学圣迭戈分校)
本文提出一种包含五项任务的评估协议,用于衡量大型语言模型在对话式推荐中模拟人类行为的准确度,揭示其与人类行为的偏差,并探索通过模型选择和提示策略减少偏差的方法。
2024-03-25 cs.AI cs.CL cs.IR
NeuroFilter: Activation-Based Guardrails for Privacy-Conscious LLM Agents
University of Virginia(弗吉尼亚大学)
提出基于激活探测的隐私过滤器,高效检测LLM智能体在单轮和多轮对话中的不当信息泄露,首次系统研究对话轨迹中的模型内部状态变化。
2026-10-14 cs.AI cs.CL cs.CR
Young people's perceptions and recommendations for conversational generative artificial intelligence in youth mental health
Brain and Mind Centre, The University of Sydney(悉尼大学脑与心灵中心);Uncapt
研究探讨青少年对生成式AI聊天机器人在心理健康中的看法及改进建议,揭示其态度与需求,为服务整合提供启示。
2026-04-15 cs.AI cs.HC
Scene-Aware Conversational ADAS with Generative AI for Real-Time Driver Assistance
InfoTech Labs, Toyota Motor North America(丰田北美信息科技实验室)
本文提出SC-ADAS框架,集成生成式AI实现场景感知与多轮对话式ADAS控制,在CARLA模拟器中验证了无需微调的实时驾驶员辅助可行性。
2025-07-14 cs.AI cs.CV cs.HC
Shift-Up: A Framework for Software Engineering Guardrails in AI-native Software Development -- Initial Findings
University of Jyväskylä(于韦斯屈莱大学)
本文提出Shift-Up框架,通过重新诠释传统软件工程实践作为结构化防护机制,以稳定AI生成行为并减少实现漂移,提升AI辅助开发的可控性。
2026-04-22 cs.AI cs.SE
GTM: A Generative Triple-Wise Model for Conversational Question Generation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);WeChat AI, Tencent Inc(腾讯微信人工智能实验室)
在开放域会话中生成一些吸引人的问题是改善人机交互并将话题引向更广或更深方向的有效方法。为了避免问题的枯燥或偏离,一些研究者试图利用答案这一“未来”信息来指导问题的生成。然而,他们将后问题-答案(PQA)三元组分成两部分:后问题(PQ)和问题-答案(QA)对,这可能会损害整体的连贯性。此外,问答关系被建模为一对一的映射,这在开放域会话中是不合理的。为了解决这些问题,我们提出了一个生成的三重模型与层次变化的开放域会话问题生成(CQG)。三个层次中的潜变量用于表示PQ和QA对中的三元组和一对多语义映射的共享背景。在大规模CQG数据集上的实验结果表明,我们的方法在流畅性,一致性和多样性方面显着提高了问题的质量。
2021-06-07 cs.AI cs.CL cs.LG
Generative LLM Powered Conversational AI Application for Personalized Risk Assessment: A Case Study in COVID-19
Wayne State University(韦恩州立大学);Penn State College of Medicine(宾夕法尼亚州立大学医学院)
本研究提出基于生成式LLM的流式对话风险评估方法,通过微调Llama2-7b和Flan-t5-xl构建移动应用,实现无代码COVID-19严重程度评估,在低数据场景下表现优于传统分类器并提供可解释性。
2024-09-23 cs.AI cs.CL
SafeHarbor: Defining Precise Decision Boundaries via Hierarchical Memory-Augmented Guardrail for LLM Agent Safety
School of Cyber Science and Technology, Beihang University, Beijing, China(北京航空航天大学网络安全学院);Institute of Artificial Intelligence, Beihang University, Beijing, China(北京航空航天大学人工智能研究院);University of Chinese Academy of Sciences, Beijing, China(中国科学院大学);AI Security Lab, Beijing, China(360人工智能安全实验室)
提出SafeHarbor框架,通过分层记忆系统和信息熵自进化机制,在保持高安全拒绝率的同时提升对良性请求的响应能力。
2026-07-24 cs.AI cs.CR
Evaluating Personal Information Output from Conversational Interactions in Generative AI Systems
Kobe City University of Foreign Studies(神户市外国语大学);Kobe City College of Technology(神户市立工业高等专门学校)
本研究通过15名日本参与者评估GPT-5.2系列模型在对话中输出个人信息的倾向,发现事实输出更保守,行为与语言属性准确性高,推断画像可能源于上下文信息,为隐私讨论提供参考。
2026-09-22 cs.AI cs.CL cs.CY
From Clicks to Preference: A Multi-stage Alignment Framework for Generative Query Suggestion in Conversational System
Bytedance Shanghai China(字节跳动上海中国);Bytedance Beijing China(字节跳动北京中国)
本文提出了一种多阶段对齐框架,通过提示工程、知识蒸馏和高斯奖励模型,提升生成式查询建议的用户偏好对齐效果,实验显示在自动和人工评估中均优于基线,并提高用户参与度34%
2025-12-15 cs.AI cs.CL
DialFork: Going Beyond Factuality to Evaluate Procedural Hallucination in Conversational Agents
Idiap Research Institute(Idiap研究所);Telefónica Innovación Digital(西班牙电信创新数字公司);Logitech(罗技公司);Brno University of Technology(布尔诺理工大学)
该研究推出首个衡量对话智能体过程性幻觉的基准DialFork,定义三项评估任务并提出FlowKL、FlowScore指标,实验显示FlowScore优于基线,以MIT许可发布该基准供学界使用。
2026-11-02 cs.AI cs.CL cs.LG
Front-End Ethics for Sensor-Fused Health Conversational Agents: An Ethical Design Space for Biometrics
Imperial College London(伦敦帝国理工学院);Korea Institute of Science and Technology(韩国科学技术研究院)
本文探讨了生物特征翻译的伦理设计,提出五个维度分析前端伦理风险,提出适应性披露作为安全机制,确保健康代理支持用户自主性。
2026-03-14 cs.AI cs.CY
Test-Time Scaling Strategies for Generative Retrieval in Multimodal Conversational Recommendations
Research Center for Information Technology Innovation, Academia Sinica(资讯科技创新研究所以);NVIDIA(NVIDIA公司);Department of Computer Science, National Chengchi University(国立政治大学计算机科学系)
针对传统产品检索系统在多轮用户交互中的局限,提出将测试时缩放引入多模态生成式检索的新框架,增强测试时重排序机制,有效建模用户演化意图,在多轮对话推荐中提升检索性能。
2025-08-25 cs.AI cs.IR cs.LG
Generative Echo Chamber? Effects of LLM-Powered Search Systems on Diverse Information Seeking
Johns Hopkins University(约翰斯·霍普金斯大学);Microsoft Research(微软研究院)
研究通过两项实验发现,相比传统搜索,LLM驱动的对话式搜索会增加用户的选择性暴露,强化用户观点的偏见LLM会进一步加剧该偏见,为系统开发与政策制定提供启示。
2024-02-10 cs.AI cs.CL cs.HC
Toward Safe Evolution of Artificial Intelligence (AI) based Conversational Agents to Support Adolescent Mental and Sexual Health Knowledge Discovery
Vanderbilt University(范德堡大学);Rutgers University(罗格斯大学)
本文审视 AI 对话代理支持青少年心理与性健康知识发现的机遇与安全风险,呼吁建立防护栏以推动其安全演进。
2024-04-03 cs.AI cs.HC
"How Was Your Weekend?" A Generative Model of Phatic Conversation
Principles of Expressive Machines Lab(表达机器原理实验室);Department of Computer Science(计算机科学系);North Carolina State University(北卡罗来纳州立大学)
潜规则,如那些决定选择适当的讨论话题和何时改变讨论话题的规则,指导着会话行为。我们提出了一个计算模型的对话,可以遵循或打破这样的规则,与参与者代理相应地作出反应。此外,我们展示了该模型的应用:实验社会导师(EST),第一步的社会技能培训工具,产生人类可读的对话和对话中的每一点的指导方针。最后,我们讨论了一个试点研究评估EST的设计和结果。结果表明,我们的模型能够产生遵循社会规范的对话。
2018-02-13 cs.AI cs.CL
When Generative AI Meets Workplace Learning: Creating A Realistic & Motivating Learning Experience With A Generative PCA
University of Zurich(苏黎世大学);University of Public Administration and Finance Ludwigsburg(路德维希堡公共管理与金融大学)
本文提出基于生成式AI的教学对话代理(GenPCA)用于职场沟通培训,评估显示其能提升员工自我决定学习,并讨论了局限与改进建议。
2024-05-24 cs.AI cs.HC
From Fake Perfects to Conversational Imperfects: Exploring Image-Generative AI as a Boundary Object for Participatory Design of Public Spaces
College of Computing and Information Science, Cornell University(康奈尔大学计算与信息科学学院);University of Southern California(南加州大学);College of Agriculture and Life Sciences, Cornell University(康奈尔大学农业与生命科学学院);Studio-MLA
本研究探索图像生成式人工智能在公共空间参与式设计中的应用,发现其能促进更丰富的空间对话,但效果依赖促进者的互动管理能力,并提出实践建议与开放问题。
2024-11-01 cs.AI cs.HC
Can ChatGPT-like Generative Models Guarantee Factual Accuracy? On the Mistakes of New Generation Search Engines
Nanyang Technological University(南洋理工大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
本文通过分析微软、谷歌等将搜索引擎与类 ChatGPT 对话式 AI 结合的公开演示,指出其中存在大量事实错误,呼吁提升模型透明度与事实正确性。
2023-03-03 cs.AI cs.CL
MIGA: A Unified Multi-task Generation Framework for Conversational Text-to-SQL
NetEase Games AI Lab(网易游戏AI实验室)
会话式文本到SQL的目的是将多轮自然语言问题转换成相应的SQL查询。大多数最先进的文本到SQL对话方法与生成式预训练语言模型(PLM)(如T5)不兼容。在本文中,我们提出了一个两阶段的统一多任务生成框架(MIGA),利用PLM的能力,以解决会话的文本到SQL。在预训练阶段,MIGA首先将主任务分解为多个相关的子任务,然后通过任务特定的自然语言提示,将它们统一到同一个序列到序列(Seq2Seq)范式中,以促进多任务训练中的主任务。稍后在微调阶段,我们提出了四个SQL扰动来缓解错误传播问题。MIGA倾向于在两个基准测试(SparC和CoSQL)上实现最先进的性能。我们还提供了广泛的分析和讨论,以阐明会话式文本到SQL的一些新观点。
2022-12-19 cs.AI cs.CL
Alquist 5.0: Dialogue Trees Meet Generative Models. A Novel Approach for Enhancing SocialBot Conversations
Faculty of Electrical Engineering, CTU in Prague(布拉格捷克技术大学电气工程学院);CIIRC, CTU in Prague(布拉格捷克技术大学CIIRC)
本文提出 Alquist 5.0 SocialBot,通过将 NRG Barista 集成到对话树与生成模型相结合的框架中,并扩展多模态设备支持,以提升 Alexa Prize 场景下的对话体验。
2024-02-23 cs.AI cs.LG
Evaluating multimodal emotion recognition in proactive conversational agents: A user study
I3A (Institute of Engineering Research of Aragon)(阿拉贡工程研究院);Universidad de Zaragoza(萨拉戈塔大学)
本文研究了多模态情绪识别在主动对话代理中的应用,通过用户研究验证了视觉和语言分析模块的有效性,发现语言分析比视觉线索更可靠,并探讨了SIAs在情绪引导中的潜力与挑战。
2026-04-06 cs.AI cs.HC
CHATATC: Large Language Model-Driven Conversational Agents for Supporting Strategic Air Traffic Flow Management
University of Michigan(密歇根大学);Federal Aviation Administration(美国联邦航空管理局);Stanford University(斯坦福大学)
本研究基于2000-2023年超80,000次地面延误计划数据训练了LLM模型CHATATC,并测试其查询响应能力及设计交互界面,以支持非安全关键的策略性空中交通流量管理。
2024-07-24 cs.AI cs.CL
Anticipating User Needs: Insights from Design Fiction on Conversational Agents for Computational Thinking
Northern Arizona University(北亚利桑那大学);Universidade Federal Fluminense(弗卢米嫩塞联邦大学)
本文通过九位教师参与的设计虚构会议,探索了面向计算思维教学的genAI对话智能体应具备的逐步引导和个性化调整能力,为未来辅导型对话智能体的实现提供设计见解。
2024-06-13 cs.AI cs.HC
Dynamic benchmarking framework for LLM-based conversational data capture
本文提出一个动态基准测试框架,通过合成用户交互评估基于LLM的对话智能体在信息提取、上下文感知和自适应参与上的表现,并在贷款场景中验证了自适应策略能提升数据提取准确性。
2025-02-04 cs.AI cs.CL
Exploring the context of recurrent neural network based conversational agents
Maastricht University(马斯特里赫特大学)
会话代理已经开始在学术(研究方面)和商业(应用方面)世界中兴起。本文研究了使用神经网络生成模型构建非目标驱动的会话代理的任务,并分析了如何处理会话上下文。它比较了一个更简单的编码器-解码器与分层递归编码器-解码器架构,该架构包括一个额外的模块来使用先前的话语信息对会话的上下文进行建模。我们发现,分层模型能够提取相关的上下文信息,并将它们包含在输出的生成中。然而,在语法正确的输出和有意义的响应方面,它的表现比简单的编码器-解码器模型差(35-40%)。尽管有这些结果,实验表明,由于特定主题相关词的频率增加,关于类似主题的对话在上下文空间中彼此接近,从而为未来的研究以及如何利用对话的上下文留下了有希望的方向。
2019-01-31 cs.AI cs.CL
Taming the Beast: Learning to Control Neural Conversational Models
The Hong Kong University of Science and Technology(香港科技大学)
本文研究了基于深度学习的端到端生成式对话系统在面向任务和聊天场景下的可控性。特别地,我们研究了控制生成对话系统的不同方面,包括控制风格和主题以及不断添加和组合对话技巧。自第一个对话系统商业化以来的三十年中,这种系统的基本架构基本上保持不变,由四个流水线基本组件组成,即自然语言理解(NLU)、对话状态跟踪(DST)、对话管理器(DM)和自然语言生成(NLG)。对话管理器是模块化系统的关键组成部分,它控制响应的内容和风格。该模块通常按规则编程,并设计为高度可控和易于扩展。随着强大的“深度学习“架构的出现,端到端生成式对话系统被提出来优化整体系统性能并简化训练。然而,这些系统不能像模块化对话管理器那样容易地控制和扩展。这是因为使用了单个神经系统,其通常是大型的预训练语言模型(例如,GPT-2),因此难以通过手术改变期望的属性(例如,风格、主题等)。更重要的是,不可控的对话系统会产生攻击性甚至有毒的反应。因此,本论文主要研究面向任务和聊天场景的端到端生成式对话系统的可控方法。在整个章节中,我们描述了1)如何控制聊天模型的风格和主题,2)如何持续控制和扩展面向任务的对话系统,以及3)如何组合和控制多技能对话模型。
2021-08-24 cs.AI cs.CL cs.LG
The Rapidly Changing Landscape of Conversational Agents
College of Information and Computer Sciences University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校信息与计算机科学学院)
会话代理已经变得无处不在,从帮助预订的目标导向系统到现代虚拟助理中的聊天模型。在这篇调查论文中,我们探索了这个迷人的领域。我们看看一些定义该领域的开创性工作,并逐渐转向当前最先进的模型。我们研究了基于统计、神经、生成对抗网络和基于强化学习的方法以及它们是如何发展的。一路上,我们讨论了该领域面临的各种挑战,缺乏语境的话语,没有一个很好的量化指标来比较模型,缺乏信任的代理,因为他们没有一个一致的角色等,我们结构本文的方式,回答这些相关的问题,并讨论竞争的方法来解决这些问题。
2018-03-24 cs.AI cs.CL
Beyond Retrieval: Generating Narratives in Conversational Recommender Systems
Google(谷歌公司)
针对LLM难以整合推荐知识生成适配推荐的自然语言的问题,本文提出对话式推荐叙事生成数据集REGEN及CF-LLM融合基线架构,验证了两类嵌入结合可提升生成效果。
2024-12-10 cs.AI cs.CL cs.IR
DUMA: a Dual-Mind Conversational Agent with Fast and Slow Thinking
Beike Inc.(贝壳公司)
受人类认知双过程理论启发,提出DUMA双思维对话智能体框架,通过快慢思考两个LLM协作,根据响应复杂度动态切换,平衡了效率与有效性,在房地产行业在线咨询任务上显著优于基线。
2023-11-24 cs.AI cs.CL
Conversational AI Powered by Large Language Models Amplifies False Memories in Witness Interviews
Massachusetts Institute of Technology(麻省理工学院);MIT Media Lab(麻省理工学院媒体实验室);University of California, Irvine(加州大学欧文分校)
本研究模拟犯罪证人访谈,对比四种访谈条件,发现基于LLM的生成式聊天机器人会显著诱发并强化错误记忆,揭示敏感场景中应用对话式AI的伦理风险。
2024-08-08 cs.AI cs.CL cs.CY
Unmasking Conversational Bias in AI Multiagent Systems
University of Calabria(卡拉布里亚大学);ICAR-CNR(意大利国家研究委员会信息与自动化研究所);IT University of Copenhagen(哥本哈根信息技术大学)
该研究针对AI多智能体系统的对话偏见检测空白,提出对话型LLMs多智能体系统偏见量化框架,发现现有问卷式方法无法检测到该场景下的偏见,呼吁开发更复杂的偏见检测与缓解工具包。
2026-08-14 cs.AI cs.CL cs.MA
Exploring User Acceptance and Concerns toward LLM-powered Conversational Agents in Immersive Extended Reality
研究探讨了沉浸式扩展现实中基于大语言模型的对话代理的用户接受度与担忧,发现熟悉度和性别影响接受度,位置数据敏感性最高。
2025-12-17 cs.AI cs.CY cs.HC
An investigation into the scientific landscape of the conversational and generative artificial intelligence, and human-chatbot interaction in education and research
Kent State University(肯特州立大学);Odette School of Business, University of Windsor(温莎大学奥黛特商学院);Open University of Nigeria(尼日利亚开放大学);Ibom International Center for Research and Scholarship(伊博姆国际研究与学术中心)
本研究通过文献计量分析,揭示了对话式与生成式AI在教育研究中的快速增长、主要应用领域及滥用风险,并提出开发自动检测工具以应对挑战。
2024-06-15 cs.AI cs.CY cs.HC
TUTORING: Instruction-Grounded Conversational Agent for Language Learners
Yonsei University(延世大学);Market Designers Inc.(Market Designers 公司)
在本文中,我们提出了辅导机器人,一个生成的聊天机器人训练的大规模的辅导学生对话的英语学习。为了模仿人类导师在语言教育中的行为,导师机器人利用各种教育指令和每个指令的理由作为导师响应生成的附加输入上下文。由于单个指令通常涉及多个对话回合以给予学生足够的口语练习,因此需要导师机器人监视和捕获当前指令何时应该保持或切换到下一个指令。为此,导师机器人不仅学习生成响应,而且通过多任务学习方案同时推断其教学动作和当前会话的进展。我们的辅导机器人是根据https://tutoringai.com上的非商业使用许可证部署的。
2023-02-24 cs.AI cs.CL
Tartan: A retrieval-based socialbot powered by a dynamic finite-state machine architecture
Carnegie Mellon University(卡内基梅隆大学)
本文描述了为2018年Alexa Prize竞赛构建的Tartan会话代理。Tartan是一个非目标导向的社交机器人,专注于为用户提供一个吸引人的和流畅的休闲对话。Tartan的主要特点包括强调基于灵活的有限状态模型的结构化对话,以及专注于理解和使用对话行为的方法。为了提供引人入胜的对话,Tartan将脚本般的动态响应与基于数据的生成和检索模型相结合。Tartan的独特之处在于我们的对话管理器被建模为动态有限状态机。据我们所知,没有其他会话代理实现遵循这种特定的结构。
2018-12-04 cs.AI cs.CL
The Voice: Lessons on Trustworthy Conversational Agents from "Dune"
ASRC Federal
本文受《沙丘》启发,探讨生成式AI在工业规模上实现个性化影响的风险,呼吁研究者防范其被用于社会技术操纵并探索防御策略。
2024-07-10 cs.AI cs.CY
IEA: Amateur-Friendly Conversational Image Editing Agent via Three Stages of Multitask Alignment
Shanghai Jiao Tong University(上海交通大学);Shanghai Innovation Institution(上海创新研究院);Huawei Technologies Ltd.(华为技术有限公司);Nanyang Technological University(南洋理工大学);Jiangsu Key Lab of Language Computing(江苏省语言计算重点实验室)
提出IEA对话式图像编辑代理,通过三阶段多任务训练学习操作参数化工具,实现可解释编辑轨迹,在像素距离和ROUGE-L指标上优于基线,用户研究中指令跟随和感知质量表现最佳。
2026-06-06 cs.AI cs.CL cs.CV
Conversational Multi-Hop Reasoning with Neural Commonsense Knowledge and Symbolic Logic Rules
Facebook(脸书);EPFL(洛桑联邦理工学院);University of Washington(华盛顿大学);Carnegie Mellon University(卡内基梅隆大学)
会话代理所面临的挑战之一是他们无法识别用户命令的未陈述假设,这对于人类来说是一项微不足道的任务,因为他们的常识。在本文中,我们提出了一个用于会话代理的零射击(zero-shot)常识推理系统,试图实现这一目标。我们的推理器揭示了用户命令中未声明的假设,这些用户命令满足一个通用模板,即if-(state),then-(action),because-(goal)。我们的推理机使用一个国家的最先进的基于转换器的生成常识知识库(KB)作为其背景知识的来源进行推理。我们提出了一种新的和迭代的知识查询机制,提取多跳推理链的神经知识库,使用符号逻辑规则,显着减少搜索空间。与迄今为止收集的任何知识库类似,我们的常识知识库容易丢失知识。因此,我们提出了对话式引出人类用户与我们的新的动态问题生成策略,生成和呈现上下文查询人类用户的缺失的知识。我们通过对人类用户的用户研究来评估该模型,与SOTA相比,该模型的成功率高出35%。
2021-09-17 cs.AI cs.CL cs.LG