Advancing Academic Chatbots: Evaluation of Non Traditional Outputs
Copenhagen Business School（哥本哈根商学院）
本研究评估了非传统学术输出生成，比较了两种检索策略并测试了LLMs在幻灯片和播客脚本生成中的表现。
2025-11-30 cs.CL
Cite or Decline: A Strict Course-Grounded Chatbot for STEM Lecture Videos
University of Houston（休斯顿大学）
该研究部署搭载检索增强型聊天机器人的VideoPoints平台，实现仅从当前STEM课程视频中检索作答并返回引用，提升课程检索准确率，契合学生学习需求。
2026-09-03 cs.CL cs.CY cs.IR
Enhancing Long-term RAG Chatbots with Psychological Models of Memory Importance and Forgetting
Graduate School of Informatics Kyoto University（京都大学信息学研究科）
LUFY通过优先保留情绪唤醒记忆并遗忘大部分对话内容，提升长期对话体验和聊天机器人性能。
2025-12-18 cs.AI cs.CL
Reinforcement Learning for Optimizing RAG for Domain Chatbots
Flipkart Data Science（Flipkart数据科学）
本文提出一种基于强化学习的策略模型，通过动态决定是否检索FAQ上下文来优化RAG聊天机器人的LLM token成本，并在略微提升准确率的同时实现显著成本节省。
2024-01-10 cs.AI cs.CL
HEALTH-PARIKSHA: Assessing RAG Models for Health Chatbots in Real-World Multilingual Settings
Microsoft（微软）
HEALTH-PARIKSHA研究评估了24个LLMs在真实多语言环境中的表现，发现印地语模型在印地语查询中表现不一，且事实准确性低于英语查询。
2025-12-01 cs.CL
Evaluating the Retrieval Component in LLM-Based Question Answering Systems
Thomson Reuters AI Labs（汤森路透人工智能实验室）
本文提出一种用于评估RAG聊天机器人中检索组件的直接基线方法，证明其比传统指标更贴合问答系统整体表现，并考虑了大语言模型忽略无关上下文及产生幻觉的特点。
2024-06-10 cs.CL cs.IR
Modelling Domain Relationships for Transfer Learning on Retrieval-based Question Answering Systems in E-commerce
Singapore Management University（新加坡管理大学）；Alibaba Group（阿里巴巴集团）
本文研究了PI和NLI问题的迁移学习，旨在提出一个通用的框架，该框架可以有效地将从资源丰富的源域学习到资源贫乏的目标域。具体来说，由于大多数现有的迁移学习方法只关注学习跨域的共享特征空间，而忽略了源域和目标域之间的关系，我们建议在一个统一的框架中同时学习共享表示和域关系。此外，我们提出了一个高效和有效的混合模型相结合的句子编码为基础的方法和句子的互动为基础的模型。在释义识别和自然语言推理上的大量实验表明，与竞争模型相比，我们的基础模型是有效的，具有良好的性能，我们的迁移学习方法可以帮助显着提高性能。进一步的分析表明，我们的模型所捕获的域间和域内的关系是有见地的。最后，我们将PI的迁移学习模型部署到我们的在线聊天机器人系统中，这可以为我们现有的系统带来显着的改进。最后，我们在我们的电子商业网站AliExpress的聊天机器人平台Eva上推出了我们的新系统。
2017-11-23 cs.CL
Addressing Hallucinations with RAG and NMISS in Italian Healthcare LLM Chatbots
Department of Economics and Business, University of Cagliari（经济与商业系，卡利亚里大学）
本文通过RAG和NMISS方法有效缓解和检测LLM中的幻觉问题，验证了GPT-4和NMISS对提升医疗领域LLM性能的显著效果。
2025-12-30 cs.CL
A Framework to Assess the Persuasion Risks Large Language Model Chatbots Pose to Democratic Societies
Yale University（耶鲁大学）
本研究通过两项调查实验和真实世界模拟评估了LLM聊天机器人在政治说服中的成本效益与风险，发现其单次说服力与竞选广告相当且成本更低，但目前规模化扩展难度较大。
2025-04-29 cs.CL cs.CY
Efficient Learning Content Retrieval with Knowledge Injection
Huawei Turkiye R&D Center（华为土耳其研发中心）
针对在线教育资源检索困难，本文基于 QLoRA 微调 Phi-2/Phi-3，并结合由多格式文档构建的 RAG 知识库，通过多指标评估选出适合实际部署的低资源领域聊天机器人方案。
2024-11-28 cs.CL
Machine Reading Comprehension for Answer Re-Ranking in Customer Support Chatbots
Sofia University（索非亚大学）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）；Qatar Computing Research Institute（卡塔尔计算研究所）
深度神经网络、语言建模和语言生成的最新进展为会话代理领域引入了新的想法。因此，序列到序列、记忆网络和Transformer等深度神经模型已成为最先进对话系统的关键组成部分。虽然这些模型即使在看不见的情况下也能够生成有意义的响应，但它们需要大量的训练数据来构建可靠的模型。因此，大多数现实世界的系统坚持基于信息检索的传统方法，甚至是手工制作的规则，因为它们的鲁棒性和有效性，特别是对于狭窄的对话。在这里，我们提出了一种方法，该方法采用了来自机器阅读理解领域的深度神经架构，以使用问题作为上下文，对来自不同模型的建议答案进行重新排序。我们训练我们的模型使用负采样的基础上的问题，答案对从Twitter的客户支持数据集。实验结果表明，我们的重新排名框架可以提高性能方面的单词重叠和语义的单独模型以及模型组合。
2019-02-26 cs.CL
Chatbot: A Conversational Agent employed with Named Entity Recognition Model using Artificial Neural Network
Quaid-i-Azam University（奎德阿扎姆大学）
聊天机器人是一种使用自然语言模仿人类行为的技术。有不同类型的聊天机器人，可以用作各种业务领域的会话代理，以提高客户服务和满意度。对于任何业务领域，它都需要为该领域建立一个知识库，并设计一个基于信息检索的系统，该系统可以用一段文档或生成的句子来响应用户。聊天机器人的核心组件是自然语言理解（NLU），它通过深度学习方法得到了令人印象深刻的改进。但是我们经常缺乏这样正确构建的NLU模块，并且需要更多的时间从头开始构建高质量的对话。这可能会鼓励新的学习者从头开始构建具有简单架构和使用小数据集的聊天机器人，尽管它可能具有减少的功能，而不是构建高质量的数据驱动方法。本研究的重点是命名实体识别（NER）和意图分类模型，可以集成到聊天机器人的NLU服务。命名实体将被手动插入知识库，并在给定的句子中自动检测。在所提出的架构中的NER模型是基于人工神经网络，人工神经网络是人工创建的实体进行训练，并使用CoNLL-2003数据集进行评估。
2020-06-19 cs.AI cs.CL
How to Build Robust FAQ Chatbot with Controllable Question Generator?
Technical University of Munich（慕尼黑工业大学）；BMW Group（宝马集团）
许多无法回答的对抗性问题用一些看似合理的答案欺骗了问答系统。构建一个强大的常见问题（FAQ）聊天机器人需要大量不同的对抗性示例。最近的问题生成方法在从非结构化文本中生成许多高质量和多样化的对抗性问答对方面是无效的。我们提出了多样性可控的语义有效的对抗攻击者（DCSA），一个高质量的，多样的，可控的方法来生成标准和对抗样本的语义图。流畅和语义生成的QA对欺骗我们的段落检索模型成功。在此之后，我们进行了研究的鲁棒性和推广的QA模型与生成的QA对之间的不同领域。我们发现，生成的数据集提高了QA模型对新目标域的泛化能力和QA模型检测不可回答的对抗性问题的鲁棒性。
2021-11-18 cs.AI cs.CL
Games That Teach, Chats That Convince: Comparing Interactive and Static Formats for Persuasive Learning
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（人工智能矢量研究所）
本文比较了互动和静态格式在说服学习中的效果，发现聊天机器人在提升感知重要性方面表现最佳，但基于文本的游戏在延迟测试中表现更优，揭示了说服体验与实际学习之间的脱节。
2026-02-24 cs.AI cs.CL cs.ET
Intent Aware Context Retrieval for Multi-Turn Agricultural Question Answering
本文提出AI农业聊天机器人Krishi Sathi，结合意图驱动的多轮对话、指令调优模型和检索增强生成，为印度农民提供个性化农业建议，实现97.53%的查询准确率和91.35%的上下文相关性。
2025-07-28 cs.AI cs.CL
MuRAR: A Simple and Effective Multimodal Retrieval and Answer Refinement Framework for Multimodal Question Answering
University of Texas at Arlington（得克萨斯大学阿灵顿分校）；Adobe（奥多比公司）
本文提出 MuRAR 框架，通过检索相关多模态数据并精化文本答案，生成连贯的多模态答案，以提升企业聊天机器人等场景中问答的有用性和可读性。
2025-02-07 cs.CL cs.IR
Why are Sequence-to-Sequence Models So Dull? Understanding the Low-Diversity Problem of Chatbots
University of Amsterdam（阿姆斯特丹大学）
多样性是信息检索中一个长期研究的话题，通常指检索结果不重复并涵盖不同方面的要求。在对话环境中，多样性的另一个维度很重要：一个有吸引力的响应生成系统应该能够输出多样化和有趣的响应。序列到序列（Seq2Seq）模型已被证明对于响应生成非常有效。然而，由Seq2Seq模型生成的对话响应往往具有低多样性。在本文中，我们回顾了已知的来源和现有的方法，这个低多样性的问题。我们还确定了一个低多样性的来源，到目前为止很少研究，即模型过度自信。我们勾画了几个方向来解决模型过度自信，因此，低多样性的问题，包括置信惩罚和标签平滑。
2018-09-06 cs.AI cs.CL
CRISS: A Retrieval-Augmented AI Chatbot for Assisting Cancer Registrars
University of Missouri（密苏里大学）；Missouri Cancer Registry and Research Center（密苏里癌症登记与研究中心）；MU Institute for Data Science and Informatics（密苏里大学数据科学与信息学研究所）
CRISS是一种检索增强生成聊天机器人，利用领域知识库和LLM为癌症登记员提供有引文支持的回答，实验表明其优于非RAG方法，并保留人工监督。
2026-09-25 cs.AI cs.CL
When RAG Chatbots Expose Their Backend: An Anonymized Case Study of Privacy and Security Risks in Patient-Facing Medical AI
Independent researcher（独立研究者）；Escuela Técnica Superior de Ingenieros de Telecomunicación Universidad Politécnica de Madrid（电信工程学院理工大学）
研究通过匿名案例分析，揭示了患者面向RAG聊天机器人中隐私和安全风险，指出通过浏览器工具可发现关键漏洞，强调部署前需独立审查。
2026-05-01 cs.AI cs.CL cs.CR
KinyaColBERT: A Lexically Grounded Retrieval Model for Low-Resource Retrieval-Augmented Generation
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Princeton University（普林斯顿大学）
本文提出KinyaColBERT检索模型，通过词级后期交互和基于形态学的分词结合两层Transformer编码，解决低资源语言RAG检索准确率低的问题，并在基尼亚卢旺达语农业检索基准上优于强基线和商业API。
2025-07-04 cs.CL
MegaChat: A Synthetic Persian Q&A Dataset for High-Quality Sales Chatbot Evaluation
Eastern Smart Innovators（东方智能创新公司）
MegaChat通过自动化多代理架构生成高质量波斯语问答数据，用于评估销售聊天机器人，优于传统RAG模型。
2025-11-28 cs.AI cs.CL cs.MA
From Textbook to Talkbot: A Case Study of a Greek-Language RAG-Based Chatbot in Higher Education
International Hellenic University（国际希腊大学）；Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
本研究开发了一个基于RAG框架的希腊语AI聊天机器人，用于高等教育中的教学支持，旨在提升教育实践和AI技术在语言教育中的应用。
2025-12-23 cs.AI cs.CL cs.CY
Retrieval Augmented Generation and Representative Vector Summarization for large unstructured textual data in Medical Education
University of Peradeniya（佩拉德尼亚大学）
本文探讨了检索增强生成在医学教育领域的应用，并提出了一种基于代表性向量、结合抽取式与抽象式的大型非结构化文本数据摘要方法。
2023-08-01 cs.AI cs.CL
Learning Matching Models with Weak Supervision for Response Selection in Retrieval-based Chatbots
Beihang University（北京航空航天大学）；Microsoft Corporation（微软公司）；Microsoft Research（微软研究院）
我们提出了一种方法，可以利用未标记的数据来学习匹配模型，用于基于检索的聊天机器人中的响应选择。该方法采用序列到序列结构（Seq2Seq）模型作为弱标注器来判断未标记对的匹配程度，然后利用弱信号和未标记数据进行学习。在两个公开数据集上的实验结果表明，使用该方法学习匹配模型后，匹配效果得到了显著的改善。
2018-05-10 cs.CL
Advancing Risk and Quality Assurance: A RAG Chatbot for Improved Regulatory Compliance
Fraunhofer IAIS（弗劳恩霍夫智能分析和信息系统研究所）；University of Bonn（波恩大学）；PricewaterhouseCoopers GmbH（普华永道有限责任公司）；Lamarr Institute（拉马尔研究所）
本文提出一种结合大语言模型、混合搜索与相关性增强的 RAG 系统，用于改进高监管行业风险与质量查询处理，并在 124 条专家标注查询上验证其优于传统 RAG 方法。
2025-07-22 cs.AI cs.CL
Real-world Conversational AI for Hotel Bookings
在本文中，我们提出了一个真实世界的对话AI系统，通过短信搜索和预订酒店。我们的架构由基于框架的对话管理系统组成，该系统调用机器学习模型来执行意图分类、命名实体识别和信息检索子任务。我们的聊天机器人已经在商业规模上部署，每天处理数万次酒店搜索。我们描述了在旅游行业开发聊天机器人的各种机遇和挑战。
2019-08-27 cs.CL cs.LG stat.ML
Query-Response Interactions by Multi-tasks in Semantic Search for Chatbot Candidate Retrieval
候选检索的语义搜索是基于检索的聊天机器人中一个重要但被忽视的问题，其目的是从一个大的池中有效地选择一堆候选响应。现有的瓶颈是确保模型架构具有两点：1）查询和响应之间的丰富交互以产生查询相关的响应; 2）将查询和响应分别投影到潜在空间中的能力，以在在线推理期间有效地应用于语义搜索。为了解决这个问题，我们提出了一种新的方法，称为基于多任务的语义搜索神经网络（MSSNN）的候选检索，它通过多个任务来完成查询-响应交互。该方法首先通过Seq 2Seq建模任务学习一个好的查询编码器，然后通过词预测任务构建响应嵌入，最后通过简单的匹配模型形成点积评分器。实验研究已经证明了所提出的方法的潜力。
2022-08-23 cs.CL
A Document-grounded Matching Network for Response Selection in Retrieval-based Chatbots
Peking University（北京大学）；Microsoft Corporation（微软公司）
我们提出了一个基于文档的匹配网络（DGMN）的响应选择，可以支持基于知识感知的检索聊天机器人系统。建立这样一个模型的挑战在于如何将会话上下文与背景文档结合起来，以及如何识别文档中的重要信息进行匹配。为了克服这些挑战，DGMN将文档和上下文中的信息融合到彼此的表示中，并且通过在匹配步骤处与响应的分层交互来动态地确定接地是否是必要的以及文档和上下文的不同部分的重要性。两个公开数据集的实证研究表明，DGMN可以显着改善国家的最先进的方法，同时享有良好的解释性。
2019-06-11 cs.CL
Content Selection Network for Document-grounded Retrieval-based Chatbots
Université de Montréal（蒙特利尔大学）；Renmin University of China（中国人民大学）
在文档中建立人机对话是提高基于检索的聊天机器人性能的有效方法。然而，只有部分文档内容可能与帮助在一轮中选择适当的响应相关。因此，选择与当前会话上下文相关的文档内容部分至关重要。在本文中，我们提出了一个文档内容选择网络（CSN）执行显式选择相关的文档内容，并过滤掉不相关的部分。我们在两个公共文档为基础的会话数据集上的实验表明，CSN可以有效地帮助选择相关的文档内容的会话上下文，它产生更好的结果比国家的最先进的方法。我们的代码和数据集可以在https://github.com/DaoD/CSN上找到。
2021-01-21 cs.CL
Towards Developing a Multimodal Chat Assistant for University Stakeholders: RAG-based Approach
Institute of Information and Communication Technology, Khulna University of Engineering & Technology（信息与通信技术研究所，库尔纳工程技术大学）
针对大学利益相关者获取信息困难的问题，提出基于检索增强生成的多模态聊天系统，结合大语言模型与语义检索，支持文本和图像查询，将幻觉率从31.7%降至6.6%。
2026-07-02 cs.AI cs.CL
Retrieval Augmentation Reduces Hallucination in Conversation
Facebook AI Research（脸书人工智能研究院）
尽管显示出越来越像人类的对话能力，但最先进的对话模型通常遭受事实不正确和知识幻觉（Roller等人，2020年）。在这项工作中，我们探索了神经检索环内架构的使用-最近显示在开放域QA中是有效的（Lewis等人，2020 b年; Izacard和Grave，2020年）-对于以知识为基础的对话，这是一项更具挑战性的任务，因为它需要基于复杂的多轮对话上下文进行查询，并生成会话连贯的响应。我们研究了具有多个组件的各种类型的架构-检索器，排名器和编码器-解码器-其目标是在保持会话能力的同时最大化知识能力。我们证明了我们最好的模型在两个以知识为基础的会话任务上获得了最先进的性能。这些模型具有开放域会话能力，有效地推广到不在训练数据内的场景，并且通过人工评估验证，大大减少了最先进的聊天机器人中众所周知的知识幻觉问题。
2021-04-15 cs.AI cs.CL
URAG: Implementing a Unified Hybrid RAG for Precise Answers in University Admission Chatbots -- A Case Study at HCMUT
Ho Chi Minh City University of Technology (HCMUT)（胡志明市技术大学（HCMUT））；Vietnam National University Ho Chi Minh City（越南国家大学胡志明市分校）
本文提出统一混合 RAG（URAG）框架，通过整合特定数据提升大学招生聊天机器人的回答准确性，使轻量级模型媲美商业模型，并在 HCMUT 案例中验证了其有效性与实际部署可行性。
2025-01-27 cs.CL cs.IR
Proactive Retrieval-based Chatbots based on Relevant Knowledge and Goals
Université de Montréal（蒙特利尔大学）；Renmin University of China（中国人民大学）；Huawei Poisson Lab.（华为泊松实验室）
主动对话系统具有主动引导对话的能力。与一般的聊天机器人只对用户做出反应不同，主动对话系统可以用于实现一些目标，例如，向用户推荐一些项目。背景知识对于对话的顺利和自然过渡至关重要。在本文中，我们提出了一个新的多任务学习框架检索为基础的知识为基础的主动对话。为了确定要使用的相关知识，我们将知识预测作为一项补充任务，并使用明确的信号来监督其学习。根据预测的知识、要实现的目标和上下文选择最终的响应。实验结果表明，知识预测和目标选择的显式建模可以大大提高最终的响应选择。我们的代码可在https://github.com/DaoD/KPN/上获得。
2021-07-18 cs.CL
Retail-GPT: leveraging Retrieval Augmented Generation (RAG) for building E-commerce Chat Assistants
本研究提出开源的Retail-GPT电商聊天助手，基于RAG技术实现产品推荐、购物车管理等功能，具备跨平台适配性，可充当虚拟销售代理并验证同类助手在零售场景的可行性。
2024-08-15 cs.AI cs.CL cs.HC
Sequential Matching Network: A New Architecture for Multi-turn Response Selection in Retrieval-based Chatbots
State Key Lab of Software Development Environment, Beihang University（北京航空航天大学软件开发环境国家重点实验室）；Microsoft Research（微软研究院）；College of Computer and Control Engineering, Nankai University（南开大学计算机与控制工程学院）
我们研究了基于检索的聊天机器人中多轮对话的响应选择。现有的工作要么在上下文中连接话语，要么最终将响应与高度抽象的上下文向量匹配，这可能会丢失话语之间的关系或重要的上下文信息。我们提出了一个顺序匹配网络（SMN）来解决这两个问题。SMN首先在多个粒度级别上将响应与上下文中的每个话语进行匹配，并从每个对中提取重要的匹配信息作为具有卷积和池化操作的向量。然后，通过对话语之间的关系进行建模的循环神经网络（RNN）按时间顺序累积这些向量。最终的匹配分数是用RNN的隐藏状态计算的。在两个公开数据集上的实证研究表明，在多话轮会话中，SMN的响应选择性能明显优于现有的响应选择方法。
2017-05-15 cs.CL
TeroSeek: An AI-Powered Knowledge Base and Retrieval Generation Platform for Terpenoid Research
School of Pharmaceutical Sciences, Sun Yat-sen University（中山大学药学院）
TeroSeek是一个基于二十年文献构建的萜类知识库，结合RAG框架和AI问答，提供结构化信息，优于通用LLM，支持多学科研究。
2025-05-27 cs.AI cs.CL cs.IR
Response Selection with Topic Clues for Retrieval-based Chatbots
Beihang University（北京航空航天大学）；Microsoft Research（微软研究院）
我们考虑将主题信息纳入消息响应匹配，以提高基于检索的聊天机器人中具有丰富内容的响应。为此，我们提出了一个主题感知卷积神经张量网络（TACNTN）。在TACNTN中，消息和响应之间的匹配不仅在消息向量和由卷积神经网络生成的响应向量之间进行，而且还利用编码在两个主题向量中的额外主题信息。这两个主题向量分别是消息和响应的主题词的线性组合，其中主题词从预先训练的LDA模型中获得，并且它们的权重由它们自身以及消息向量和响应向量确定。消息向量、响应向量和两个主题向量被馈送到神经张量以计算匹配分数。对公共数据集和人工标注数据集的实证研究表明，TACNTN可以显着优于最先进的消息响应匹配方法。
2016-09-22 cs.CL
Ultra-Fast, Low-Storage, Highly Effective Coarse-grained Selection in Retrieval-based Chatbot by Using Deep Semantic Hashing
Beijing Institute of Technology（北京理工大学）；Huazhong University of Science and Technology（华中科技大学）
研究了基于检索的聊天机器人中的粗粒度选择模块。粗粒度选择是基于检索的聊天机器人中的一个基本模块，它从整个数据库中构造一个粗糙的候选集，以加快与客户的交互。到目前为止，粗粒度选择模块的表示方法主要有两种：（1）稀疏表示;（2）稠密表示。据我们所知，在基于检索的聊天机器人中，这两种方法之间没有系统的比较，哪种方法在实际场景中更好仍然是一个悬而未决的问题。本文首先从四个方面对这两种方法进行了系统的比较：（1）有效性;（2）索引存储量;（3）搜索时间成本;（4）人工评价。大量的实验结果表明，密集表示方法明显优于稀疏表示，但花费更多的时间和存储占用。为了克服密集表示方法的这些致命弱点，我们提出了一种超快速、低存储、高效的深度语义哈希粗粒度选择方法，称为DSHC模型。具体而言，在DSHC模型中，在训练好的稠密表示模型上叠加了由两个自动编码器模型组成的哈希优化模块，并设计了三个损失函数对其进行优化，哈希优化模块提供的哈希码有效地保留了稠密向量中丰富的语义和相似性信息.大量的实验结果表明，我们提出的DSHC模型可以实现更快的速度和更低的存储比稀疏表示，与密集表示相比，有限的性能损失。此外，我们的源代码已公开发布，供未来研究使用。
2020-12-18 cs.CL
Speaker-Aware BERT for Multi-Turn Response Selection in Retrieval-Based Chatbots
National Engineering Laboratory for Speech and Language Information Processing, University of Science and Technology of China（中国科学技术大学语音及语言信息处理国家工程实验室）；State Key Laboratory of Cognitive Intelligence, iFLYTEK Research（科大讯飞研究院认知智能国家重点实验室）
在本文中，我们研究了在基于检索的聊天机器人中使用预训练的语言模型进行多轮响应选择的问题。提出了一种新的说话人感知BERT（SA-BERT）模型，该模型能够感知说话人变化信息，这是多话轮对话的一个重要的内在属性。此外，一个说话人感知的解纠缠策略，提出了解决纠缠的对话。该策略根据说话人的信息选择少量最重要的话语作为过滤后的语境。最后，执行领域自适应以将领域内知识结合到预先训练的语言模型中。在5个公共数据集上的实验表明，该模型在所有指标上都优于现有模型，并在多回合响应选择方面取得了新的最新性能。
2020-07-30 cs.CL
Interactive Matching Network for Multi-Turn Response Selection in Retrieval-Based Chatbots
University of Science and Technology of China（中国科学技术大学）；iFLYTEK Research（讯飞研究院）
在本文中，我们提出了一个交互式匹配网络（IMN）的多轮响应选择任务。首先，IMN从三个方面构建单词表示来解决词汇表外（OOV）单词的挑战。其次，设计了一种注意分层递归编码器（AHRE），它能够分层编码句子，并通过与注意力机制聚合来生成更具描述性的表示。最后，计算多话轮上下文和候选回答之间的双向交互，以获得它们之间的匹配信息。在四个公共数据集上的实验表明，IMN在所有指标上都优于基线模型，实现了新的最先进的性能，并展示了多回合响应选择的跨域兼容性。
2019-11-11 cs.CL
Building a Production Model for Retrieval-Based Chatbots
ASAPP, Inc.（ASAPP公司）；Massachusetts Institute of Technology（麻省理工学院）
应答建议是构建人机对话系统的一项重要任务。最近的对话建模方法引入了新的模型架构，并取得了令人印象深刻的结果，但相对较少关注这些模型在生产环境中是否实用。在本文中，我们描述了独特的挑战，建立一个生产检索为基础的对话系统，从白名单的候选人的反应选择输出。为了解决这些挑战，我们提出了一种双编码器架构，它可以执行快速推理，并随着白名单的大小而扩展。我们还介绍和比较了两种白名单生成方法，并对模型和白名单进行了全面的分析。在一个大型专有的帮助台聊天数据集上的实验结果，包括离线指标和人工评估，表明了生产质量的性能，并说明了实践中对话建模的关键教训。
2019-08-01 cs.CL
Graph-Enhanced Retrieval-Augmented Question Answering for E-Commerce Customer Support
Microsoft（微软）
本文提出一种结合知识图谱与检索增强生成的框架，通过融合结构化子图与文本文档进行答案合成，显著提升了电子商务客户支持问答的事实准确率与用户满意度。
2025-09-15 cs.AI cs.CL cs.IT
Filtering before Iteratively Referring for Knowledge-Grounded Response Selection in Retrieval-Based Chatbots
State Key Laboratory of Cognitive Intelligence, iFLYTEK Research（科大讯飞认知智能国家重点实验室）
构建基于知识的基于检索的聊天机器人的挑战在于如何将会话建立在其背景知识上，以及如何同时将响应候选者与上下文和知识相匹配。针对这一问题，提出了一种迭代引用前过滤（FIRE）方法.该方法首先建立上下文过滤器和知识过滤器，通过全局和双向注意分别得到知识感知的上下文表示和上下文感知的知识表示。此外，与会话无关的条目被知识过滤器丢弃。之后，在上下文和响应表示之间以及在知识和响应表示之间迭代地执行引用，以便收集用于对响应候选进行评分的深度匹配特征。实验结果表明，FIRE优于以前的方法的利润率大于2.8%和4.1%的PERSONA-CHAT数据集上的原始和修改的人物角色，和利润率大于3.1%的CMU_DoG数据集上的top-1的准确性。我们还表明，消防是更可解释的可视化的知识接地过程。
2020-09-21 cs.CL
Utterance-to-Utterance Interactive Matching Network for Multi-Turn Response Selection in Retrieval-Based Chatbots
University of Science and Technology of China（中国科学技术大学）；iFLYTEK Company, Ltd.（科大讯飞股份有限公司）
本文提出了一种用于基于检索的聊天机器人中多轮响应选择的话语到话语交互式匹配网络（U2 U-IMN）。与以往基于语境-应答匹配或话语-应答匹配的方法不同，该模型在计算语境和应答之间的匹配度时，将两者都看作是话语序列。对于上下文响应对，U2 U-IMN模型首先使用递归层和自注意层分别对每个话语进行编码。然后，使用注意力机制在上下文和响应之间进行全局双向交互，以收集它们之间的匹配信息。在计算注意力权重时，上下文和响应话语之间的距离被用作先验分量。最后，依次进行语义级聚合和上下文响应级聚合，得到用于匹配度预测的特征向量。在四个公共数据集上的实验表明，我们提出的方法在所有指标上都优于基线方法，实现了新的最先进的性能，并证明了多回合响应选择的跨域兼容性。
2019-11-16 cs.CL
Enhanced vectors for top-k document retrieval in Question Answering
现代应用程序，特别是涉及“搜索”作为其用例的信息检索网络应用程序，正逐渐向“应答”模块移动。会话式聊天机器人已被证明对用户更具吸引力，使用问答作为其核心。由于精确的回答在计算上是昂贵的，因此已经开发了几种方法来从包含答案的数据库中预取最相关的文档/段落。我们提出了一种不同的方法，可以高效、准确地检索证据文档，确保不会错过给定用户查询的相关文档。我们通过为每个文档（或本文中的段落）分配一个唯一的标识符，并使用它们来创建可以有效索引的密集向量。更准确地说，我们使用标识符来预测与段落对应的相关问题的随机采样的上下文窗口单词以及段落本身的单词。这自然地将通道标识符嵌入到向量空间中，使得嵌入更接近问题而不损害信息内容。这种方法可以在约4毫秒内高效地创建实时查询向量。
2022-10-08 cs.CL cs.IR cs.LG
From RAG to QA-RAG: Integrating Generative AI for Pharmaceutical Regulatory Compliance Process
Sungkyunkwan University（成均馆大学）；University College, Sungkyunkwan University（成均馆大学大学学院）
本研究提出QA-RAG模型，结合生成式AI与检索增强生成技术，用于制药法规合规问答，在对比实验中显著提升准确性，优于传统RAG等基线方法。
2024-01-26 cs.AI cs.CL cs.IR
Partner Matters! An Empirical Study on Fusing Personas for Personalized Response Selection in Retrieval-Based Chatbots
University of Science and Technology of China（中国科学技术大学）；Queen’s University（女王大学）；iFLYTEK Research（讯飞研究院）
角色可以作为先验知识来维护对话系统的一致性。以往的研究大多采用对话中的自我角色，其反应是从一组候选人中选择或直接产生的，但很少有人注意到伙伴在对话中的作用。本文试图深入探讨利用人物角色描述自己或合作伙伴的发言人的响应选择任务中检索为基础的聊天机器人的影响。设计了四种人物角色融合策略，假设人物角色以不同的方式与上下文或响应进行交互。这些策略被实现为三个典型的响应选择模型，分别基于分层递归编码器（HRE），交互式匹配网络（IMN）和双向编码器表示从Transformers（BERT）。Persona-Chat数据集上的实证研究表明，在以前的研究中被忽略的合作伙伴人物角色可以提高基于IMN和BERT的模型中响应选择的准确性。此外，我们基于BERT的模型实现了上下文响应感知的人物角色融合策略，在原始人物角色上的命中率大于2.7%，在修改后的人物角色上的命中率大于4.6%，在Persona-Chat数据集上实现了新的最先进的性能。
2021-05-21 cs.CL
A Sequential Matching Framework for Multi-turn Response Selection in Retrieval-based Chatbots
Beihang University（北京航空航天大学）；Microsoft Research（微软研究院）；NanKai University（南开大学）
我们研究了基于检索的聊天机器人中多轮对话的响应选择问题。该任务需要将响应候选与会话上下文进行匹配，其挑战包括如何识别上下文的重要部分，以及如何对上下文中的话语之间的关系进行建模。现有的匹配方法可能会丢失上下文中的重要信息，因为我们可以用统一的框架来解释它们，在该框架中，上下文被转换为固定长度的向量，而无需在匹配之前与响应进行任何交互。这一分析促使我们提出一种新的匹配框架，该框架能够充分携带上下文中的重要信息，同时对话语之间的关系进行匹配和建模。新的框架，我们称之为顺序匹配框架（SMF），让每个话语在上下文中的响应候选人在第一步进行交互，并将对匹配向量。然后，使用递归神经网络（RNN）按照上下文中的话语顺序累积匹配向量，该递归神经网络对话语之间的关系进行建模。最后用RNN的隐藏状态计算上下文响应匹配。在SMF下，我们提出了顺序卷积网络和顺序注意网络，并在两个公共数据集上进行了实验，以测试它们的性能。实验结果表明，这两种模型可以显着优于国家的最先进的匹配方法。我们还表明，这些模型是可解释的可视化，为我们提供了关于它们如何捕获和利用上下文中的重要信息进行匹配的见解。
2017-10-31 cs.CL
Dually Interactive Matching Network for Personalized Response Selection in Retrieval-Based Chatbots
University of Science and Technology of China（中国科学技术大学）；Queen’s University（女王大学）；iFLYTEK Research（科大讯飞研究院）
本文提出了一种双重交互式匹配网络（DIM），用于呈现基于检索的聊天机器人中对话代理的个性。该模型是在交互式匹配网络（IMN）的基础上发展起来的，IMN对由多个话语组成的上下文与候选响应之间的匹配程度进行建模。与以往的人物角色融合方法相比，DIM模型采用了双重匹配结构，分别在响应与上下文、响应与人物角色之间进行交互式匹配，对候选响应进行排序。在PERSONA-CHAT数据集上的实验结果表明，DIM模型优于其基线模型，即，IMN与人物角色融合，由14.5%的利润率，并优于目前的国家的最先进的模型，由利润率27.7%的前1名的准确性命中@1。
2020-02-01 cs.AI cs.CL
Towards Optimizing and Evaluating a Retrieval Augmented QA Chatbot using LLMs with Human in the Loop
School of Computation, Information and Technology（计算、信息与技术学院）；Technical University of Munich（慕尼黑工业大学）
本研究针对HR支持场景，与SAP SE专家合作开发引入人在回路机制的大语言模型检索增强问答聊天机器人，验证了GPT-4的性能优势及G-Eval、Prometheus无参考评估指标的可靠性。
2024-07-08 cs.AI cs.CL
Measuring and Improving Persuasiveness of Large Language Models
Adobe Media & Data Science Research（Adobe媒体与数据科学研究部门）
该研究推出首个大规模说服力基准与竞技场平台PersuasionBench、PersuasionArena，自动衡量生成式模型说服能力，发现LLM说服力与规模正相关但小模型经针对性训练可超越大模型，对AI监管的规模依赖假设提出挑战。
2024-10-06 cs.CL cs.CV
Sequential Sentence Matching Network for Multi-turn Response Selection in Retrieval-based Chatbots
Didi Chuxing（滴滴出行）
近年来，开放领域的多轮聊天机器人吸引了学术界和工业界许多研究人员的兴趣。主要的基于检索的方法使用上下文响应匹配机制进行多轮响应选择。具体地，现有技术的方法通过词或片段相似性来执行上下文响应匹配。然而，这些模型缺乏对中间层语义信息的充分利用，并且会犯一些人类很容易避免的简单错误。在这项工作中，我们提出了一个匹配网络，称为顺序句子匹配网络（S2M），使用的句子层次的语义信息来解决这个问题。首先，也是最重要的一点，我们发现，通过使用中间层语义信息，网络成功地解决了这个问题，并在匹配方面得到了显着的改进，从而获得了最先进的性能。此外，我们结合我们在这里介绍的句子匹配和目前文献中报道的常用词相似度匹配，在不同的语义层次上进行匹配。在三个公开数据集上的实验表明，这种集成进一步提高了模型的性能。
2020-05-16 cs.CL cs.LG
Dialogue History Matters! Personalized Response Selectionin Multi-turn Retrieval-based Chatbots
Wangxuan Institute of Computer Technology（王选计算机技术研究所）；Center for Data Science（数据科学中心）；Academy for Advanced Interdisciplinary Studies（前沿交叉学科研究院）；Peking University（北京大学）；Soochow University（苏州大学）；Gaoling School of Artificial Intelligence（高瓴人工智能学院）；Renmin University of China（中国人民大学）
现有的多轮语境-反应匹配方法主要集中在获得多层次、多维度的表征以及语境话语与反应之间更好的交互。然而，在真实对话场景中，响应候选是否合适不仅取决于给定的对话上下文，还取决于其他背景，例如，措辞习惯、用户特定的对话历史内容。为了填补这些最新的方法和现实世界的应用之间的差距，我们将用户特定的对话历史的响应选择，并提出了一个个性化的混合匹配网络（PHMN）。我们的贡献是两方面的：1）我们的模型从用户特定的对话历史中提取个性化的措辞行为作为额外的匹配信息; 2）我们对上下文-响应话语进行混合表示学习，并显式地引入定制的注意力机制来从上下文-响应交互中提取重要信息，以提高匹配的准确性。我们在两个具有用户标识的大型数据集上评估我们的模型，即，个性化Ubuntu对话语料库（P-Ubuntu）和个性化微博数据集（P-Weibo）。实验结果证实，我们的方法显着优于几个强大的模型相结合的个性化注意，措辞行为，和混合表示学习。
2021-03-17 cs.CL
Retrieval and Generative Approaches for a Pregnancy Chatbot in Nepali with Stemmed and Non-Stemmed Data : A Comparative Study
Department of Computer Science and Engineering, Kathmandu University（加德满都大学计算机科学与工程系）
本研究比较了基于检索（多语言BERT和DistilBERT）与基于生成（Transformer）的尼泊尔语孕期聊天机器人方法，发现预训练模型在非词干化数据上表现更优，DistilBERT达到最高测试准确率0.9165。
2023-11-12 cs.CL cs.LG
