Review Conversational Reading Comprehension
Tsinghua University(清华大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
受对话式阅读理解(CRC)的启发,本文研究了一个新的任务,利用评论作为一个源,建立一个代理,可以回答多轮问题的潜在消费者的在线业务。我们首先建立一个回顾CRC数据集,然后提出一个新的任务感知预调步骤,在语言模型(例如,BERT)预训练和特定领域的微调。所提出的预调优不需要数据注释,但可以大大提高我们最终任务的性能。实验结果表明,该方法是非常有效的,具有竞争力的性能监督方法。数据集可在\url{https://github.com/howardhsu/RCRC}上获得
2019-11-06 cs.CL
Conversational Answer Generation and Factuality for Reading Comprehension Question-Answering
问答(QA)是语音助理的重要用例。一种流行的问答方法是提取阅读理解(RC),它在文本段落中找到答案跨度。然而,提取的答案在会话上下文中通常是不自然的,这导致次优的用户体验。在这项工作中,我们调查问答会话的答案生成。我们提出了一个端到端的生成RC模型,它将多个段落的答案生成与段落排名和可回答性相结合。此外,在应用生成RC的一个障碍是幻觉的答案是事实上与文本不一致。我们利用最近的工作总结,以评估真实性。实验结果表明,与MS MARCO 2.1 NLGEN和NarrativeQA之前发表的最佳结果相比,EscherBART显着提高了2.5 ROUGE-L和9.4 ROUGE-L。
2021-03-11 cs.CL
Conversational Machine Reading Comprehension for Vietnamese Healthcare Texts
University of Information Technology(信息技术大学);Vietnam National University Ho Chi Minh City(胡志明市越南国家大学)
机器阅读理解(MRC)是自然语言处理的一个子领域,旨在帮助计算机理解非结构化文本,然后回答与之相关的问题。在实践中,会话是沟通和传递信息的重要方式。为了帮助机器理解会话文本,我们提出了一个新的语料库,用于越南语的会话机器阅读理解的VIP-ViCoQA。该语料库包含10,000个问题,回答了2,000多个关于健康新闻文章的对话。然后,我们评估了几种基本的方法,会话机器理解上的EST-ViCoQA语料库。最好的模型获得了45.27%的F1分数,比人类的表现(76.18%)落后30.91分,这表明有足够的改进空间。我们的数据集可在我们的网站上获得:http://nlp.uit.edu.vn/datasets/用于研究目的。
2021-09-30 cs.CL
Attentive Memory Networks: Efficient Machine Reading for Conversational Search
University of Amsterdam(阿姆斯特丹大学)
会话系统的最新进展改变了搜索范式。传统上,用户向搜索引擎提出查询,该搜索引擎基于其索引返回答案,可能利用外部知识库并根据搜索会话中的早期交互来调节响应。在自然对话中,还有一个额外的信息源需要考虑:在对话中较早产生的话语也可以被引用,并且对话IR系统必须跟踪用户在对话期间传达的信息,即使它是隐式的。我们认为,建立一个代表性的对话的过程可以被框定为一个机器阅读任务,其中一个自动化系统提出了一些声明,它应该回答问题。这些问题的回答应仅参考所提供的陈述,而不应咨询外部知识。信息检索社区接受这项任务的时机已经成熟,既可以作为一项独立的任务,也可以集成到更广泛的对话搜索环境中。在本文中,我们专注于机器阅读作为一个独立的任务,并提出了注意记忆网络(AMN),一个端到端的可训练的机器阅读算法。它的主要贡献是效率,通过分层输入编码器实现,只对输入进行一次迭代。速度是会话搜索设置中的一个重要要求,因为会话轮之间的间隙对自然性有不利影响。在20个通常用于评估机器阅读算法的数据集上,我们表明AMN实现了与最先进的模型相当的性能,同时使用了相当少的计算。
2017-12-19 cs.CL
Explicit Memory Tracker with Coarse-to-Fine Reasoning for Conversational Machine Reading
The Chinese University of Hong Kong(香港中文大学);Salesforce Research(Salesforce 研究院)
对话式机器阅读的目标是回答给定知识库文本的用户问题,这可能需要提出澄清问题。现有的方法是有限的,在他们的决策,由于斗争中提取问题相关的规则和推理。在本文中,我们提出了一个新的对话式机器阅读框架,其中包括一个新的显式记忆跟踪器(EMT),以跟踪规则文本中列出的条件是否已经满足作出决定。此外,我们的框架产生澄清问题,采用了由粗到细的推理策略,利用语义级蕴涵分数加权令牌级分布。在ShARC基准(盲,保持)测试集上,EMT实现了74.6%的微平均决策准确率和49.5 BLEU4的最新结果。我们还表明,EMT是更可解释的可视化的蕴涵为导向的推理过程中的会话流。代码和模型在https://github.com/Yifan-Gao/explicit_memory_tracker上发布。
2020-06-23 cs.CL
ET5: A Novel End-to-end Framework for Conversational Machine Reading Comprehension
Beijing Institute of Technology(北京理工大学);Southeast Academy of Information Technology, Beijing Institute of Technology(北京理工大学东南信息技术研究院)
会话式机器阅读理解(CMRC)旨在帮助计算机理解自然语言文本,然后参与多轮会话以回答与文本相关的问题。现有的方法通常需要三个步骤:(1)基于蕴涵推理的决策;(2)如果上述决策需要,则提取跨度;(3)基于提取的跨度重新措辞问题。然而,在这些方法中,由于跨度提取和问题重组步骤相对独立,不能充分利用决策步骤中的细粒度蕴涵推理信息,这将进一步扩大决策和问题重组之间的信息鸿沟。因此,为了解决这个问题,我们提出了一个新的端到端的框架会话机器阅读理解的基础上共享参数机制,称为蕴涵推理T5(ET 5)。尽管我们提出的框架是轻量级的,但实验结果表明,所提出的ET 5在ShARC排行榜上取得了新的最先进的结果,BLEU-4得分为55.2。我们的模型和代码可在https://github.com/Yottaxx/ET5上公开获取。
2022-09-23 cs.CL
Attentional Multi-Reading Sarcasm Detection
Oregon State University(俄勒冈州立大学)
识别讽刺通常需要深入了解多种信息来源,包括话语,对话上下文和现实世界的事实。目前的大多数讽刺检测系统只考虑孤立的话语。有一些有限的尝试考虑到会话上下文。在本文中,我们提出了一个可解释的端到端模型,结合信息的话语和会话背景下检测讽刺,并通过实证评估证明其有效性。我们还研究了所提出的模型的行为,为模型的决策提供解释。重要的是,我们的模型能够确定话语和会话背景对模型决策的影响。最后,我们提供了一个消融研究来说明所提出的模型的不同组件的影响。
2018-09-09 cs.AI cs.CL cs.LG
Explicit Alignment and Many-to-many Entailment Based Reasoning for Conversational Machine Reading
Beijing University of Posts and Telecommunications(北京邮电大学)
针对对话式机器阅读中文档与用户信息对齐被忽略的问题,提出一种通过显式对齐与轻量级多对多蕴含推理进行决策并生成后续问题的流水线框架,在ShARC数据集上取得最优结果。
2023-10-20 cs.CL
Bridging The Gap: Entailment Fused-T5 for Open-retrieval Conversational Machine Reading Comprehension
Beijing Institute of Technology(北京理工大学);Southeast Academy of Information Technology(东南信息技术研究院)
开放检索会话式机器阅读理解(OCMRC)模拟了现实生活中的会话交互场景。机器需要根据检索到的规则文本、用户场景、用户问题和对话历史,做出“是/否/查询”的决定,或在决定为“查询”时生成后续问题。最近的研究探索了如何减少决策和问题生成之间的信息差距,从而提高生成性能的方法。然而,信息鸿沟仍然存在,因为这些管道结构仍然是有限的决策,跨度提取和问题改写三个阶段。决策和生成是分开进行推理的,决策中使用的蕴涵推理很难在所有阶段共享。为了解决上述问题,我们提出了一个新的一阶段的端到端的框架,称为蕴涵融合T5(EFT),在全球理解的方式弥合决策和生成之间的信息差距。广泛的实验结果表明,我们提出的框架实现了新的国家的最先进的性能的OR-ShARC基准。
2022-12-19 cs.CL
Discern: Discourse-Aware Entailment Reasoning Network for Conversational Machine Reading
The Chinese University of Hong Kong(香港中文大学);Salesforce Research(Salesforce研究院);Nanyang Technological University(南洋理工大学)
文档解释和对话理解是对话式机器阅读的两个主要挑战。在这项工作中,我们提出了Discern,一个话语感知的蕴涵推理网络,以加强连接,提高对文档和对话的理解。具体来说,我们使用预先训练的话语分割模型将文档分割成子句式的基本话语单元(EDU),并且我们以弱监督的方式训练我们的模型来预测每个EDU是否由会话中的用户反馈所涉及。基于所学习的EDU和蕴涵表示,我们要么向用户回复我们对初始问题的最终决定“是/否/不相关”,要么生成后续问题以询问更多信息。我们在ShARC基准测试(盲测试集)上的实验表明,Discern在决策方面达到了78.3%的宏观平均准确率,在后续问题生成方面达到了64.0 BLEU 1。代码和模型在https://github.com/Yifan-Gao/Discern上发布。
2020-10-16 cs.AI cs.CL cs.LG
CoQA: A Conversational Question Answering Challenge
Stanford University(斯坦福大学);Computer Science Department(计算机科学系)
人类通过参与涉及一系列相互关联的问题和答案的对话来收集信息。因此,对于帮助收集信息的机器来说,使它们能够回答会话问题至关重要。我们介绍了CoQA,一种用于构建会话式问答系统的新型数据集。我们的数据集包含127k个问题和答案,这些问题和答案来自七个不同领域的8k个文本段落对话。问题是对话式的,答案是自由形式的文本,并在文章中突出显示相应的证据。我们深入分析了CoQA,并表明会话问题具有现有阅读理解数据集中不存在的挑战性现象,例如,共指和语用推理。我们在CoQA上评估强大的会话和阅读理解模型。最好的系统获得了65.4%的F1分数,比人类的表现(88.8%)落后23.4分,这表明有足够的改进空间。我们在http://stanfordnlp.github.io/coqa/上推出CoQA作为对社区的挑战
2019-03-29 cs.AI cs.CL cs.LG
Grounded Complex Task Segmentation for Conversational Assistants
NOVA LINCS(新里斯本大学计算机科学与信息学实验室);NOVA School of Science and Technology(新里斯本大学科学与技术学院)
本文研究对话助手中复杂任务的分割问题,以食谱领域为例,通过标注对话场景下的指令结构并采用基于 token 的 Transformer 方法建模,使用户更易遵循步骤,实验显示 86% 的任务在对话适用性上得到改善。
2023-09-20 cs.AI cs.CL
Orca: A Few-shot Benchmark for Chinese Conversational Machine Reading Comprehension
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Hong Kong University of Science and Technology(香港科技大学);IDEA(深圳国际数字经济研究院);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
提出首个中文对话机器阅读理解基准Orca,含831段对话、4,742轮,覆盖33个领域,提供零样本/小样本设置,答案标注为自然回复,三个强基线显示任务挑战性。
2023-10-13 cs.AI cs.CL
Interpretation of Natural Language Rules in Conversational Machine Reading
Bloomsbury AI(布卢姆斯伯里人工智能公司);University of California, Irvine(加州大学欧文分校);University College London(伦敦大学学院)
机器阅读的大部分工作集中在问答问题上,答案直接表达在要阅读的文本中。然而,许多现实世界的问答问题需要阅读文本,不是因为它包含字面答案,而是因为它包含一个配方,以得出答案连同读者的背景知识。一个例子是解释条例的任务,以回答“我能.?或者“我必须......吗?例如“我在加拿大工作。我必须继续支付英国国民保险吗?“在阅读了英国政府网站上关于这个话题的文章后。这项任务既需要解释规则,也需要应用背景知识。实际上,由于大多数问题都没有被详细说明,人工助理将不得不经常提出澄清问题,例如“你在国外工作多久了?“当答案不能直接从问题和文本中得出时。在本文中,我们正式这个任务,并制定了一个众包策略,收集32K任务实例的基础上,现实世界的规则和群众产生的问题和场景。我们分析了这项任务的挑战,并通过评估基于规则和机器学习基线的性能来评估其难度。当不需要背景知识时,我们观察到有希望的结果,并且当需要背景知识时,观察到有很大的改进空间。
2018-08-28 cs.CL cs.LG stat.ML
Towards leveraging latent knowledge and Dialogue context for real-world conversational question answering
University of Amsterdam(阿姆斯特丹大学);Utrecht University(乌得勒支大学)
在许多现实世界的场景中,缺乏像维基百科这样的外部知识源限制了问答系统依赖于有限对话数据中的潜在内部知识。此外,人类经常通过问几个问题来寻求答案,以获得更全面的信息。随着对话变得越来越广泛,机器面临着参考以前的对话回合来回答问题的挑战。在这项工作中,我们建议通过神经检索阅读系统利用现有会话日志中的潜在知识,通过基于TFIDF的文本摘要器改进冗长的会话历史以缓解长上下文问题。我们的实验表明,我们的检索阅读系统可以利用检索到的背景知识,以产生显着更好的答案。结果还表明,我们的上下文摘要显着帮助检索者和读者介绍更简洁,更少的噪音上下文信息。
2022-12-17 cs.CL
Similarity Based Label Smoothing For Dialogue Generation
University at Buffalo(纽约州立大学布法罗分校)
生成式神经会话系统通常以最小化训练“硬”目标和预测逻辑之间的熵损失为目标进行训练。通常,性能增益和改进的泛化可以通过使用正则化技术来实现,如标签平滑,它将训练“硬”目标转换为“软”目标。然而,标签平滑在不正确的训练目标上强制执行数据独立的均匀分布,这导致对于每个正确目标的等概率不正确目标的不正确假设。在本文中,我们提出并实验将数据依赖的字相似性为基础的加权方法,不正确的目标概率在标签平滑的均匀分布,一个更自然的分布的基础上的语义。我们引入超参数来控制不正确的目标分布,并在两个标准的开放域对话语料库上报告了使用标准标签平滑损失训练的网络的显着性能增益。
2021-07-23 cs.AI cs.CL
A Wrong Answer or a Wrong Question? An Intricate Relationship between Question Reformulation and Answer Selection in Conversational Question Answering
University of Amsterdam(阿姆斯特丹大学);Apple Inc.(苹果公司)
一个适当的问题制定和正确的答案选择之间的依赖关系是一个非常有趣的,但仍然未充分探索的领域。在本文中,我们表明,问题重写(QR)的会话背景下,可以更清楚地揭示这种现象,也可以用它来评估不同的答案选择方法的鲁棒性。我们介绍了一个简单的框架,使会话问答(QA)的性能使用问题重写的自动分析,并提出了这种分析的结果TREC CAST和QuAC(CANARD)数据集。我们的实验揭示了敏感性的问题制定的流行的国家的最先进的模型,阅读理解和文章排名。我们的研究结果表明,阅读理解模型是不敏感的问题制定,而文章的排名变化显着的输入问题的一点变化。QR的好处是,它允许我们自动定位和分组这些情况。我们展示了如何使用这种方法来验证QA模型是真的在学习任务,还是只是在数据集中找到捷径,并更好地理解它们经常犯的错误类型。
2022-02-03 cs.CL
Open-Domain Question Answering Goes Conversational via Question Rewriting
Apple Inc.(苹果公司);University of Amsterdam(阿姆斯特丹大学)
我们引入了一个新的数据集,用于会话上下文中的问题重写(QReCC),其中包含14K对话和80K问答对。QReCC的任务是在1000万个网页(分成5400万个段落)中找到会话问题的答案。同一对话中的问题的答案可能分布在多个网页上。QReCC提供注释,使我们能够训练和评估端到端会话问答(QA)任务所需的问题重写,段落检索和阅读理解的各个子任务。我们报告了一个强大的基线方法的有效性,结合了国家的最先进的模型的问题重写,开放域QA的竞争力模型。我们的结果为QReCC数据集设定了第一个基线,F1为19.10,而人类的上限为75.45,这表明设置的难度和很大的改进空间。
2021-04-14 cs.CL cs.IR
Realistic Conversational Question Answering with Answer Selection based on Calibrated Confidence and Uncertainty Measurement
Korea Advanced Institute of Science Technology(韩国科学技术院)
会话式问答(ConvQA)模型的目标是通过相关段落和在会话中多次出现的先前问答对来回答问题。为了将这些模型应用于现实世界的场景,一些现有的工作使用预测的答案,而不是不可用的地面真相答案,作为推理的会话历史。然而,由于这些模型通常预测错误的答案,使用所有的预测而不过滤显着阻碍了模型的性能。为了解决这个问题,我们建议根据ConvQA模型中估计的置信度和不确定性过滤掉对话历史中不准确的答案,而不进行任何架构更改。此外,为了使置信度和不确定性值更可靠,我们建议进一步校准它们,从而平滑模型预测。我们在两个标准ConvQA数据集上验证了我们的模型,基于答案选择的现实对话问答,结果表明我们的模型显著优于相关基线。代码可在:https://github.com/starsuzi/AS-ConvQA.
2023-02-10 cs.AI cs.CL cs.IR
Conversing by Reading: Contentful Neural Conversation with On-demand Machine Reading
University of Washington(华盛顿大学);Microsoft Research(微软研究院)
虽然神经会话模型在学习如何产生流利的反应方面是有效的,但它们的主要挑战在于知道该说什么才能使会话内容丰富且不空洞。我们提出了一种新的端到端的方法来实现内容丰富的神经会话,该方法联合建模响应生成和按需机器阅读。其核心思想是为会话模型提供动态的相关长文本作为外部知识的来源。该模型执行问答式的阅读理解对这个文本在每个会话的转折,从而允许更集中的外部知识的整合比以前的方法。为了支持对基于知识的会话的进一步研究,我们引入了一个新的基于外部网页的大规模会话数据集(2.8M回合,7.4M句子的接地)。人工评估和自动化指标都表明,与以前的各种方法相比,我们的方法会产生更有内容的响应,从而提高了所生成输出的信息量和多样性。
2019-06-07 cs.AI cs.CL cs.LG
Reading Between the Lines: The One-Sided Conversation Problem
Paul G. Allen School of Computer Science & Engineering, University of Washington(保罗·G·阿伦计算机科学与工程学院,华盛顿大学);Allen Institute for Artificial Intelligence(阿伦人工智能研究所);Hearvana AI
本文提出单侧对话问题,研究如何从单侧对话中重建缺失发言和生成摘要,发现未来发言和发言长度信息有助于重建,而高质量摘要无需重建。
2026-04-16 cs.AI cs.CL cs.LG
SDNet: Contextualized Attention-based Deep Network for Conversational Question Answering
Microsoft Speech and Dialogue Research Group(微软语音与对话研究组)
会话式问答(CQA)是一种需要理解对话语境的新型问答任务。与传统的单轮机器阅读理解(MRC)任务不同,CQA包括篇章理解、共指消解和语境理解。在本文中,我们提出了一种创新的基于上下文的注意力深度神经网络SDNet,将上下文融合到传统的MRC模型中。我们的模型利用相互注意和自我注意来理解会话上下文并从段落中提取相关信息。此外,我们展示了一种新的方法来集成最新的BERT上下文模型。实证结果表明,我们的模型的有效性,它设置了新的国家的最先进的结果在CoQA排行榜,优于以前的最佳模型的1.6%F1。我们的集成模型进一步提高了2.7%F1的结果。
2019-01-02 cs.CL
Conversational Question Answering over Passages by Leveraging Word Proximity Networks
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
文本段上的问答是信息检索领域的一个重要问题。最近,会话设置引起了人们的注意,其中用户询问一系列问题以满足她围绕主题的信息需求。虽然这种设置是一种自然的设置,类似于人类彼此交谈,但它引入了两个关键的研究挑战:理解用户在后续问题中留下的隐含上下文,以及处理特设问题公式。在这项工作中,我们展示了CROWN(通过词网络推理的会话段落排名):一个无监督但有效的系统,用于会话QA与通道响应,支持多种模式的上下文传播多个回合。为此,CROWN首先从大型语料库中构建一个词邻近网络(WPN)来存储统计上显著的术语共现。在回答时,段落通过其与问题的相似性和查询术语的一致性的组合进行排名:这些因素通过从WPN读取节点和边权重来测量。CROWN提供了一个界面,既直观的最终用户,并为专家的洞察力,重新配置到个人设置。在TREC CAsT数据上评估了CROWN,其中它在神经方法池中实现了高于中值的性能。
2020-05-25 cs.CL cs.IR
Conversational Machine Comprehension: a Literature Review
UMass Amherst(马萨诸塞大学阿默斯特分校);UMass Lowell(马萨诸塞大学洛厄尔分校)
会话机器理解(CMC)是会话人工智能的一个研究方向,它期望机器理解开放域自然语言文本,然后进行多轮会话来回答与文本相关的问题。虽然机器阅读理解(MRC)的大多数研究都围绕着单轮问答(QA),但由于通过BERT等神经语言模型进行自然语言理解的进步以及CoQA和QuAC等大规模会话数据集的引入,多轮CMC最近获得了突出地位。然而,兴趣的增加导致了一系列并发出版物,每一个都有不同但结构相似的建模方法和对周围文献的不一致看法。随着提交给会话数据集的模型数量每年都在增加,需要整合这一领域的分散知识以简化未来的研究。这篇文献综述试图提供一个全面的CMC概述,重点是最近发表的模型的共同趋势,特别是在他们的方法来处理会话历史。该评论综合了CMC模型的通用框架,同时强调了最近的方法的差异,并打算作为未来研究人员的CMC纲要。
2020-11-05 cs.CL
Conversational DNA: A Visual Language and Interactive Atlas of Human and AI Dialogue
Berkman Klein Center For Internet & Society(互联网与社会伯克曼-克莱因中心);Harvard University(哈佛大学)
本文提出Conversational DNA,一种将对话视为生命系统并通过生物学隐喻可视化其时间架构的新视觉语言,揭示了传统方法遗漏的交互模式。
2026-09-25 cs.AI cs.CL cs.CY
Ruffle&Riley: Towards the Automated Induction of Conversational Tutoring Systems
Carnegie Mellon University(卡内基梅隆大学);Ariel University(阿里埃勒大学)
本文提出Ruffle&Riley,一种利用大语言模型自动生成辅导脚本并通过双智能体模拟师生对话的对话式辅导系统,实验显示其在学习体验上优于简单问答机器人。
2023-11-14 cs.AI cs.CL cs.HC
Few-shot Policy (de)composition in Conversational Question Answering
提出LDPC神经符号框架,利用大型语言模型在少样本下通过逻辑分解检测策略合规,在ShARC基准上无需微调即达竞争性能,并增强可解释性。
2025-01-20 cs.AI cs.CL
Multifaceted Improvements for Conversational Open-Domain Question Answering
Hangzhou Dianzi University(杭州电子科技大学);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
开放域问答(OpenQA)是文本问答的一个重要分支,它基于大量的非结构化文档来发现给定问题的答案。有效地从开放域资源中挖掘正确答案还有很长的路要走。现有的OpenQA系统可能会受到问题复杂性和模糊性的问题,以及不足的背景知识。最近,会话OpenQA被提出来解决这些问题,丰富的上下文信息的会话。尽管它可能是有前途的,但存在几个基本的限制,包括不准确的问题理解,对通道选择的粗略排名,以及在训练和推理阶段中黄金通道的不一致使用。为了缓解这些限制,在本文中,我们提出了一个框架与多方面的改进会话开放域问答(MICQA)。具体而言,MICQA具有三个显著优势。首先,所提出的基于KL发散的正则化能够导致更好的问题理解,用于检索和答案阅读。第二,增加的后排名模块可以将更多相关的段落推到顶部放置,并为读者选择两方面的约束。第三,精心设计的课程学习策略有效地缩小了训练和推理的黄金通道设置之间的差距,鼓励读者在没有黄金通道帮助的情况下找到真正的答案。在公开数据集OR-QuAC上进行的大量实验证明了MICQA在会话OpenQA任务中优于最先进的模型。
2022-04-01 cs.CL cs.IR
FedQAS: Privacy-aware machine reading comprehension with federated learning
Uppsala University, Sweden(瑞典乌普萨拉大学);Scaleout Systems, Sweden(瑞典Scaleout Systems公司);Department of Information Technology(信息技术系);Division of Scientific Computing(科学计算部)
文本数据的机器阅读理解(MRC)是自然语言理解的一个重要任务。这是一个复杂的NLP问题,随着斯坦福问答数据集(SQuAD)和会话式问答(CoQA)的发布,许多研究正在进行中。它被认为是教计算机如何“理解”文本,然后能够使用深度学习回答有关文本的问题的努力。然而,到目前为止,关于私人文本数据和知识共享的大规模培训一直缺乏这个NLP任务。因此,我们提出了FedQAS,这是一个保护隐私的机器阅读系统,能够利用大规模的私有数据,而不需要将这些数据集集中在一个中心位置。该方法结合了Transformer模型和联邦学习技术。该系统使用FEDn框架开发,并作为概念验证联盟计划部署。FedQAS是灵活的,语言无关的,并允许直观的参与和执行本地模型训练。此外,我们提出了该系统的架构和实现,以及提供一个基于SQUAD数据集的参考评估,以展示它如何克服数据隐私问题,并在联邦学习环境中实现联盟成员之间的知识共享。
2022-02-09 cs.AI cs.CL cs.LG
Multilingual Question Answering from Formatted Text applied to Conversational Agents
Worldline(源讯世界线)
语言模型的最新进展(例如BERT、XLNet等),在复杂的NLP任务(如阅读理解)上,然而,用于训练的标记数据集主要以英语提供,这使得很难用其他语言确认进展。幸运的是,模型现在已经在来自数百种语言的未标记数据上进行了预训练,并表现出从一种语言到另一种语言的有趣迁移能力。在本文中,我们表明,多语言的BERT是自然能够zero-shot转移提取问答任务(eQA)从英语到其他语言。更具体地说,它超过了以前已知的最好的转移到日语和法语的基线。此外,使用最近发布的大型eQA法语数据集,我们能够进一步证明:(1)zero-shot迁移提供的结果非常接近于目标语言的直接训练;(2)迁移和目标语言训练的组合是总体上最好的选择。最后,我们提出了一个实际的应用:一个多语言的会话代理称为凯特回答人力资源相关的问题,在几种语言直接从内部网页面的内容。
2021-02-01 cs.CL
Wizard of Wikipedia: Knowledge-Powered Conversational agents
Facebook AI Research(Facebook人工智能研究)
在开放领域的对话智能代理应该表现出知识的使用,但有几个令人信服的证明这一日期。最流行的序列到序列模型通常“生成并希望”通用话语,当从输入话语映射到输出时,这些通用话语可以被记忆在模型的权重中,而不是采用回忆的知识作为上下文。到目前为止,知识的使用被证明是困难的,部分原因是缺乏一个监督学习基准任务,该任务展示了具有明确基础的知识性开放对话。为此,我们收集并发布了一个大型数据集,其中的对话直接基于从维基百科检索到的知识。然后,我们设计能够检索知识,阅读和调节知识,并最终产生自然反应的架构。我们表现最好的对话模型能够对开放领域的主题进行知识性的讨论,通过自动指标和人工评估进行评估,而我们的新基准允许衡量这一重要研究方向的进一步改进。
2019-02-21 cs.CL
Ask to Learn: A Study on Curiosity-driven Question Generation
reciTAL(reciTAL公司);Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心)
我们提出了一个新的文本生成任务,即好奇心驱动的问题生成。我们从观察问题生成任务传统上被认为是双重问题的问答,因此解决的问题,生成一个问题的文本,包含其答案。这些问题可以用来评估机器阅读理解。然而,在现实生活中,特别是在对话环境中,人们倾向于提出问题,目的是丰富他们的知识和/或澄清先前收集的信息的各个方面。我们将这些好奇的问题称为好奇心驱动的问题:这些问题的产生是为了获得输入文本中不存在的新信息(答案)。在这项工作中,我们使用会话式问答(QA)数据集对这个新任务进行实验;此外,由于大多数QA数据集不是以内置的会话方式,我们描述了一种方法来从非会话式QA数据中获得用于这个新任务的数据。我们研究了几种自动化指标来衡量好奇问题的不同属性,并在好奇驱动的问题生成任务上实验了不同的方法,包括模型预训练和强化学习。最后,我们报告所产生的输出的定性评价。
2019-11-08 cs.AI cs.CL
Ruffle&Riley: Insights from Designing and Evaluating a Large Language Model-Based Conversational Tutoring System
Carnegie Mellon University(卡内基梅隆大学);Texas A&M University(德克萨斯农工大学);Ariel University(阿里尔大学)
本文提出了一种基于LLM的对话辅导系统Ruffle&Riley,通过AI辅助内容编写和双智能体自动化脚本编排实现自由对话,用户研究表明其能提升参与度但短期学习收益与阅读活动无显著差异。
2024-04-26 cs.CL
CoHS-CQG: Context and History Selection for Conversational Question Generation
Nanyang Technological University(南洋理工大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);National University of Singapore(新加坡国立大学);Salesforce AI Research(赛富时人工智能研究院)
会话问题生成(CQG)是机器通过会话来帮助人类的重要任务,例如交互式阅读理解。与传统的单轮问题生成(SQG)相比,CQG更具有挑战性,因为它要求生成的问题不仅要有意义,而且要与会话历史保持一致。虽然以前的研究主要集中在如何建模的流动和对齐的对话,一直没有深入的研究,到目前为止,该模型的背景和历史的哪些部分是必要的。我们认为,缩短上下文和历史是至关重要的,因为它可以帮助模型优化更多的会话对齐属性。为此,我们提出了CoHS-CQG,一个两阶段的CQG框架,它采用了一个CoHS模块,以缩短输入的上下文和历史。特别地,CoHS通过top-p策略根据其相关性得分选择连续的句子和历史转折。我们的模型实现了最先进的性能CoQA在两个答案感知和答案不知情的设置。
2022-10-10 cs.CL
Rethinking Label Smoothing on Multi-hop Question Answering
Fudan University(复旦大学);Huawei Poisson Lab(华为泊松实验室)
针对多跳问答的性能瓶颈与过拟合问题,提出适配MRC的F1 Smoothing标签平滑技术及结合课程学习的LDLA算法,在HotpotQA数据集上取得SOTA效果,提升了模型泛化能力。
2023-12-13 cs.CL
Machine Reading Comprehension for Answer Re-Ranking in Customer Support Chatbots
Sofia University(索非亚大学);Hamad Bin Khalifa University(哈马德·本·哈利法大学);Qatar Computing Research Institute(卡塔尔计算研究所)
深度神经网络、语言建模和语言生成的最新进展为会话代理领域引入了新的想法。因此,序列到序列、记忆网络和Transformer等深度神经模型已成为最先进对话系统的关键组成部分。虽然这些模型即使在看不见的情况下也能够生成有意义的响应,但它们需要大量的训练数据来构建可靠的模型。因此,大多数现实世界的系统坚持基于信息检索的传统方法,甚至是手工制作的规则,因为它们的鲁棒性和有效性,特别是对于狭窄的对话。在这里,我们提出了一种方法,该方法采用了来自机器阅读理解领域的深度神经架构,以使用问题作为上下文,对来自不同模型的建议答案进行重新排序。我们训练我们的模型使用负采样的基础上的问题,答案对从Twitter的客户支持数据集。实验结果表明,我们的重新排名框架可以提高性能方面的单词重叠和语义的单独模型以及模型组合。
2019-02-26 cs.CL
Let the LLMs Talk: Simulating Human-to-Human Conversational QA via Zero-Shot LLM-to-LLM Interactions
University of Amsterdam(阿姆斯特丹大学);The Chinese University of Hong Kong(香港中文大学)
本文提出零样本 LLM-to-LLM 师生交互框架以模拟 CQA,并从问答质量、问题差异及阅读理解基准等方面验证 GPT-4 生成对话的有效性。
2023-12-05 cs.AI cs.CL cs.IR
Coreference-aware Double-channel Attention Network for Multi-party Dialogue Reading Comprehension
Soochow University(苏州大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院)
针对多方对话阅读理解中代词多跳推理和异构特征混淆的瓶颈,提出核心感知注意力建模方法与双通道编码网络,在Molweni和FriendsQA基准上取得显著性能提升。
2023-05-22 cs.CL
MemoryDocDataSet: A Benchmark for Joint Conversational Memory and Long Document Reasoning
Northeastern University(东北大学);Johns Hopkins University(约翰霍普金斯大学);Columbia University(哥伦比亚大学);Independent Researcher(独立研究者)
提出MemoryDocDataSet合成基准,包含50个微世界和1000个QA对,评估系统同时处理多轮对话历史和长文档阅读理解的能力,其中75.1%的问题需要混合推理(先导航对话历史再提取文档答案),实验显示联合检索存在明显差距。
2026-06-03 cs.AI cs.CL