Knowledge-Enhanced Attentive Learning for Answer Selection in Community Question Answering Systems
City University of Hong Kong(香港城市大学)
在社区问答(CQA)系统中,答案选择任务的目的是为特定问题确定最佳答案,因此通过为新问题推荐合适的答案,在提高服务质量方面发挥着关键作用。CQA答案选择的最新进展集中在通过整合社区信息来提高性能,特别是回答者的专业知识(以前的答案)和权威性(在社交网络中的位置)。然而,现有的方法用于合并这样的信息是有限的:(a)只考虑专业知识或权威,但不是两者;(b)忽略领域知识,以区分以前的答案的主题;和(c)简单地使用权威信息来调整相似性分数,而不是充分利用它在测量问题和答案的片段之间的相似性的过程中。我们提出了知识增强的注意答案选择(Knowledge-enhanced Attentive Answer Selection,KAAS)模型,该模型通过以下方式提高了性能:(a)同时考虑回答者的专业知识和权威性;(b)利用人工标记的标签、标签的分类和投票作为领域知识来推断答案的专业知识;(c)使用社交网络(由跟随关系形成)的矩阵分解来推断回答者的权威性,并将这些信息并入评估片段之间的相似性的过程中。此外,对于垂直社区,我们结合了外部知识图谱,为垂直CQA系统捕获更专业的信息。然后采用注意力机制将问答文本的分析与前面提到的社区信息进行整合。垂直和一般CQA网站的实验表明,所提出的KAAS模型的优越性能。
2019-12-17 cs.AI cs.CL cs.IR
On Generality and Knowledge Transferability in Cross-Domain Duplicate Question Detection for Heterogeneous Community Question Answering
Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所(Amii));University of Alberta(阿尔伯塔大学)
重复问题检测是社区问答中的一个持续挑战,因为语义等同的问题可能具有显著不同的单词和结构。此外,当相同的问题不重复时,识别重复的问题可以减少检索所需的资源。该研究比较了深度神经网络和梯度树提升的性能,并探索了领域自适应与迁移学习的可能性,以改善文本对重复分类任务中表现不佳的目标领域,使用三个异构数据集:通用Quora,技术Ask Ubuntu和学术English Stack Exchange。最终,我们的研究揭示了另一种假设,即“重复”的含义不是固有的通用目的,而是依赖于学习的领域,从而减少了通过适应该领域进行迁移学习的机会。
2018-11-15 cs.AI cs.CL
SemEval-2015 Task 3: Answer Selection in Community Question Answering
Qatar Computing Research Institute(卡塔尔计算研究所);MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);Qatar Living(卡塔尔生活)
社区问答(cQA)为传统的问答(QA)领域提供了新的有趣的研究方向,例如,利用用户之间的互动和相关职位的结构。在这种情况下,我们组织了SemEval-2015任务3“cQA中的答案选择”,其中包括两个子任务:(a)将答案分类为“好”,“坏”或“潜在相关”,以及(b)基于所有答案的列表,用“是”,“否”或“不确定”回答是/否问题。我们将阿拉伯语和英语的子任务A设置在两个相对不同的cQA域上,即,卡塔尔生活网站的英语,和一个古兰经相关的阿拉伯语网站。我们在Amazon Mechanical Turk上使用众包来标记一个大型英语训练数据集,并将其发布给研究社区。13支队伍参加了挑战赛,共提交了61份材料:24份主要材料和37份对比材料。最好的系统在英语子任务A和B中获得了57.19和63.7的官方分数(宏观平均F1),在阿拉伯语子任务A中获得了78.55的分数。
2019-11-26 cs.AI cs.CL cs.IR
Diverse and Non-redundant Answer Set Extraction on Community QA based on DPPs
Tokyo Institute of Technology(东京工业大学);Yahoo Japan Corporation(雅虎日本公司)
在基于社区的问答(CQA)平台中,用户需要花费时间从许多答案中获得有用的信息。虽然一种解决方案是答案排名方法,但用户仍然需要仔细阅读排名靠前的答案。本文提出了一个新的任务,选择一个多样化的和非冗余的答案集,而不是排名的答案。我们的方法是基于决定点过程(DPPs),它计算答案的重要性和答案之间的相似性,通过使用BERT。我们建立了一个集中在日本CQA网站的数据集,在这个数据集上的实验表明,所提出的方法优于几个基线方法。
2020-11-18 cs.CL
ComRAG: Retrieval-Augmented Generation with Dynamic Vector Stores for Real-time Community Question Answering in Industry
School of Data Science and Engineering, East China Normal University(数据科学与工程学院,东华大学);Alibaba Group(阿里巴巴集团)
ComRAG 提出基于质心记忆机制的检索增强生成框架,融合静态知识与动态历史问答对,在三个工业 CQA 数据集上实现最高 25.9% 相似度提升、延迟降低 8.7%–23.3%,并将分块增长从 20.23% 降至 2.06%。
2025-07-01 cs.AI cs.CL
Joint Learning of Answer Selection and Answer Summary Generation in Community Question Answering
The Chinese University of Hong Kong(香港中文大学);Peking University Shenzhen Graduate School(北京大学深圳研究生院);Alibaba Group(阿里巴巴集团);Chinese Academy of Sciences(中国科学院);South China University of Technology(华南理工大学)
社区问答(CQA)近年来在学术界和工业界都得到了广泛的应用。然而,众包答案的冗余和冗长问题限制了答案选择的性能,并导致社区用户的阅读困难和误解。为了解决这些问题,我们解决了CQA的答案选择和答案摘要生成的任务与一种新的联合学习模型。具体来说,我们设计了一个问题驱动的指针生成器网络,它利用问答对之间的相关信息,以帮助参加的基本信息时,生成答案摘要。同时,我们利用答案摘要,以减轻噪音在原始冗长的答案时,排名的问题-答案对的相关度。此外,我们构建了一个新的大规模CQA语料库,WikiHowQA,其中包含答案选择以及答案摘要参考摘要。实验结果表明,联合学习方法能够有效解决CQA中的答案冗余问题,在答案选择和文本摘要任务上均取得了较好的效果。实验结果表明,该模型具有较强的迁移能力,适用于资源贫乏、缺乏参考答案摘要的CQA任务。
2019-11-22 cs.CL
Attentive Recurrent Tensor Model for Community Question Answering
Indian Institute of Technology Roorkee(印度理工学院鲁尔基分校)
社区问答问题的一个主要挑战是句子表征之间的词汇和语义差距。最小化这一差距的一些解决方案包括向深度模型引入额外的参数或增强外部手工制作的功能。本文提出了一种新的注意递归张量网络,用于解决社区问答中的词汇和语义鸿沟问题。我们引入了标记级和短语级注意力策略,该策略使用可训练参数将输入序列映射到输出。此外,我们使用张量参数在向量空间中引入问题、答案和外部特征之间的3向交互。我们引入了简化的张量矩阵和L2正则化,从而在训练过程中实现平滑优化。该模型在回答句子选择任务(TrecQA和WikiQA数据集)上实现了最先进的性能,同时在最佳答案选择任务(Yahoo!L4)和回答触发任务(WikiQA)。
2018-01-21 cs.CL
Talk to Papers: Bringing Neural Question Answering to Academic Search
SOCO AI
我们介绍了Talk to Papers,它利用了最近的开放领域问答(QA)技术来改善当前的学术搜索体验。它旨在使研究人员能够使用自然语言查询来找到精确的答案,并从大量的学术论文中提取见解。我们在几个标准QA数据集上对经典搜索引擎基线进行了很大的改进,并为社区提供了一个协作数据汇集工具,以通过社区的努力来管理第一个自然语言处理研究QA数据集。
2020-05-21 cs.AI cs.CL
PerCQA: Persian Community Question Answering Dataset
School of Computer Science, Institute for Research in Fundamental Sciences(基础科学研究学院计算机科学系);School of Electrical and Computer Engineering, College of Engineering, University of Tehran(德黑兰大学工程学院电气与计算机工程系)
社区问答(CQA)论坛为许多现实生活中的问题提供了答案。由于规模庞大,这些论坛在机器学习研究人员中非常受欢迎。自动答案选择、答案排名、问题检索、专家发现和事实检查是使用CQA数据执行的示例学习任务。在本文中,我们介绍了PerCQA,CQA的第一个波斯数据集。这个数据集包含了从最知名的波斯语论坛上抓取的问题和答案。在数据采集之后,我们在迭代过程中提供严格的注释指南,然后以SemEvalCQA格式对问答对进行注释。PerCQA包含989个问题和21,915个注释答案。我们公开PerCQA,以鼓励更多的波斯语CQA研究。我们还通过使用单语言和多语言预训练的语言模型为PerCQA中的答案选择任务构建了强大的基准
2021-12-25 cs.CL
Answer Sequence Learning with Neural Networks for Answer Selection in Community Question Answering
Harbin Institute of Technology, Shenzhen Graduate School(哈尔滨工业大学深圳研究生院)
将社区问答(CQA)中的答案选择问题视为一个答案序列标记任务,提出了一种基于递归结构的答案选择方法。该方法首先利用卷积神经网络(CNN)学习问题-答案对的联合表示,然后将联合表示作为长短期记忆(LSTM)的输入学习问题的答案序列,以标记每个答案的匹配质量。在SemEval 2015 CQA数据集上进行的实验表明了该方法的有效性。
2015-06-22 cs.CL cs.IR cs.LG
UIT-ViCoV19QA: A Dataset for COVID-19 Community-based Question Answering on Vietnamese Language
University of Information Technology(信息技术大学);VNU-HCM(胡志明市国家大学)
在过去两年,即二零二零年至二零二一年,COVID-19破坏了包括越南在内的多个国家的疾病预防措施,并对人类生活和社会社区的各个方面产生负面影响。此外,社会上的误导性信息和有关疫情的假新闻也是严重的情况。因此,我们提出了第一个基于越南社区的问答数据集,用于开发COVID-19的问答系统,名为EAS-ViCoV 19 QA。该数据集包括从可信医疗来源收集的4,500个问答对,每个问题至少有一个答案,最多有四个独特的释义答案。除了数据集,我们还建立了各种深度学习模型作为基线,以评估数据集的质量,并通过常用的指标(如BLEU、METEOR和ROUGE-L)启动基准结果,以供进一步研究。我们还说明了在这些模型上进行多个释义答案实验的积极影响,特别是在Transformer -研究领域的主导架构上。
2022-09-14 cs.CL
HeteroQA: Learning towards Question-and-Answering through Multiple Information Sources via Heterogeneous Graph Modeling
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Ant Group(蚂蚁集团);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Beijing Academy of Artificial Intelligence(北京智源人工智能研究院);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
社区问答(CQA)是一个定义良好的任务,可以用于许多场景,如电子商务和在线用户社区的特殊利益。在这些社区中,用户可以发表文章、发表评论、提出问题和回答问题,这些数据形成了异构的信息源,每个信息源都有自己的结构和上下文(文章后面的评论或相关问题的答案)。大多数CQA方法只结合文章或维基百科来提取知识并回答用户的问题。然而,社区中的各种类型的信息源并没有被这些CQA方法充分利用,这些多个信息源(MIS)可以提供更多的相关知识,用户的问题。因此,我们提出了一个问题感知的异构图Transformer,将MIS在用户社区自动生成答案。为了评估我们提出的方法,我们进行了两个数据集上的实验:$\text{MSM}^{\text{plus}}$的基准数据集MS-MARCO和AntQA数据集,这是第一个大规模的CQA数据集与四种类型的MIS的修改版本。在两个数据集上的大量实验表明,我们的模型在所有指标方面都优于所有基线。
2021-12-27 cs.AI cs.CL
Generative Pre-trained Transformer for Vietnamese Community-based COVID-19 Question Answering
University of Information Technology, Ho Chi Minh city, Vietnam(胡志明市信息技术大学);Vietnam National University, Ho Chi Minh city, Vietnam(越南国立大学胡志明市分校)
本文针对越南语社区COVID-19问答研究不足的问题,提出GPT-2实现方案,并通过与多种Transformer及SOTA模型的比较实验证明其性能优于现有越南语社区问答模型。
2023-10-31 cs.CL
Adapting Visual Question Answering Models for Enhancing Multimodal Community Q&A Platforms
Carnegie Mellon University(卡内基梅隆大学);Waseda University(早稻田大学);Yahoo Japan Corporation(雅虎日本公司)
问题分类和专家检索方法是社区问答平台中信息组织和可访问性的关键。然而,这一领域的研究只涉及文本模态。随着Web内容的多模态性质的增加,我们专注于扩展这些方法的CQA问题伴随着图像。具体来说,我们利用成功的表示学习的文本和图像的视觉问答(VQA)域,并适应基本的概念和架构的自动分类和专家检索基于图像的问题张贴在雅虎!Chiebukuro,雅虎的日本对手!答案据我们所知,这是第一项解决CQA中多模态挑战的工作,并使VQA模型适应于更具生态有效性的视觉问题来源的任务。我们对视觉QA和社区QA数据之间差异的分析推动了我们提出的针对CQA量身定制的注意力方法的新增强,以及使用辅助任务来学习更好的接地功能。我们的最终模型显着优于纯文本和VQA模型基线的分类和专家检索的任务,对现实世界的多模态CQA数据。
2019-05-25 cs.AI cs.CL cs.CV
What Question Answering can Learn from Trivia Nerds
University of Maryland(马里兰大学);Google Research(谷歌研究院)
除了让机器回答问题的传统任务外,问答中的一个主要研究问题是创建有趣的、具有挑战性的问题,这些问题可以帮助系统学习如何回答问题,并揭示哪些系统最擅长回答问题。我们认为,创建一个问答数据集-以及与之配套的无处不在的排行榜-非常类似于运行一个琐事锦标赛:您编写问题,让代理(人类或机器)回答问题,并宣布获胜者。然而,研究界忽视了数十年来从琐事社区创造充满活力,公平和有效的问答比赛中吸取的教训。在详细介绍了现有QA数据集的问题后,我们概述了关键的经验教训-消除歧义,区分技能和裁决争议-可以转移到QA研究以及如何为QA社区实施。
2020-04-21 cs.AI cs.CL cs.LG
Answer ranking in Community Question Answering: a deep learning approach
Universidad Nacional de Educación a Distancia(西班牙国立远程教育大学)
社区问答(英语:Community Question Questioning)是计算语言学的一个领域,它处理的是从Quora或Stack Overflow等网站上发布的问题和答案中衍生出来的问题。在这些问题中,我们发现了一个问题,即对每个问题的多个答案进行排名,通过它们在试图解决原始问题时的信息量来排名。这项工作试图通过深度学习方法来推进社区问答的答案排名。我们首先创建了一个大型的问题和答案数据集,发布到Stack Overflow网站上。然后,我们利用密集嵌入和LSTM网络的自然语言处理功能来生成对接受答案属性的预测,并以排名形式呈现答案,并根据提问者将其标记为接受的可能性进行排序。我们还制作了一组数字特征来协助答案排名任务。这些数字特征要么是从Stack Overflow帖子中的元数据中提取的,要么是从问答文本中提取的。我们将我们的深度学习模型的性能与一组森林和增强树集成方法进行了比较,发现我们的模型无法提高最佳基线结果。我们推测,与基线模型相比,这种性能改进的缺乏可能是由于问题和答案文本中的编程代码片段中存在大量词汇表外的单词造成的。我们的结论是,虽然深度学习方法可能有助于回答排名问题,但应该开发新方法来帮助解决编程代码片段中存在的大量词汇表外的单词
2022-10-16 cs.CL
Knowledge Graph Question Answering Leaderboard: A Community Resource to Prevent a Replication Crisis
Anhalt University of Applied Sciences(安哈尔特应用技术大学);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所);University Hamburg(汉堡大学)
需要对数据驱动的系统进行评估,以建立对科学方法及其适用性的信任。特别是,这对于知识图谱(KG)问答(QA)是正确的,其中复杂的数据结构可以通过自然语言接口访问。十多年来,评估这些系统的能力一直是社区的驱动力,同时建立了不同的KGQA基准数据集。然而,比较不同的方法是麻烦的。缺乏现有的和策划的排行榜导致研究领域缺乏全球视野,并可能对结果产生不信任。特别是,KGQA社区中最新和最常用的数据集LC-QuAD和QALD无法提供中央和最新的信任点。在本文中,我们调查和分析了广泛的评价结果,从过去十年的100个出版物和98个系统的显着覆盖面。我们为任何KGQA基准数据集提供了一个新的中央和开放的排行榜,作为社区的焦点-https://kgqa.github.io/leaderboard。我们的分析突出了KGQA系统的评估过程中存在的问题。因此,我们将指出今后评估中可能的改进。
2022-01-20 cs.AI cs.CL cs.IR
Joint Multitask Learning for Community Question Answering Using Task-Specific Embeddings
Nanyang Technological University(南洋理工大学);Amazon(亚马逊);Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所)
我们共同解决社区论坛中问答的两个重要任务:给定一个新问题,(i)找到相关的现有问题,以及(ii)找到这个新问题的相关答案。我们进一步使用辅助任务来补充前两个任务,即,(iii)在问题评论线程中找到关于线程问题的好答案。我们使用深度神经网络(DNN)来学习有意义的特定于任务的嵌入,然后将其纳入多任务设置的条件随机场(CRF)模型,在复杂的图结构上进行联合学习。虽然DNN在训练产生嵌入时单独实现了竞争结果,但CRF利用嵌入和任务之间的依赖关系,在各种评估指标中显着且一致地改善了结果,从而显示了DNN和结构化学习的互补性。
2018-09-24 cs.CL
Global Thread-Level Inference for Comment Classification in Community Question Answering
Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所)
社区问答是Web环境中问答的最新发展,它允许用户快速咨询多个人对特定主题的意见,从而利用群体的智慧。在这里,我们试图帮助用户自动决定哪些答案是好的,哪些是坏的给定的问题。特别是,我们专注于利用线程级的输出结构,以便做出更一致的全局决策。更具体地说,我们利用之间的关系,在任何距离的评论线程,我们将在一个图形切割和ILP框架。我们在SemEval-2015任务3的基准数据集上评估了我们的方法。结果比现有技术有所改进,证实了使用线程级信息的重要性。
2019-11-20 cs.AI cs.CL cs.IR
Leveraging Textual Features for Best Answer Prediction in Community-based Question Answering
Knowledge Media Institute(知识媒体研究所);The Open University(开放大学);University of Warwick(华威大学)
针对社区问答网站中最佳答案的确定问题,从内容的角度进行了研究。特别是,我们提出了一个系统,ACQUA [http://acqua.kmi.open.ac.uk],可以安装到大多数浏览器作为插件。该服务提供了一个无缝和准确的预测答案被接受。以前关于这个主题的研究依赖于对答案的社区反馈的利用,这涉及到对用户的评级(例如,声誉)或答案(例如,手动分配给答案的分数)。我们提出了一种新的技术,利用内容/文本功能的答案以一种新颖的方式。我们的方法比相关的基于语言的解决方案提供更好的结果,并设法匹配基于评级的方法。更具体地说,通过将这些特征的值呈现为离散形式来实现性能的增益。我们还展示了我们的技术如何在实时设置中提供同样好的结果,而不是依赖于不总是现成的信息,如用户评分和答案分数。我们对21个StackExchange网站进行了评估,涵盖了大约400万个问题和800多万个答案。我们获得了84%的平均准确率和70%的召回率,这表明我们的技术是强大的,有效的,广泛适用。
2015-06-17 cs.CL cs.IR
Machine Translation Evaluation Meets Community Question Answering
Qatar Computing Research Institute, HBKU(HBKU卡塔尔计算研究所)
我们探讨了机器翻译评估(MTE)方法对一个非常不同的问题的适用性:社区问答中的答案排名。特别是,我们采用了成对的神经网络(NN)架构,它结合了MTE功能,以及丰富的语法和语义嵌入,并有效地模拟复杂的非线性交互。评估结果显示了最先进的性能,MTE功能和成对NN架构都有相当大的贡献。
2019-12-06 cs.CL cs.IR cs.LG
SECite: Analyzing and Summarizing Citations in Software Engineering Literature
Dept. of Computer Science SUNY Polytechnic Institute(计算机科学系圣尼古拉学院);Dept. of Information Systems University of Maryland Baltimore County(信息系统系马里兰大学巴尔的摩县)
SECite通过分析文献引用中的情感倾向,结合生成式AI生成摘要,提供了一种评估学术贡献的综合框架。
2026-01-12 cs.AI cs.SE
CQASUMM: Building References for Community Question Answering Summarization Corpora
Myntra Designs(Myntra设计公司);IIIT-Delhi(德里英迪拉·甘地信息技术学院)
Quora、Stackoverflow等社区问答论坛是丰富的知识资源,经常迎合被主要搜索引擎忽视的主题信息。提交给这些论坛的答案往往是精心制作的,包含垃圾邮件,被诽谤和商业促销所破坏。读者很难通过大量这样的答案来衡量社区的意见。因此,总结成为CQA论坛的优先任务。虽然已经做出了一些努力来总结类事实CQA,但在总结非类事实CQA方面的工作很少。我们认为这是由于缺乏一个相当大的,注释的数据集CQA总结。我们通过过滤440万Yahoo!回答L 6数据集。我们抽样的线程,其中最好的答案可以加倍作为一个参考摘要,并建立从他们百字摘要。我们将其他答案作为候选文档进行总结。我们提供了一个脚本来生成数据集,并介绍了社区问答摘要的新任务。多文档摘要已被广泛研究的新闻文章数据集,特别是在DUC和TAC挑战使用新闻语料库。然而,CQA中的文档具有更高的方差、矛盾的观点和更少的重叠量。我们比较流行的多文档摘要技术,并评估其性能在我们的CQA语料库。我们研究了最先进的技术,并了解了现有的多文档摘要器(MDS)失败的情况。我们发现,大多数MDS工作流程是建立在完全事实的新闻语料库,而我们的语料库有一个公平的份额的意见为基础的实例。因此,我们引入了OpinioSumm,一种新的MDS,其在ROUGE-1评分方面优于最佳基线4.6%。
2018-11-12 cs.CL
Cross-language Learning with Adversarial Neural Networks: Application to Community Question Answering
Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所)
我们解决问题的跨语言适应问题的问题,在社区问答的相似性重新排序,目的是端口的一种输入语言的系统训练到另一种输入语言给定的标记训练数据的第一种语言和第二种语言的未标记的数据。特别是,我们建议使用神经网络的对抗性训练来学习对主要学习任务具有区分性的高级特征,同时在输入语言中保持不变。评估结果表明,我们的跨语言对抗神经网络(CLANN)模型在强大的非对抗系统上有相当大的改进。
2017-06-21 cs.CL
Adversarial Training for Community Question Answer Selection Based on Multi-scale Matching
Pennsylvania State University(宾夕法尼亚州立大学);Apple(苹果公司);Google(谷歌);Microsoft(微软)
基于社区的问答网站是一个重要的信息来源。因此,将最有价值的答案与其对应的问题相匹配的问题已经成为一个越来越热门的研究课题。我们将此任务定义为二元(相关/不相关)分类问题,并提出了一个对抗性训练框架来缓解标签不平衡问题。我们采用生成模型来迭代地对具有挑战性的阴性样本的子集进行采样,以欺骗我们的分类模型。这两个模型交替优化使用REINFORCE算法。该方法完全不同于以往的方法,即直接使用训练集中的负样本或对负样本进行均匀下采样。此外,我们建议使用多尺度匹配,它明确检查不同粒度级别的单词和ngrams之间的相关性。我们在SemEval 2016和SemEval 2017数据集上评估了所提出的方法,并实现了最先进或类似的性能。
2018-11-16 cs.CL
Identifying Unclear Questions in Community Question Answering Websites
University of Twente(特文特大学);University of Stavanger(斯塔万格大学)
每天都有数千个复杂的自然语言问题提交给社区问答网站,使其成为当今最重要的信息源之一。然而,提交的问题往往不清楚,如果没有专家社区成员的进一步澄清问题,就无法回答。这项研究是第一次调查将问题分类为明确或不明确的复杂任务,即,如果需要进一步澄清我们构建了一个新的数据集,并提出了一个分类方法,是基于类似的问题的概念。这种方法相比,国家的最先进的文本分类基线。我们的主要发现是,类似的问题的方法是一个可行的替代方案,可以用来作为一个垫脚石对发展的支持用户界面的问题制定。
2019-01-18 cs.CL cs.IR
CE-GOCD: Central Entity-Guided Graph Optimization for Community Detection to Augment LLM Scientific Question Answering
Harbin Institute of Technology, Harbin, China(哈尔滨工业大学);State Key Laboratory of Cognitive Intelligence, iFLYTEK Research, China(认知智能国家重点实验室)
CE-GOCD通过构建和利用学术知识图谱的语义子结构,提升LLM在科学问答中的表现,通过中心实体引导的图优化和社区检测增强问答的准确性和全面性。
2026-01-29 cs.CL
Think you have Solved Direct-Answer Question Answering? Try ARC-DA, the Direct-Answer AI2 Reasoning Challenge
Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
我们提出了ARC-DA数据集,ARC(AI 2推理挑战)多项选择数据集的直接回答(“开放式回答”,“自由形式”)版本。虽然ARC在社区中很有影响力,但它的多项选择格式并不代表现实世界的问题,而且多项选择格式特别容易受到人为因素的影响。ARC-DA数据集通过使用众包和专家评审的组合将问题转换为直接回答格式来解决这些问题。结果数据集包含2985个问题,共有8436个有效答案(问题通常有多个有效答案)。ARC-DA是第一个DA数据集的自然问题,往往需要推理,适当的问题分解是不明显的问题本身。我们描述的转换方法,适当的评估指标,和几个强大的模型。虽然很高,但最好的分数(81% GENIE,61.4% F1,63.2% ROUGE-L)仍然有相当大的改进空间。此外,该数据集为新的解释研究提供了一个自然的环境,因为许多问题需要推理来构建答案。我们希望该数据集能够推动社区在复杂问题回答方面取得进一步进展。ARC-DA可在https://allenai.org/data/arc-da上获得
2021-02-05 cs.AI cs.CL
Promotion of Answer Value Measurement with Domain Effects in Community Question Answering Systems
University of Science and Technology of China(中国科学技术大学);Baidu, Inc.(百度公司)
在社区问答领域,答案选择和答案排序是帮助用户快速获取有价值答案的两个任务。现有的解决方案主要利用问题和相关答案之间的句法或语义相关性,其中CQA中的多方面领域效应仍然没有得到充分的研究。在本文中,我们提出了一个统一的模型,增强的注意递归神经网络(EARNN),通过充分利用问答语义和多方面的领域效应(即,主题效果和时效性)。具体来说,我们开发了一个序列化的LSTM来学习Q & A的统一表示,其中设计了两个注意力机制,用于捕获主题的深层效果。同时,可以自动区分问答的重点。此外,我们设计了一个时间敏感的排序函数来模拟CQA中的时间性。为了有效地训练EARNN,问题相关的成对学习策略也被开发。最后,我们在Quora的真实数据集上进行了大量的实验。实验结果验证了我们提出的EARNN模型的有效性和可解释性。
2019-07-14 cs.CL cs.IR
ComQA: A Community-sourced Dataset for Complex Factoid Question Answering with Paraphrase Clusters
Amazon Alexa(亚马逊Alexa);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Bloomberg L.P.(彭博有限合伙企业)
为了弥合模拟问答(QA)中最先进的能力与用户提问之间的差距,我们需要捕获用户感兴趣的各种问题现象的真实用户问题的大型数据集,以及这些问题的不同表达方式。我们介绍ComQA,一个真实用户问题的大型数据集,表现出不同的挑战性方面,如组合性,时间推理和比较。ComQA问题来自WikiAnswers社区QA平台,其中通常包含现有搜索引擎技术无法令人满意地回答的问题。通过大量的众包工作,我们清理了问题数据集,将问题分组到释义集群中,并用它们的答案注释集群。ComQA包含11,214个问题,分为4,834个释义集群。我们详细介绍了构建ComQA的过程,包括在有效利用众包的同时确保其高质量所采取的措施。我们还对数据集进行了广泛的分析,并对ComQA上最先进的系统所取得的结果进行了分析,表明我们的数据集可以成为未来QA研究的驱动力。
2019-04-10 cs.CL
Community Question Answering Platforms vs. Twitter for Predicting Characteristics of Urban Neighbourhoods
University College London(伦敦大学学院)
在本文中,我们调查是否可以使用来自社区问答(QA)平台的文本来预测和描述现实世界的属性。我们的实验预测范围广泛的62个人口统计属性的伦敦街区。我们使用的文本来自Yahoo!答案,并将我们的结果与从Twitter微博获得的结果进行比较。结果表明,预测的人口统计属性之间的相关性使用文本从雅虎!答案讨论和观察到的人口统计属性可以达到平均皮尔逊相关系数\r{ho} = 0.54,略高于使用Twitter数据获得的预测。我们的定性分析表明,从两个数据集中提取的最高相关术语与其相对的人口统计属性之间存在语义相关性。此外,相关性突出了雅虎中包含的信息的不同性质!答案和Twitter前者似乎提供了更多的科普内容,而后者提供了与当前社会文化方面或现象有关的信息。
2017-01-17 cs.CL cs.SI
Deep Feature Fusion Network for Answer Quality Prediction in Community Question Answering
IIIT Hyderabad(国际信息技术研究所海得拉巴分校);Microsoft(微软)
社区问答(cQA)论坛已经成为一种流行的媒介,用于就给定主题从专家或其他有经验的用户那里征求对用户的特定问题的直接答案。然而,对于一个给定的问题,用户有时不得不从大量的低质量或不相关的答案中筛选出满足其信息需求的答案。为了缓解这一问题,答案质量预测(AQP)的问题旨在预测响应论坛问题而发布的答案的质量。当前的AQP系统要么使用a)各种手工特征(HCF)来学习模型,要么使用自动学习所需特征表示的深度学习(DL)技术来学习模型。在本文中,我们提出了一种新的AQP方法,称为“深度特征融合网络(DFFN)”,它利用了手工制作的功能和基于深度学习的系统的优势。给定一个问题-答案对及其元数据,DFFN独立地- a)使用卷积神经网络(CNN)学习深度特征,b)使用各种外部资源计算手工制作的特征,然后使用经过训练的深度神经网络将它们组合起来以预测最终答案质量。DFFN在标准SemEval-2015和SemEval-2016基准数据集上实现了最先进的性能,并且优于单独使用基于HCF或DL的技术的基线方法。
2016-06-26 cs.CL cs.IR
Content associations with answer selection and engagement in supply chain community question answering
本研究以雅知惠物流相关社区问答语料为对象,探究名词及语义名词簇与最优答案选择、问题参与度的关联,发现两类名词分别对应不同结果,构建了该领域的相关描述性图谱。
2026-10-16 cs.CL cs.SI
Recurrent Neural Network Encoder with Attention for Community Question Answering
Massachusetts Institute of Technology(麻省理工学院)
我们将通用循环神经网络(RNN)编码器框架应用于社区问答(cQA)任务。我们的方法不依赖于任何语言处理,可以应用于不同的语言或领域。当我们用神经注意力机制扩展RNN编码器时,可以观察到进一步的改进,该机制鼓励对整个序列进行推理。为了解决数据稀疏和标签不平衡等实际问题,我们采用了各种技术,如迁移学习和多任务学习。我们在SemEval-2016 cQA任务上的实验显示,与基于信息检索的方法相比,MAP得分提高了10%,并且实现了与基于特征的强大手工方法相当的性能。
2016-03-23 cs.CL cs.LG cs.NE
General-Purpose Question-Answering with Macaw
Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
尽管预训练的语言模型取得了成功,但仍然很少有免费的高质量,通用的QA系统。作为回应,我们提出了Macaw,一个多功能的,生成的问答(QA)系统,我们正在向社会提供。Macaw基于UnifiedQA构建,而UnifiedQA本身又基于T5构建,在各种主题上表现出强大的性能(zero-shot),包括在包含300个挑战性问题的测试题集上超过GPT-3 10%(绝对值),尽管其数量级较小(110亿与1750亿参数)。此外,Macaw允许使用其输入和输出的不同排列(“角度”),例如Macaw可以采取问题并产生答案;或者采取答案并产生问题;或者采取答案和问题,并产生多项选择选项。我们描述了系统,并说明了各种问题类型,它产生了令人惊讶的好答案,以及培训设置之外。我们还确定了问题类,它似乎仍然挣扎,提供洞察预训练的语言模型的局限性。Macaw是免费提供的,我们希望它对社区有用。Macaw可在https://github.com/allenai/macaw上获得
2021-09-06 cs.AI cs.CL
Reinforcement learning for question answering in programming domain using public community scoring as a human feedback
ITMO University(ITMO大学);Huawei(华为)
本文提出用 Stack Overflow 社区评分作为人类反馈,结合两种奖励模型策略和 PPO 微调 GPT Neo 125M,使其编程问答性能提升接近 2.7B 版本,并揭示传统语言指标的不足。
2024-01-19 cs.AI cs.CL cs.HC
TMLab SRPOL at SemEval-2019 Task 8: Fact Checking in Community Question Answering Forums
Samsung R&D Institute Poland(三星波兰研发中心)
本文描述了我们提交给SemEval 2019任务8的社区论坛事实核查。所讨论的系统参与子任务A:决定一个问题是否要求事实信息,意见/建议或只是社交。在正式评估阶段,我们的主要提交物在所有参与者中排名第二。本文介绍了我们的主要解决方案:具有通用句子编码器嵌入的深度正则化残差神经网络(DRR NN)。其次是描述两个对比的解决方案的基础上集成的方法。
2019-05-29 cs.CL cs.LG stat.ML
SUper Team at SemEval-2016 Task 3: Building a feature-rich system for community question answering
FMI, Sofia University “St. Kliment Ohridski”(索非亚大学“圣克利门特·奥赫里德斯基”数学与信息学院);ALT Research Group, Qatar Computing Research Institute, HBKU(卡塔尔计算研究所ALT研究组(哈马德·本·哈利法大学));IICT, Bulgarian Academy of Sciences(保加利亚科学院信息与通信技术研究所)
我们介绍了我们为参与SemEval-2016社区问答任务3而构建的系统。我们在子任务C上取得了最好的结果,在子任务A和B上取得了很好的结果,通过组合丰富的各种类型的特征:语义,词汇,元数据和用户相关。最重要的一组是问题和评论的元数据,在QatarLiving数据上训练的语义向量,以及子任务A和C的问题和评论之间的相似性,以及子任务B的原始问题和相关问题之间的相似性。
2021-09-26 cs.AI cs.CL cs.IR
Interactive Text Ranking with Bayesian Optimisation: A Case Study on Community QA and Summarisation
University of Bristol(布里斯托大学);Royal Holloway, University of London(伦敦大学皇家霍洛威学院)
对于许多NLP应用程序,例如问答和摘要,目标是从大量候选项中选择最佳解决方案,以满足特定用户的需求。为了解决缺乏用户特定的训练数据,我们提出了一个交互式的文本排名方法,积极选择对候选人,用户从中选择最好的。与以前的策略不同,这些策略试图在整个候选空间中学习排名,我们的方法采用贝叶斯优化,将用户的标签工作集中在高质量的候选人上,并以贝叶斯方式整合先验知识,以更好地应对小数据场景。我们将我们的方法应用于社区问答(cQA)和提取摘要,发现它显着优于现有的交互式方法。我们还表明,通过我们的方法学习的排名函数是强化学习的有效奖励函数,它提高了交互式摘要的最新技术水平。
2020-09-12 cs.AI cs.CL
SemEval-2017 Task 3: Community Question Answering
Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所);The University of Melbourne(墨尔本大学)
我们描述了SemEval-2017关于社区问答的任务3。今年,我们重新运行了SemEval-2016的四个子任务:(A)评论相似性,(B)问题相似性,(C)外部评论相似性,(D)重新排序阿拉伯语新问题的正确答案,提供2015年和2016年的所有数据用于训练,并提供新数据用于测试。此外,我们添加了一个新的子任务E,以便在更大规模的场景中使用StackExchange子论坛进行多域问题重复检测的实验。共有23个团队参与了该任务,并为子任务A-D提交了总计85次运行(36次主要运行和49次对比运行)。不幸的是,没有团队参与子任务E。参与系统使用了各种方法和功能来处理不同的子任务。最好的系统在子任务A、B、C和D中分别获得了88.43、47.22、15.46和61.16的官方分数(MAP)。这些分数比基线更好,尤其是子任务A-C。
2019-12-02 cs.AI cs.CL cs.IR
Large-Scale Goodness Polarity Lexicons for Community Question Answering
Heidelberg University(海德堡大学);Sofia University(索菲亚大学);Qatar Computing Research Institute, HBKU(卡塔尔计算研究所,HBKU)
我们将一个关键的思想从情感分析领域转移到一个新的领域:社区问答(cQA)。我们感兴趣的cQA任务如下:给定一个问题和一串评论,我们希望对评论进行重新排名,以便对问题有好答案的评论的排名高于不好的评论。我们注意到,好与坏的评论使用特定的词汇,人们通常可以预测评论的好/坏,即使忽略这个问题,只根据评论的内容。这导致我们的想法,建立一个好/坏的极性词典作为类比的积极/消极的情绪极性词典,通常用于情感分析。特别是,我们使用逐点互信息,以建立大规模的优良极性字典在半监督的方式开始与少量的初始种子。评价结果显示,在SemEval-2016任务3上,相对于非常强的基线和最先进的性能,MAP绝对值提高了0.7个点。
2017-07-20 cs.CL
DeALOG: Decentralized Multi-Agents Log-Mediated Reasoning Framework
Arizona State University(亚利桑那州立大学)
提出去中心化多智能体框架DeALOG,通过共享自然语言日志实现多模态问答,各专业智能体协作检测和验证错误,无需中央控制,提升鲁棒性。
2026-10-27 cs.AI cs.CL
Beyond Static: Related Questions Retrieval Through Conversations in Community Question Answering
School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院);School of Management Science and Engineering, Southwestern University of Finance and Economics(西南财经大学管理科学与工程学院)
本文提出TeCQR模型,通过对话方式提升社区问答中相关问题检索性能,利用标签增强澄清问题和噪声容忍模型,有效处理噪声反馈并优化问题表示。
2026-03-09 cs.AI cs.CL cs.IR
SemEval-2019 Task 8: Fact Checking in Community Question Answering Forums
Instituto de Telecomunicações(电信研究所);SiteGround Hosting EOOD(SiteGround托管有限责任公司);MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所);University of Copenhagen(哥本哈根大学)
我们在社区问答论坛中介绍了SemEval-2019关于事实核查的任务8,其中包括两个子任务。子任务A是关于决定一个问题是要求事实信息还是意见/建议还是只是社交。子任务B要求预测一个事实问题的答案是真的、假的还是不正确的。我们收到了17份关于子任务A的正式意见书和11份关于子任务B的正式意见书。对于子任务A,所有系统都比多数类基线有所改善。对于子任务B,所有系统都低于多数类基线,但有几个系统非常接近它。排行榜和比赛数据可以在http://competitions.codalab.org/competitions/20022上找到
2019-05-25 cs.CL cs.LG stat.ML
Addressing Community Question Answering in English and Arabic
Qatar Computing Research Institute(卡塔尔计算研究所);Hamad Bin Khalifa University(哈马德·本·哈利法大学);University of Trento(特伦托大学)
本文研究了在社区问答中,不同类型的特征应用于问题重排序学习的影响。我们在SemEval-2016任务3“社区问答“中发布的两个数据集上测试了我们的模型。任务3以英语和阿拉伯语的现实生活网络论坛为目标。我们的模型包括词袋特征(BoW)、语法树内核(TK)、等级特征、嵌入和机器翻译评估特征。据我们所知,结构内核几乎没有被应用到问题重排序任务,在那里他们必须模型释义关系。在英语问题重新排名任务的情况下,我们比较我们的学习排序(L2 R)算法对谷歌生成的排名(GR)给出了一个强大的基线。结果表明:i)我们的TK中使用的浅层结构对噪声数据足够鲁棒; ii)改进GR是可能的,但需要有效的BoW特征和TK以及所使用的L2 R算法中的GR特征的准确模型。在阿拉伯语问题重新排序任务的情况下,我们第一次应用树核的阿拉伯语句子的句法树。我们对这两个任务的方法在SemEval-2016子任务B(英语)和D(阿拉伯语)上获得了第二好的结果。
2016-10-18 cs.CL
A Numerical Reasoning Question Answering System with Fine-grained Retriever and the Ensemble of Multiple Generators for FinQA
Nanjing University(南京大学)
财务领域的数值推理--进行定量分析和汇总财务报告中的信息--可以大大提高业务效率,减少数十亿美元的成本。在这里,我们提出了一个数值推理问答系统,回答金融文本和表格数据源之间的数值推理问题,包括检索器模块,生成器模块和集成模块。具体来说,在检索器模块中,除了检索整行数据,我们创新地设计了一个单元检索器,检索黄金细胞,以避免将不相关的和相似的细胞在同一行的发生器模块的输入。在生成器模块中,我们利用多个生成器生成程序,这些程序是回答问题的操作步骤。最后,在集成模块中,我们集成多个程序,选择最好的程序作为我们的系统的输出。在FinQA竞赛的最终私有测试集上,我们的系统获得了69.79的执行准确率。
2022-06-17 cs.CL
Multitask Learning with Deep Neural Networks for Community Question Answering
University of Trento(特伦托大学);Qatar Computing Research Institute, HBKU(HBKU卡塔尔计算研究所)
在本文中,我们开发了一个深度神经网络(DNN),它可以学习同时解决SemEval-2016任务3提出的cQA挑战的三个任务,即,问题-评论相似度、问题-问题相似度和新问题-评论相似度。后者是主要任务,它可以利用前两者来取得更好的结果。我们的DNN在所有三个cQA任务上进行了联合训练,并学会将问题和评论编码为跨多个任务共享的单个向量表示。官方挑战测试集上的结果表明,我们的方法比单个神经网络产生更高的精度和更快的收敛速度。此外,我们的方法,它不使用任何手动功能工程,方法建立了大量使用它的方法的最新技术水平。
2017-02-13 cs.CL
UH-PRHLT at SemEval-2016 Task 3: Combining Lexical and Semantic-based Features for Community Question Answering
Universitat Politècnica de València(瓦伦西亚理工大学);University of Houston(休斯顿大学)
在这项工作中,我们描述了由休斯顿大学(UH)计算机科学系和模式识别和人类语言技术(PRHLT)研究中心- Universitat Polit`ecnica de Val` Valle:UH-PRHLT为SemEval 2016任务3的三个英语子任务构建的系统。我们的系统代表的实例,同时使用基于词汇和语义的文本对之间的相似性度量。我们的语义功能包括使用分布式表示的话,知识图谱生成的BabelNet多语言语义网络,和FrameNet词汇数据库。实验结果优于随机和谷歌搜索引擎基线在三个英语子任务。与其他任务参与者相比,我们的方法获得了子任务B的最高结果。
2018-07-30 cs.CL
ProCQA: A Large-scale Community-based Programming Question Answering Dataset for Code Search
Beihang University(北京航空航天大学);Sino-French Engineer School, Beihang University(北京航空航天大学中法工程师学院);School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院)
本文提出大规模社区编程问答数据集ProCQA,并设计模态无关对比预训练方法改进文本与代码表示对齐,在多项代码检索基准上显著超越以往模型。
2024-03-25 cs.CL cs.IR cs.SE
Multi-Relational Graph based Heterogeneous Multi-Task Learning in Community Question Answering
HKUST(香港科技大学);Paradigm Inc.(第四范式公司);Tencent Technology (SZ) Co., Ltd.(腾讯科技(深圳)有限公司)
人们提出了各种数据采掘任务来研究Stack Overflow等社区问答(CQA)平台。其中一些任务之间的相关性通过多任务学习(MTL)相互提供有用的学习信号。然而,由于这些任务的高度异构性,很少有现有的作品管理,以共同解决它们在一个统一的框架。为了解决这个问题,我们开发了一个多关系图为基础的MTL模型称为异构多任务图同构网络(HMTGIN),有效地解决异构CQA任务。在每个训练前向传递中,HMTGIN通过图同构网络的扩展和跳过连接来嵌入输入CQA论坛图。然后,嵌入在所有特定于任务的输出层之间共享,以计算相应的损失。此外,两个跨任务的约束条件的基础上的领域知识的任务之间的关系,以规范的联合学习。在评估中,嵌入在不同的特定于任务的输出层之间共享,以做出相应的预测。据我们所知,HMTGIN是第一个能够从多关系图方面处理CQA任务的MTL模型。为了评估HMTGIN的有效性,我们构建了一个新的大规模多关系图CQA数据集,其中包含来自Stack Overflow的超过200万个节点。大量的实验表明:$(1)$ HMTGIN在五个任务上优于所有基线; $(2)$建议的MTL策略和跨任务约束具有实质性优势。
2021-09-04 cs.AI cs.CL cs.LG
Context Filtering with Reward Modeling in Question Answering
KAIST AI(韩国科学技术院人工智能学院)
提出基于奖励建模的上下文过滤方法,去除无关信息并总结关键内容,提升问答效率,在EPT指标上实现6.8倍提升。
2024-12-16 cs.CL
DiscoTrace: Representing and Comparing Answering Strategies of Humans and LLMs in Information-Seeking Question Answering
University of Maryland(马里兰大学)
DiscoTrace通过分析问答策略揭示社区回答偏好差异,发现LLM在回答时缺乏修辞多样性且倾向于广泛覆盖问题解释。
2026-09-02 cs.CL
Fact Checking in Community Forums
Sofia University “St. Kliment Ohridski”(圣克莱门特·奥里季斯基索菲亚大学);Qatar Computing Research Institute, Hamad bin Khalifa University(哈马德·本·哈利法大学卡塔尔计算研究所);Massachusetts Institute of Technology(麻省理工学院)
社区问答(cQA)论坛如今非常流行,因为它们代表了围绕特定主题的社区共享信息的有效手段。不幸的是,这些信息并不总是真实的。因此,在这里,我们探索了cQA背景下的一个新的维度,到目前为止一直被忽视:检查cQA论坛中特定问题答案的准确性。由于这是一个新问题,我们为它创建了一个专门的数据集,并进一步提出了一个新颖的多方面模型,该模型从答案内容(说了什么和如何),作者简介(谁说的),社区论坛的其他部分(在哪里说的)以及外部权威信息来源(外部支持)中捕获信息。评价结果显示平均动脉压值为86.54,比基线高出21个绝对点。
2018-03-08 cs.CL
What Disease does this Patient Have? A Large-scale Open Domain Question Answering Dataset from Medical Exams
Computer Science and Artificial Intelligence, MIT(麻省理工学院计算机科学与人工智能系);Tongji Medical College, HUST(华中科技大学同济医学院)
开放域问答(OpenQA)任务近年来受到了自然语言处理(NLP)界越来越多的关注。在这项工作中,我们提出了第一个自由形式的多项选择OpenQA数据集,用于解决医疗问题,MedQA,从专业的医学委员会考试收集。它包含三种语言:英语、简体中文和繁体中文,分别包含三种语言的12,723、34,251和14,123个问题。我们实现了基于规则的和流行的神经方法,依次结合文档检索器和机器理解模型。通过实验,我们发现即使是目前最好的方法,在英文、繁体中文和简体中文问题上的测试准确率也只能分别达到36.7%、42.0%和70.1%。我们希望MedQA能给现有的OpenQA系统带来巨大的挑战,并希望它能作为一个平台,在未来从NLP社区推广更强大的OpenQA模型。
2020-09-28 cs.AI cs.CL