arXiv 2210.016372022-10-04cs.CL

栈溢出的重复问题挖掘

Mining Duplicate Questions of Stack Overflow

Mihir Kale, Anirudha Rayasam, Radhika Parik, Pranav Dheram

摘要：

在过去的十年里，社区问答网站（CQA）的使用有了显著的增长，这主要是因为它们能够利用群众的智慧。重复的问题会对这些网站的质量产生严重影响。因此，解决重复问题是提高CQA质量的重要一步。在这方面，我们提出了两个神经网络为基础的架构，重复的问题检测堆栈溢出。我们还建议明确建模的问题中存在的代码，以实现超越最先进的结果。

英文摘要：

There has a been a significant rise in the use of Community Question Answering sites (CQAs) over the last decade owing primarily to their ability to leverage the wisdom of the crowd. Duplicate questions have a crippling effect on the quality of these sites. Tackling duplicate questions is therefore an important step towards improving quality of CQAs. In this regard, we propose two neural network based architectures for duplicate question detection on Stack Overflow. We also propose explicitly modeling the code present in questions to achieve results that surpass the state of the art.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

MQDD：面向软件工程领域的多模态问题重复检测预训练

MQDD: Pre-training of Multimodal Question Duplicity Detection for Software Engineering Domain

NTIS – New Technologies for the Information Society（NTIS——信息社会新技术研究院）；University of West Bohemia（西波西米亚大学）

这项工作提出了一个新的管道，利用在Stack Overflow网站上收集的数据，用于预训练多模态模型，用于在问答网站上搜索重复内容。我们的多模态模型是在问题描述和多种程序设计语言的源代码上训练的。我们设计了两个新的学习目标，以提高重复检测能力。这项工作的结果是一个成熟的，微调的多模态问题重复检测（MQDD）模型，准备集成到堆栈溢出搜索系统中，在那里它可以帮助用户找到已经回答的问题的答案。除了MQDD模型，我们还发布了两个与软件工程领域相关的数据集。第一个Stack Overflow Dataset（SOD）代表了大量的成对问题和答案的语料库。第二个Stack Overflow Duplicity Dataset（SODD）包含用于训练重复检测模型的数据。

2022-03-29cs.CLcs.LGcs.PL

基于注意力的Stack Overflow问题相关度预测模型

Attention-based model for predicting question relatedness on Stack Overflow

South China University of Technology（华南理工大学）；Research Institute of SCUT in Yangjiang（华南理工大学阳江研究院）

Stack Overflow是最受欢迎的基于编程社区的问答（PCQA）网站之一，近年来吸引了越来越多的用户。当用户在Stack Overflow中提出或询问问题时，提供相关问题可以帮助他们解决问题。虽然有许多基于深度学习的方法可以自动预测问题之间的相关性，但这些方法是有限的，因为两个问题之间的交互信息可能会丢失。本文采用深度学习技术，提出了一种基于注意力的句对交互模型（ASIM），用于自动预测Stack Overflow上问题之间的相关度。我们采用注意力机制来捕捉问句之间的语义交互信息。此外，我们已经为这个任务预先训练并发布了特定于软件工程领域的词嵌入，这也可能有助于其他相关任务。实验结果表明，ASIM在精确度，召回率和Micro-F1评估指标方面比基线方法有了显着的改进，在这项任务中实现了最先进的性能。我们的模型在AskUbuntu的重复问题检测任务中也表现良好，这是一个类似但不同的任务，证明了它的通用性和鲁棒性。

2021-04-05cs.AIcs.CLcs.SE

HintMiner：基于自监督学习的语言模型从问答网页帖子中自动挖掘问题提示

HintMiner: Automatic Question Hints Mining From Q&A Web Posts with Language Model via Self-Supervised Learning

HintMiner利用自监督学习的语言模型从问答帖子中自动挖掘提示，通过Transformer和复制机制生成提示，在6万条Stack Overflow问题上取得BLEU 36.17%和ROUGE-2 36.29%的效果。

2026-09-16cs.AIcs.CLcs.LG

基于序列标记的问答的程序设计语言无关代码和语言对挖掘

Programming Language Agnostic Mining of Code and Language Pairs with Sequence Labeling Based Question Answering

University of California, Berkeley（加州大学伯克利分校）；Tencent Cloud（腾讯云）；Tsinghua University（清华大学）

挖掘对齐的自然语言和程序设计语言对是理解自然语言-程序设计语言对的一个关键任务。现有的方法应用专门的手工制作的功能或单独训练的模型，为每个PL。然而，它们通常遭受跨多个PL的低可转移性，特别是对于具有较少注释数据的利基PL。幸运的是，Stack Overflow回答帖子本质上是一系列文本和代码块，其全局文本上下文可以提供PL不可知的补充信息。在本文中，我们提出了一个基于序列标记的问答（SLQA）方法，以PL不可知的方式挖掘NL-PL对。特别是，我们建议应用BIO标记方案而不是传统的二进制方案来挖掘通常由多个帖子块组成的代码解决方案。在现有的单PL单块基准测试和人工标记的跨PL多块基准测试上的实验证明了SLQA的有效性和可移植性。我们进一步提出了一个并行的NL-PL语料库命名为Lang 2Code自动挖掘SLQA，其中包含约1.4M对6 PL。在统计分析和下游评估下，我们证明Lang 2Code是进一步NL-PL研究的大规模高质量数据资源。

2022-03-21cs.CLcs.PL

构建面向知识发现的实体关联挖掘框架

Building Entity Association Mining Framework for Knowledge Discovery

Fidelity Investments（富达投资）

本文提出一个领域无关的通用实体关联挖掘框架，集成文档过滤、可配置实体提取和共现关系挖掘，并定义排序评分指标，以支持金融领域品牌产品发现和供应商风险监控等知识发现应用。

2025-06-02cs.CLcs.IR

利用主动学习和自我训练挖掘堆栈溢出的性能讨论

On Using Active Learning and Self-Training when Mining Performance Discussions on Stack Overflow

RISE SICS AB（瑞典信息技术研究院）；Lund University（隆德大学）

丰富的数据是机器学习成功的关键。然而，监督学习需要注释的数据，这些数据通常很难获得。在资源有限的分类任务中，主动学习（AL）承诺将注释者引导到为分类器带来最大价值的示例。AL可以成功地与自我训练相结合，即，用分类器最确定的未标记示例扩展训练集。我们报告我们的经验，使用AL在一个系统的方式训练SVM分类器的堆栈溢出职位讨论软件组件的性能。我们表明，被认为是最有价值的分类器的训练样本也是最难为人类注释。尽管仔细演变的注释标准，我们报告低评分员之间的协议，但我们也提出了缓解策略。最后，基于一个注释者的工作，我们表明，自训练可以提高分类精度。最后，我们讨论了未来的文本矿工渴望使用AL和自我训练的含义。

2017-04-26cs.CLcs.HCcs.LG

更多相关论文收起更多论文

社区问答中基于多关系图的异构多任务学习

Multi-Relational Graph based Heterogeneous Multi-Task Learning in Community Question Answering

HKUST（香港科技大学）；Paradigm Inc.（第四范式公司）；Tencent Technology (SZ) Co., Ltd.（腾讯科技（深圳）有限公司）

人们提出了各种数据采掘任务来研究Stack Overflow等社区问答（CQA）平台。其中一些任务之间的相关性通过多任务学习（MTL）相互提供有用的学习信号。然而，由于这些任务的高度异构性，很少有现有的作品管理，以共同解决它们在一个统一的框架。为了解决这个问题，我们开发了一个多关系图为基础的MTL模型称为异构多任务图同构网络（HMTGIN），有效地解决异构CQA任务。在每个训练前向传递中，HMTGIN通过图同构网络的扩展和跳过连接来嵌入输入CQA论坛图。然后，嵌入在所有特定于任务的输出层之间共享，以计算相应的损失。此外，两个跨任务的约束条件的基础上的领域知识的任务之间的关系，以规范的联合学习。在评估中，嵌入在不同的特定于任务的输出层之间共享，以做出相应的预测。据我们所知，HMTGIN是第一个能够从多关系图方面处理CQA任务的MTL模型。为了评估HMTGIN的有效性，我们构建了一个新的大规模多关系图CQA数据集，其中包含来自Stack Overflow的超过200万个节点。大量的实验表明：$(1)$ HMTGIN在五个任务上优于所有基线; $(2)$建议的MTL策略和跨任务约束具有实质性优势。

2021-09-04cs.AIcs.CLcs.LG

StaQC：一个从堆栈溢出中系统地挖掘的伪码数据集

StaQC: A Systematically Mined Question-Code Dataset from Stack Overflow

The Ohio State University（俄亥俄州立大学）；University of Washington（华盛顿大学）；Fujitsu Labs of America（富士通美国实验室）

Stack Overflow（SO）是自然语言问题及其代码解决方案的重要来源（即，问题-代码对），这对于包括代码检索和注释在内的许多任务都是至关重要的。在大多数现有的研究中，问题代码对收集的经验教训，往往有低质量。在本文中，我们研究了一个新的问题，系统地挖掘问题代码对从堆栈溢出（相对于收集他们）。它被公式化为预测代码片段是否是问题的独立解决方案。我们提出了一种新的双视图层次神经网络，它可以捕获代码片段的编程内容和文本上下文（即，两种观点）来进行预测。在Python和SQL领域的两个手动注释数据集上，我们的框架大大优于探试法，F1和准确率至少高出15%。此外，我们还介绍了StaQC（Stack Overflow Question-Code pairs），这是迄今为止最大的数据集，包含约148 K Python和约120 K SQL问题代码对，使用我们的框架自动从SO中挖掘出来。在各种案例研究中，我们证明了StaQC可以极大地帮助开发数据饥饿的模型，将自然语言与程序设计语言相关联。

2018-03-26cs.CL

从堆栈溢出中挖掘对齐代码和自然语言对

Learning to Mine Aligned Code and Natural Language Pairs from Stack Overflow

Carnegie Mellon University（卡内基梅隆大学）

对于像从自然语言合成代码、代码检索和代码摘要这样的任务，数据驱动模型已经显示出很大的前景。然而，创建这些模型需要在自然语言（NL）和具有细粒度对齐的代码之间并行数据。Stack Overflow（SO）是创建这样一个数据集的一个很有前途的来源：问题是多种多样的，其中大多数都有相应的答案和高质量的代码片段。然而，现有的探试法（例如，将帖子的标题与接受的答案中的代码配对）在它们的覆盖范围和所获得的NL代码对的正确性方面都是有限的。在本文中，我们提出了一种新的方法来挖掘高质量的对齐数据从SO使用两组功能：手工制作的功能，考虑到提取的片段的结构，和对应的功能，通过训练概率模型，以捕捉NL和代码之间的相关性，使用神经网络。这些特征被馈送到分类器中，该分类器确定所挖掘的NL代码对的质量。使用Python和Java作为测试床的实验表明，所提出的方法大大扩展了现有挖掘方法的覆盖范围和准确性，即使只使用少量的标记示例。此外，我们发现，即使在一种语言上训练分类器并在另一种语言上测试时，也能获得合理的结果，这表明将NL代码挖掘扩展到各种程序设计语言的前景超出了我们能够注释数据的语言。

2018-05-23cs.CLcs.SE

预测GitHub和堆栈溢出主题模型的良好性能

Predicting Good Configurations for GitHub and Stack Overflow Topic Models

School of Computer Science University of Adelaide（阿德莱德大学计算机学院）

软件存储库包含大量的文本数据，从源代码注释和问题描述到问题、答案和Stack Overflow上的注释。为了理解这些文本数据，主题建模经常被用作文本挖掘工具，用于发现文本主体中隐藏的语义结构。潜在狄利克雷分配（LDA）是一种常用的主题模型，旨在通过对文本进行分组来解释语料库的结构。LDA需要多个参数才能正常工作，关于如何设置这些参数，只有粗略的、有时相互冲突的指导方针。在本文中，我们贡献了（i）对GitHub和Stack Overflow文本语料库的参数进行了广泛的研究，以达到良好的局部最优，（ii）与八种程序设计语言相关的文本语料库的后验特征，以及（iii）通过每个语料库LDA配置分析语料库特征重要性。我们发现（1）主题建模参数配置的流行经验法则不适用于我们实验中使用的语料库，（2）从GitHub和Stack Overflow采样的语料库具有不同的特征，需要不同的配置才能实现良好的模型拟合，（3）我们可以可靠地预测未知语料库的良好配置。这些研究结果支持研究人员和从业人员在分析软件存储库中包含的文本数据时，有效地确定合适的主题建模配置。

2019-03-10cs.CLcs.NE