RACK: Code Search in the IDE using Crowdsourced Knowledge
传统的代码搜索引擎通常不能很好地执行自然语言查询,因为它们主要应用关键字匹配。因此,这些引擎需要精心设计的查询,其中包含有关代码搜索编程API的信息。不幸的是,现有的研究表明,准备一个有效的查询代码搜索是既具有挑战性和耗时的开发人员。在本文中,我们提出了一种新的代码搜索工具-RACK-返回相关的源代码为一个给定的代码搜索查询写在自然语言文本。该工具首先通过从Stack Overflow的众包知识中挖掘关键字-API关联来将查询转换为相关API类的列表,然后将重新定义的查询应用于GitHub代码搜索API以收集相关结果。一旦提交了与编程任务相关的查询,该工具就会自动从数千个开源项目中挖掘相关的代码片段,并在开发人员的编程环境(IDE)的上下文中将其显示为排名列表。工具页:http://www.usask.ca/~masud.rahman/rack
2018-07-12 cs.SE
A Survey of Source Code Search: A 3-Dimensional Perspective
本文从三维视角综述源代码搜索技术,按查询端、代码端和匹配端优化分类,系统回顾68篇文献,分析各端底层技术演进,并指出未来开放挑战与机遇。
2023-11-13 cs.SE
Active Inductive Logic Programming for Code Search
现代搜索技术要么不能有效地结合人工反馈来细化搜索结果,要么不能表达所需代码的结构或语义属性。我们的交互式代码搜索技术ALICE的关键见解是,用户的反馈可以积极纳入,让用户轻松地表达和细化搜索查询。我们设计了一种查询语言来将代码的结构和语义建模为逻辑事实。给定一个带有用户注释的代码示例,ALICE自动从标记为重要的特征中提取逻辑查询。用户可以通过将一个或多个示例标记为期望的(积极的)或不相关的(消极的)来细化搜索查询。然后,ALICE通过主动归纳逻辑程序设计推断出一个新的逻辑查询,该逻辑查询将正例与反例分开。我们的全面和系统的模拟实验表明,ALICE消除了大量的误报迅速积极纳入用户的反馈。它的搜索算法对噪声和用户标记错误也具有鲁棒性。我们选择利用正面和负面示例以及所选代码的嵌套包含结构,这在细化搜索查询方面是有效的。与现有的技术相比,评论家,ALICE不需要用户手动构建一个搜索模式,但实现了相当的精度和召回率与平均更少的搜索迭代。用户案例研究表明,ALICE易于使用,并有助于表达复杂的代码模式。
2019-02-24 cs.SE
Query Expansion Based on Crowd Knowledge for Code Search
由于代码搜索是软件开发实践中频繁的开发人员活动,因此提高代码搜索的性能是一项关键任务。在基于文本检索的代码检索技术中,术语不匹配问题是影响检索效率的关键语言问题。查询扩展通过对查询的重新定义,为解决术语不匹配问题提供了有效的途径。在本文中,我们提出了查询扩展基于群体知识(QECK),一种新的技术,以提高代码搜索算法的性能。QECK从Stack Overflow上的高质量伪相关反馈问题和答案对中识别特定于软件的扩展词,以自动生成扩展查询。此外,我们将QECK的经典Rocchio的模型,并提出基于QECK的代码搜索方法QECKRocchio。我们进行了三个实验,以评估我们的QECK技术和调查QECKRocchio在一个大规模的语料库,包含真实世界的代码片段和问答对集合。结果表明,QECK在精度上提高了三种码搜索算法的性能,提高了64%,在NDCG上提高了35%。同时,与现有的查询扩展方法相比,QECK Rocchio方法在精度上提高了22%,在NDCG上提高了16%。
2017-03-04 cs.SE
Aroma: Code Recommendation via Structural Code Search
程序员编写的代码通常与在某处编写的现有代码相似。一个可以帮助程序员搜索类似代码的工具将是非常有用的。这样的工具可以帮助程序员扩展部分编写的代码片段以完全实现必要的功能,帮助发现其他程序员通常包括的部分代码的扩展,帮助交叉检查其他程序员编写的类似代码,或者帮助添加额外的代码来修复常见的错误和错误。我们提出了Aroma,这是一种通过结构化代码搜索进行代码推荐的工具和技术。Aroma索引了一个包含数千个开源项目的巨大代码语料库,将部分代码片段作为输入,搜索语料库中包含部分代码片段的方法体,并对搜索结果进行聚类和交叉,以推荐一小部分简洁的代码片段,这些代码片段既包含查询片段,又作为语料库中几个方法的一部分出现。我们对Aroma进行了评估,包括从语料库中随机选择的2000个查询,以及从Stack Overflow(一个流行的代码讨论网站)获得的64个代码片段查询。我们为4种不同的语言实现了Aroma,并为Aroma开发了IDE插件。此外,我们进行了一项研究,要求12名程序员使用Aroma完成编程任务,并收集他们的反馈。我们的研究结果表明,Aroma能够有效地检索和推荐相关的代码片段。
2019-10-17 cs.SE
Effective Reformulation of Query for Code Search using Crowdsourced Knowledge and Extra-Large Data Analytics
软件开发者在使用代码搜索引擎时经常发出用于代码搜索的通用自然语言查询(例如,GitHub原生搜索,Krugle)。由于词汇不匹配的问题,这样的查询通常不会导致任何相关的结果。在本文中,我们提出了一种新的技术,自动识别相关的和特定的API类从堆栈溢出Q & A网站的编程任务编写为一个自然语言查询,然后重新制定的查询,以改善代码搜索。我们首先使用伪相关反馈和两个术语加权算法从Stack Overflow中收集候选API类,然后使用Borda计数和查询关键字与API类之间的语义接近度对候选API类进行排名。语义接近度是通过对Stack Overflow的130万个问题和答案的分析确定的。使用310个代码搜索查询的实验报告说,我们的技术以48%的准确率和58%的召回率提出了相关的API类,分别比最先进的技术高出32%和48%。Google、Stack Overflow和GitHub native search)报告称,我们重新制定的查询(1)优于最先进的查询,(2)显著改善了这些当代搜索引擎提供的代码搜索结果。
2018-07-23 cs.SE
MT4DP: Data Poisoning Attack Detection for DL-based Code Search Models via Metamorphic Testing
本文提出MT4DP框架,通过引入语义等价蜕变关系(SE-MR),利用源查询与后续查询的排名方差检测深度学习代码搜索模型的数据投毒攻击,显著提升了检测效果。
2025-07-15 cs.SE
Searching by Code: a New SearchBySnippet Dataset and SnippeR Retrieval Model for Searching by Code Snippets
Huawei Noah's Ark lab(华为诺亚方舟实验室);St. Petersburg Department of the Steklov Institute of Mathematics(斯捷克洛夫数学研究所圣彼得堡分部);Ivannikov Institute for System Programming(伊万尼科夫系统编程研究所)
本文提出按代码片段搜索的新任务,构建SearchBySnippet数据集并设计SnippeR单编码器模型,在Recall@10上达到0.451,超越现有基线,成为代码搜索新基准。
2024-05-27 cs.CL cs.SE
Accelerating Code Search with Deep Hashing and Code Classification
The Chinese University of Hong Kong(香港中文大学);Microsoft Research Asia(微软亚洲研究院);The University of Newcastle(纽卡斯尔大学)
代码搜索是基于自然语言查询从源代码语料库中搜索可重用的代码片段。基于深度学习的代码搜索方法已经显示出有希望的结果。然而,以前的方法集中在检索的准确性,但缺乏注意的检索过程的效率。我们提出了一种新的方法CoSHC来加速代码搜索与深度哈希和代码分类,旨在执行有效的代码搜索,而不会牺牲太多的准确性。为了评估CoSHC的有效性,我们将我们的方法应用于五个代码搜索模型。大量的实验结果表明,与以前的代码搜索基线相比,CoSHC可以节省90%以上的检索时间,同时保持至少99%的检索准确率。
2022-03-31 cs.AI cs.SE
Evaluating How Developers Use General-Purpose Web-Search for Code Retrieval
搜索是软件开发过程中不可或缺的一部分。开发人员经常使用搜索引擎在开发过程中查找信息,包括可重用的代码片段、API理解和参考示例。开发人员倾向于使用像Google这样的通用搜索引擎,这些搜索引擎通常不针对代码相关文档进行优化,而使用的搜索策略和排名技术更适合于通用的、非代码相关的信息。在本文中,我们将探讨是否一个通用的搜索引擎,如谷歌是一个最佳的选择代码相关的搜索。特别是,我们调查是否与谷歌搜索的性能不同的代码与非代码相关的搜索。为了分析这一点,我们收集了来自310名开发人员的搜索日志,其中包含来自Google的近150,000个搜索查询和相关的结果点击。为了区分代码相关的搜索和非代码相关的搜索,我们建立了一个模型,识别查询的代码意图。利用这个模型,我们建立了一个自动分类器,检测代码和非代码相关的查询。我们确认分类器的有效性手动注释的查询,分类器达到87%的精度,86%的召回率,和87%的F1分数。我们应用这个分类器来自动注释数据集中的所有查询。分析这个数据集,我们观察到与代码相关的搜索通常需要更多的努力(例如,时间、结果点击和查询修改),这表明使用通用搜索引擎的代码搜索性能不太有效。
2018-03-22 cs.IR cs.SE
Clone-Seeker: Effective Code Clone Search Using Annotations
源代码搜索在软件开发中起着重要的作用,例如探索性开发或从代码库中重新使用现有代码。通常,需要探索具有相同功能的不同实现,以完成自动化软件移植、软件多样化和软件修复等任务。代码克隆是语法或语义相似的代码片段,是此类任务的理想候选者。搜索代码克隆涉及给定的搜索查询以检索相关的代码片段。我们提出了一种新的方法,称为克隆搜索器,专注于利用克隆类功能检索代码克隆。为此,我们以自然语言文档的形式为每个代码克隆生成元数据。元数据包括来自代码克隆的标识符的预处理列表,该标识符的预处理列表用指示代码克隆的语义的关键字的列表来扩充。这个关键字列表可以从克隆类的手动注释的一般描述中提取,也可以从整个克隆类的源代码中自动生成。此方法可帮助开发人员基于编写为源代码术语或自然语言的搜索查询来执行代码克隆搜索。在我们的定量评估中,我们表明(1)克隆搜索者在搜索语义代码克隆时具有更高的召回率(即,Type-4);(2)Clone-Seeker可以通过应用自然语言查询来准确地搜索相关的代码克隆。
2021-06-06 cs.IR cs.SE
Structural Code Search using Natural Language Queries
本文提出利用 LLM 将自然语言查询翻译为结构化代码搜索 DSL(如 Semgrep 和 GQL)查询,并在 400 条查询的基准上取得 55%-70% 的精确率与召回率,显著优于语义搜索和 LLM 检索基线。
2025-07-02 cs.PL cs.SE
RethinkMCTS: Refining Erroneous Thoughts in Monte Carlo Tree Search for Code Generation
Shanghai Jiao Tong University(上海交通大学);Huawei Noah’s Ark Lab(华为诺亚实验室)
针对现有树搜索代码生成方法忽略推理过程且反思缺乏正确路径的问题,提出RethinkMCTS框架,在生成前用MCTS搜索思维并结合执行反馈修正错误思维,提升搜索质量,实验优于基线。
2025-10-24 cs.CL cs.SE
Survey of Code Search Based on Deep Learning
本综述聚焦基于深度学习的代码搜索技术,梳理现有框架,提出以查询语义建模、代码语义建模、匹配建模三步划分的新分类体系,并给出未来研究方向。
2023-12-13 cs.PL cs.SE
CodeDSI: Differentiable Code Search
重新实现以前解决的软件工程问题的解决方案不仅效率低下,而且还会引入不充分和容易出错的代码。许多现有的方法通过使用在代码上训练的自回归文本生成模型在这个问题上取得了令人印象深刻的性能。然而,这些方法并非没有缺陷。从这些模型生成的代码可能存在错误,缺乏文档,并引入可能被开发人员忽视的漏洞。代码生成的另一种选择--神经代码搜索--是机器学习的一个领域,其中模型将自然语言查询作为输入,反过来,从数据库返回相关的代码样本。由于这个预先存在的数据库的性质,代码样本可以在开发人员在生产中使用之前进行记录,测试,许可和检查漏洞。在这项工作中,我们提出了CodeDSI,一个端到端的统一的代码搜索方法。CodeDSI被训练为直接将自然语言查询映射到它们各自的代码样本,这些代码样本可以在以后检索。为了提高代码搜索的性能,我们研究了docid表示策略,标记化对docid结构的影响,以及数据集大小对整体代码搜索性能的影响。我们的研究结果证明了CodeDSI的强大性能,在不同的数据集大小上超过传统的鲁棒基线2 - 6%。
2022-10-01 cs.IR cs.SE
Source Forager: A Search Engine for Similar Source Code
开发人员花费大量时间搜索代码:例如,了解如何完成、纠正或调整自己的代码以适应新的环境。不幸的是,代码搜索的最新技术还没有超越文本搜索而不是标记化源代码。代码具有比普通文本更丰富的结构和语义,并且可以利用此属性来专门化代码搜索过程,以便更好地查询、搜索和对代码搜索结果进行排名。我们提出了一个新的代码-搜索引擎命名为源搜寻器。给定一个C/C++函数形式的查询,Source Forager会在预填充的代码数据库中搜索类似的C/C++函数。Source Forager对数据库进行预处理,以提取各种简单的代码功能,这些功能可以捕获代码的不同方面。搜索基于各种提取的代码特征返回数据库中与查询最相似的$k$函数。我们使用来自两个领域的各种代码搜索查询来测试Source Forager的有用性。我们的实验表明,排序结果返回的源搜寻器是准确的,查询相关的功能可以可靠地检索,即使在搜索一个大型的代码数据库,包含很少的查询相关的功能。我们相信Source Forager是迈向提供更好的代码搜索体验的第一步。
2017-06-08 cs.IR cs.PL cs.SE
CodeMatcher: Searching Code Based on Sequential Semantics of Important Query Words
为了加速软件开发,开发人员经常从大规模代码库中搜索和重用现有代码片段,例如,GitHub.多年来,研究者们提出了许多基于信息检索的代码检索模型,但这些模型都未能将查询和代码之间的语义鸿沟联系起来。早期成功的基于深度学习的模型DeepCS通过学习代码方法对和相应的自然语言描述之间的关系解决了这个问题。DeepCS的两个主要优点是能够理解不相关/嘈杂的关键字,并捕获查询和代码中单词之间的顺序关系。在本文中,我们提出了一个基于IR的模型CodeMatcher,继承了DeepCS的优点,同时它可以利用基于IR的模型中的索引技术来大大加快搜索响应时间。CodeMatcher首先收集查询词的元数据以识别不相关/噪声词,然后在Elasticsearch工具索引的代码库上使用重要查询词迭代执行模糊搜索,最后根据候选代码片段中的标记如何顺序匹配查询中的重要词来重新排列返回的候选代码集。我们在一个拥有约41 k存储库的大规模代码库上验证了它的有效性。实验结果表明,CodeMatcher的MRR为0.60,比DeepCS、CodeHow和UNIF分别高出82%、62%和46%。我们提出的模型比DeepCS快1.2k倍以上。此外,CodeMatcher在MRR方面分别比GitHub和Google搜索高出46%和33%。我们还注意到:方法名在连接查询和代码中起着重要的作用,提高方法命名的质量有助于代码搜索。
2022-02-22 cs.IR cs.SE
A Trustability Metric for Code Search based on Developer Karma
搜索驱动开发的承诺是,开发人员将通过在本地项目中重用外部代码来节省时间和资源。为了有效地集成这些代码,用户必须能够信任它,因此代码搜索结果的可信性与它们的相关性一样重要。在本文中,我们引入了一个可信度指标,以帮助用户评估代码搜索结果的质量,从而减轻成本效益分析,他们试图找到合适的集成候选人。所提出的可信度度量结合了用户投票和开发人员的跨项目活动,以计算每个开发人员的“业力”值。通过所有开发人员的业力值,一个项目在可信度量表上排名。我们提出了JBender,一个概念验证代码搜索引擎,实现我们的可信度度量,我们讨论了初步的结果,从原型的评估。
2010-02-25 cs.IR cs.SE
Semantic Source Code Search: A Study of the Past and a Glimpse at the Future
随着最近源代码库和软件项目的规模和复杂性的爆炸式增长,对高效源代码搜索引擎的需求急剧增加。遗憾的是,现有的基于信息检索的方法无法捕获查询语义,并且仅在查询包含基于语法的关键字时才表现良好。因此,当给出高级自然语言查询时,这样的方法将表现不佳。在本文中,我们回顾了现有的方法来构建代码搜索引擎。我们还概述了开放的研究方向和各种障碍,站在一个通用的源代码搜索引擎的方式。
2021-09-23 cs.CL cs.SE
Zero-Shot Cross-Domain Code Search without Fine-Tuning
Zhejiang University(浙江大学);Chongqing University(重庆大学);Singapore Management University(新加坡管理大学)
本文提出CodeBridge,一种零样本、无需微调的跨领域代码搜索方法,通过将查询-代码匹配分解为查询-注释和代码-代码匹配,并利用LLM生成注释和伪代码进行融合,在多个数据集上显著优于现有方法。
2025-04-10 cs.CL cs.SE
Semantic Code Search for Smart Contracts
语义代码搜索技术允许通过自然语言搜索已有的代码片段,可以大大提高编程效率。智能合约是在区块链上运行的程序,其代码重用率超过90%,这意味着开发人员对语义代码搜索工具的需求很大。然而,现有的代码搜索模型在代码和查询之间仍然存在语义鸿沟,并且在智能合约的专门查询上表现不佳。在本文中,我们提出了一个多模态智能合约代码搜索(MM-SCS)模型。具体来说,我们构建了一个合同元素依赖图(CEDG)的MM-SCS作为一个额外的模态捕捉的数据流和控制流的代码信息。为了使模型更加关注关键的上下文信息,我们使用了一个多头注意力网络来生成代码特征的嵌入。此外,我们使用微调的预训练模型,以确保模型的有效性时,训练数据是小的。我们将MM-SCS与四种最先进的模型在一个数据集上进行了比较,该数据集具有从Github和Etherscan收集的470 K(代码,文档字符串)对。实验结果表明,MM-SCS实现了0.572的MRR(平均倒数秩),比四个最先进的模型UNIF,DeepCS,CARLCS-CNN和TAB-CS分别高出34.2%,59.3%,36.8%和14.1%。此外,MM-SCS的搜索速度仅次于UNIF,达到0.34秒/查询。
2021-11-28 cs.IR cs.SE
Opti Code Pro: A Heuristic Search-based Approach to Code Refactoring
Toronto Metropolitan University(多伦多都会大学)
本文提出一种基于启发式搜索的代码重构方法,通过近似问题引导重构过程实现高内聚低耦合,并在随机状态和Java项目上验证有效性。
2023-05-12 cs.AI cs.SE
How the Sando Search Tool Recommends Queries
开发人员花费大量时间搜索本地代码库。为了帮助他们有效地搜索,研究人员提出了新的工具,应用最先进的信息检索算法从本地代码库中检索相关的代码片段。但是,这些工具仍然依赖于开发人员来创建有效的查询,这要求开发人员熟悉相关代码片段中包含的术语。我们的经验数据来自最先进的本地代码搜索工具Sando,表明开发人员有时不熟悉他们的本地代码库。为了弥合开发人员和他们不断增长的本地代码库之间的差距,在本文中,我们展示了集成在Sando中的推荐技术。
2014-01-27 cs.IR cs.SE
COSEA: Convolutional Code Search with Layer-wise Attention
Tsinghua University(清华大学);Microsoft Research(微软研究院)
语义代码搜索旨在检索与给定自然语言查询相关的代码片段,其吸引了许多研究努力,目的是加速软件开发。大量的在线公开代码库促使人们使用深度学习技术来构建最先进的代码搜索模型。特别地,它们利用深度神经网络将代码和查询嵌入到统一的语义向量空间中,然后使用代码和查询向量之间的相似性来近似代码和查询之间的语义相关性。然而,大多数现有的研究忽略了代码的内在结构逻辑,其中确实包含了丰富的语义信息,并未能捕捉代码的内在特征。在本文中,我们提出了一种新的深度学习架构COSEA,它利用具有逐层注意力的卷积神经网络来捕获有价值代码的内在结构逻辑。为了进一步提高COSEA的学习效率,我们提出了一种对比损失的变体来训练代码搜索模型,其中地面真值代码应该与最相似的负样本区分开来。我们已经实现了COSEA的原型。对现有的Python和SQL公共数据集进行的大量实验表明,COSEA可以在代码搜索任务上比最先进的方法实现显着改进。
2020-10-19 cs.AI cs.SE
Search4Code: Code Search Intent Classification Using Weak Supervision
Microsoft Research(微软研究院);Microsoft(微软公司)
开发人员使用搜索进行各种任务,如查找代码,文档,调试信息等。特别是,开发人员在编码过程中大量使用Web搜索查找代码示例和代码片段。近年来,基于自然语言的代码搜索已经成为一个活跃的研究领域。然而,缺乏真实世界的大规模数据集是一个重要的瓶颈。在这项工作中,我们提出了一个弱监督为基础的方法来检测代码搜索意图在搜索查询C#和Java程序设计语言。我们评估的方法对几个基线上的真实世界的数据集,包括超过100万个查询挖掘必应网络搜索引擎,并表明,基于CNN的模型可以达到77%和76%的准确性分别为C#和Java。此外,我们还发布了Search4Code,这是第一个从Bing Web搜索引擎中挖掘的代码搜索查询的大规模真实数据集。我们希望该数据集将有助于未来对代码搜索的研究。
2021-03-20 cs.AI cs.IR cs.LG
BERT2Code: Can Pretrained Language Models be Leveraged for Code Search?
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
每天都有数百万个重复的代码片段被提交到代码库中。使用简单的自然语言查询从这些大型代码库中进行搜索将允许程序员更容易和更快地构思、原型化和开发。虽然现有的方法在自然语言描述包含来自代码的关键字的代码搜索方面表现出了良好的性能,但是在基于自然语言查询的语义含义和代码的语义结构的代码搜索方面仍然远远落后。近年来,自然语言和程序设计语言研究团体都创建了将它们嵌入向量空间的技术。在这项工作中,我们利用这些嵌入模型的有效性,使用一个简单的,轻量级的2层神经网络的语义代码搜索任务。我们表明,我们的模型学习嵌入空间之间的内在关系,并进一步探讨了改进的范围,通过实证分析的嵌入方法。在这个分析中,我们表明,代码嵌入模型的质量是我们的模型的性能的瓶颈,并讨论在这方面的未来研究方向。
2021-04-16 cs.CL cs.SE
On the Importance of Building High-quality Training Datasets for Neural Code Search
Monash University(莫纳什大学);Tongji University(同济大学)
神经代码搜索的性能受到神经模型所源自的训练数据的质量的显著影响。为了建立从自然语言到程序设计语言的精确映射,需要大量高质量的查询和代码对。由于可用性有限,大多数广泛使用的代码搜索数据集都是在折衷的情况下建立的,例如使用代码注释作为查询的替代。我们对一个著名的代码搜索数据集的实证研究表明,超过三分之一的查询包含噪音,使他们偏离自然用户查询。通过噪声数据训练的模型在应用于现实世界场景时面临严重的性能下降。提高数据集质量,使其样本的查询与真实用户查询语义一致,是神经代码搜索实用性的关键。在本文中,我们提出了一个数据清洗框架,包括两个后续的过滤器:基于规则的语法过滤器和基于模型的语义过滤器。这是第一个将语义查询清理应用于代码搜索数据集的框架。实验上,我们评估了我们的框架的有效性,两个广泛使用的代码搜索模型和三个手动注释的代码检索基准。使用我们框架中过滤后的数据集训练流行的DeepCS模型,其性能平均提高了19.2%的MRR和21.3%的MRR@1,这是三个验证基准测试的平均值。
2022-02-14 cs.AI cs.SE
Synthesizing Conjunctive Queries for Code Search
Squid算法利用正反例和自然语言描述,通过Datalog分析合成合取查询,实现高效代码搜索,平均2.56秒完成三十余个任务。
2023-05-11 cs.PL cs.SE
Is a Single Model Enough? MuCoS: A Multi-Model Ensemble Learning for Semantic Code Search
Microsoft Research Asia(微软亚洲研究院);Beijing University of Technology(北京工业大学);Xi’an Jiaotong University(西安交通大学)
最近,深度学习方法已经成为代码搜索中的主流,因为它们在捕获代码片段和搜索查询之间的语义相关性方面做得更好,并且具有有前途的性能。然而,代码片段包含来自不同维度的信息,例如业务逻辑、特定算法和硬件通信,因此单个代码表示模块很难涵盖所有视角。另一方面,由于特定查询可能集中在一个或多个视角上,因此单个查询表示模块难以表示不同的用户意图。在本文中,我们提出了MuCoS,多模型集成学习架构的语义代码搜索。它结合了几个单独的学习器,每个学习器都强调代码段的特定视角。我们训练个人学习者在不同的数据集,其中包含不同的角度的代码信息,我们使用一个数据增强策略,以获得这些不同的数据集。然后,我们集成学习器来捕获代码片段的综合特征。
2021-07-13 cs.LG cs.SE
MGS3: A Multi-Granularity Self-Supervised Code Search Framework
针对现有代码搜索忽略细粒度代码导致性能不佳的问题,提出多粒度自监督对比学习框架MGS3,通过分层表示和构建正负样本,在多粒度代码搜索任务中取得优异表现且兼容现有模型。
2025-05-30 cs.IR cs.SE
CodeRetriever: Unimodal and Bimodal Contrastive Learning for Code Search
Fudan University(复旦大学);Microsoft(微软)
在本文中,我们提出了CodeRetriever模型,它通过大规模的代码-文本对比预训练来学习函数级代码语义表示。在CodeRetriever中采用了两种对比学习方案:单峰对比学习和双峰对比学习。对于单峰对比学习,我们设计了一种无监督学习方法,根据文档和函数名构建语义相关的代码对。对于双模态对比学习,我们利用代码的文档和行内注释来构建代码-文本对。这两个对比目标都可以充分利用大规模代码语料库进行预训练。大量的实验结果表明,CodeRetriever实现了新的国家的最先进的显着改善现有的代码预训练模型,在11个领域/语言特定的代码搜索任务,6种程序设计语言在不同的代码粒度(函数级,片段级和语句级)。这些结果证明了CodeRetriever的有效性和鲁棒性。
2022-10-26 cs.CL cs.SE
Neural Code Search Revisited: Enhancing Code Snippet Retrieval through Natural Language Intent
Nokia Bell Labs(诺基亚贝尔实验室)
在这项工作中,我们提出并研究注释代码搜索:检索的代码片段配对的简要说明,他们的意图使用自然语言查询。在三个基准数据集上,我们研究了如何通过利用描述来更好地捕获代码片段的意图来改进代码检索系统。基于迁移学习和自然语言处理的最新进展,我们为用自然语言描述注释的代码创建了一个特定于域的检索模型。我们发现,与不使用描述但试图仅从未注释的代码计算片段意图的最先进的代码检索方法相比,我们的模型产生了更相关的搜索结果(平均倒数排名的绝对增益高达20.6%)。
2020-08-27 cs.IR cs.LG cs.SE
REINFOREST: Reinforcing Semantic Code Similarity for Cross-Lingual Code Search Models
Columbia University(哥伦比亚大学);Microsoft Research(微软研究院)
本文提出 REINFOREST,通过融合静态与动态特征及正负参考样本训练 LLM,实现无需推理期执行代码的跨语言代码搜索,并最高领先现有工具 44.7%。
2024-04-15 cs.AI cs.PL cs.SE
Generating Clarifying Questions for Query Refinement in Source Code Search
在源代码搜索中,常见的信息搜索策略包括提供具有广泛含义的简短初始查询,然后使用从后续搜索结果中收集的术语迭代地细化查询。这种策略要求程序员花时间阅读与他们的开发需求无关的搜索结果。相比之下,当程序员从其他人那里寻求信息时,他们通常通过提出和回答澄清性问题来改进查询。澄清问题已被证明有利于通用搜索引擎,但还没有在代码搜索的上下文中进行检查。我们提出了一种方法,用于生成自然的冠冕堂皇的澄清问题,使用从函数名称和评论中提取的信息。我们的方法优于基于关键词的方法在合成研究中的单轮细化,并与较短的搜索时间在人类研究。
2022-01-24 cs.HC cs.IR cs.SE
Evaluation of Siamese Networks for Semantic Code Search
IBM Research(IBM研究院);Flipkart(弗利普卡特)
随着开放存储库和论坛数量的增加,使用自然语言进行语义代码搜索变得越来越普遍。然而,由于1)代码和用户查询之间的有限共享词汇以及2)对用户查询及其与代码语法的关系的语义理解不足,由这样的系统返回的结果的准确性可能较低。暹罗网络非常适合学习数据之间的这种联合关系,但尚未在代码搜索的背景下进行探索。在这项工作中,我们通过探索多个提取网络架构来评估Siamese网络。这些网络独立处理代码和文本描述,然后将它们传递给暹罗网络,以学习公共空间中的嵌入。我们在两个不同的数据集上进行了实验,发现Siamese网络可以作为网络上的强正则化器,从代码和文本中提取丰富的信息,这反过来又有助于在代码搜索上实现令人印象深刻的性能,击败$2$程序设计语言的先前基线。我们还分析了这些网络的嵌入空间,并为充分利用Siamese网络进行语义代码搜索提供了方向。
2020-10-12 cs.AI cs.CL cs.SE
Exploring Representation-Level Augmentation for Code Search
Nanyang Technological University(南洋理工大学);China-Singapore International Joint Research Institute(中新国际联合研究院);Sun Yat-sen University(中山大学);The University of Newcastle(纽卡斯尔大学)
代码搜索是软件开发实践中的一种常见活动,其目的是为给定的自然语言查询检索最相关的代码片段。最近,对比学习被广泛用于代码搜索研究,其中许多用于源代码的数据增强方法(例如,语义保持程序变换)来学习更好的表示。然而,这些增强是在原始数据级别,这需要在预处理阶段进行额外的代码分析,并在训练阶段增加额外的训练成本。在本文中,我们探讨了增强数据(包括代码和查询)在表示级别,不需要额外的数据处理和训练的方法,并在此基础上,我们提出了一个通用的格式表示级增强,统一现有的方法。然后,我们提出了三个新的增强方法(线性外推,二进制插值,高斯缩放)的基础上的一般格式。此外,我们从理论上分析了所提出的增强方法的优势,传统的对比学习方法的代码搜索。我们的实验评估所提出的代表级增强方法与国家的最先进的代码搜索模型的大规模的公共数据集,包括六个程序设计语言。实验结果表明,我们的方法可以持续提高所研究的代码搜索模型的性能。我们的源代码可在https://github.com/Alex-HaochenLi/RACS上获得。
2022-10-21 cs.IR cs.LG cs.SE
CSSAM:Code Search via Attention Matching of Code Semantics and Structures
WuHan University(武汉大学)
尽管我们不断努力改善代码检索的成效和效率,但有两个问题仍未解决。首先,程序设计语言具有固有的强结构联系,将代码作为文本形式进行特征挖掘会忽略其中包含的结构信息;其次,代码和查询之间存在潜在的语义关系,在相似性匹配过程中,将代码和文本跨序列对齐以使向量在空间上一致是一个挑战。为了解决这两个问题,本文提出了一个代码搜索模型CSSAM(代码语义和结构注意力匹配)。通过引入语义和结构匹配机制,CSSAM有效地提取和融合多维代码特征。具体来说,交叉和剩余层的开发是为了促进代码和查询在令牌级别的高纬度空间对齐。通过利用剩余的交互,匹配模块的设计,以保持更多的代码语义和描述性的功能,提高代码和其对应的查询文本之间的粘附。此外,为了提高模型对代码内在结构的理解能力,提出了一种代码语义表示图CSRG(Code Semantic Representation Graph)结构,用于联合表示抽象语法树节点和代码的数据流。根据在两个公开的包含540 k和330 k代码段的数据集上的实验结果,CSSAM在两个数据集上分别实现最高SR@1/5/10、MRR和NDCG@50方面显著优于基线。此外,消融研究进行定量测量的CSSAM的每个关键组成部分对代码搜索的效率和有效性的影响,这提供了先进的代码搜索解决方案的改进的见解。
2022-08-08 cs.AI cs.IR cs.SE