Contextual Code Retrieval for Commit Message Generation: A Preliminary Study
本文提出 C3Gen,通过从仓库检索提交相关代码片段补充 diff 上下文,提升多模型提交信息生成质量,并结合主客观与人工评估验证其效果。
2025-07-23 cs.SE
Generative AI for Test Driven Development: Preliminary Results
本研究针对测试驱动开发(TDD)应用成本高、依赖经验开发者的问题,提出结合生成式AI的协作与全自动两种TDD自动化模式,经ChatGPT实验验证其可提升TDD效率,但需监督代码质量以防误导非专业开发者。
2024-05-17 cs.SE
Evaluating the robustness of source code plagiarism detection tools to pervasive plagiarism-hiding modifications
源代码剽窃是本科计算机科学教育中的常见现象。为了识别这种情况,已经提出了许多源代码剽窃检测工具。源代码剽窃检测工具评估成对的作业提交,以检测剽窃的迹象。然而,剽窃的学生通常会对源代码进行隐藏剽窃的修改,试图逃避检测。随后,先前的工作已经暗示,目前可用的源代码剽窃检测工具是不鲁棒的普遍剽窃隐藏修改的应用程序。在这篇文章中,11个源代码剽窃检测工具进行评估,对剽窃隐藏修改的鲁棒性。这些工具进行评估的数据集模拟大学生剽窃,构建与源代码修改代表的本科生。所执行的评估的结果表明,目前可用的源代码剽窃检测工具是不强大的修改,适用于细粒度的转换的源代码结构。在评估的工具中,JPlag和Plaggie对不同类型的剽窃隐藏修改表现出最大的鲁棒性。然而,研究结果也表明,基于图形的工具(特别是那些比较程序依赖图)显示出潜在的更大的鲁棒性普遍剽窃隐藏修改。
2021-02-08 cs.SE
Assessing, Exploiting, and Mitigating Syntactic Robustness Failures in LLM-Based Code Generation
University of California, Santa Barbara(加州大学圣塔芭芭拉分校)
研究评估LLM在代码生成中语法鲁棒性,发现其在包含数学公式的提示下存在缺陷,提出预处理步骤提升鲁棒性,使鲁棒性从54.05%提升至74.42%。
2026-05-07 cs.SE
Enhancing and Reporting Robustness Boundary of Neural Code Models for Intelligent Code Understanding
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学新型软件技术重点实验室);Shenzhen Research Institute of Nanjing University(南京大学深圳研究院);School of Computer Science and Engineering, University of New South Wales(新南威尔士大学计算机科学与工程学院);School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院);School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院)
本文提出ENBECOME,一种无需训练的轻量级对抗防御方法,通过推理时引入语义保持的扰动,提升神经代码模型的鲁棒性并报告认证鲁棒性边界。
2026-03-25 cs.SE
CREME: Robustness Enhancement of Code LLMs via Layer-Aware Model Editing
Zhejiang University(浙江大学);Singapore Management University(新加坡管理大学)
CREME通过识别并编辑鲁棒性敏感层,提升代码生成模型对提示扰动的鲁棒性,显著提高扰动提示下的生成准确率。
2025-12-10 cs.SE
Does Coding in Pythonic Zen Peak Performance? Preliminary Experiments of Nine Pythonic Idioms at Scale
在数据科学领域,对于一般的学者来说,Python程序设计语言是一种流行的选择,主要是因为它的库用于存储,操作和从数据中获得洞察力。证据包括用于不断增长的可用数据的多功能机器学习、数据可视化和操作包。Python的Zen是一组指导设计原则,开发人员使用这些原则来编写可接受的优雅Python代码。大多数原则都围绕着简单性。然而,由于需要计算大量的数据,性能已经成为Python程序员的必需品。本文的新想法是确认编写Python的方式是否会在规模上达到性能峰值。作为一个起点,我们进行了一组初步的实验,通过比较Pythonic和非Pythonic代码片段的性能来评估9个Pythonic代码示例。我们的研究结果表明,用Python习语写作可以节省内存和时间。我们展示了合并列表解析、生成器表达式、zip和itertools.zip_longest习惯用法可以节省高达7,000 MB和32.25秒。这些结果为如何在现实世界中使用它们提出了更多问题。复制包包括所有脚本,结果可在https://doi.org/10.5281/zenodo.5712349上获得
2022-03-28 cs.SE
A Preliminary Analysis on the Code Generation Capabilities of GPT-3.5 and Bard AI Models for Java Functions
Brunel University London(伦敦布鲁内尔大学);University College London(伦敦大学学院);University of Cagliari(卡利亚里大学)
本文评估了GPT-3.5和Bard在Java代码生成方面的能力,发现GPT-3.5在CodingBat测试中以90.6%的正确率显著优于Bard的53.1%,揭示了AI辅助代码生成工具的改进方向。
2023-05-16 cs.CL cs.SE
COCO: Testing Code Generation Systems via Concretized Instructions
针对代码生成系统的鲁棒性问题,本研究提出COCO技术,通过生成含原始代码特征的具体化指令检测不一致,实验证明其效果远超现有通用测试技术,且生成的指令可通过微调提升系统鲁棒性。
2023-08-25 cs.SE
Should Code Models Learn Pedagogically? A Preliminary Evaluation of Curriculum Learning for Real-World Software Engineering Tasks
The University of Melbourne(墨尔本大学)
本文初步评估了课程学习在真实软件工程任务中的效果,发现CodeT5在代码克隆检测和摘要任务上出现灾难性遗忘与捷径学习,且性能在训练早期即饱和,提示现有课程学习策略对代码模型可能并不有效。
2025-02-06 cs.LG cs.SE
A Multi-Language Perspective on the Robustness of LLM Code Generation
Concordia University(康考迪亚大学);The Hong Kong University of Science and Technology(香港科技大学)
本文从多语言角度评估了代码生成模型的鲁棒性,通过扰动文档字符串、函数名、语法和格式等关键提示部分,发现不同语言和扰动类型对模型性能影响不同,且增大模型规模并不能显著提升鲁棒性。
2026-04-03 cs.SE
Model Compression vs. Adversarial Robustness: An Empirical Study on Language Models for Code
University of Saskatchewan(萨斯喀彻温大学)
研究探讨了模型压缩技术对代码语言模型对抗鲁棒性的影响,发现压缩模型在对抗攻击下鲁棒性显著下降,揭示了压缩与鲁棒性之间的权衡。
2026-04-14 cs.SE
Improving the Robustness of Large Language Models for Code Tasks via Fine-tuning with Perturbed Data
Polytechnique Montréal(蒙特利尔理工大学)
通过扰动数据微调提升大语言模型在代码任务中的鲁棒性,以增强其对对抗性输入的防御能力,同时注意性能的平衡。
2026-02-11 cs.SE
A Dataset and Preliminary Study of Using GPT-5 for Code-change Impact Analysis
Software Engineering Research Group University of Klagenfurt(软件工程研究组 卡拉克福大学)
本文研究了GPT-5和GPT-5-mini在代码变更影响分析中的性能,构建了包含种子变更、变更对和变更类型的数据库,并发现GPT-5在预测受影响代码实体方面优于GPT-5-mini。
2025-12-22 cs.AI cs.SE
Robustness, Security, Privacy, Explainability, Efficiency, and Usability of Large Language Models for Code
本文针对当前缺乏面向代码的大语言模型非功能属性系统综述的空白,通过调研146项相关研究,首次系统梳理了该模型准确率之外的鲁棒性等多项重要属性的研究现状、前沿方法与趋势,并提出未来研究方向。
2024-03-12 cs.SE
Can LLMs Extract Architectural Design Decisions from Source Code Commits? - A Preliminary Exploratory Study
International Institute of Information Technology Hyderabad(海得拉巴国际信息技术学院);Paderborn University(帕德博恩大学)
该研究以30个开源项目的ADDs为样本,测试4种LLMs提取ADDs的效果,发现少样本提示可提升对齐度,但生成结果常缺失决策原理,为架构感知LLM系统研究提供了方向。
2026-09-04 cs.AI cs.SE
A Preliminary Study of Multilingual Code Language Models for Code Generation Task Using Translated Benchmarks
University of British Columbia(不列颠哥伦比亚大学)
本文初步评估了多语言代码语言模型Poly-Coder在HumanEval翻译基准上的代码生成性能,发现结果与训练指标一致但存在不一致性和复现困难,呼吁开展更全面的经验研究以验证翻译基准的可靠性。
2024-11-23 cs.AI cs.PL cs.SE
Adversarial Robustness of Deep Code Comment Generation
本文针对深度代码注释生成模型的对抗脆弱性问题,提出ACCENT方法,通过标识符替换构造语法正确、语义相近的对抗样本实现攻击,同时配套新型训练方法提升模型鲁棒性,经实验验证了攻击有效性、样本可迁移性及训练方法的鲁棒性提升效果。
2021-11-30 cs.SE
CodeScore-R: An Automated Robustness Metric for Assessing the FunctionalCorrectness of Code Synthesis
本文提出基于 UniXcoder 与对比学习的 CodeScore-R,无需测试用例即可评估代码功能正确性,并通过草图处理、语法等价变换和变异测试提升鲁棒性。
2024-06-11 cs.SE
A Preliminary Study on Explaining Risk of Code Changes using LLM-Based Prediction Models
Meta Platforms, Inc.(Meta平台公司)
研究利用基于大语言模型的Diff风险评分模型注意力权重突出代码变更中风险集中部分,聚合为可解释代码单元供开发者代码审查参考,评估显示能有效覆盖风险变更行且可扩展。
2026-07-07 cs.AI cs.SE
Assessing and Improving Syntactic Adversarial Robustness of Pre-trained Models for Code Translation
本文提出 CoTR 方法,通过对抗样本生成与基于语义距离的数据增强及对抗训练,评估并提升预训练模型在代码翻译中的句法鲁棒性,实验验证其有效性。
2023-10-28 cs.SE
How Important are Good Method Names in Neural Code Generation? A Model Robustness Perspective
本文从模型鲁棒性视角研究方法名在神经代码生成中的重要性,提出包含攻击和防御组件的RADAR方法,通过对抗性方法名攻击PCGMs并利用合成方法名恢复性能,突显了方法名的关键作用。
2023-07-30 cs.SE
Adversarial Attack Classification and Robustness Testing for Large Language Models for Code
本文系统研究了自然语言对抗扰动对代码大语言模型的影响,提出按输入类型和扰动粒度划分的攻击分类框架,发现词级扰动最具威胁,并强调语义鲁棒性对安全代码生成的重要性。
2025-06-09 cs.SE
Large Language Model Evaluation Via Multi AI Agents: Preliminary results
Tampere University(坦佩雷大学);Jyväskylä University(于韦斯屈莱大学)
本文提出多AI代理模型评估不同LLM性能,通过代码检索与验证,初步结果显示GPT-3.5 Turbo表现更优,未来将引入MBPP基准提升评估精度。
2024-04-01 cs.SE
Code Smells in Clojure: Initial Findings from a Grey Literature Review
Federal University of Campina Grande (UFCG)(坎皮纳格兰德联邦大学);Federal University of Viçosa (UFV)(维索卡联邦大学);Federal University of Minas Gerais (UFMG)(米纳斯吉拉斯联邦大学)
通过灰色文献综述和44位从业者评估,识别出26种Clojure代码坏味,包括12种Clojure特有、9种函数式风格和5种传统Fowler坏味,并发现现有工具仅覆盖其中2种。
2026-05-21 cs.SE
On the Robustness of Code Generation Techniques: An Empirical Study on GitHub Copilot
软件工程研究一直关注代码完成方法的改进,这表明开发人员在编码时可能会输入下一个标记。GitHub Copilot的发布是向前迈出的一大步,也是因为它具有前所未有的能力,可以从自然语言描述中自动生成甚至整个函数。虽然Copilot的实用性是显而易见的,但它的健壮程度仍不清楚。具体地说,我们不知道在提供给模型的自然语言描述中的语义保持变化对生成的代码函数的影响程度。在本文中,我们提出了一个实证研究,我们的目的是了解不同的,但语义等价的自然语言描述是否会导致相同的推荐功能。否定的答案会对基于深度学习(DL)的代码生成器的鲁棒性提出质疑,因为这意味着开发人员使用不同的措辞来描述相同的代码将获得不同的建议。我们要求Copilot从原始Javadoc描述开始自动生成892个Java方法。然后,我们手动和自动为每种方法生成不同的语义等效描述,并分析了Copilot生成的预测变化的程度。我们的研究结果表明,修改的描述结果在不同的代码建议在~46%的情况下。此外,语义等效描述中的差异可能会影响生成代码的正确性约28%。
2023-02-01 cs.SE
Readability-Robust Code Summarization via Meta Curriculum Learning
School of Computer Science, Shanghai Jiao Tong University(上海交通大学计算机学院);WeChat AI, Tencent(腾讯微信人工智能)
本文提出RoFTCodeSum方法,通过结合课程学习和元学习提升代码摘要对低可读性代码的鲁棒性。
2026-07-30 cs.SE
Structural Anchors and Reasoning Fragility:Understanding CoT Robustness in LLM4Code
Polytechnique Montreal(蒙特利尔高等理工学院);School of Cryptologic Science and Engineering, Shandong University(山东大学密码学科学与工程学院)
本文研究了CoT提示在LLM4Code中的鲁棒性,通过系统扰动分析发现其性能依赖于模型家族、任务结构和提示明确性,并识别出三种轨迹变形模式。
2026-04-14 cs.SE
Robustness and Trade-offs for Code LLMs on Protected Code
Luxembourg Institute of Science and Technology(卢森堡科学与技术研究所);Tianjin University(天津大学)
本研究对7种代码LLM在受保护代码任务开展基于执行的对比实验,发现直接推理混淆代码表现优异,无需显式反混淆,模型能力是核心影响因素,支持基于执行指标评估受保护代码工作流。
2026-09-07 cs.SE
ContraBERT: Enhancing Code Pre-trained Models via Contrastive Learning
CodeBERT、GraphCodeBERT等大规模预训练模型已经引起了学术界和工业界的广泛关注。由于其在代码表示方面的优越能力,它们已被进一步应用于克隆检测、代码搜索和代码翻译等多个下游任务。然而,还观察到这些最先进的预训练模型容易受到对抗攻击的影响。这些预先训练好的模型的性能会因为简单的扰动而显著下降,比如重命名变量名。这种弱点可能会被他们的下游模型继承,从而以前所未有的规模放大。为此,我们提出了一种方法,即ContraBERT,旨在通过对比学习提高预训练模型的鲁棒性。具体而言,我们设计了九种简单和复杂的数据增强操作符上的程序设计语言(PL)和自然语言(NL)的数据构建不同的变种。此外,我们继续训练现有的预训练模型的掩蔽语言建模(MLM)和对比预训练任务的原始样本与他们的增强变体,以提高模型的鲁棒性。大量的实验表明,ContraBERT可以有效地提高现有预训练模型的鲁棒性。进一步的研究还证实,这些鲁棒性增强的模型提供了改进相比,原始模型在四个流行的下游任务。
2023-01-22 cs.SE
ReCode: Robustness Evaluation of Code Generation Models
AWS AI Labs(亚马逊云科技人工智能实验室);Cornell University(康奈尔大学);University of Chicago(芝加哥大学);AWS AI Research & Education(亚马逊云科技人工智能研究与教育部门)
代码生成模型已经取得了令人印象深刻的性能。然而,它们往往是脆弱的,因为对提示的轻微编辑可能导致非常不同的生成;这些健壮性属性在部署到现实应用程序中时对用户体验至关重要,但尚未得到很好的理解。大多数现有的文本或代码任务的鲁棒性的工作集中在分类,而生成任务的鲁棒性是一个未知的领域,迄今为止,没有全面的基准健壮性在代码生成。在本文中,我们提出了ReCode,一个全面的健壮性评估基准的代码生成模型。我们专门为文档字符串、函数和变量名称、代码语法和代码格式定制了30多种转换。它们经过精心设计,在现实生活中的编码实践中是自然的,保留了原始的语义含义,从而提供了对模型鲁棒性性能的多方面评估。通过人工注释,我们验证了超过90%的扰动提示不会改变原始提示的语义含义。此外,我们定义的鲁棒性度量的代码生成模型考虑到最坏情况下的行为,在每种类型的扰动,利用这样一个事实,即执行生成的代码可以作为客观的评价。我们使用HumanEval,MBPP以及从它们派生的功能完成任务在SOTA模型上演示ReCode。有意思的意见包括:CodeGen的鲁棒性优于InCoder和GPT-J;模型对语法扰动最敏感; MBPP的鲁棒性评估比HumanEval更具挑战性。
2022-12-20 cs.CL cs.LG cs.SE
HEJ-Robust: A Robustness Benchmark for LLM-Based Automated Program Repair
Concordia University(康科迪亚大学)
本文提出HEJ-Robust基准,通过八种语义保持的代码转换生成1450个实例,评估五种微调LLM,在多种转换下模型性能下降超50%,揭示当前LLM修复模型缺乏对细微语法变化的鲁棒性。
2026-05-08 cs.SE
Improving the Robustness to Data Inconsistency between Training and Testing for Code Completion by Hierarchical Language Model
在软件工程领域,将语言模型应用于源代码的标记序列是构建代码推荐系统的一种最新方法。源代码的语法树具有层次结构。忽略树结构的特性会降低模型的性能。当前的LSTM模型处理顺序数据。如果噪声不可见的数据分布在测试集中的任何地方,LSTM模型的性能将急剧下降。由于代码有自由的命名约定,在一个项目上训练的模型在另一个项目上遇到许多未知词是很常见的。如果我们像自然语言处理中的解决方案一样,将许多未见过的单词设置为UNK,则UNK的数量将远远大于最频繁出现的单词的总和。在极端情况下,仅在任何地方预测UNK可以实现非常高的预测精度。因此,当遇到噪声不可见数据时,这种解决方案不能反映模型的真实性能。在本文中,我们只将少数罕见词标记为UNK,并展示了模型在项目内和跨项目评估下的预测性能。提出了一种新的层次语言模型(HLM)来提高LSTM模型的鲁棒性,以获得处理训练和测试数据分布不一致的能力。新提出的HLM考虑到代码树的层次结构来预测代码。HLM使用BiLSTM根据层次结构生成子树的嵌入,并收集上下文中的子树嵌入以预测下一个代码。在项目内和跨项目数据集上的实验表明,新提出的分层语言模型(HLM)在处理训练和测试数据不一致性方面优于现有的LSTM模型,预测精度平均提高11.2%.
2022-11-28 cs.SE
Fault Detection in C Programs using Monitoring of Range Values: Preliminary Results
本技术报告介绍了作为AutoSeer项目一部分所做的工作。我们在这个项目中的工作是开发一个源代码到源代码的编译器,MANET,为C语言,可用于仪器的关键部分的应用程序进行测试。其目的是使用LARA提供的面向汇编的方法来指导汇编流程并定义插装策略。这允许分离原始目标应用程序和检测次要关注点。这项工作的目标之一是开发一个源代码到源代码的C编译器,根据输入策略修改代码。这些修改可以提供针对性能和调试工具的代码转换,但在本工作中,它们用于注入代码,收集有关某些变量在运行时所取值的信息。这个编译器由AOP方法支持,该方法支持插装策略的定义。我们决定扩展现有的源到源编译器Cetus,并将其与LARA耦合,LARA是一种从目标程序设计语言中部分抽象出来的AOP语言。我们提出并评估了一种方法来检测故障的C程序通过监视变量的范围值。我们考虑各种监控策略,并使用两个实际应用程序,GZIP文件压缩器和ABS,由工业合作伙伴提供的程序。LARA中规定了不同的策略,并使用MANET自动应用。实验结果表明,我们的方法有潜力,但阻碍了不占数组和控制变量中的值。当将我们的方法与更传统的方法(将输出与预期结果进行比较)进行比较时,我们对ABS的预测准确率约为54%,对GZIP的预测准确率约为83%。
2015-05-07 cs.SE
Understanding and Bridging the Planner-Coder Gap: A Systematic Study on the Robustness of Multi-Agent Systems for Code Generation
The Hong Kong University of Science and Technology(香港科技大学);Lingnan University(岭南大学);Renmin University of China(中国人民大学)
本文研究多智能体系统在代码生成中的鲁棒性问题,发现规划者与生成者之间的信息丢失是主要缺陷,并提出修复方法以提升系统鲁棒性。
2026-01-30 cs.AI cs.SE
On the Adversarial Robustness of Instruction-Tuned Large Language Models for Code
本研究针对指令微调代码大语言模型(Code LLMs)的对抗鲁棒性问题,提出DegradePrompter方法评估其对输入挑战的响应,发现开源模型功能正确性下降12%-34%、商业模型下降3%-24%,并提出缓解策略,强调需加强防御机制与评估以保障系统可靠。
2024-11-29 cs.CR cs.SE
Adversarial Robustness for Code
ETH Zürich(苏黎世联邦理工学院)
机器学习和深度学习最近已经被用于成功地解决代码领域中的许多任务,例如查找和修复错误、代码完成、反编译、类型推断和许多其他任务。然而,代码模型的对抗鲁棒性问题在很大程度上被忽视了。在这项工作中,我们通过以下方式探索这个问题:(i)为代码(具有离散和高度结构化输入的域)实例化对抗攻击,(ii)表明,与其他域类似,代码的神经模型容易受到对抗攻击,以及(iii)结合现有和新颖的技术来提高鲁棒性,同时保持高准确性。
2020-08-15 cs.LG cs.PL cs.SE
Software Self-Extension with SelfEvolve: an Agentic Architecture for Runtime Code Generation
University College Dublin (UCD)(都柏林大学学院);JP Morgan Chase(摩根大通)
本文提出SelfEvolve架构,通过自主生成和整合新功能实现运行时自我扩展,展示其在11个任务中达到92.7%的准确率,优于现有基线方法。
2026-02-06 cs.SE
On Adversarial Robustness of Synthetic Code Generation
Indian Institute of Technology Gandhinagar(甘地纳加尔印度理工学院)
从自然语言描述自动合成代码是一项具有挑战性的任务。我们见证了近年来在采用序列到序列深度学习技术开发领域特定语言(DSL)的代码生成系统方面取得的巨大进展。在本文中,我们专门对基于\textsc{AlgoLisp} DSL的生成模型进行了实验,并通过不同类别的对抗性示例展示了显著的数据集偏差的存在。我们还试验了基于Transformer的模型的两种变体,它们的性能优于所有现有的基于\textsc{AlgoLisp} DSL的代码生成基线。与当前最先进的系统一致,我们提出的模型在对抗性环境下也表现不佳。因此,我们提出了几种数据集增强技术,以减少偏差,并使用强大的实验来展示其功效。
2021-06-22 cs.LG cs.SE
BashCoder-R1: Towards Robust and Explainable Bash Code Generation with Robustness-Aware Group Relative Policy Optimization
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
提出BashCoder-R1框架,结合持续预训练、长思维链监督微调和鲁棒感知组相对策略优化,在BashBench基准上实现高语法通过率、低鲁棒警告率和功能完整率,显著超越DeepSeek-V3.2。
2026-08-12 cs.SE
NLP2Code: Code Snippet Content Assist via Natural Language Tasks
开发人员越来越多地利用互联网将代码片段集成到他们的程序中。为了节省开发人员从开发环境切换到Web浏览器以寻找合适的代码片段所需的时间,我们引入了NLP 2Code,这是一个代码片段的内容帮助。与相关工具不同,NLP 2Code直接集成到源代码编辑器中,并为开发人员提供内容辅助功能,以缩小开发人员需求与代码片段Meta数据之间的词汇差距。我们对NLP 2Code的初步评估表明,大多数调用都会导致用户认为有用的代码片段,并且该工具能够支持广泛的任务。
2017-08-02 cs.SE
Exploring and Lifting the Robustness of LLM-powered Automated Program Repair with Metamorphic Testing
本文提出蜕变测试框架MT-LAPR,通过九种蜕变关系生成语义等价的测试用例,系统评估并暴露LAPR技术的不稳定性,进而训练基于CodeT5的代码可读性增强模型作为预处理步骤,显著提升LAPR鲁棒性最高达49.32%。
2025-03-09 cs.SE
Enhancing Deployment-Time Predictive Model Robustness for Code Analysis and Optimization
School of Computer Science, University of Leeds(利兹大学计算机学院)
本文提出开源库Prom,通过统计评估识别易误预测样本并利用反馈增量学习,在部署时提升代码分析与优化模型鲁棒性,实验显示可识别平均96%的误预测并使模型性能恢复至训练阶段水平。
2024-12-31 cs.AI cs.SE
CLAWSAT: Towards Both Robust and Accurate Code Models
Michigan State University(密歇根州立大学);CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);UC Santa Barbara(加州大学圣巴巴拉分校)
我们将对比学习(CL)与对抗学习相结合,以共同优化代码模型的鲁棒性和准确性。与现有的作品不同,我们表明,代码混淆,标准的代码转换操作,提供了新的手段来生成互补的“意见”的代码,使我们能够实现强大的和准确的代码模型。据我们所知,这是第一个系统的研究,探索和利用代码模型中(多视图)代码混淆的鲁棒性和准确性优势。具体来说,我们首先在自我监督的预训练阶段采用对抗代码作为CL中的鲁棒性促进视图。这提高了下游任务的鲁棒性和可转移性。接下来,在监督微调阶段,我们证明了具有适当的时间交错的对抗代码生成时间表的对抗训练可以进一步提高预训练代码模型的鲁棒性和准确性。在上述两个模块的基础上,我们开发了CLAWSAT,一个新的自监督学习(SSL)框架的代码集成$\underline{\textrm{CL}}$与$\underline{\textrm{a}}$ dversarial视图$\underline{\textrm{w}}$ s(CLAW)与$\underline{\textrm{s}}$标记的$\underline{\textrm{a}}$ dversarial $\underline{\textrm{t}}$训练(SAT)。在评估Python和Java的三个下游任务时,我们发现CLAWSAT始终产生最好的鲁棒性和准确性(在Python中的代码摘要任务中,$\textit{e.g.}$的鲁棒性为1…
2023-03-03 cs.LG cs.PL cs.SE
Robustness and Reasoning Fidelity of Large Language Models in Long-Context Code Question Answering
IBM Research(IBM研究院)
本研究评估了大语言模型在长上下文代码问答中的鲁棒性和推理可信度,通过不同设置测试发现模型在面对干扰信息时表现脆弱,揭示了现有评估的局限性。
2026-02-19 cs.AI cs.SE
Operational Robustness of LLMs on Code Generation
School of Engineering, Computing and Mathematics, Oxford Brookes University(工程、计算与数学学院,奥克斯伯里大学)
本文提出了一种评估大语言模型在代码生成任务中鲁棒性的方法,通过分析自然语言描述的最小变化来评估模型性能,并对四种先进模型进行了实验验证。
2026-02-21 cs.AI cs.LG cs.SE
RobuNFR: Evaluating the Robustness of Large Language Models on Non-Functional Requirements Aware Code Generation
Concordia University(康考迪亚大学);DePaul University(德保罗大学);York University(约克大学)
提出RobuNFR框架,评估LLM在NFR感知代码生成中的鲁棒性,发现包含NFR导致Pass@1下降且增加提示词敏感度,揭示了LLM在多维度下的鲁棒性问题与权衡。
2025-04-03 cs.AI cs.SE
Evaluating perturbation robustness of generative systems that use COBOL code inputs
IBM Research(IBM研究院)
本文提出评估使用COBOL代码输入的生成系统鲁棒性的框架,通过扰动方法和可视化工具提升系统对输入变化的鲁棒性。
2026-01-15 cs.AI cs.SE
NLPerturbator: Studying the Robustness of Code LLMs to Natural Language Variations
Zhejiang University(浙江大学);York University(约克大学)
本文系统研究了代码大语言模型对现实场景中自然语言描述变化的鲁棒性,提出自动化扰动框架NLPerturbator,涵盖18类扰动,并通过六个模型的实验证明扰动提示可显著降低代码生成性能。
2024-06-28 cs.CL cs.SE
Smaller = Weaker? Benchmarking Robustness of Quantized LLMs in Code Generation
NC State University(北卡罗来纳州立大学);William & Mary(威廉与玛丽学院)
本文首次系统研究了量化对 LLMs 在代码生成任务中鲁棒性的影响,发现量化模型在对抗攻击和噪声扰动下通常比全精度模型表现出更强的鲁棒性。
2025-06-28 cs.AI cs.PL cs.SE
CodeFort: Robust Training for Code Generation Models
AWS AI Labs
针对代码生成模型抗扰动鲁棒性不足的问题,提出支持多种扰动泛化与鲁棒训练策略的CodeFort框架,显著提升了基线模型的鲁棒通过率并降低鲁棒性下降率。
2024-10-28 cs.AI cs.SE
Exploring the Robustness of Large Language Models for Solving Programming Problems
University of Aizu(会津大学);Tohoku University(东北大学);NTT Communication Science Laboratories(NTT通信科学实验室)
本文探究了CodeGen、Codex、InstructGPT和ChatGPT等大语言模型在解决编程问题时对问题描述表面修改的鲁棒性,发现早期模型对变量名等表面线索敏感,而SOTA模型鲁棒性更强,强调了精心格式化提示的重要性。
2023-06-26 cs.AI cs.CL cs.SE
Can ChatGPT replace StackOverflow? A Study on Robustness and Reliability of Large Language Model Code Generation
University of California, San Diego(加利福尼亚大学圣地亚哥分校)
针对现有代码评估基准偏离真实开发场景、LLM生成代码的API误用风险未被充分关注的问题,本研究构建了含1208个StackOverflow Java编码问题的RobustAPI数据集,评估发现主流LLM生成代码的API误用率较高,揭示了其可靠性与鲁棒性的不足。
2024-01-27 cs.AI cs.CL cs.SE
Programmable Distributions of Semantics-Preserving Variants for Evaluating Code Agents
该研究评估AI代码智能体对语义保留代码转换的鲁棒性,发现其存在锯齿状鲁棒性前沿,mini-SWE agent更鲁棒,顶级模型仍易受此类扰动影响,引发部署可靠性担忧。
2026-11-16 cs.AI cs.SE