NeSy 生机勃勃:一种基于 LLM 驱动的符号方法用于更好的代码注释数据生成与分类
NeSy is alive and well: A LLM-driven symbolic approach for better code comment data generation and classification
AI总结:
提出一种结合符号学习与 LLM 智能体的神经符号工作流,生成合成数据以修复 LLM 生成弱点,提升代码注释分类性能,最佳模型 Macro-F1 达 91.412%。
摘要:
我们提出了一种神经符号(NeSy)工作流,将基于符号的学习技术与大语言模型(LLM)智能体相结合,为 C 编程语言中的代码注释分类生成合成数据。我们还展示了如何使用该工作流生成受控的合成数据,从而修复了基于 LLM 的生成的一些显著弱点,并提高了经典机器学习模型在代码注释分类任务上的性能。我们最好的模型,一个神经网络,在数据增强后取得了 91.412% 的 Macro-F1 分数,提升了 1.033%。
英文摘要:
We present a neuro-symbolic (NeSy) workflow combining a symbolic-based learning technique with a large language model (LLM) agent to generate synthetic data for code comment classification in the C programming language. We also show how generating controlled synthetic data using this workflow fixes some of the notable weaknesses of LLM-based generation and increases the performance of classical machine learning models on the code comment classification task. Our best model, a Neural Network, achieves a Macro-F1 score of 91.412% with an increase of 1.033% after data augmentation.
机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。