代码大模型 / AI 编程

When Large Language Models Meet Law: Dual-Lens Taxonomy, Technical Advances, and Ethical Governance

Peizhang Shao, Linrui Xu, Jinxi Wang, Wei Zhou, Xingyu Wu

机构 * School of Law, China University of Political Science and Law（中国政法大学法学院） ； Zhejiang University of Finance and Economics Dongfang College（浙江财经大学东洋学院） ； School of Information Management for Law, China University of Political Science and Law（中国政法大学信息管理法学院） ； Department of Artificial Intelligence, Chung-Ang University（成均馆大学人工智能系） ； Department of Data Science and Artificial Intelligence, The Hong Kong Polytechnic University（香港理工大学数据科学与人工智能系） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL、cs.AI

RAG and RAU: A Survey on Retrieval-Augmented Language Model in Natural Language Processing

Yucheng Hu, Yuxing Lu

机构 * East China University of Science and Technology（东华大学） ； Peking University（北京大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL、cs.AI

Comments 30 pages, 7 figures. Draft version 1

SACL: Understanding and Combating Textual Bias in Code Retrieval with Semantic-Augmented Reranking and Localization

Dhruv Gupta, Gayathri Ganesh Lakshmy, Yiqing Xie

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL、cs.AI

A Comparative Study of Open-Source Libraries for Synthetic Tabular Data Generation: SDV vs. SynthCity

Cristian Del Gobbo

机构 * Cristian Del Gobbo（独立研究者） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI、cs.LG

Comments 23 Pages, 5 figures, and 6 tables

LMR-BENCH: Evaluating LLM Agent's Ability on Reproducing Language Modeling Research

Shuo Yan, Ruochen Li, Ziming Luo, Zimu Wang, Daoyang Li, Liqiang Jing, Kaiyu He, Peilin Wu, George Michalopoulos, Yue Zhang, Ziyang Zhang, Mian Zhang, Zhiyu Chen, Xinya Du

机构 * University of Texas at Dallas（德克萨斯大学达拉斯分校） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.SE、cs.AI

FALCON: Feedback-driven Adaptive Long/short-term memory reinforced Coding Optimization system

Zeyuan Li, Yangfan He, Lewei He, Jianhui Wang, Tianyu Shi, Bin Lei, Yuchen Li, Qiuwu Chen

机构 * School of Software, South China Normal University（南方科技大学软件学院） ； University of Minnesota - Twin Cities（明尼苏达大学双城分校） ； University of Electronic Science and Technology of China（电子科技大学） ； University of Toronto（多伦多大学） ； University of Connecticut（康涅狄格大学） ； AI center, AIGCode Inc.（AIGCode公司人工智能中心） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.AI、cs.LG

Comments 20 pages, 7 figures

Singular Value Decomposition on Kronecker Adaptation for Large Language Model

Yee Hin Chong, Peng Qu

专题命中 代码评测 ：code generation(abstract)；分类 cs.AI、cs.LG

FrontendBench: A Benchmark for Evaluating LLMs on Front-End Development via Automatic Evaluation

Hongda Zhu, Yiwen Zhang, Bing Zhao, Jingzhe Ding, Siyao Liu, Tong Liu, Dandan Wang, Yanan Liu, Zhaojian Li

机构 * Institute for Clarity in Documentation（清晰文档研究所） ； Inria Paris-Rocquencourt（巴黎-罗quant研究所） ； Rajiv Gandhi University（拉贾·甘地大学） ； Tsinghua University（清华大学） ； Palmer Research Laboratories（帕尔默研究实验室） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI

Data Augmentation Policy Search for Long-Term Forecasting

Liran Nochumsohn, Omri Azencot

专题命中 代码评测 ：repository(abstract)；分类 cs.AI、cs.LG

Comments TMLR 2025

Journal ref Transactions on Machine Learning Research, 2025. https://openreview.net/forum?id=Wnd0XY0twh

MALSIGHT: Exploring Malicious Source Code and Benign Pseudocode for Iterative Binary Malware Summarization

Haolang Lu, Hongrui Peng, Guoshun Nan, Jiaoyang Cui, Cheng Wang, Weifei Jin, Songtao Wang, Shengli Pan, Xiaofeng Tao

机构 * National Engineering Research Center for Mobile Network Technologies（移动网络技术国家工程研究中心） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Zhongguancun Laboratory（中关村实验室） 纠错

专题命中 代码评测 ：code model(abstract)；分类 cs.SE、cs.AI

Comments Accepted by IEEE Transactions on Information Forensics & Security

LLM-as-a-Fuzzy-Judge: Fine-Tuning Large Language Models as a Clinical Evaluation Judge with Fuzzy Logic

Weibing Zheng, Laurah Turner, Jess Kropczynski, Murat Ozer, Tri Nguyen, Shane Halse

机构 * University of Cincinnati（辛辛那提大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL、cs.AI

Comments 12 pages, 1 figure, 2025 IFSA World Congress NAFIPS Annual Meeting

Prompt engineering and framework: implementation to increase code reliability based guideline for LLMs

Rogelio Cruz, Jonatan Contreras, Francisco Guerrero, Ezequiel Rodriguez, Carlos Valdez, Citlali Carrillo

机构 * IBM Technologies（IBM技术） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI

Bridging RDF Knowledge Graphs with Graph Neural Networks for Semantically-Rich Recommender Systems

Michael Färber, David Lamprecht, Yuni Susanti

机构 * ScaDS.AI \& TU Dresden, Dresden, Germany metaphacts GmbH, Walldorf, Germany Fujitsu Ltd., Japan 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI、cs.LG

Comments Accepted at DASFAA 2025

Policy Filtration for RLHF to Mitigate Noise in Reward Models

Chuheng Zhang, Wei Shen, Li Zhao, Xuyun Zhang, Xiaolong Xu, Wanchun Dou, Jiang Bian

专题命中 代码评测 ：code generation(abstract)；分类 cs.AI、cs.LG

Comments ICML2025

LLM Code Customization with Visual Results: A Benchmark on TikZ

Charly Reux, Mathieu Acher, Djamel Eddine Khelladi, Olivier Barais, Clément Quinton

机构 * Univ Rennes, Inria, IRISA, INSA（里昂大学、法国国家科学研究中心、法国国家信息与自动化研究所、法国工业与应用科学学院） ； Univ Rennes, Inria, CNRS, IUF, IRISA（里昂大学、法国国家科学研究中心、法国国家信息与自动化研究所、法国国家信息与自动化研究所、法国国家信息与自动化研究所） ； Univ Rennes, Inria, CNRS, IRISA（里昂大学、法国国家科学研究中心、法国国家信息与自动化研究所、法国国家信息与自动化研究所） ； Univ. Lille, CNRS, Inria（里昂大学、法国国家科学研究中心、法国国家信息与自动化研究所） ； Univ. Rennes, IRISA, Inria（里昂大学、法国国家信息与自动化研究所、法国国家信息与自动化研究所） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI

Journal ref EASE 2025 - Evaluation and Assessment in Software Engineering, Jun 2025, Istanbul, Turkey. pp.1-10

ResearchCodeBench: Benchmarking LLMs on Implementing Novel Machine Learning Research Code

Tianyu Hua, Harper Hua, Violet Xiang, Benjamin Klieger, Sang T. Truong, Weixin Liang, Fan-Yun Sun, Nick Haber

机构 * Stanford University（斯坦福大学） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL、cs.AI

Legal Compliance Evaluation of Smart Contracts Generated By Large Language Models

Chanuka Wijayakoon, Hai Dong, H. M. N. Dilum Bandara, Zahir Tari, Anurag Soin

机构 * School of Computing Technologies, RMIT University（RMIT大学计算机技术学院） ； CSIRO’s Data61（CSIRO数据61研究中心） ； University of Technology, Sydney（悉尼技术大学） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI

Comments Accepted for publication at IEEE International Conference on Blockchain and Cryptocurrency (ICBC) 2025

SafeTuneBed: A Toolkit for Benchmarking LLM Safety Alignment in Fine-Tuning

Saad Hossain, Samanvay Vajpayee, Sirisha Rambhatla

机构 * Critical ML Lab（关键机器学习实验室） ； University of Toronto（多伦多大学） ； University of Waterloo（滑铁卢大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI、cs.LG

CodeReviewQA: The Code Review Comprehension Assessment for Large Language Models

Hong Yi Lin, Chunhua Liu, Haoyu Gao, Patanamon Thongtanunam, Christoph Treude

机构 * The University of Melbourne（墨尔本大学） ； Singapore Management University（新加坡管理学院） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.CL

Comments The paper is published in Findings of the Association for Computational Linguistics (ACL 2025)

OSS-UAgent: An Agent-based Usability Evaluation Framework for Open Source Software

Lingkai Meng, Yu Shao, Long Yuan, Longbin Lai, Peng Cheng, Wenyuan Yu, Wenjie Zhang, Xuemin Lin, Jingren Zhou

机构 * Shanghai Jiao Tong University（上海交通大学） ； East China Normal University（华东师范大学） ； Wuhan University of Technology（武汉理工大学） ； Alibaba Group（阿里巴巴集团） ； Tongji University（同济大学） ； University of New South Wales（新南威尔士大学） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI

Sample-Efficient Human Evaluation of Large Language Models via Maximum Discrepancy Competition

Kehua Feng, Keyan Ding, Hongzhi Tan, Kede Ma, Zhihua Wang, Shuangquan Guo, Yuzhou Cheng, Ge Sun, Guozhou Zheng, Qiang Zhang, Huajun Chen

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL、cs.LG

Comments 35 pages, 6 figures, Accepted by ACL 2025

THiNK: Can Large Language Models Think-aloud?

Yongan Yu, Mengqian Wu, Yiran Lin, Nikki G. Lobczowski

机构 * McGill University（麦吉尔大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL、cs.AI

CODE-DITING: A Reasoning-Based Metric for Functional Alignment in Code Evaluation

Guang Yang, Yu Zhou, Xiang Chen, Wei Zheng, Xing Hu, Xin Zhou, David Lo, Taolue Chen

机构 * College of Computer Science and Technology（计算机科学与技术学院） ； School of Artificial Intelligence and Computer Science（人工智能与计算机科学学院） ； School of Software（软件学院） ； School of Software Technology（软件技术学院） ； School of Computing and Information Systems（计算与信息系统学院） ； School of Computing and Mathematical Sciences（计算与数学科学学院） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI

Large Language Models for Predictive Analysis: How Far Are They?

Qin Chen, Yuanyi Ren, Xiaojun Ma, Yuyang Shi

机构 * Peking University（北京大学） ； Harvard University（哈佛大学） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL、cs.AI

Comments Accepted to ACL 2025 Findings

Evaluating Judges as Evaluators: The JETTS Benchmark of LLM-as-Judges as Test-Time Scaling Evaluators

Yilun Zhou, Austin Xu, Peifeng Wang, Caiming Xiong, Shafiq Joty

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL、cs.LG

Comments ICML 2025. The first two authors contributed equally. The codebase is at https://github.com/SalesforceAIResearch/jetts-benchmark

Benchmarking Post-Training Quantization in LLMs: Comprehensive Taxonomy, Unified Evaluation, and Comparative Analysis

Jiaqi Zhao, Ming Wang, Miao Zhang, Yuzhang Shang, Xuebo Liu, Yaowei Wang, Min Zhang, Liqiang Nie

机构 * Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Illinois Institute of Technology（伊利诺伊理工学院） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI、cs.LG

Comments 17 pages, 3 fugures

A Qualitative Investigation into LLM-Generated Multilingual Code Comments and Automatic Evaluation Metrics

Jonathan Katzy, Yongcheng Huang, Gopal-Raj Panchu, Maksym Ziemlewski, Paris Loizides, Sander Vermeulen, Arie van Deursen, Maliheh Izadi

机构 * Delft University of Technology（代尔夫特理工大学） 纠错

专题命中 代码评测 ：code model(abstract)；分类 cs.SE、cs.AI

Comments Accepted PROMISE '25

EffiLearner: Enhancing Efficiency of Generated Code via Self-Optimization

Dong Huang, Jianbo Dai, Han Weng, Puzhen Wu, Yuhao Qing, Heming Cui, Zhijiang Guo, Jie M. Zhang

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.CL

Comments Accepted by NeurIPS 2024

EffiBench: Benchmarking the Efficiency of Automatically Generated Code

Dong Huang, Yuhao Qing, Weiyi Shang, Heming Cui, Jie M. Zhang

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.CL

Comments Camera Ready for NeurIPS 2024

English Please: Evaluating Machine Translation with Large Language Models for Multilingual Bug Reports

Avinash Patil, Siru Tao, Aryan Jadon

机构 * Juniper Networks Inc.（Juniper网络公司） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.SE、cs.CL

Comments 8 Pages, 4 Figures, 3 Tables