代码大模型 / AI 编程

TREAT: A Code LLMs Trustworthiness / Reliability Evaluation and Testing Framework

Shuzheng Gao, Eric John Li, Man Ho Lam, Jingyu Xiao, Yuxuan Wan, Chaozheng Wang, Ng Man Tik, Michael R. Lyu

机构 * ARISE Lab, Department of Computer Science and Engineering（ARISE实验室，计算机科学与工程系） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI

Signature in Code Backdoor Detection, how far are we?

Quoc Hung Le, Thanh Le-Cong, Bach Le, Bowen Xu

机构 * North Carolina State University（北卡罗来纳州立大学） ； The University of Melbourne（墨尔本大学） 纠错

专题命中 代码评测 ：code model(abstract)；分类 cs.SE、cs.LG

Comments 20 pages, 3 figures

Performance Analysis of Machine Learning Algorithms in Chronic Kidney Disease Prediction

Iftekhar Ahmed, Tanzil Ebad Chowdhury, Biggo Bushon Routh, Nafisa Tasmiya, Shadman Sakib, Adil Ahmed Chowdhury

机构 * Leading University（领先大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI、cs.LG

Comments 11 pages, 7 figures, Presented at the 2022 IEEE 13th Annual Information Technology, Electronics and Mobile Communication Conference (IEMCON), pp. 0417-0423

AppForge: From Assistant to Independent Developer -- Are GPTs Ready for Software Development?

Dezhi Ran, Yuan Cao, Mengzhou Wu, Simin Chen, Yuzhe Guo, Jun Ren, Zihe Song, Hao Yu, Jialei Wei, Linyi Li, Wei Yang, Baishakhi Ray, Tao Xie

机构 * Key Lab of HCST (PKU), MOE（HCST关键实验室（PKU）） ； School of Computer Science, Peking University, China（北京大学计算机科学学院） ； Columbia University, USA（哥伦比亚大学） ； Beijing Jiaotong University, China（北京交通大学） ； University of Texas at Dallas, USA（德克萨斯大学达拉斯分校） ； Hong Kong University of Science and Technology, Hong Kong SAR, China（香港科技大学） ； Fudan University Institute of Systems for Advanced Computing, Shanghai, China（复旦大学先进计算系统研究所） ； Simon Fraser University, Canada（西蒙弗雷泽大学） ； Shanghai Institute of Systems for Open Computing, Shanghai, China（上海开放计算系统研究所） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI

Comments Under Review. Benchmark and leadboards at https://appforge-bench.github.io/

Reproducibility Study of "XRec: Large Language Models for Explainable Recommendation"

Ranjan Mishra, Julian I. Bibo, Quinten van Engelen, Henk Schaapman

机构 * University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL、cs.AI

What Shapes a Creative Machine Mind? Comprehensively Benchmarking Creativity in Foundation Models

Zicong He, Boxuan Zhang, Weihao Liu, Ruixiang Tang, Lu Cheng

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Rutgers University（罗格斯大学） ； University of Illinois Chicago（伊利诺伊大学香槟分校） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL、cs.AI

Comments 22 pages

Code2Video: A Code-centric Paradigm for Educational Video Generation

Yanzhe Chen, Kevin Qinghong Lin, Mike Zheng Shou

机构 * Show Lab, National University of Singapore（Show实验室，新加坡国立大学） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL、cs.AI

Comments Project Page: https://showlab.github.io/Code2Video/

A Compound Classification System Based on Fuzzy Relations Applied to the Noise-Tolerant Control of a Bionic Hand via EMG Signal Recognition

Pawel Trajdos, Marek Kurzynski

专题命中 代码评测 ：repository(abstract)；分类 cs.AI、cs.LG

Augmenting Limited and Biased RCTs through Pseudo-Sample Matching-Based Observational Data Fusion Method

Kairong Han, Weidong Huang, Taiyang Zhou, Peng Zhen, Kun Kuang

机构 * Zhejiang University（浙江大学） ； Institute for Clarity in Documentation（清晰文档研究所） ； Inria Paris-Rocquencourt（Inria巴黎-罗克琴特研究所） ； Rajiv Gandhi University（拉贾·甘地大学） ； Tsinghua University（清华大学） ； Palmer Research Laboratories（帕勒尔研究实验室） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.AI、cs.LG

Comments Accepted by CIKM 2025

Fine-Grained Detection of AI-Generated Text Using Sentence-Level Segmentation

Lekkala Sai Teja, Annepaka Yadagiri, Partha Pakray, Chukhu Chunka, Mangadoddi Srikar Vardhan

机构 * National Institute of Technology Silchar（西里char国立技术学院） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL、cs.AI

Comments 14 pages, 14 figures

Breast Cancer Classification Using Gradient Boosting Algorithms Focusing on Reducing the False Negative and SHAP for Explainability

João Manoel Herrera Pinheiro, Marcelo Becker

专题命中 代码评测 ：repository(abstract)；分类 cs.AI、cs.LG

Comments 9 pages, 16 figures

Journal ref Inteligencia Artificial, 28(75) (2025), 63-80

Matter-of-Fact: A Benchmark for Verifying the Feasibility of Literature-Supported Claims in Materials Science

Peter Jansen, Samiah Hassan, Ruoyao Wang

机构 * University of Arizona（亚利桑那大学） ； Allen Institute for Artificial Intelligence（人工智能 Allen 机构） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL、cs.AI

Comments 9 pages (Accepted to EMNLP 2025)

Prompt Stability in Code LLMs: Measuring Sensitivity across Emotion- and Personality-Driven Variations

Wei Ma, Yixiao Yang, Jingquan Ge, Xiaofei Xie, Lingxiao Jiang

机构 * Singapore Management University（新加坡国立大学） ； Capital Normal University（首都师范大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI

Evaluating Large Language Models for Functional and Maintainable Code in Industrial Settings: A Case Study at ASML

Yash Mundhra, Max Valk, Maliheh Izadi

机构 * Delft University of Technology（代尔夫特理工大学） ； ASML（ASML公司） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI

Comments Accepted in the 40th IEEE/ACM International Conference on Automated Software Engineering, ASE 2025 (Industry track)

Transforming Wearable Data into Personal Health Insights using Large Language Model Agents

Mike A. Merrill, Akshay Paruchuri, Naghmeh Rezaei, Geza Kovacs, Javier Perez, Yun Liu, Erik Schenck, Nova Hammerquist, Jake Sunshine, Shyam Tailor, Kumar Ayush, Hao-Wei Su, Qian He, Cory Y. McLean, Mark Malhotra, Shwetak Patel, Jiening Zhan, Tim Althoff, Daniel McDuff, Xin Liu

机构 * Google Research（谷歌研究） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL、cs.AI

Comments 53 pages, 7 main figures, 2 main tables, accepted to Nature Communications

Open Data Synthesis For Deep Research

Ziyi Xia, Kun Luo, Hongjin Qian, Zheng Liu

机构 * BAAI（北京人工智能研究院） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL、cs.AI

RoboTwin 2.0: A Scalable Data Generator and Benchmark with Strong Domain Randomization for Robust Bimanual Robotic Manipulation

Tianxing Chen, Zanxin Chen, Baijun Chen, Zijian Cai, Yibin Liu, Zixuan Li, Qiwei Liang, Xianliang Lin, Yiheng Ge, Zhenyu Gu, Weiliang Deng, Yubin Guo, Tian Nian, Xuanbing Xie, Qiangyu Chen, Kailun Su, Tianling Xu, Guodong Liu, Mengkang Hu, Huan-ang Gao, Kaixuan Wang, Zhixuan Liang, Yusen Qin, Xiaokang Yang, Ping Luo, Yao Mu

机构 * MoE key Lab of Artificial Intelligence, AI Institute, SJTU（人工智能联合实验室、人工智能研究院、上海交通大学） ； HKU MMLab（香港大学多模态实验室） ； Shanghai AI Lab（上海人工智能实验室） ； D-Robotics（D-机器人） ； SZU（深圳大学） ； THU（清华大学） ； TeleAI ； FDU（福建大学） ； USTC（中国科学技术大学） ； SUSTech（南方科技大学） ； SYSU（深圳大学） ； CSU（中国科学技术大学） ； NEU（南京大学） ； HKU-SH ICRC（香港大学深圳研究院） ； NJU（南京大学） ； Lumina EAI 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL、cs.AI

Comments Project Page: https://robotwin-platform.github.io/, Code: https://github.com/robotwin-Platform/robotwin, Doc: https://robotwin-platform.github.io/doc/

Detecting and Characterizing Planning in Language Models

Jatin Nainani, Sankaran Vaidyanathan, Connor Watts, Andre N. Assis, Alice Rigg

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL、cs.LG

Comments 9 pages, 4 figures

ASIC-Agent: An Autonomous Multi-Agent System for ASIC Design with Benchmark Evaluation

Ahmed Allam, Youssef Mansour, Mohamed Shalan

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL、cs.AI

Comments 2025 IEEE International Conference on LLM-Aided Design (ICLAD)

AutoVerus: Automated Proof Generation for Rust Code

Chenyuan Yang, Xuheng Li, Md Rakib Hossain Misu, Jianan Yao, Weidong Cui, Yeyun Gong, Chris Hawblitzel, Shuvendu Lahiri, Jacob R. Lorch, Shuai Lu, Fan Yang, Ziqiao Zhou, Shan Lu

机构 * University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Columbia University（哥伦比亚大学） ； University of California Irvine（加州大学尔湾分校） ； University of Toronto（多伦多大学） ； Microsoft Research（微软研究院） ； Microsoft Research Asia（微软亚洲研究院） ； University of Chicago（芝加哥大学） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI

Comments OOPSLA 2025

Assessing the Quality and Security of AI-Generated Code: A Quantitative Analysis

Abbas Sabra, Olivier Schmitt, Joseph Tyler

机构 * Sonar 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.LG

MCP-Universe: Benchmarking Large Language Models with Real-World Model Context Protocol Servers

Ziyang Luo, Zhiqi Shen, Wenzhuo Yang, Zirui Zhao, Prathyusha Jwalapuram, Amrita Saha, Doyen Sahoo, Silvio Savarese, Caiming Xiong, Junnan Li

机构 * Salesforce AI Research（Salesforce人工智能研究） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL、cs.AI

Comments Website: https://mcp-universe.github.io

A Survey of LLM-based Deep Search Agents: Paradigm, Optimization, Evaluation, and Challenges

Yunjia Xi, Jianghao Lin, Yongzhao Xiao, Zheli Zhou, Rong Shan, Te Gao, Jiachen Zhu, Weiwen Liu, Yong Yu, Weinan Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 代码评测 ：repository(abstract)；分类 cs.CL、cs.AI

AutoCodeBench: Large Language Models are Automatic Code Benchmark Generators

Jason Chou, Ao Liu, Yuchi Deng, Zhiying Zeng, Tao Zhang, Haotian Zhu, Jianwei Cai, Yue Mao, Chenchen Zhang, Lingyun Tan, Ziyan Xu, Bohui Zhai, Hengyi Liu, Speed Zhu, Wiggin Zhou, Fengzong Lian

机构 * Hunyuan Team, Tencent（腾讯文心团队） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.CL

Comments Homepage: https://autocodebench.github.io/

Hallucinations in Code Change to Natural Language Generation: Prevalence and Evaluation of Detection Metrics

Chunhua Liu, Hong Yi Lin, Patanamon Thongtanunam

机构 * School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算与信息系统学院） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI

Comments 8 main pages, 5 figures

OpenCodeInstruct: A Large-scale Instruction Tuning Dataset for Code LLMs

Wasi Uddin Ahmad, Aleksander Ficek, Mehrzad Samadi, Jocelyn Huang, Vahid Noroozi, Somshubra Majumdar, Boris Ginsburg

机构 * NVIDIA Santa Clara, CA 95051, USA（NVIDIA圣克拉拉分校） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.CL

Comments Work in progress

Rubric Is All You Need: Enhancing LLM-based Code Evaluation With Question-Specific Rubrics

Aditya Pathak, Rachit Gandhi, Vaibhav Uttam, Arnav Ramamoorthy, Pratyush Ghosh, Aaryan Raj Jindal, Shreyash Verma, Aditya Mittal, Aashna Ased, Chirag Khatri, Yashwanth Nakka, Devansh, Jagat Sesh Challa, Dhruv Kumar

机构 * BITS Pilani（比特斯理工学院） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI

Comments Accepted in ICER 2025

Seed Diffusion: A Large-Scale Diffusion Language Model with High-Speed Inference

Yuxuan Song, Zheng Zhang, Cheng Luo, Pengyang Gao, Fan Xia, Hao Luo, Zheng Li, Yuehang Yang, Hongli Yu, Xingwei Qu, Yuwei Fu, Jing Su, Ge Zhang, Wenhao Huang, Mingxuan Wang, Lin Yan, Xiaoying Jia, Jingjing Liu, Wei-Ying Ma, Ya-Qin Zhang, Yonghui Wu, Hao Zhou

机构 * ByteDance Seed（字节跳动种子） ； Institute for AI Industry Research (AIR)（人工智能产业研究院） ； Tsinghua University（清华大学） 纠错

专题命中 代码评测 ：code model(abstract)；分类 cs.CL、cs.LG

Comments Demo is available at https://studio.seed.ai/exp/seed_diffusion/; Project page is https://seed.bytedance.com/seed_diffusion

MemoCoder: Automated Function Synthesis using LLM-Supported Agents

Yiping Jia, Zhen Ming Jiang, Shayan Noei, Ying Zou

机构 * Queen's University（女王大学） ； York University（约克大学） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI

ProtocolLLM: RTL Benchmark for SystemVerilog Generation of Communication Protocols

Arnav Sheth, Ivaxi Sheth, Mario Fritz

机构 * University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校） ； CISPA Helmholtz Center for Information Security（CISPA 沃尔夫冈·泡利研究所） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL、cs.AI

Comments Accepted at MLSysArch@ISCA 2025