代码大模型 / AI 编程

SolContractEval: A Benchmark for Evaluating Contract-Level Solidity Code Generation

SolContractEval: 一个用于评估合同级Solidity代码生成的基准

Zhifan Ye, Jiachi Chen, Zhenzhe Shao, Lingfeng Bao, Xiaohu Yang, Zhongxin Liu

专题命中 代码评测 ：code generation(title,abstract)；分类 cs.SE

AI总结 SolContractEval是一个用于评估Solidity代码生成的合同级基准，发现Claude-3.7-Sonnet在整体表现最佳，但模型在复杂逻辑和Solidity特定功能上仍有不足。

Comments Accepted by ASE 2025

PIE: Performance Interval Estimation for Free-Form Generation Tasks

PIE：用于自由形式生成任务的性能区间估计

Chi-Yang Hsu, Alexander Braylan, Yiheng Su, Matthew Lease, Omar Alonso

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Amazon（亚马逊） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL、cs.LG

AI总结 PIE提出了一种用于自由形式生成任务的性能区间估计方法，通过回归实现更准确的指标评分和校准的不确定性区间。

Comments 10 pages