代码大模型 / AI 编程

FeatBench: Towards More Realistic Evaluation of Feature-level Code Generation

FeatBench: 向更真实的特征级代码生成评估迈进

Haorui Chen, Chengze Li, Jia Li

机构 * College of AI, Tsinghua University（清华大学人工智能学院） ； University of Electronic Science and Technology of China（电子科技大学） ； Nanjing University（南京大学） 纠错

专题命中 代码评测 ：code generation(title)；repository(abstract)；分类 cs.SE、cs.CL、cs.AI

AI总结 FeatBench提出了一种新的特征级代码生成评估基准，通过真实任务输入和动态数据构建，解决现有基准的局限性，并揭示了代理在实现中的激进行为问题。

The Perplexity Paradox: Why Code Compresses Better Than Math in LLM Prompts

困惑性悖论：为什么代码在LLM提示中比数学压缩得更好

Warren Johnson

机构 * Bona Opera Studios（博纳歌剧工作室） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL、cs.AI

AI总结 本文揭示代码在LLM提示中比数学压缩更有效的原因，并提出TAAC算法实现更高效的压缩。

Comments 19 pages, 5 figures, 4 tables. Second paper in TAAC research series. Code and data at https://github.com/micoverde/taac-llm-compression