代码大模型 / AI 编程

PACIFIC: a framework for generating benchmarks to check Precise Automatically Checked Instruction Following In Code

PACIFIC：用于检查精确自动指令遵循的代码基准生成框架

Itay Dreyfuss, Antonio Abu Nassar, Samuel Ackerman, Axel Ben David, Eitan Farchi, Rami Katan, Orna Raz, Marcel Zalmanovici

机构 * IBM Research（IBM研究） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.SE、cs.AI

AI总结 PACIFIC框架通过生成具有明确预期输出的基准，评估LLM在代码指令遵循和dry运行能力上的表现，提供了一种抗污染且可扩展的评估方法。

CodeSimpleQA: Scaling Factuality in Code Large Language Models

CodeSimpleQA: 在代码大语言模型中提升事实性

Jian Yang, Wei Zhang, Yizhi Li, Shawn Guo, Haowen Wang, Aishan Liu, Ge Zhang, Zili Wang, Zhoujun Li, Xianglong Liu, Weifeng Lv

机构 * Beihang University（北航大学） ； Manchester（曼彻斯特） ； M-A-P ； StepFun 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.CL

AI总结 CodeSimpleQA通过构建双语基准测试和后训练框架，提升代码大语言模型在编程知识事实准确性上的表现。

SoK: Understanding (New) Security Issues Across AI4Code Use Cases

SoK：理解（新的）AI4Code使用案例中的安全问题

Qilong Wu, Taoran Li, Tianyang Zhou, Varun Chandrasekaran

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 代码评测 ：code generation(abstract)；分类 cs.AI

AI总结 本文通过调查AI4Code在三个核心应用中的安全问题，指出基准测试偏见、数据泄露和对抗鲁棒性不足等挑战，并提出安全默认实践、全面检测基准和翻译增强语言等改进方向。

Comments 39 pages, 19 figures

VLDBench Evaluating Multimodal Disinformation with Regulatory Alignment

VLDBench：评估具有监管对齐的多模态虚假信息

Shaina Raza, Ashmal Vayani, Aditya Jain, Aravind Narayanan, Vahid Reza Khazaie, Syed Raza Bashir, Elham Dolatabadi, Gias Uddin, Christos Emmanouilidis, Rizwan Qureshi, Mubarak Shah

专题命中 代码评测 ：repository(abstract)；分类 cs.CL

AI总结 VLDBench 是首个多模态虚假信息检测基准，通过大规模标注数据提升检测准确率，支持 AI 管治框架下的可信虚假信息分析。

Comments Accepted in Information Fusion Journal