WebCompass: Towards Multimodal Web Coding Evaluation for Code Language Models
WebCompass:迈向多模态网络编码评估的代码语言模型
机构 * Nanjing University(南京大学) ; Kuaishou Technology(快手科技)
AI总结 WebCompass提出一个多模态基准测试,用于评估代码语言模型在网络工程中的能力,涵盖生成、编辑和修复三种任务类型,通过多阶段人机协作流程,发现闭源模型在编辑和修复方面表现更优,但美学仍是开放源模型的主要瓶颈。