LLM-Evaluation Tropes: Perspectives on the Validity of LLM-Evaluations
LLM评估的陈词滥调:对LLM评估有效性的视角
AI总结 本文探讨了LLM评估在信息检索系统中的有效性问题,指出其可能带来的偏见和自我强化风险,并提出测试和协作框架以规范LLM在评估中的使用。
Journal ref In Proceedings of the 2025 International ACM SIGIR Conference on Innovative Concepts and Theories in Information Retrieval (ICTIR). Association for Computing Machinery, New York, NY, USA, 218-229