ACL

CoreEval: Automatically Building Contamination-Resilient Datasets with Real-World Knowledge toward Reliable LLM Evaluation

CoreEval: 通过现实世界知识自动构建抗污染数据集以实现可靠的LLM评估

Jingqian Zhao, Bingbing Wang, Geng Tu, Yice Zhang, Qianlong Wang, Bin Liang, Jing Li, Ruifeng Xu

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Peng Cheng Laboratory（鹏城实验室） ； Guangdong Provincial Key Laboratory of Novel Security Intelligence Technologies（广东省新型安全智能技术重点实验室） ； The Chinese University of Hong Kong（香港中文大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

AI总结 CoreEval通过现实世界知识自动更新数据集，提升LLM评估的抗污染能力，减少数据污染导致的性能高估问题。

Comments ACL'25

Enhancing Domain-Specific Encoder Models with LLM-Generated Data: How to Leverage Ontologies, and How to Do Without Them

通过LLM生成数据增强领域特定编码器模型：如何利用本体论，以及如何不依赖本体论

Marc Brinner, Tarek Al Mustafa, Sina Zarrieß

机构 * Computational Linguistics Department of Linguistics（计算语言学系） ； Institute of Computer Science（计算机科学研究所） ； Bielefeld University（比勒菲尔德大学） 纠错

AI总结 通过LLM生成数据增强领域特定编码器模型，利用本体论或自动提取概念，实现低资源环境下的高效预训练。

Comments Published in the Findings of the Association for Computational Linguistics: EMNLP 2025

Journal ref Findings of the Association for Computational Linguistics: EMNLP 2025 (pp. 22740-22754). Association for Computational Linguistics

SATA: A Paradigm for LLM Jailbreak via Simple Assistive Task Linkage

SATA: 一种通过简单辅助任务链接实现LLM劫持的范式

Xiaoning Dong, Wenbo Hu, Wei Xu, Tianxing He

机构 * Tsinghua University（清华大学） ； Shanghai Qi Zhi Institute（上海启智研究院） ； Hefei University of Technology（合肥工业大学） 纠错

AI总结 SATA通过简单辅助任务链接实现LLM劫持，有效绕过安全措施并提升攻击成功率

Comments ACL Findings 2025. Welcome to employ SATA as a baseline

Plugging Schema Graph into Multi-Table QA: A Human-Guided Framework for Reducing LLM Reliance

将模式图嵌入多表问答：一种减少大语言模型依赖的人工引导框架

Xixi Wang, Miguel Costa, Jordanka Kovaceva, Shuai Wang, Francisco C. Pereira

机构 * Chalmers University of Technology（查尔姆斯理工大学） 纠错

AI总结 本文提出一种基于图的框架，利用人工整理的关系知识减少对大语言模型的依赖，有效解决多表问答中复杂表格模式链接的问题。

Comments Accepted to EMNLP 2025 findings

Journal ref Findings of the Association for Computational Linguistics: EMNLP 2025

Using tournaments to calculate AUROC for zero-shot classification with LLMs

利用竞赛计算零样本分类中LLM的AUROC

WonJin Yoon, Ian Bulovic, Timothy A. Miller

机构 * Boston Children’s Hospital（波士顿儿童医院） ； Harvard Medical School（哈佛医学院） 纠错

AI总结 本文提出利用LLM进行零样本分类的AUROC计算，通过成对比较和Elo评分系统提升分类性能并提供更多信息。

Comments The 2025 Conference on Empirical Methods in Natural Language Processing (EMNLP 2025, Findings). The code is available at: https://github.com/Machine-Learning-for-Medical-Language/cnlp_llm

Journal ref In Findings of the Association for Computational Linguistics: EMNLP 2025, pages 23583-23591, Suzhou, China. Association for Computational Linguistics

Llama2Vec: Unsupervised Adaptation of Large Language Models for Dense Retrieval

Llama2Vec: 无监督适应大型语言模型用于密集检索

Zheng Liu, Chaofan Li, Shitao Xiao, Yingxia Shao, Defu Lian

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； University of Science and Technology of China（中国科学技术大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

AI总结 Llama2Vec通过无监督适应LLM提升密集检索性能，实现新的最先进结果。

Comments ACL 2024