语言大模型 / LLM

VisMoDAl: Visual Analytics for Evaluating and Improving Corruption Robustness of Vision-Language Models

Huanchen Wang, Wencheng Zhang, Zhiqiang Wang, Zhicong Lu, Yuxin Ma

机构 * Southern University of Science and Technology（南方科技大学） ； City University of Hong Kong（香港城市大学） ； George Mason University（乔治·马歇尔大学） 纠错

专题命中 评测与基准 ：language model(title)；分类 cs.AI、cs.LG

Comments 11 pages, 7 figures, 1 table, accepted to IEEE VIS 2025 (IEEE Transactions on Visualization and Computer Graphics)

Introducing OmniGEC: A Silver Multilingual Dataset for Grammatical Error Correction

Roman Kovalchuk, Mariana Romanyshyn, Petro Ivaniuk

机构 * Ukrainian Catholic University（乌克兰天主教大学） ； Softserve ； Grammarly 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Journal ref Proceedings of the Fourth Ukrainian Natural Language Processing Workshop (UNLP 2025)

Dense Video Understanding with Gated Residual Tokenization

Haichao Zhang, Wenhao Chai, Shwai He, Ang Li, Yun Fu

机构 * Northeastern University（东北大学） ； Princeton University（普林斯顿大学） ； University of Maryland（马里兰大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AgentCompass: Towards Reliable Evaluation of Agentic Workflows in Production

NVJK Kartik, Garvit Sapra, Rishav Hada, Nikhil Pareek

机构 * FutureAGI Inc.（未来AGI公司） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

DetectAnyLLM: Towards Generalizable and Robust Detection of Machine-Generated Text Across Domains and Models

Jiachen Fu, Chun-Le Guo, Chongyi Li

机构 * VCIP, CS, Nankai University（南开大学计算机科学与技术学院） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

An Evaluation-Centric Paradigm for Scientific Visualization Agents

Kuangshi Ai, Haichao Miao, Zhimin Li, Chaoli Wang, Shusen Liu

机构 * Univ. Notre Dame（内布拉斯加大学） ； LLNL（劳伦斯利弗莫尔国家实验室） ； Vanderbilt Univ.（范德比大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Journal ref 1st Workshop on GenAI, Agents, and the Future of VIS (IEEE VIS Conference 2025)

VCBench: Benchmarking LLMs in Venture Capital

Rick Chen, Joseph Ternasky, Afriyie Samuel Kwesi, Ben Griffin, Aaron Ontoyin Yin, Zakari Salifu, Kelvin Amoaba, Xianling Mu, Fuat Alican, Yigit Ihlamur

机构 * University of Oxford（牛津大学） ； Vela Research（维拉研究） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

Detecting Pipeline Failures through Fine-Grained Analysis of Web Agents

Daniel Röder, Akhil Juneja, Roland Roller, Sven Schmeier

机构 * German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AssoCiAm: A Benchmark for Evaluating Association Thinking while Circumventing Ambiguity

Yifan Liu, Wenkuan Zhao, Shanshan Zhong, Jinghui Qin, Mingfu Liang, Zhongzhan Huang, Wushao Wen

机构 * Sun Yat-sen University（中山大学） ； Guangdong University of Technology（广东工业大学） ； Northwestern University（西北大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Comments Accepted by EMNLP 2025 main track

A.S.E: A Repository-Level Benchmark for Evaluating Security in AI-Generated Code

Keke Lian, Bin Wang, Lei Zhang, Libo Chen, Junjie Wang, Ziming Zhao, Yujiu Yang, Miaoqian Lin, Haotong Duan, Haoran Zhao, Shuang Liao, Mingda Guo, Jiazheng Quan, Yilu Zhong, Chenhao He, Zichuan Chen, Jie Wu, Haoling Li, Zhaoxuan Li, Jiongchi Yu, Hui Li, Dong Zhang

机构 * Tencent（腾讯公司） ； Peking University（北京大学） ； Fudan University（复旦大学） ； Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学） ； Zhejiang University（浙江大学） ； Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； Singapore Management University（新加坡国立大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

SPICE: An Automated SWE-Bench Labeling Pipeline for Issue Clarity, Test Coverage, and Effort Estimation

Gustavo A. Oliva, Gopi Krishnan Rajbahadur, Aaditya Bhatia, Haoxiang Zhang, Yihao Chen, Zhilong Chen, Arthur Leung, Dayi Lin, Boyuan Chen, Ahmed E. Hassan

机构 * Center for Software Excellence, Huawei Canada（华为加拿大卓越软件中心） 纠错

专题命中 评测与基准 ：foundation model(abstract)；prompting(abstract)；分类 cs.AI

Comments *First three authors contributed equally

GRADA: Graph-based Reranking against Adversarial Documents Attack

Jingjie Zheng, Aryo Pradipta Gema, Giwon Hong, Xuanli He, Pasquale Minervini, Youcheng Sun, Qiongkai Xu

机构 * University of Melbourne（墨尔本大学） ； University of Edinburgh（爱丁堡大学） ； University College London（伦敦大学学院） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Macquarie University（麦觉里大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

LMMs-Eval: Reality Check on the Evaluation of Large Multimodal Models

Kaichen Zhang, Bo Li, Peiyuan Zhang, Fanyi Pu, Joshua Adrian Cahyono, Kairui Hu, Shuai Liu, Yuanhan Zhang, Jingkang Yang, Chunyuan Li, Ziwei Liu

机构 * LMMs-Lab Team（LMMs实验室团队） ； S-Lab, NTU, Singapore（新加坡国立大学S实验室） 纠错

专题命中 评测与基准 ：language model(abstract)；foundation model(abstract)；分类 cs.CL

Comments Code ad leaderboard are available at https://github.com/EvolvingLMMs-Lab/lmms-eval and https://huggingface.co/spaces/lmms-lab/LiveBench

MultiEdit: Advancing Instruction-based Image Editing on Diverse and Challenging Tasks

Mingsong Li, Lin Liu, Hongjun Wang, Haoxing Chen, Xijun Gu, Shizhan Liu, Dong Gong, Junbo Zhao, Zhenzhong Lan, Jianguo Li

机构 * University of New South Wales（新南威尔士大学） ； The University of Hong Kong（香港大学） ； Zhejiang University（浙江大学） ； Westlake University（西湖大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

Keywords are not always the key: A metadata field analysis for natural language search on open data portals

Lisa-Yao Gan, Arunav Das, Johanna Walker, Elena Simperl

专题命中 评测与基准 ：LLM(abstract)；prompting(abstract)

Comments Accepted to CHIRA 2025 as Full Paper

Automated and Context-Aware Code Documentation Leveraging Advanced LLMs

Swapnil Sharma Sarker, Tanzina Taher Ifty

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

Unlocking Legal Knowledge: A Multilingual Dataset for Judicial Summarization in Switzerland

Luca Rolshoven, Vishvaksenan Rasiah, Srinanda Brügger Bose, Sarah Hostettler, Lara Burkhalter, Matthias Stürmer, Joel Niklaus

机构 * University of Bern（伯尔尼大学） ； Bern University of Applied Sciences（伯尔尼应用科学大学） ； Stanford University（斯坦福大学） ； University of Fribourg（弗里堡大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted to EMNLP 2025 Findings

ToolSample: Dual Dynamic Sampling Methods with Curriculum Learning for RL-based Tool Learning

Zihao Feng, Xiaoxue Wang, Bowen Wu, Hailong Cao, Tiejun Zhao, Qun Yu, Baoxun Wang

机构 * Tencent（腾讯） 纠错

专题命中 评测与基准 ：LLM(abstract)；分类 cs.CL、cs.LG

Towards Human-like Multimodal Conversational Agent by Generating Engaging Speech

Taesoo Kim, Yongsik Jo, Hyunmin Song, Taehwan Kim

机构 * Artificial Intelligence Graduate School（人工智能研究生院） 纠错

专题命中 评测与基准 ：LLM(abstract)；分类 cs.CL、cs.AI

Comments Published in Interspeech 2025

From Ground Trust to Truth: Disparities in Offensive Language Judgments on Contemporary Korean Political Discourse

Seunguk Yu, Jungmin Yun, Jinhee Jang, Youngbin Kim

专题命中 评测与基准 ：prompting(abstract)；分类 cs.CL

Comments EMNLP 2025 findings

Mind the Inclusivity Gap: Multilingual Gender-Neutral Translation Evaluation with mGeNTE

Beatrice Savoldi, Giuseppe Attanasio, Eleonora Cupin, Eleni Gkovedarou, Janiça Hackenbuchner, Anne Lauscher, Matteo Negri, Andrea Piergentili, Manjinder Thind, Luisa Bentivogli

机构 * Fondazione Bruno Kessler（布鲁诺·科塞尔基金会） ； Instituto de Telecomunicações（电信研究所） ； DIT Forlì - University of Bologna（福利大学迪提学院） ； Data Science Group - University of Hamburg（汉堡大学数据科学组） ； University of Trento（特伦托大学） ； LT 3 - Ghent University（根特大学LT 3） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.CL

RAcQUEt: Unveiling the Dangers of Overlooked Referential Ambiguity in Visual LLMs

Alberto Testoni, Barbara Plank, Raquel Fernández

机构 * Amsterdam UMC, Department of Medical Informatics（阿姆斯特丹大学医学中心，医学信息学系） ； Center for Information and Language Processing, LMU Munich（信息与语言处理中心，慕尼黑大学） ； Munich Center for Machine Learning (MCML), Munich（慕尼黑机器学习中心（MCML）） ； Institute for Logic, Language and Computation (ILLC), University of Amsterdam（逻辑、语言与计算研究所（ILLC），阿姆斯特丹大学） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.CL

Comments Accepted to EMNLP 2025 (Main Conference)

Voyager: An End-to-End Framework for Design-Space Exploration and Generation of DNN Accelerators

Kartik Prabhu, Jeffrey Yu, Xinyuan Allen Pan, Zhouhua Xie, Abigail Aleshire, Zihan Chen, Ammar Ali Ratnani, Priyanka Raina

专题命中 评测与基准 ：language model(abstract)

PRISM: Product Retrieval In Shopping Carts using Hybrid Matching

Arda Kabadayi, Senem Velipasalar, Jiajing Chen

机构 * Syracuse University（苏塞克斯大学） ； Amazon（亚马逊） 纠错

专题命中 评测与基准 ：language model(abstract)

RulER: Automated Rule-Based Semantic Error Localization and Repair for Code Translation

Shuo Jin, Songqiang Chen, Xiaoyuan Xie, Shing-Chi Cheung

专题命中 评测与基准 ：prompting(abstract)

Comments Due to the limitation "The abstract field cannot be longer than 1,920 characters", the abstract here is shorter than that in the PDF file

Towards a Real-World Aligned Benchmark for Unlearning in Recommender Systems

Pierre Lubitzsch, Olga Ovcharenko, Hao Chen, Maarten de Rijke, Sebastian Schelter

专题命中 评测与基准 ：post-training(abstract)

NLI4DB: A Systematic Review of Natural Language Interfaces for Databases

Mengyi Liu, Jianqiu Xu

专题命中 评测与基准 ：LLM(abstract)

Comments The article has been accepted by Frontiers of Computer Science (FCS), with the DOI: {10.1007/s11704-025-50592-w}

LLM-OREF: An Open Relation Extraction Framework Based on Large Language Models

Hongyao Tu, Liang Zhang, Yujie Lin, Xin Lin, Haibo Zhang, Long Zhang, Jinsong Su

机构 * School of Informatics, Xiamen University（厦门大学信息学院） ； LLM Team, Shopee Pte. Ltd.（Shopee Pte. Ltd. 机器学习团队） ； National Institute for Data Science in Health and Medicine, Xiamen University（厦门大学医学数据科学国家研究院） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

Delta Knowledge Distillation for Large Language Models

Yihan Cao, Yanbin Kang, Zhengming Xing, Ruijie Jiang

机构 * LinkedIn Corporation（领英公司） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；SFT(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 8 pages, 3 figures

Cross-Modal Knowledge Distillation for Speech Large Language Models

Enzhi Wang, Qicheng Li, Zhiyuan Tang, Yuhang Jia

机构 * TMCC, College of Computer Science, Nankai University, Tianjin, China（TMCC，计算机科学学院，南开大学，天津，中国） ； Tencent Ethereal Audio Lab, Tencent Corporation, Shenzhen, China（腾讯虚实音频实验室，腾讯公司，深圳，中国） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI