语言大模型 / LLM

That's Deprecated! Understanding, Detecting, and Steering Knowledge Conflicts in Language Models for Code Generation

Jaesung Bae, Cameron Churchwell, Mitchell Hermon, Tsun-An Hsieh, Jocelyn Xu, Yekaterina Yegorova, Mark Hasegawa-Johnson, Heng Ji

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 评测与基准 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

BLiSS 1.0: Evaluating Bilingual Learner Competence in Second Language Small Language Models

Yuan Gao, Suchir Salhan, Andrew Caines, Paula Buttery, Weiwei Sun

机构 * ALTA Institute（ALTA研究院） ； Department of Computer Science & Technology, University of Cambridge（计算机科学与技术系，剑桥大学） 纠错

专题命中 评测与基准 ：language model(title)；small language model(title)；分类 cs.CL

Comments Accepted Paper at the BabyLM Workshop 2025 @ EMNLP (Presentation in Suzhou, China)

PTFA: An LLM-based Agent that Facilitates Online Consensus Building through Parallel Thinking

Wen Gu, Zhaoxing Li, Jan Buermann, Jim Dilkes, Dimitris Michailidis, Shinobu Hasegawa, Vahid Yazdanpanah, Sebastian Stein

机构 * Nagoya Institute of Technology（名古屋技术大学） ； University of Southampton（南安普顿大学） ； University of Amsterdam（阿姆斯特丹大学） ； Japan Advanced Institute of Science and Technology（日本先进科学研究院） 纠错

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

CircuitGuard: Mitigating LLM Memorization in RTL Code Generation Against IP Leakage

Nowfel Mashnoor, Mohammad Akyash, Hadi Kamali, Kimia Azar

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)

ALHD: A Large-Scale and Multigenre Benchmark Dataset for Arabic LLM-Generated Text Detection

Ali Khairallah, Arkaitz Zubiaga

专题命中 评测与基准 ：LLM(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 47 pages, 15 figures. Dataset available at Zenodo: https://doi.org/10.5281/zenodo.17249602 Codebase available at GitHub: https://github.com/alikhairallah/ALHD-Benchmarking

Context-Aware Pseudo-Label Scoring for Zero-Shot Video Summarization

Yuanli Wu, Long Zhang, Yue Du, Bin Li

机构 * Nanyang Technological University（南洋理工大学） ； Guilin University of Electronic Technology（桂林电子科技大学） ； Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究院，中国科学院） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Foundation Model Forecasts: Form and Function

Alvaro Perez-Diaz, James C. Loach, Danielle E. Toutoungi, Lee Middleton

机构 * Senseye, Siemens Digital Industries（Senseye，西门子数字工业） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

Comments 28 pages, 3 figures

Interpretable Question Answering with Knowledge Graphs

Kartikeya Aneja, Manasvi Srivastava, Subhayan Das, Nagender Aneja

机构 * Department of Electrical and Computer Engineering, University of Wisconsin-Madison, Madison, USA（威斯康星大学麦迪逊分校电子与计算机工程系） ； Department of Computer Science, Banasthali Vidyapeeth, Rajasthan, India（班纳斯塔利大学计算机科学系） ； Ansyst Consulting, Gurgaon, India（安西斯特咨询公司） ； Huawei Ireland Research Center, Dublin, Ireland（华为爱尔兰研究中心） ； Bradley Department of Electrical and Computer Engineering, Virginia Tech, Blacksburg, VA, USA（弗吉尼亚理工学院布拉德利电子与计算机工程系） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Journal ref International Semantic Intelligence Conference (ISIC), Germany, 2025

A Matter of Time: Revealing the Structure of Time in Vision-Language Models

Nidham Tekaya, Manuela Waldner, Matthias Zeppelzauer

机构 * St. Pölten University of Applied Sciences（施普伦特应用科学大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.AI

Understanding the Implicit Biases of Design Choices for Time Series Foundation Models

Annan Yu, Danielle C. Maddix, Boran Han, Xiyuan Zhang, Abdul Fatir Ansari, Oleksandr Shchur, Christos Faloutsos, Andrew Gordon Wilson, Michael W. Mahoney, Yuyang Wang

机构 * Center for Applied Mathematics（应用数学中心） ； Cornell University（康奈尔大学） ； Amazon Web Services（亚马逊网络服务） ； Amazon Selling Partner Services（亚马逊销售合作伙伴服务） ； Amazon Supply Chain Optimization Technologies（亚马逊供应链优化技术） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；分类 cs.LG

CodeCRDT: Observation-Driven Coordination for Multi-Agent LLM Code Generation

Sergey Pugachev

专题命中 评测与基准 ：LLM(title,abstract)；分类 cs.AI

Comments 11 pages, 3 figures

Integrating Transparent Models, LLMs, and Practitioner-in-the-Loop: A Case of Nonprofit Program Evaluation

Ji Ma, Albert Casella

机构 * LBJ School of Public Affairs, The University of Texas at Austin（德克萨斯大学奥斯汀分校劳伦斯·伯克曼公共事务学院） ； Gradel Institute of Charity, University of Oxford（牛津大学格拉德利慈善研究所） ； Michael & Susan Dell Foundation（迈克尔与苏珊·德尔基金会） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Can LLMs Correct Themselves? A Benchmark of Self-Correction in LLMs

Guiyao Tie, Zenghui Yuan, Zeli Zhao, Chaoran Hu, Tianhe Gu, Ruihang Zhang, Sizhe Zhang, Junran Wu, Xiaoyue Tu, Ming Jin, Qingsong Wen, Lixing Chen, Pan Zhou, Lichao Sun

机构 * Huazhong University of Science and Technology（华中科技大学） ； Griffith University（格里菲斯大学） ； Squirrel Ai Learning（squirrel ai 学习） ； Shanghai Jiaotong University（上海交通大学） ； Lehigh University（莱斯大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 47 pages, 25 figures, 10 tables

Measuring Data Science Automation: A Survey of Evaluation Tools for AI Assistants and Agents

Irene Testini, José Hernández-Orallo, Lorenzo Pacchiardi

机构 * Leverhulme Centre for the Future of Intelligence, University of Cambridge, UK（未来智能研究中心、剑桥大学） ； Valencian Research Institute for Artificial Intelligence (VRAIN), Universitat Politècnica de València, Spain（瓦伦西亚人工智能研究 institutes (VRAIN)、瓦伦西亚理工大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Published in Transactions of Machine Learning Research (TMLR), 10/2025 https://openreview.net/forum?id=MB0TCLfLn1

Do LLMs Really Forget? Evaluating Unlearning with Knowledge Correlation and Confidence Awareness

Rongzhe Wei, Peizhi Niu, Hans Hao-Hsun Hsu, Ruihan Wu, Haoteng Yin, Mohsen Ghassemi, Yifan Li, Vamsi K. Potluru, Eli Chien, Kamalika Chaudhuri, Olgica Milenkovic, Pan Li

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments NeurIPS Camera-Ready Version. Code available at: https://github.com/Graph-COM/Knowledge_Unlearning

GeoBenchX: Benchmarking LLMs in Agent Solving Multistep Geospatial Tasks

Varvara Krechetova, Denis Kochedykov

机构 * World Bank（世界银行） ； JP Morgan Chase & Co（摩根大通公司） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Github with code and benchmark set: https://github.com/Solirinai/GeoBenchX

When Models Can't Follow: Testing Instruction Adherence Across 256 LLMs

Richard J. Young, Brandon Gillins, Alice M. Matthews

机构 * University of Nevada Las Vegas（内华达大学拉斯维加斯分校） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments 21 pages, 3 figures, 5 tables. Comprehensive evaluation of 256 LLMs on instruction-following tasks

Type-aware LLM-based Regression Test Generation for Python Programs

Runlin Liu, Zhe Zhang, Yunge Hu, Yuhang Lin, Xiang Gao, Hailong Sun

专题命中 评测与基准 ：LLM(title,abstract)

Local Obfuscation by GLINER for Impartial Context Aware Lineage: Development and evaluation of PII Removal system

Prakrithi Shivaprakash, Lekhansh Shukla, Animesh Mukherjee, Prabhat Chand, Pratima Murthy

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL

Comments 30 pages, 15 main text and 15 supplementary material

Meeseeks: A Feedback-Driven, Iterative Self-Correction Benchmark evaluating LLMs' Instruction Following Capability

Jiaming wang, Yunke Zhao, Peng Ding, Jun Kuang, Yibin Shen, Zhe Tang, Yilin Jin, ZongYu Wang, Xiaoyu Li, Xuezhi Cao, Xunliang Cai

机构 * Meituan（美团） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL

From Specification to Service: Accelerating API-First Development Using Multi-Agent Systems

Saurabh Chauhan, Zeeshan Rasheed, Malik Abdul Sami, Kai-Kristian Kemell, Muhammad Waseem, Zheying Zhang, Jussi Rasku, Mika Saari, Pekka Abrahamsson

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)

Comments 9 Figures, 6Tables

A Survey on Feedback Types in Automated Programming Assessment Systems

Eduard Frankford, Tobias Antensteiner, Michael Vierhauser, Clemens Sauerwein, Vivien Wallner, Iris Groher, Reinhold Plösch, Ruth Breu

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)

Learning from the Best, Differently: A Diversity-Driven Rethinking on Data Selection

Hongyi He, Xiao Liu, Zhenghao Lin, Mingni Tang, Yi Cheng, Jintao Wang, Wenjie Li, Peng Cheng, Yeyun Gong

机构 * Tsinghua University（清华大学） ； Microsoft Research（微软研究院） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

CrossNews-UA: A Cross-lingual News Semantic Similarity Benchmark for Ukrainian, Polish, Russian, and English

Daryna Dementieva, Evgeniya Sukhodolskaya, Alexander Fraser

机构 * Technical University of Munich (TUM)（慕尼黑技术大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Munich Data Science Institute（慕尼黑数据科学研究所） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Dynamic Evaluation for Oversensitivity in LLMs

Sophia Xiao Pu, Sitao Cheng, Xin Eric Wang, William Yang Wang

机构 * University of California, Santa Barbara（加州大学圣芭芭拉分校） 纠错

专题命中 评测与基准 ：LLM(abstract)；language model(abstract)；分类 cs.CL

Comments EMNLP-Findings 2025

Hire Your Anthropologist! Rethinking Culture Benchmarks Through an Anthropological Lens

Mai AlKhamissi, Yunze Xiao, Badr AlKhamissi, Mona Diab

机构 * Carnegie Mellon University（卡内基梅隆大学） ； EPFL（苏黎世联邦理工学院） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Comments 12 pages; 2 figures; First two author contributed equally

Generalizing while preserving monotonicity in comparison-based preference learning models

Julien Fageot, Peva Blanchard, Gilles Bareilles, Lê-Nguyên Hoang

机构 * Tournesol（图努索尔） ； Kleis Technology（克莱斯技术） ； CTU in Prague（布拉格CTU） ； Calicarpa（卡利卡尔帕） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.LG

Comments Accepted at Neurips 2025

LV-Eval: A Balanced Long-Context Benchmark with 5 Length Levels Up to 256K

Tao Yuan, Xuefei Ning, Dong Zhou, Zhijie Yang, Shiyao Li, Minghui Zhuang, Zheyue Tan, Zhuyu Yao, Dahua Lin, Boxun Li, Guohao Dai, Shengen Yan, Yu Wang

机构 * Tsinghua University（清华大学） ； Infinigence-AI ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； The Chinese University of Hong Kong（香港中文大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Embedding in Recommender Systems: A Survey

Maolin Wang, Xinjian Zhao, Wanyu Wang, Sheng Zhang, Jiansheng Li, Bowen Yu, Binhao Wang, Shucheng Zhou, Dawei Yin, Qing Li, Ruocheng Guo, Xiangyu Zhao

机构 * City University of Hong Kong（香港城市大学） ； Baidu Inc.（百度公司） ； Hong Kong Polytechnic University（香港理工大学） ； Unaffiliated Researcher（无隶属机构） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

Comments 47 pages

MLR-Bench: Evaluating AI Agents on Open-Ended Machine Learning Research

Hui Chen, Miao Xiong, Yujie Lu, Wei Han, Ailin Deng, Yufei He, Jiaying Wu, Yibo Li, Yue Liu, Bryan Hooi

机构 * National University of Singapore（新加坡国立大学） ； University of California, Santa Barbara（加州大学圣巴巴拉分校） ； Singapore University of Technology and Design（新加坡科技设计大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 49 pages, 9 figures. Accepted by NeurIPS 2025 D&B Track