语言大模型 / LLM

MathTutorBench: A Benchmark for Measuring Open-ended Pedagogical Capabilities of LLM Tutors

Jakub Macina, Nico Daheim, Ido Hakimi, Manu Kapur, Iryna Gurevych, Mrinmaya Sachan

机构 * Department of Computer Science, ETH Zurich（苏黎世联邦理工学院计算机科学系） ； ETH AI Center（ETH人工智能中心） ； Ubiquitous Knowledge Processing Lab (UKP Lab), Department of Computer Science, Technical University of Darmstadt and National Research Center for Applied Cybersecurity ATHENE, Germany（达姆施塔特技术大学计算机科学系） ； Professorship for Learning Sciences and Higher Education, ETH Zurich（苏黎世联邦理工学院学习科学与高等教育教授职位） 纠错

专题命中 评测与基准 ：LLM(title)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted to EMNLP 2025 Main as an oral presentation. Website: https://eth-lre.github.io/mathtutorbench

Automated Skill Decomposition Meets Expert Ontologies: Bridging the Granularity Gap with LLMs

Le Ngoc Luyen, Marie-Hélène Abel

机构 * Université de technologie de Compiègne, CNRS, Heudiasyc（法国图卢兹技术大学、CNRS、Heudiasyc） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.AI

Agentic Systems in Radiology: Design, Applications, Evaluation, and Challenges

Christian Bluethgen, Dave Van Veen, Daniel Truhn, Jakob Nikolas Kather, Michael Moor, Malgorzata Polacin, Akshay Chaudhari, Thomas Frauenfelder, Curtis P. Langlotz, Michael Krauthammer, Farhad Nooralahzadeh

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

DITING: A Multi-Agent Evaluation Framework for Benchmarking Web Novel Translation

Enze Zhang, Jiaying Wang, Mengxi Xiao, Jifei Liu, Ziyan Kuang, Rui Dong, Eric Dong, Sophia Ananiadou, Min Peng, Qianqian Xie

机构 * School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院） ； Center for Language and Information Research, Wuhan University（武汉大学语言信息研究中心） ； Jiangxi Normal University（江西师范大学） ； The University of Manchester（曼彻斯特大学） ； Yunnan Trrans Technology Co., Ltd.（云南翻译技术有限公司） ； Malvern College Chengdu（成都马尔伯学院） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

MFTCXplain: A Multilingual Benchmark Dataset for Evaluating the Moral Reasoning of LLMs through Multi-hop Hate Speech Explanation

Jackson Trager, Francielle Vargas, Diego Alves, Matteo Guida, Mikel K. Ngueajio, Ameeta Agrawal, Yalda Daryani, Farzan Karimi-Malekabadi, Flor Miriam Plaza-del-Arco

机构 * University of Southern California（南加州大学） ； São Paulo State University（圣保罗州立大学） ； Saarland University（萨尔兰大学） ； University of Melbourne（墨尔本大学） ； Howard University（霍华德大学） ； Portland State University（波特兰州立大学） ； Leiden University（莱顿大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments Jackson Trager and Francielle Vargas contributed equally

Journal ref Findings of the Association for Computational Linguistics: EMNLP 2025

CoBia: Constructed Conversations Can Trigger Otherwise Concealed Societal Biases in LLMs

Nafiseh Nikeghbal, Amir Hossein Kargaran, Jana Diesner

机构 * Technical University of Munich（慕尼黑技术大学） ； LMU Munich（慕尼黑大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments EMNLP 2025 (Oral)

TRAJECT-Bench:A Trajectory-Aware Benchmark for Evaluating Agentic Tool Use

Pengfei He, Zhenwei Dai, Bing He, Hui Liu, Xianfeng Tang, Hanqing Lu, Juanhui Li, Jiayuan Ding, Subhabrata Mukherjee, Suhang Wang, Yue Xing, Jiliang Tang, Benoit Dumoulin

机构 * Michigan State University（密歇根州立大学） ； Amazon Inc.（亚马逊公司） ； Hippocratic AI ； Penn State University（宾夕法尼亚州立大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

Does Machine Unlearning Truly Remove Knowledge?

Haokun Chen, Yueqi Zhang, Yuan Bi, Yao Zhang, Tong Liu, Jinhe Bi, Jian Lan, Jindong Gu, Claudia Grosser, Denis Krompass, Nassir Navab, Volker Tresp

机构 * LMU Munich（慕尼黑大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Technical University of Munich（慕尼黑技术大学） ； Siemens AG（西门子股份公司） ； University of Oxford（牛津大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG；LLM(comments)

Comments NeurIPS 2025 (Lock-LLM Workshop)

Rethinking LLM Evaluation: Can We Evaluate LLMs with 200x Less Data?

Shaobo Wang, Cong Wang, Wenjie Fu, Yue Min, Mingquan Feng, Isabel Guan, Xuming Hu, Conghui He, Cunxiang Wang, Kexin Yang, Xingzhang Ren, Fei Huang, Dayiheng Liu, Linfeng Zhang

机构 * EPIC Lab, SJTU（上海交通大学EPIC实验室） ； SJTU（上海交通大学） ； Alibaba Group（阿里巴巴集团） ； FDU（福建大学） ； HKUST（香港科技大学） ； HKUST (GZ)（香港科技大学（广州）） ； Shanghai AI Lab（上海人工智能实验室） ； ZhipuAI（智谱AI） 纠错

专题命中 评测与基准 ：LLM(title)；分类 cs.CL、cs.LG

Comments 18 pages, 5 figures

Open Vocabulary Multi-Label Video Classification

Rohit Gupta, Mamshad Nayeem Rizve, Jayakrishnan Unnikrishnan, Ashish Tawari, Son Tran, Mubarak Shah, Benjamin Yao, Trishul Chilimbi

机构 * Center for Research in Computer Vision, University of Central Florida（计算机视觉研究中心，中央佛罗里达大学） ； Amazon（亚马逊） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)

Comments Accepted at ECCV 2024

Multimodal Alignment and Fusion: A Survey

Songtao Li, Hao Tang

机构 * Peking University（北京大学） ； Northeastern University（东北大学） ； Sydney Smart Technology College（悉尼智能技术学院） ； School of Computer Science, Peking University（北京大学计算机学院） ； The State Key Laboratory of Multimedia Information Processing（多媒体信息处理国家重点实验室） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)

Comments Accepted to IJCV 2025

Judge Before Answer: Can MLLM Discern the False Premise in Question?

Jidong Li, Lingyong Fang, Haodong Zhao, Sufeng Duan, Gongshen Liu

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； Inner Mongolia Research Institute, Shanghai Jiao Tong University（上海交通大学内蒙古研究院） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

A Vision-Language Pre-training Model-Guided Approach for Mitigating Backdoor Attacks in Federated Learning

Keke Gai, Dongjue Wang, Jing Yu, Liehuang Zhu, Qi Wu

机构 * School of Cyberspace Science and Technology, Beijing Institute of Technology（信息空间科学与技术学院，北京理工大学） ； School of Information Engineering, Minzu University of China（信息工程学院，民族大学） ； Australian Institute of Machine Learning, The University of Adelaide（澳大利亚机器学习研究所，阿德莱德大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AMSbench: A Comprehensive Benchmark for Evaluating MLLM Capabilities in AMS Circuits

Yichen Shi, Ze Zhang, Hongyang Wang, Zhuofu Tao, Zhongyi Li, Bingyu Chen, Yaxin Wang, Zhen huang, Xuhua Liu, Quan Chen, Zhiping Yu, Ting-Jung Lin, Lei He

机构 * Shanghai Jiao Tong University（上海交通大学） ； University of California, Los Angeles（美国加州大学洛杉矶分校） ； Tsinghua University（清华大学） ； Southern University of Science and Technology（南方科技大学） ； Eastern Institute of Technology, Ningbo（宁波东部技术研究所） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Stop DDoS Attacking the Research Community with AI-Generated Survey Papers

Jianghao Lin, Rong Shan, Jiachen Zhu, Yunjia Xi, Yong Yu, Weinan Zhang

机构 * Antai College of Economics and Management, Shanghai Jiao Tong University, China（上海交通大学安泰经济管理学院） ； School of Computer Science, Shanghai Jiao Tong University, China（上海交通大学计算机科学学院） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted by NeurIPS 2025 (Position Track)

MCPVerse: An Expansive, Real-World Benchmark for Agentic Tool Use

Fei Lei, Yibo Yang, Wenxiu Sun, Dahua Lin

机构 * SenseTime Research（商汤科技研究院） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

PACEbench: A Framework for Evaluating Practical AI Cyber-Exploitation Capabilities

Zicheng Liu, Lige Huang, Jie Zhang, Dongrui Liu, Yuan Tian, Jing Shao

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） ； Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

Comments Project webpage available at https://pacebench.github.io/

Template-Based Text-to-Image Alignment for Language Accessibility: A Study on Visualizing Text Simplifications

Belkiss Souayed, Sarah Ebling, Yingqiang Gao

机构 * University of Zurich（苏黎世大学） 纠错

专题命中 评测与基准 ：language model(abstract)；prompting(abstract)；分类 cs.CL

Generative AI and the Transformation of Software Development Practices

Vivek Acharya

机构 * Vivek Acharya（未知） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

Comments 16 pages; 1 figure; preprint; v

FreshBrew: A Benchmark for Evaluating AI Agents on Java Code Migration

Victor May, Diganta Misra, Yanqi Luo, Anjali Sridhar, Justine Gehring, Silvio Soares Ribeiro Junior

机构 * Google（谷歌） ； Max Planck Institut für Intelligente Systeme (MPI-IS)（马克斯·普朗克智能系统研究所） ； ELLIS Institute, Tübingen（图宾根ELLIS研究所） ； Salesforce ； Gologic Inc（Gologic公司） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

Comments 18 pages, 12 figures

End-to-end Automatic Speech Recognition and Speech Translation: Integration of Speech Foundational Models and LLMs

Nam Luu, Ondřej Bojar

机构 * Charles University（查尔斯大学） ； Faculty of Mathematics and Physics（数学与物理系） ； Institute of Formal and Applied Linguistics（形式与应用语言学研究所） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

StreetLens: Enabling Human-Centered AI Agents for Neighborhood Assessment from Street View Imagery

Jina Kim, Leeje Jang, Yao-Yi Chiang, Guanyu Wang, Michelle C. Pasco

机构 * University of Minnesota（明尼苏达大学） 纠错

专题命中 评测与基准 ：language model(abstract)；prompting(abstract)；分类 cs.AI

ExpVid: A Benchmark for Experiment Video Understanding & Reasoning

Yicheng Xu, Yue Wu, Jiashuo Yu, Ziang Yan, Tianxiang Jiang, Yinan He, Qingsong Zhao, Kai Chen, Yu Qiao, Limin Wang, Manabu Okumura, Yi Wang

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Institute of Science Tokyo（东京科学研究所） ； Nanjing University（南京大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

Comments Data & Code: https://github.com/OpenGVLab/ExpVid

Q-Router: Agentic Video Quality Assessment with Expert Model Routing and Artifact Localization

Shuo Xing, Soumik Dey, Mingyang Wu, Ashirbad Mishra, Naveen Ravipati, Binbin Li, Hansi Wu, Zhengzhong Tu

机构 * Department of Computer Science（计算机科学系） ； Cranberry-Lemon University（Cranberry-Lemon 大学） ； Texas A&M University（德克萨斯A&M大学） ； eBay Inc.（eBay公司） 纠错

专题命中 评测与基准 ：language model(abstract)；post-training(abstract)

Detecting Gender Stereotypes in Scratch Programming Tutorials

Isabella Graßl, Benedikt Fein, Gordon Fraser

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

Comments Koli Calling 2025

TalkCuts: A Large-Scale Dataset for Multi-Shot Human Speech Video Generation

Jiaben Chen, Zixin Wang, Ailing Zeng, Yang Fu, Xueyang Yu, Siyuan Cen, Julian Tanke, Yihang Chen, Koichi Saito, Yuki Mitsufuji, Chuang Gan

机构 * UMass Amherst（马萨诸塞大学阿姆赫斯特分校） ； Sony AI（索尼人工智能） ； UC San Diego（加州大学圣地亚哥分校） 纠错

专题命中 评测与基准 ：LLM(abstract)；language model(abstract)

Comments Project page: https://talkcuts.github.io/

VideoAds for Fast-Paced Video Understanding

Zheyuan Zhang, Monica Dou, Linkai Peng, Hongyi Pan, Ulas Bagci, Boqing Gong

机构 * Northwestern University（西北大学） ； Boston University（波士顿大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

Comments ICCV2025

From Funding to Findings (FIND): An Open Database of NSF Awards and Research Outputs

Kazimier Smith, Yucheng Lu, Qiaochu Fan

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

From Generic to Specialized: A Subspecialty Diagnostic System Powered by Self-Supervised Learning for Cervical Histopathology

Yizhi Wang, Li Chen, Qiang Huang, Tian Guan, Xi Deng, Zhiyuan Shen, Jiawen Li, Xinrui Chen, Bin Hu, Xitong Ling, Taojie Zhu, Zirui Huang, Deshui Yu, Yan Liu, Jiurun Chen, Lianghui Zhu, Qiming He, Yiqing Liu, Diwei Shi, Hanzhong Liu, Junbo Hu, Hongyi Gao, Zhen Song, Xilong Zhao, Chao He, Ming Zhao, Yonghong He

专题命中 评测与基准 ：foundation model(abstract)；pretraining(abstract)

Comments 32 pages, 6 figures

Sentiment and Social Signals in the Climate Crisis: A Survey on Analyzing Social Media Responses to Extreme Weather Events

Pouya Shaeri, Yasaman Mohammadpour, Alimohammad Beigi, Ariane Middel

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

Comments Accepted and Published in SBP-BRiMS 2025. 18th International Conference on Social Computing, Behavioral-Cultural Modeling & Prediction and Behavior Representation in Modeling and Simulation