语言大模型 / LLM

Rethinking RL Scaling for Vision Language Models: A Transparent, From-Scratch Framework and Comprehensive Evaluation Scheme

Yan Ma, Steffi Chern, Xuyang Shen, Yiran Zhong, Pengfei Liu

机构 * Shanghai Jiao Tong University (SJTU)（上海交通大学） ； Minimax ； Fudan University（复旦大学） ； SII ； Generative Artificial Intelligence Lab (GAIR)（生成式人工智能实验室（GAIR）） 纠错

专题命中 评测与基准 ：language model(title,abstract)；large language model(abstract)；SFT(abstract)；分类 cs.CL、cs.LG

Comments Code is public and available at: https://github.com/GAIR-NLP/MAYE

LLMs Working in Harmony: A Survey on the Technological Aspects of Building Effective LLM-Based Multi Agent Systems

R. M. Aratchige, W. M. K. S. Ilmini

机构 * General Sir John Kotelawala Defence University（科特拉瓦拉爵士国防大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

When Persuasion Overrides Truth in Multi-Agent LLM Debates: Introducing a Confidence-Weighted Persuasion Override Rate (CW-POR)

Mahak Agarwal, Divyam Khanna

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 10 pages, 6 figures

Starjob: Dataset for LLM-Driven Job Shop Scheduling

Henrik Abgaryan, Tristan Cazenave, Ararat Harutyunyan

机构 * Université Paris Dauphine-PSL（巴黎多芬大学-PSL大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments arXiv admin note: substantial text overlap with arXiv:2408.06993

VideoRefer Suite: Advancing Spatial-Temporal Object Understanding with Video LLM

Yuqian Yuan, Hang Zhang, Wentong Li, Zesen Cheng, Boqiang Zhang, Long Li, Xin Li, Deli Zhao, Wenqiao Zhang, Yueting Zhuang, Jianke Zhu, Lidong Bing

机构 * Zhejiang University（浙江大学） ； DAMO Academy, Alibaba Group（阿里巴巴达摩院） ； Shanda AI Research Institute（盛大多智研究院） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 17 pages, 14 figures, technical report

The HalluRAG Dataset: Detecting Closed-Domain Hallucinations in RAG Applications Using an LLM's Internal States

Fabian Ridder, Malte Schilling

机构 * University of Münster（明斯特大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments 19 pages, 3 figures

HREF: Human Response-Guided Evaluation of Instruction Following in Language Models

Xinxi Lyu, Yizhong Wang, Hannaneh Hajishirzi, Pradeep Dasigi

机构 * Allen Institute for AI（艾伦人工智能研究所） ； University of Washington（华盛顿大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.AI

Comments 28 pages, 15 figures

A Modular Dataset to Demonstrate LLM Abstraction Capability

Adam Atanas, Kai Liu

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 7 pages, 5 figures. Submitted to ACL 2025

Fùxì: A Benchmark for Evaluating Language Models on Ancient Chinese Text Understanding and Generation

Shangqing Zhao, Yuhao Zhou, Yupei Ren, Zhe Chen, Chenghao Jia, Fang Zhe, Zhaogaung Long, Shu Liu, Man Lan

机构 * School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院） ； Lab of Artificial Intelligence for Education, East China Normal University（华东师范大学教育人工智能实验室） ； Shanghai Institute of Artificial Intelligence for Education, East China Normal University（华东师范大学上海教育人工智能研究院） 纠错

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.AI

Comments working in progress

VeriLA: A Human-Centered Evaluation Framework for Interpretable Verification of LLM Agent Failures

Yoo Yeon Sung, Hannah Kim, Dan Zhang

机构 * University of Maryland（马里兰大学） ； Megagon Labs（美加贡实验室） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Deep Learning and LLM-based Methods Applied to Stellar Lightcurve Classification

Yu-Yang Li, Yu Bai, Cunshi Wang, Mengwei Qu, Ziteng Lu, Roberto Soria, Jifeng Liu

机构 * National Astronomical Observatories, Chinese Academy of Sciences（中国科学院国家天文台） ； University of Chinese Academy of Sciences（中国科学院大学） ； Beijing Normal University（北京师范大学） ； Guangzhou Institute of Geochemistry, Chinese Academy of Sciences（中国科学院广州地球化学研究所） ； INAF—Osservatorio Astrofisico di Torino（意大利国家天体物理研究所都灵天文台） ； The University of Sydney（悉尼大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments 35 pages, 20 figures

Journal ref Intell Comput. 2025;4:0110

PrivacyScalpel: Enhancing LLM Privacy via Interpretable Feature Intervention with Sparse Autoencoders

Ahmed Frikha, Muhammad Reza Ar Razi, Krishna Kanth Nakka, Ricardo Mendes, Xue Jiang, Xuebing Zhou

机构 * Huawei Munich Research Center（华为慕尼黑研究中心） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

DetectRL: Benchmarking LLM-Generated Text Detection in Real-World Scenarios

Junchao Wu, Runzhe Zhan, Derek F. Wong, Shu Yang, Xinyi Yang, Yulin Yuan, Lidia S. Chao

机构 * University of Macau（澳门大学） ； NLP 2 CT Lab（NLP 2 CT实验室） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted to NeurIPS 2024 Datasets and Benchmarks Track (Camera-Ready)

DeepReview: Improving LLM-based Paper Review with Human-like Deep Thinking Process

Minjun Zhu, Yixuan Weng, Linyi Yang, Yue Zhang

机构 * Zhejiang University（浙江大学） ； Westlake University（西湖大学） ； University College London（伦敦大学学院） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

RigoChat 2: an adapted language model to Spanish using a bounded dataset and reduced hardware

Gonzalo Santamaría Gómez, Guillem García Subies, Pablo Gutiérrez Ruiz, Mario González Valero, Natàlia Fuertes, Helena Montoro Zamorano, Carmen Muñoz Sanz, Leire Rosado Plaza, Nuria Aldama García, David Betancur Sánchez, Kateryna Sushkova, Marta Guerrero Nieto, Álvaro Barbero Jiménez

机构 * Instituto de Ingeniería del Conocimiento（知识工程研究所） 纠错

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.AI

HalluVerse25: Fine-grained Multilingual Benchmark Dataset for LLM Hallucinations

Samir Abdaljalil, Hasan Kurban, Erchin Serpedin

机构 * Texas A&M University（德克萨斯农工大学） ； Hamad Bin Khalifa University（哈马德·本·哈利法大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Framing the Game: How Context Shapes LLM Decision-Making

Isaac Robinson, John Burden

机构 * University of Oxford（牛津大学） ； University of Cambridge（剑桥大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Open Ko-LLM Leaderboard2: Bridging Foundational and Practical Evaluation for Korean LLMs

Hyeonwoo Kim, Dahyun Kim, Jihoo Kim, Sukyung Lee, Yungi Kim, Chanjun Park

机构 * Upstage AI ； Twelve Labs ； Liner ； Korea University（高丽大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted to NAACL 2025 Industry

Understanding LLM Development Through Longitudinal Study: Insights from the Open Ko-LLM Leaderboard

Chanjun Park, Hyeonwoo Kim

机构 * Korea University（高丽大学） ； Upstage AI（上stage人工智能公司） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted to NAACL 2025 Industry

ChroKnowledge: Unveiling Chronological Knowledge of Language Models in Multiple Domains

Yein Park, Chanwoong Yoon, Jungwoo Park, Donghyeon Lee, Minbyul Jeong, Jaewoo Kang

机构 * Korea University（高丽大学） ； Upstage AI ； AIGEN Sciences 纠错

专题命中 评测与基准 ：language model(title,abstract)；large language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

Comments ICLR 2025, 40 pages, 17 figures

Personas Evolved: Designing Ethical LLM-Based Conversational Agent Personalities

Smit Desai, Mateusz Dubiel, Nima Zargham, Thomas Mildner, Laura Spillner

机构 * Northeastern University（东北大学） ； University of Luxembourg（卢森堡大学） ； University of Bremen（不来梅大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

On Speeding Up Language Model Evaluation

Jin Peng Zhou, Christian K. Belardi, Ruihan Wu, Travis Zhang, Carla P. Gomes, Wen Sun, Kilian Q. Weinberger

机构 * Cornell University（康奈尔大学） ； University of California, San Diego（加利福尼亚大学圣迭戈分校） 纠错

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.AI

Comments ICLR 2025

HealthQ: Unveiling Questioning Capabilities of LLM Chains in Healthcare Conversations

Ziyu Wang, Hao Li, Di Huang, Hye-Sung Kim, Chae-Won Shin, Amir M. Rahmani

机构 * University of California, Irvine（加州大学欧文分校） ； Columbia University（哥伦比亚大学） ； Washington University in St. Louis（圣路易斯华盛顿大学） ； Kookmin University（国民大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

On Calibration of LLM-based Guard Models for Reliable Content Moderation

Hongfu Liu, Hengguan Huang, Xiangming Gu, Hao Wang, Ye Wang

机构 * National University of Singapore（新加坡国立大学） ； University of Copenhagen（哥本哈根大学） ； Rutgers University（罗格斯大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments Accepted to ICLR 2025

Bridging Smart Meter Gaps: A Benchmark of Statistical, Machine Learning and Time Series Foundation Models for Data Imputation

Amir Sartipi, Joaquín Delgado Fernández, Sergio Potenciano Menci, Alessio Magitteri

机构 * University of Luxembourg（卢森堡大学） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Language Models are Few-Shot Graders

Chenyan Zhao, Mariana Silva, Seth Poulsen

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Utah State University（犹他州立大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.AI

How Efficient is LLM-Generated Code? A Rigorous & High-Standard Benchmark

Ruizhong Qiu, Weiliang Will Zeng, James Ezick, Christopher Lott, Hanghang Tong

机构 * University of Illinois Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Qualcomm AI Research（高通人工智能研究部门） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments ICLR 2025

Is my Meeting Summary Good? Estimating Quality with a Multi-LLM Evaluator

Frederic Kirstein, Terry Ruas, Bela Gipp

机构 * University of Göttingen（哥廷根大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Journal ref COLING 2025 Industry Track

Graph Foundation Models for Recommendation: A Comprehensive Survey

Bin Wu, Yihang Wang, Yuanhao Zeng, Jiawei Liu, Jiashu Zhao, Cheng Yang, Yawen Li, Long Xia, Dawei Yin, Chuan Shi

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Baidu Inc.（百度公司） ； Wilfrid Laurier University（威尔弗里德劳里埃大学） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Communication is All You Need: Persuasion Dataset Construction via Multi-LLM Communication

Weicheng Ma, Hefan Zhang, Ivory Yang, Shiyu Ji, Joice Chen, Farnoosh Hashemi, Shubham Mohole, Ethan Gearey, Michael Macy, Saeed Hassanpour, Soroush Vosoughi

机构 * Dartmouth College（达特茅斯学院） ； Cornell University（康奈尔大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted to NAACL 2025 Main Conference