语言大模型 / LLM

OAEI-LLM-T: A TBox Benchmark Dataset for Understanding Large Language Model Hallucinations in Ontology Matching

OAEI-LLM-T：用于理解大规模语言模型幻觉的本体匹配TBox基准数据集

Zhangcheng Qiang, Kerry Taylor, Weiqing Wang, Jing Jiang

机构 * Australian National University（澳大利亚国立大学） ； Monash University（墨尔本大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 OAEI-LLM-T是一个用于研究大规模语言模型在本体匹配中幻觉问题的TBox基准数据集，通过分类幻觉类型并提供评估工具，促进对LLM在OM任务中表现的深入理解。

Comments 14 pages, 4 figures, 4 tables, 2 prompt templates

TA-Prompting: Enhancing Video Large Language Models for Dense Video Captioning via Temporal Anchors

TA-Prompting: 通过时间锚点增强视频大语言模型以实现密集视频描述

Wei-Yuan Cheng, Kai-Po Chang, Chi-Pin Huang, Fu-En Yang, Yu-Chiang Frank Wang

机构 * Graduate Institute of Communication Engineering, National Taiwan University（国家交通大学通信工程研究所） ； NVIDIA（NVIDIA公司） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；prompting(title,abstract)；分类 cs.AI、cs.LG

AI总结 TA-Prompting通过引入时间锚点提升视频大语言模型的密集视频描述能力，有效解决时间边界识别问题，提升时间感知视频事件理解性能。

Comments 8 pages for main paper (exclude citation pages), 6 pages for appendix, totally 10 figures 7 tables and 2 algorithms. The paper is accepted by WACV 2026

Journal ref IEEE/CVF Winter Conference on Applications of Computer Vision (WACV) 2026

PCEval: A Benchmark for Evaluating Physical Computing Capabilities of Large Language Models

PCEval: 一个评估大型语言模型物理计算能力的基准

Inpyo Song, Eunji Jeon, Jangwon Lee

机构 * Department of Immersive Media Engineering（沉浸媒体工程系） ； Sungkyunkwan University（成均馆大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 PCEval是一个评估大型语言模型物理计算能力的基准，通过自动评估电路生成和硬件交互能力，揭示LLMs在物理布局设计中的不足。

Comments Code and Dataset available at https://github.com/Null99-Dog/PCEval-Dataset

Uni-FinLLM: A Unified Multimodal Large Language Model with Modular Task Heads for Micro-Level Stock Prediction and Macro-Level Systemic Risk Assessment

Uni-FinLLM：一种具有模块化任务头的统一多模态大语言模型，用于微观层面的股票预测和宏观层面的系统性风险评估

Gongao Zhang, Haijiang Zeng, Lu Jiang

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.LG

AI总结 Uni-FinLLM通过统一多模态大语言模型，结合模块化任务头，实现了对股票预测和系统性风险评估的高效联合建模，显著提升了预测准确率。

Towards Comprehensive Stage-wise Benchmarking of Large Language Models in Fact-Checking

面向大规模语言模型事实核查的全面阶段性基准评估

Hongzhan Lin, Zixin Chen, Zhiqi Shen, Ziyang Luo, Zhen Ye, Jing Ma, Tat-Seng Chua, Guandong Xu

机构 * Department of Computer Science, Hong Kong Baptist University（香港 Baptist 大学计算机科学系） ； Salesforce AI Research（Salesforce AI 研究院） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； National University of Singapore（新加坡国立大学） ； The Education University of Hong Kong（香港教育大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 FactArena提出一个全面的LLM事实核查阶段基准评估框架，通过标准化流程和动态生成挑战性声明，揭示LLM在事实推理中的鲁棒性与准确性差异。

Comments 17 pages, 21 figures, 7 tables

Evaluating the Diagnostic Classification Ability of Multimodal Large Language Models: Insights from the Osteoarthritis Initiative

评估多模态大语言模型的诊断分类能力：来自骨关节炎倡议的见解

Li Wang, Xi Chen, XiangWen Deng, HuaHui Yi, ZeKun Jiang, Kang Li, Jian Li

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 研究发现，多模态大语言模型在医学图像分类中表现不佳，建议优先优化视觉编码器和数据集质量。

EduBench: A Comprehensive Benchmarking Dataset for Evaluating Large Language Models in Diverse Educational Scenarios

EduBench: 一种全面的评估数据集，用于评估大型语言模型在多样化教育场景中的表现

Bin Xu, Yu Bai, Huashan Sun, Yiguan Lin, Siming Liu, Xinyue Liang, Yaolin Li, Zhuangzhi Dong, Jingren Zhang, Yufan Deng, Xinyu Zou, Yang Gao, Heyan Huang

机构 * School of Computer Science and Technology, Beijing Institute of Technology（计算机科学与技术学院，北京理工大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文提出EduBench数据集，用于评估大型语言模型在多样化教育场景中的表现，包含9种主要场景和4000多个教育情境，通过多维指标和人工标注验证模型性能。

Multi-RADS Synthetic Radiology Report Dataset and Head-to-Head Benchmarking of 41 Open-Weight and Proprietary Language Models

多RADS合成放射学报告数据集及41种开源和专有语言模型的头对头基准测试

Kartik Bose, Abhinandan Kumar, Raghuraman Soundararajan, Priya Mudgil, Samonee Ralmilay, Niharika Dutta, Manphool Singhal, Arun Kumar, Saugata Sen, Anurima Patra, Priya Ghosh, Abanti Das, Amit Gupta, Ashish Verma, Dipin Sudhakaran, Ekta Dhamija, Himangi Unde, Ishan Kumar, Krithika Rangarajan, Prerna Garg, Rachel Sequeira, Sudhin Shylendran, Taruna Yadav, Tej Pal, Pankaj Gupta

机构 * Postgraduate Institute of Medical Education and Research（医学教育与研究研究生院） ； Tata Medical Center（塔塔医学中心） ； All India Institute of Medical Sciences（全印度医学科学研究所） ； National Cancer Institute（国家癌症研究所） ； Banaras Hindu University（巴纳尔斯·胡斯·印度大学） ； Aster Malabar Institute of Medical Sciences（Aster马拉巴医学科学研究所） 纠错

专题命中 评测与基准 ：language model(title,abstract)；small language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出了多RADS合成放射学报告数据集RXL-RADSet，并比较了41种开源和专有语言模型在RADS分配任务中的性能。

X-MuTeST: A Multilingual Benchmark for Explainable Hate Speech Detection and A Novel LLM-consulted Explanation Framework

X-MuTeST：一个用于可解释仇恨言论检测的多语言基准及一种新颖的LLM咨询解释框架

Mohammad Zia Ur Rehman, Sai Kartheek Reddy Kasu, Shashivardhan Reddy Koppula, Sai Rithwik Reddy Chirra, Shwetank Shekhar Singh, Nagendra Kumar

机构 * Indian Institute of Technology Indore（印度理工学院Indore） ； Indian Institute of Information Technology Dharwad（印度信息科技学院Dharwad） ； Arizona State University（亚利桑那州立大学） ； Indian Institute of Technology Mandi（印度理工学院Mandi） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 X-MuTeST提出一种结合LLM和传统技术的多语言仇恨言论检测框架，通过人类注释的解释提升分类性能和可解释性。

Comments Accepted in the proceedings of AAAI 2026

Journal ref AAA 2026 (AISI)

NavAI: A Generalizable LLM Framework for Navigation Tasks in Virtual Reality Environments

NavAI: 一种适用于虚拟现实环境导航任务的通用大语言模型框架

Xue Qin, Matthew DiGiovanni

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 NavAI是一种基于大语言模型的通用导航框架，能够有效支持虚拟现实环境中的基础动作和复杂目标导向任务，实验显示其在目标导向任务中达到89%的成功率。

Trust in LLM-controlled Robotics: a Survey of Security Threats, Defenses and Challenges

对LLM控制的机器人信任：安全威胁、防御和挑战的综述

Xinyu Huang, Shyam Karthick V B, Taozhao Chen, Mitch Bryson, Thomas Chaffey, Huaming Chen, Kim-Kwang Raymond Choo, Ian R. Manchester

机构 * School of Electrical and Computer Engineering, The University of Sydney（悉尼大学电气与计算机工程学院） ； Australian Centre for Robotics and School of Aerospace, Mechanical and Mechatronic Engineering, The University of Sydney（悉尼大学机器人中心及航空航天、机械与机电工程学院） ； Department of Information Systems and Cybersecurity, University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校信息系统与网络安全系） ； School of Engineering and Natural Sciences, University of Iceland（冰岛大学工程与自然科学学院） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文综述了LLM控制机器人面临的安全威胁和防御策略，强调了具身系统中恶意输出的物理风险，并提出了安全规范和多LLM监督等防御方法。

When Reject Turns into Accept: Quantifying the Vulnerability of LLM-Based Scientific Reviewers to Indirect Prompt Injection

当拒绝转为接受：量化基于LLM的科学评审员对间接提示注入的脆弱性

Devanshu Sahoo, Manish Prasad, Vasudev Majhi, Jahnvi Singh, Vinay Chamola, Yash Sinha, Murari Mandal, Dhruv Kumar

机构 * BITS Pilani ； KIIT University（KIIT大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究量化了基于LLM的科学评审系统对间接提示注入攻击的脆弱性，揭示了通过隐藏文本注入和布局感知攻击翻转评审决定的风险，并提出WAVS指标评估此类攻击的严重性。

Who Laughs with Whom? Disentangling Influential Factors in Humor Preferences across User Clusters and LLMs

谁与谁一起笑？在用户集群和LLMs中解构影响幽默偏好的因素

Soichiro Murakami, Hidetaka Kamigaito, Hiroya Takamura, Manabu Okumura

机构 * CyberAgent ； Nara Institute of Science and Technology（奈良科学技術研究所） ； Institute of Science Tokyo（东京科学研究所） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本研究通过聚类和LLM提示解构幽默偏好影响因素，展示用户集群与LLM偏好之间的关联及可调节性。

To Generate or Discriminate? Methodological Considerations for Measuring Cultural Alignment in LLMs

是生成还是判别？衡量LLM文化契合度的方法论考虑

Saurabh Kumar Pandey, Sougata Saha, Monojit Choudhury

机构 * Mohamed bin Zayed University of Artificial Intelligence（莫莫德·宾·扎耶德人工智能大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文通过反向社会人口提示方法探讨LLM文化契合度测量问题，发现真实行为表现优于模拟行为，但个体层面个性化存在局限。

Comments IJCNLP-AACL 2025

Multi-Modal Data-Enhanced Foundation Models for Prediction and Control in Wireless Networks: A Survey

多模态数据增强的基础模型用于无线网络中的预测与控制：综述

Han Zhang, Mohammad Farzanullah, Mohammad Ghassemi, Akram Bin Sediq, Ali Afana, Melike Erol-Kantarci

机构 * School of Electrical Engineering and Computer Science, University of Ottawa（Ottawa 大学电子工程与计算机科学学院） ； Ericsson（埃里克森公司） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文综述了多模态数据增强的基础模型在无线网络预测与控制中的应用，探讨了其在无线网络管理中的关键任务和未来发展方向。

Comments 5 figures, 7 tables, IEEE COMST

LendNova: Towards Automated Credit Risk Assessment with Language Models

LendNova：迈向利用语言模型进行自动信用风险评估

Kiarash Shamsi, Danijel Novokmet, Joshua Peters, Mao Lin Liu, Paul K Edwards, Vahab Khoshdel

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 LendNova利用语言模型实现自动信用风险评估，通过直接处理原始信用记录文本，无需手动特征工程，提高准确性和可扩展性。

Journal ref AAAI 2026, Workshop on Agentic AI in Financial Services

NitroGen: An Open Foundation Model for Generalist Gaming Agents

NitroGen：一种通用游戏代理的开源基础模型

Loïc Magne, Anas Awadalla, Guanzhi Wang, Yinzhen Xu, Joshua Belofsky, Fengyuan Hu, Joohwan Kim, Ludwig Schmidt, Georgia Gkioxari, Jan Kautz, Yisong Yue, Yejin Choi, Yuke Zhu, Linxi "Jim" Fan

机构 * NVIDIA ； Stanford（斯坦福大学） ； Caltech（加州理工学院） ； UChicago（芝加哥大学） ； UT Austin（得克萨斯大学奥斯汀分校） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 NitroGen通过大规模行为克隆训练，实现跨游戏泛化能力，提升任务成功率达52%

Comments 16 pages, 7 figures

Thucy: An LLM-based Multi-Agent System for Claim Verification across Relational Databases

Thucy：基于LLM的多智能体系统，用于跨关系数据库的声明验证

Michael Theologitis, Dan Suciu

专题命中 评测与基准 ：LLM(title,abstract)；分类 cs.AI

AI总结 Thucy是一种基于LLM的多智能体系统，能够跨关系数据库验证声明，并提供支持裁定的SQL查询，准确率达94.3%。

Comments Accepted at AAAI 2026 Workshop on LLM-based Multi-Agent Systems (LaMAS)

The Sonar Moment: Benchmarking Audio-Language Models in Audio Geo-Localization

声纳时刻：在音频地理定位中基准测试音频语言模型

Ruixing Zhang, Zihan Liu, Leilei Sun, Tongyu Zhu, Weifeng Lv

机构 * The State Key Laboratory of Complex and Critical Software Environment, Beihang University（复杂与关键软件环境国家重点实验室，北航） ； Shanghai AI Laboratory（上海人工智能实验室） ； The Key Laboratory of Data Science and Intelligent Computing, International Innovation Institute, Beihang University（数据科学与智能计算重点实验室，国际创新研究院，北航） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.AI

AI总结 本文提出AGL1K基准，用于评估音频语言模型在音频地理定位中的能力，发现封闭源模型表现更优，语言线索在预测中起主导作用。

Self-Verification is All You Need To Pass The Japanese Bar Examination

自我验证就是通过日本司法考试所需

Andrew Shin

机构 * Keio University（.keio大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种自我验证模型，通过忠实复制考试格式和评分尺度，首次实现了LLM通过日本司法考试，无需修改原始问题结构或评分规则。

Comments https://github.com/shinandrew/self_verification

Textual Explanations and Their Evaluations for Reinforcement Learning Policy

强化学习策略的文本解释及其评估

Ahmad Terra, Mohit Ahmed, Rafia Inam, Elena Fersman, Martin Törngren

机构 * Ericsson Research（爱立信研究） ； Ericsson AB（爱立信公司） ； KTH Royal Institute of Technology（皇家理工学院） ； Uppsala University（乌普萨拉大学） ； Global AI Accelerator（全球人工智能加速器） ； Ericsson Inc.（爱立信公司） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出了一种新的XRL框架，通过生成文本解释并转换为透明规则，提升解释质量并进行评估，以解决现有方法的局限性。

MemHunter: Automated and Verifiable Memorization Detection at Dataset-scale in LLMs

MemHunter: 在大规模数据集上实现LLM的记忆检测的自动化与可验证方法

Zhenpeng Wu, Jian Lou, Zibin Zheng, Chuan Chen

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 MemHunter通过训练记忆诱导模型并利用假设检验，在数据集层面高效检测LLM的记忆行为，提升隐私风险评估能力。

Comments Withdrawn by the authors due to an inconsistency in the reported base model: Section 4 (Experiments) states "Llama-2-7B" while Fig. 3 labels "Llama-2-7B-Chat". Because this affects the experimental configuration, parts of the results must be re-verified by rerunning experiments; we withdraw to avoid misleading readers

Iterative Topic Taxonomy Induction with LLMs: A Case Study of Electoral Advertising

基于大语言模型的迭代主题分类诱导：选举广告案例研究

Alexander Brady, Tunazzina Islam

机构 * Department of Computer Science, ETH Zürich（苏黎世联邦理工学院计算机科学系） ； Department of Computer Science, Purdue University（普渡大学计算机科学系） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出基于大语言模型的迭代主题分类方法，通过选举广告案例验证，实现了无需预定义标签的自动主题分类，并在人类评估中表现出更一致和可解释的结果。

Comments Under-submission

The MASK Benchmark: Disentangling Honesty From Accuracy in AI Systems

MASK基准：在人工智能系统中区分诚实与准确性

Richard Ren, Arunim Agarwal, Mantas Mazeika, Cristina Menghini, Robert Vacareanu, Brad Kenstler, Mick Yang, Isabelle Barrass, Alice Gatti, Xuwang Yin, Eduardo Trevino, Matias Geralnik, Adam Khoja, Dean Lee, Summer Yue, Dan Hendrycks

机构 * Center for AI Safety（人工智能安全中心） ； Scale AI 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出MASK基准，通过大规模人工数据集区分LLM的准确性和诚实性，发现大模型虽更准确但不更诚实，简单干预可提升诚实度，强调需加强评估与干预以确保模型可信。

Comments Website: https://www.mask-benchmark.ai

The Impact of LLM-Generated Reviews on Recommender Systems: Textual Shifts, Performance Effects, and Strategic Platform Control

大语言模型生成的评论对推荐系统的影响：文本变化、性能影响和平台控制策略

Itzhak Ziv, Moshe Unger, Hilah Geva

专题命中 评测与基准 ：LLM(title)；分类 cs.AI

AI总结 本研究探讨了大语言模型生成的评论对推荐系统的影响，发现人工数据在性能上优于AI生成内容，并强调平台控制在管理AI生成评论中的重要性。

LongBench Pro: A More Realistic and Comprehensive Bilingual Long-Context Evaluation Benchmark

LongBench Pro: 一个更现实且全面的双语长上下文评估基准

Ziyang Chen, Xing Wu, Junlong Jia, Chaochen Gao, Qi Fu, Debing Zhang, Songlin Hu

机构 * School of Artificial Intelligence, Beihang University（北航人工智能学院） ； Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 LongBench Pro通过人机协作构建，提供1500个双语长上下文样本，评估46个模型发现长上下文优化比参数扩展更有效，有效上下文长度较短且存在跨语言偏差，混合思考设计具有潜在优势。

AgentArch: A Comprehensive Benchmark to Evaluate Agent Architectures in Enterprise

AgentArch: 一种全面的基准，用于评估企业中的代理架构

Tara Bogavelli, Roshnee Sharma, Hari Subramani

机构 * ServiceNow 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 AgentArch提出一个企业特定的基准，评估代理架构在复杂任务中的性能，揭示模型特定的架构偏好及性能瓶颈。

Encyclo-K: Evaluating LLMs with Dynamically Composed Knowledge Statements

Encyclo-K：通过动态组成的知识陈述评估LLM

Yiming Liang, Yizhi Li, Yantao Du, Ge Zhang, Jiayi Zhou, Yuchen Wu, Yinzhu Piao, Denghui Cao, Tong Sun, Ziniu Li, Li Du, Bo Lei, Jiaheng Liu, Chenghua Lin, Zhaoxiang Zhang, Wenhao Huang, Jiajun Zhang

机构 * School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Nanjing University（南京大学） ； The University of Manchester（曼彻斯特大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 Encyclo-K通过动态组合知识陈述，提出了一种评估LLM全面理解能力的基准测试框架，有效解决了现有基准测试的局限性。

Empowering Reliable Visual-Centric Instruction Following in MLLMs

赋能多模态大语言模型中的可靠指令跟随

Weilei He, Feng Ju, Zhiyuan Fan, Rui Min, Minhao Cheng, Yi R. Fung

机构 * Hong Kong University of Science and Technology（香港科学与技术大学） ； Penn State（宾夕法尼亚州立大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出VC-IFEval基准，通过引入视觉依赖性约束，系统评估多模态大语言模型在指令跟随任务中的性能与改进。

Comments Submitted to ARR Jan

A Survey on Failure Analysis and Fault Injection in AI Systems

人工智能系统中故障分析与故障注入的综述

Guangba Yu, Gou Tan, Haojia Huang, Zhenyu Zhang, Pengfei Chen, Roberto Natella, Zibin Zheng

机构 * Sun Yat-sen University（中山大学） ； Federico II University of Naples（那不勒斯费代里科二世大学） ； Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究综述了人工智能系统中故障分析与故障注入的方法，分析了现有技术的现状及改进方向，以提高系统可靠性。

Comments Accepted by TOSEM