语言大模型 / LLM

Benchmarking Large Language Models for Zero-shot and Few-shot Phishing URL Detection

对零样本和少样本钓鱼网址检测的大型语言模型进行基准测试

Najmul Hasan, Prashanth BusiReddyGari

机构 * University of North Carolina at Pembroke（北卡罗来纳大学帕克分校） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.AI

AI总结 本文通过统一的零样本和少样本提示框架，评估了大型语言模型在钓鱼网址检测中的性能，揭示了不同模型在泛化能力和实用性上的差异。

Comments 9 pages, accepted at the 39th Conference on Neural Information Processing Systems (NeurIPS 2025 LAW Workshop)

Multi-turn Evaluation of Anthropomorphic Behaviours in Large Language Models

多轮评估大型语言模型中的人格化行为

Lujain Ibrahim, Canfer Akbulut, Rasmi Elasmar, Charvi Rastogi, Minsuk Kahng, Meredith Ringel Morris, Kevin R. McKee, Verena Rieser, Murray Shanahan, Laura Weidinger

机构 * University of Oxford（牛津大学） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 本文提出多轮评估方法，评估大型语言模型的人格化行为，发现SOTA模型表现出关系建立和第一人称代词使用等行为，并强调多轮评估对复杂社会现象的重要性。

Large Language Models for Mental Health: A Multilingual Evaluation

大语言模型在心理健康领域的应用：多语言评估

Nishat Raihan, Sadiya Sayara Chowdhury Puspo, Ana-Maria Bucur, Stevie Chancellor, Marcos Zampieri

机构 * George Mason University（乔治·马歇尔大学） ； Interdisciplinary School of Doctoral Studies, University of Bucharest（布加勒斯特大学跨学科博士研究学院） ； PRHLT Research Center, Universitat Politècnica de València（瓦伦西亚理工大学PRHLT研究中心） ； University of Minnesota（明尼苏达大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 本文评估了多语言环境下大语言模型在心理健康任务中的表现，发现其在部分数据集上表现优异，但翻译质量对性能有显著影响。

Large Language Models for Scientific Idea Generation: A Creativity-Centered Survey

用于科学思想生成的大型语言模型：以创造力为中心的综述

Fatemeh Shahhosseini, Arash Marioriyad, Ali Momen, Mahdieh Soleymani Baghshah, Mohammad Hossein Rohban, Shaghayegh Haghjooy Javanmard

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 本文综述了大型语言模型在科学思想生成中的应用，分析了不同方法在创新性与科学合理性之间的权衡，并提出了评估框架以指导未来研究方向。

Comments 75 Pages

Beyond Training for Cultural Awareness: The Role of Dataset Linguistic Structure in Large Language Models

超越文化意识的训练：大型语言模型中数据集语言结构的作用

Reem I. Masoud, Chen Feng, Shunta Asano, Saied Alshahrani, Philip Colin Treleaven, Miguel R. D. Rodrigues

机构 * University College London（伦敦大学学院） ； Queen’s University Belfast（贝尔法斯特女王大学） ； The University of Tokyo（东京大学） ； University of Bisha（比沙大学） ； King Abdulaziz University（阿卜杜勒阿齐兹国王大学） ； AI Centre, University College London（伦敦大学学院人工智能中心） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 本文研究了数据集语言结构对大型语言模型文化表现的影响，发现词汇导向的成分在不同模型中表现更稳定，而语义或多样性极端成分可能产生中性或有害效果。

TeachBench: A Syllabus-Grounded Framework for Evaluating Teaching Ability in Large Language Models

TeachBench: 一种基于课程的评估大语言模型教学能力的框架

Zheng Li, Siyao Song, Jingyuan Ma, Rui Li, Ying Zeng, Minghao Li, Zhifang Sui

机构 * State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（信息处理国家重点实验室，计算机学院，北京大学） ； ByteDance BandAI（字节跳动BandAI） ； Institute of Automation, Chinese Academy of Sciences（自动化研究所，中国科学院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 TeachBench通过多轮指导后学生表现提升评估大语言模型的教学能力，揭示不同模型和领域间教学效果的显著差异。

A Hierarchical Imprecise Probability Approach to Reliability Assessment of Large Language Models

一种分层不精确概率方法用于大型语言模型的可靠性评估

Robab Aghazadeh-Chakherlou, Qing Guo, Siddartha Khastgir, Peter Popov, Xiaoge Zhang, Xingyu Zhao

机构 * WMG, University of Warwick（沃里克大学工业与制造业学院） ； Center for Frontier AI Research, A*STAR（前沿人工智能研究中心） ； School of Computing, National University of Singapore（新加坡国立大学计算机学院） ； Center for Software Reliability, City St George's, University of London（伦敦大学圣乔治学院软件可靠性中心） ； Department of Industrial and Systems Engineering, The Hong Kong Polytechnic University（香港理工大学工业与系统工程系） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 本文提出HIP-LLM，一种分层不精确概率框架，用于更准确地评估大型语言模型的可靠性。

Comments under review

Designing large language model prompts to extract scores from messy text: A shared dataset and challenge

设计大型语言模型提示以从杂乱文本中提取分数：一个共享数据集和挑战

Mike Thelwall

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 本文提出一个共享数据集和挑战，旨在通过设计提示提升大型语言模型从杂乱文本中提取分数的准确性。

Journal ref Trends in Information Management, 13(2), paper 1 (2025)

Rethinking Large Language Models For Irregular Time Series Classification In Critical Care

重新思考用于危重监护中不规则时间序列分类的大型语言模型

Feixiang Zheng, Yu Wu, Cecilia Mascolo, Ting Dang

机构 * The University of Melbourne, Australia（墨尔本大学） ； University of Cambridge, UK（剑桥大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.LG

AI总结 本文研究了LLMs在不规则ICU时间序列分类中的有效性，发现编码器设计比对齐策略更重要，但LLMs在训练时间和少样本学习中表现欠佳。

Comments Accepted by ICASSP 2026

Towards Privacy-Preserving Mental Health Support with Large Language Models

面向隐私保护的大型语言模型在心理健康支持中的应用

Dong Xue, Jicheng Tu, Ming Wang, Xin Yan, Fangzhou Liu, Jie Hu

机构 * IEEE 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 本文提出MindChat和MindCorpus，通过多智能体角色扮演框架生成高质量咨询数据，结合联邦学习和差分隐私优化，实现隐私保护的高效心理健康支持系统。

Comments 15 pages, 16 figures

Persona Jailbreaking in Large Language Models

大型语言模型中的身份劫持

Jivnesh Sandhan, Fei Cheng, Tushar Sandhan, Yugo Murawaki

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 PHISH通过隐含引导历史的身份劫持框架，揭示LLM身份操控的新漏洞，实现对身份的可控操控。

Comments Accepted at EACL26 (Findings)

An Evolutionary Framework for Automatic Optimization Benchmark Generation via Large Language Models

基于大语言模型的进化自动优化基准生成框架

Yuhiro Ono, Tomohiro Harada, Yukiya Miura

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 本文提出基于大语言模型的进化自动优化基准生成框架，通过生成数学表达式问题诱导不同算法性能差异，实验表明该框架能高效生成具有显著区分性的优化基准。

CogToM: A Comprehensive Theory of Mind Benchmark inspired by Human Cognition for Large Language Models

CogToM：一种受人类认知启发的大型语言模型全面理论思维基准

Haibo Tong, Zeyang Yue, Feifei Zhao, Erliang Lin, Lu Jia, Ruolin Chen, Yinqian Sun, Qian Zhang, Yi Zeng

机构 * BrainCog Lab, Institute of Automation, Chinese Academy of Sciences（脑认知实验室，自动化研究所，中国科学院） ； Beijing Institute of AI Safety and Governance (Beijing-AISI)（北京人工智能安全与治理研究所） ； Beijing Key Laboratory of Safe AI and Superalignment（北京安全人工智能与超对齐重点实验室） ； School of Artificial Intelligence, UCAS（人工智能学院，中国科学院大学） ； Long-term AI（长期人工智能） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 CogToM通过8000个双语实例评估LLM的理论思维能力，揭示性能异质性和认知瓶颈，为研究LLM认知边界提供新视角。

Adversarial Alignment: Ensuring Value Consistency in Large Language Models for Sensitive Domains

对抗对齐：确保大型语言模型在敏感领域中的价值一致性

Yuan Gao, Zhigang Liu, Xinyu Yao, Bo Chen, Xiaobing Zhao

机构 * School of Information Engineering, Minzu University of China（中国民族大学信息工程学院） ； National Language Resource Monitoring and Research Center of Minority Languages（少数民族语言资源监测与研究中心） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 本文提出对抗对齐框架，通过持续预训练、指令微调和对抗训练提升大型语言模型在敏感领域中的价值一致性，实验表明其优于现有主流模型。

Comments 13 pages, 5 figures

RSNA Large Language Model Benchmark Dataset for Chest Radiographs of Cardiothoracic Disease: Radiologist Evaluation and Validation Enhanced by AI Labels (REVEAL-CXR)

用于心胸疾病胸部X光影像的RSNA大语言模型基准数据集：通过AI标签增强的放射科评估和验证（REVEAL-CXR）

Yishu Wei, Adam E. Flanders, Errol Colak, John Mongan, Luciano M Prevedello, Po-Hao Chen, Henrique Min Ho Lee, Gilberto Szarf, Hamilton Shoji, Jason Sho, Katherine Andriole, Tessa Cook, Lisa C. Adams, Linda C. Chu, Maggie Chung, Geraldine Brusca-Augello, Djeven P. Deva, Navneet Singh, Felipe Sanchez Tijmes, Jeffrey B. Alpert, Elsie T. Nguyen, Drew A. Torigian, Kate Hanneman, Lauren K Groner, Alexander Phan, Ali Islam, Matias F. Callejas, Gustavo Borges da Silva Teles, Faisal Jamal, Maryam Vazirabad, Ali Tejani, Hari Trivedi, Paulo Kuriki, Rajesh Bhayana, Elana T. Benishay, Yi Lin, Yifan Peng, George Shih

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 本研究通过AI辅助标注流程，创建了包含200张胸部影像的基准数据集，用于评估不同模型，同时帮助放射科医生更高效地标注影像。

Visual and Cognitive Demands of a Large Language Model-Powered In-vehicle Conversational Agent

基于大型语言模型的车载对话代理的视觉与认知需求

Chris Monk, Allegra Ayala, Christine S. P. Yu, Gregory M. Fitch, Dara Gruber

机构 * Exponent, Inc.（Exponent公司） ； Google, Inc.（Google公司） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 本研究评估了基于大型语言模型的车载对话代理在驾驶中的视觉与认知需求，发现其与免提通话在认知负荷上相当，且视觉需求较低，支持其在驾驶环境中的安全应用。

Comparative Study of Large Language Models on Chinese Film Script Continuation: An Empirical Analysis Based on GPT-5.2 and Qwen-Max

大型语言模型在中文电影剧本延续中的比较研究：基于GPT-5.2和Qwen-Max的实证分析

Yuxuan Cao, Zida Yang, Ye Wang

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 本研究比较GPT-5.2和Qwen-Max在中文电影剧本延续任务中的表现，发现GPT-5.2在结构保持和整体质量上显著优于Qwen-Max，为LLM在中文创意写作中的评估提供了实证框架。

Comments 18 pages, 6 figures, 6 tables, 20 references. First two authors contributed equally. Corresponding author: Ye Wang (wangye@whu.edu.cn)

Diffusion Large Language Models for Black-Box Optimization

扩散大语言模型用于黑盒优化

Ye Yuan, Can, Chen, Zipeng Sun, Dinghuai Zhang, Christopher Pal, Xue Liu

机构 * McGill（麦吉尔大学） ； MILA - Quebec AI Institute（魁北克人工智能研究所） ； Microsoft Research（微软研究院） ； Polytechnique Montreal（蒙特利尔大学） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 本文提出dLLM，利用扩散LLMs的双向建模能力，结合遮蔽扩散树搜索，实现高效离线黑盒优化。

OpenLearnLM Benchmark: A Unified Framework for Evaluating Knowledge, Skill, and Attitude in Educational Large Language Models

OpenLearnLM基准：一个评估教育大型语言模型知识、技能和态度的统一框架

Unggi Lee, Sookbun Lee, Heungsoo Choi, Jinseo Lee, Haeun Park, Younghoon Jeon, Sungmin Cho, Minju Kang, Junbo Koh, Jiyeong Bae, Minwoo Nam, Juyeon Eun, Yeonji Jung, Yeil Jeong

机构 * Chosun University（chosun大学） ； Korea University（韩国大学） ； Ewha Womans University（成均馆大学） ； Korea Institute for Curriculum and Evaluation（韩国课程评价院） ； Seoul National University（首尔国立大学） ； Texas A&M University（德克萨斯农工大学） ； Indiana University Bloomington（印第安纳大学布卢明顿分校） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 OpenLearnLM基准通过统一框架评估教育大型语言模型的知识、技能和态度，揭示不同模型在多维度上的能力差异。

When Benchmarks Age: Temporal Misalignment through Large Language Model Factuality Evaluation

当基准老化时：通过大型语言模型事实性评估进行时间错位

Xunyi Jiang, Dingyi Chang, Julian McAuley, Xin Xu

机构 * University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 本文研究了评估基准随时间老化对LLM事实性评估的影响，通过分析五个基准和八种LLM，提出了一套新的指标和方法以量化基准老化问题。

Comments Accepted to EACL 2026 Main Conference

BioPulse-QA: A Dynamic Biomedical Question-Answering Benchmark for Evaluating Factuality, Robustness, and Bias in Large Language Models

BioPulse-QA: 一个动态生物医学问答基准，用于评估大型语言模型的事实性、鲁棒性和偏见

Kriti Bhattarai, Vipina K. Keloth, Donald Wright, Andrew Loza, Yang Ren, Hua Xu

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；pretraining(abstract)；分类 cs.CL

AI总结 BioPulse-QA是一个动态生物医学问答基准，用于评估大型语言模型在事实性、鲁棒性和偏见方面的性能。

Lost in Benchmarks? Rethinking Large Language Model Benchmarking with Item Response Theory

陷入基准？基于项目反应理论重新思考大语言模型基准测试

Hongli Zhou, Hui Huang, Ziqing Zhao, Lvyuan Han, Huicheng Wang, Kehai Chen, Muyun Yang, Wei Bao, Jian Dong, Bing Xu, Conghui Zhu, Hailong Cao, Tiejun Zhao

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 本文提出PSN-IRT框架，用于评估大语言模型基准的有效性，揭示现有基准的测量缺陷，并展示如何构建更符合人类偏好的小型基准。

Comments Accepted to AAAI 2026 (Oral)

Detecting Winning Arguments with Large Language Models and Persuasion Strategies

利用大型语言模型和说服策略检测获胜论点

Tiziano Labruna, Arkadiusz Modzelewski, Giorgio Satta, Giovanni Da San Martino

机构 * University of Padua（帕多瓦大学） ； Polish-Japanese Academy of Information Technology（波兰-日本信息科技学院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL

AI总结 本文利用大型语言模型和说服策略分析论证文本，通过多策略评分方法提升说服力预测，并公开发布主题注释数据集以促进研究。

SOP-Maze: Evaluating Large Language Models on Complicated Business Standard Operating Procedures

SOP-Maze：在复杂业务标准操作规程上评估大语言模型

Jiaming Wang, Zhe Tang, Zehao Jin, Hefei Chen, Yilin Jin, Peng Ding, Xiaoyu Li, Xuezhi Cao

机构 * Meituan M17（美团M17） ； Georgia Institute of Technology（佐治亚理工学院） ； Nanjing University（南京大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 SOP-Maze通过评估大语言模型在复杂业务标准操作规程中的表现，揭示了模型在遵循规程、对话处理和计算推理方面的不足。

Uncovering Political Bias in Large Language Models using Parliamentary Voting Records

利用议会投票记录揭示大型语言模型中的政治偏见

Jieying Chen, Karen de Jong, Andreas Poole, Jan Burakowski, Elena Elderson Nosti, Joep Windt, Chendi Wang

机构 * Vrije Universiteit Amsterdam（阿姆斯特丹自由大学） ； University of Oslo（奥斯陆大学） ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 本文通过分析议会投票记录，揭示大型语言模型中的政治偏见，发现其左倾倾向及对右翼保守党的负面偏见。

Large Language Models for Limited Noisy Data: A Gravitational Wave Identification Study

针对有限噪声数据的大型语言模型：引力波识别研究

Yixuan Li, Yuhao Lu, Yang Liu, Liang Li, R. Ruffini, Di Li, Rong-Gen Cai, Xiaoyan Zhu, Wenbin Lin, Yu Wang

机构 * Institute of Fundamental Physics and Quantum Technology（基础物理与量子技术研究所） ； School of Physical Science and Technology（物理科学与技术学院） ； School of Mathematics and Physics（数学与物理学院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 本研究通过引力波识别实验表明，大型语言模型在有限噪声和标注数据下能高效提取结构，优于传统神经网络。

Comments 10 pages, 5 figures, submitted to ApJ

Lifelong Learning of Large Language Model based Agents: A Roadmap

基于大语言模型代理的终身学习：路线图

Junhao Zheng, Chengming Shi, Xidi Cai, Qiuke Li, Duzhen Zhang, Chenxing Li, Dong Yu, Qianli Ma

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 本文提出了一种基于大语言模型代理的终身学习框架，通过三个模块整合多模态输入、知识存储与动态环境交互，以实现持续适应和长期性能提升。

Comments Accepted to IEEE TPAMI

Crisis-Bench: Benchmarking Strategic Ambiguity and Reputation Management in Large Language Models

Crisis-Bench: 大型语言模型中战略模糊与声誉管理的基准测试

Cooper Lin, Maohao Ran, Yanting Zhang, Zhenglin Wan, Hongwei Fan, Yibo Xu, Yike Guo, Wei Xue, Jun Song

机构 * Hong Kong University of Science and Technology（香港科技大学） ； Hong Kong Baptist University（香港 Baptist 大学） ； National University of Singapore（新加坡国立大学） ； Imperial College London（伦敦帝国理工学院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 Crisis-Bench通过多智能体POMDP评估LLM在高风险企业危机中的战略模糊与声誉管理能力，揭示模型在信息隐瞒与道德约束间的平衡问题。

Towards Valid Student Simulation with Large Language Models

迈向基于大语言模型的可信学生模拟

Zhihao Yuan, Yunze Xiao, Ming Li, Weihao Xuan, Richard Tong, Mona Diab, Tom Mitchell

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Maryland（马里兰大学） ； The University of Tokyo（东京大学） ； NEOLAF 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 本文提出基于大语言模型的学生模拟框架，通过知识状态规范解决能力悖论问题，强调知识忠实度对教育应用的重要性。

Jailbreaking Large Language Models through Iterative Tool-Disguised Attacks via Reinforcement Learning

通过强化学习的迭代工具伪装攻击对大型语言模型进行劫持

Zhaoqi Wang, Zijian Zhang, Daqing He, Pengtao Kou, Xin Li, Jiamou Liu, Jincheng An, Yong Liu

机构 * School of Cyberspace Science and Technology, Beijing Institute of Technology（信息科学与技术学院，北京理工大学） ； School of Computer Science and Technology, Beijing Institute of Technology（计算机科学与技术学院，北京理工大学） ； School of Computer Science, University of Auckland（计算机科学学院，奥克兰大学） ； QAX Security Center, Qi-AnXin Technology Group Inc.（QAX安全中心，启安新科技集团） ； Qi-AnXin Technology Group Inc.（启安新科技集团） ； Zhongguancun Laboratory（中关村实验室） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 本文提出iMIST方法，通过伪装工具调用和强化学习优化，提高对大型语言模型的攻击效果，揭示现有安全机制的漏洞。