语言大模型 / LLM

Beyond Summaries: Structure-Aware Labeling of Code Changes with Large Language Models

超越摘要：基于结构感知的代码变更标注与大型语言模型

Bar Weiss, Antonio Abu-Nassar, Adi Sosnovich, Karen Yorav

机构 * Viterbi Faculty of Electrical and Computer Engineering（电气与计算机工程学院） ； IBM Research（IBM研究院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；prompting(abstract)

AI总结 提出两阶段流水线，利用大型语言模型对代码补丁中的变更进行基于分类的标注，捕获结构关系和语义属性，以提升代码审查效率。

Comments 13 pages, 6 figures

BURMESE-SAN: Burmese NLP Benchmark for Evaluating Large Language Models

BURMESE-SAN: 评估大语言模型的缅甸语NLP基准

Thura Aung, Jann Railey Montalan, Jian Gang Ngui, Peerat Limkonchotiwat

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract_cn)；instruction tuning(abstract)

AI总结 提出首个全面评估大语言模型在缅甸语上理解、推理和生成能力的基准BURMESE-SAN，包含七个子任务，并通过母语者驱动构建确保语言自然性和文化真实性。

LASH: Adaptive Semantic Hybridization for Black-Box Jailbreaking of Large Language Models

LASH：适应性语义混合用于大语言模型的黑盒劫持

Abdullah Al Nomaan Nafi, Fnu Suya, Swarup Bhunia, Prabuddha Chakraborty

机构 * University of Maine（缅因大学） ； University of Tennessee, Knoxville（田纳西大学, 基纳顿分校） ； University of Florida（佛罗里达大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；prompting(abstract)

AI总结 本文提出LASH框架，通过适应性语义混合方法，利用多个基础攻击的输出作为可重用的种子提示，针对不同目标模型和有害类别进行自适应组合，从而在黑盒红队测试中取得更高的攻击成功率。

MentalBench: A DSM-Grounded Benchmark for Evaluating Psychiatric Diagnostic Capability of Large Language Models

MentalBench: 一个用于评估大语言模型 psychiatric 诊断能力的 DSM 基础基准

Hoyun Song, Migyeong Kang, Jisu Shin, Jihyun Kim, Chanbi Park, Hangyeol Yoo, Jihyun An, Alice Oh, Jinyoung Han, KyungTae Lim

机构 * KAIST（韩国科学技术院） ； Sungkyunkwan University（成均馆大学） ； Dongguk University Medical Center（东国大学医学院） ； Seoultech（首尔技术大学） ； Samsung Medical Center（三星医疗中心） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract_cn)；分类 cs.CL

AI总结 本文提出 MentalBench，一个用于评估大语言模型在不同临床模糊程度下能否做出 DSM 基础的 psychiatric 诊断决策的基准。该基准基于 psychiatrist 构建并验证的知识图谱，生成了 24,750 个合成临床案例，以系统地变化信息完整性和诊断复杂性，从而实现 DSM 基础的评估。实验表明，尽管最先进的 LLM 在噪声自由查询上表现良好，但它们在区分具有重叠症状的诊断时难以校准其信心。

Large Language Models for Web Accessibility: A Systematic Literature Review

用于网络可访问性的大型语言模型：系统文献综述

Wajdi Aljedaani, Rubel Hassan Mollik

机构 * University of North Texas（北卡罗来纳州立大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；prompting(abstract)

AI总结 本文综述了38篇研究，探讨了大型语言模型在网页可访问性中的应用，发现大多数研究集中在文本导向和结构明确的任务，主要参考WCAG标准，但对认知可访问性指南考虑有限，评估方法多样且缺乏残障用户直接参与。

Comments Accepted at the 23rd International Web for All Conference (W4A 2026)

ARMOR 2025: A Military-Aligned Benchmark for Evaluating Large Language Model Safety Beyond Civilian Contexts

ARMOR 2025：一种评估大语言模型安全性的军事对齐基准，超越民用情境

Sydney Johns, Heng Jin, Chaoyu Zhang, Y. Thomas Hou, Wenjing Lou

机构 * Virginia Polytechnic Institute and State University（弗吉尼亚理工大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract_cn)；分类 cs.AI

AI总结 本文提出ARMOR 2025基准，基于军事 doctrine 提出安全评估方法，通过12类分类和519个军事相关提示，评估21种商业LLM在军事应用中的安全对齐问题。

Exploring Applications of Transfer-State Large Language Models: Cognitive Profiling and Socratic AI Tutoring

探索迁移态大型语言模型的应用：认知画像与苏格拉底式AI辅导

Minori Noguchi

机构 * Hitachi High-Tech Corporation（日立高新技术公司） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract_cn)；分类 cs.CL

AI总结 本文探讨迁移态LLM在认知画像和苏格拉底式AI辅导中的应用，通过初步调查和实验发现迁移态在辅导表现指标上显著优于非迁移态，提出迁移态作为操作性状态的实用价值。

Comments 29 pages, 5 figures, 7 tables, including appendices

Information Extraction from Electricity Invoices with General-Purpose Large Language Models

从电力账单中提取信息：通用大型语言模型

Javier Gómez, Javier Sánchez

机构 * Centro de Tecnologías de la Imagen (CTIM)（图像技术中心） ； Instituto Universitario de Cibernética, Empresas y Sociedad (IUCES)（大学网络研究所、企业与社会） ； University of Las Palmas de Gran Canaria（大加那利岛大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；prompting(abstract)

AI总结 研究评估通用大型语言模型在无需特定任务微调的情况下从西班牙电力账单中提取结构化信息的能力，发现提示质量对提取精度影响显著。

Comments 13 pages, 2 figures

AInstein: Can LLMs Solve Research Problems From Parametric Memory Alone?

AInstein：LLM能否仅凭参数记忆解决研究问题？

Shambhavi Mishra, Gaurav Sahu, Marco Pedersoli, Laurent Charlin, Jose Dolz, Christopher Pal

机构 * LIVIA, ÉTS Montréal（LIVIA，蒙特利尔工程学院） ； Mila – Quebec AI Institute（魁北克人工智能研究所） ； HEC Montréal（蒙特利尔HEC学院） ； ServiceNow Research（ServiceNow研究） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席） ； Université de Montréal（蒙特利尔大学） ； Polytechnique Montréal（蒙特利尔理工学院） ； International Laboratory on Learning Systems (ILLS)（学习系统国际实验室） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract,abstract_cn)；language model(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出AInstein框架，测试LLM能否通过迭代批评循环生成和改进解决方案。研究发现LLM在70%的问题上成功，但重新发现已发表方案的比例低于19%，表明真正的解决问题能力。但LLM在跨领域类比迁移时存在局限。

ChemPro: A Progressive Chemistry Benchmark for Large Language Models

ChemPro：一种渐进式的化学基准测试用于大语言模型

Aaditya Baranwal, Shruti Vyas

机构 * Aaditya Baranwal ； Shruti Vyas 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract_cn)；分类 cs.CL

AI总结 ChemPro通过4100个化学问题-答案对评估大语言模型在化学领域的表现，涵盖多个难度层级，揭示了LLM在科学推理中的局限性。

Comments Accepted at Artificial Intelligence Chemistry Journal

Journal ref Artif. Intell. Chem. 4(1), 100118 (2026)

Jailbreaking Large Language Models with Morality Attacks

通过道德攻击 jailbreak 大型语言模型

Ying Su, Mingen Zheng, Weili Diao, Haoran Li

机构 * South China University of Technology（南方科技大学） ； HKUST（香港科技大学） ； Beihang University（北航大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract_cn)；分类 cs.CL

AI总结 本文通过道德攻击研究大型语言模型的内部道德价值观，构建了包含10300个实例的道德数据集，提出了四种对抗攻击方法，揭示了LLM和防护模型在道德感知攻击中的关键漏洞。

Comments 27 pages, 6 figures, 18 tables. Accepted by ACL 2026 Findings

Towards Small Language Models for Security Query Generation in SOC Workflows

面向SOC工作流中安全查询生成的小语言模型

Saleha Muzammil, Rahul Reddy, Vishal Kamalakrishnan, Hadi Ahmadi, Wajih Ul Hassan

机构 * University of Virginia（弗吉尼亚大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；small language model(title,abstract)；LLM(abstract)；SLM(abstract)

AI总结 本文提出一个三调节框架，利用小型语言模型实现高效、低成本的安全查询生成，实验表明其在语法和语义准确性上优于现有方法。

Qomhra: A Bilingual Irish and English Large Language Model

Qomhra: 一种双语爱尔兰语和英语大语言模型

Joseph McInerney, Khanh-Tung Tran, Liam Lonergan, Ailbhe Ní Chasaide, Neasa Ní Chiaráin, Barry Devereux

机构 * Trinity College Dublin（三一学院） ； University College Cork（科克大学） ； Queen’s University Belfast（贝尔法斯特女王大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；instruction tuning(abstract)

AI总结 Qomhra是一种双语爱尔兰语和英语大语言模型，通过低资源约束下的方法生成人类偏好数据，显著提升了爱尔兰语和英语的性能表现。

Bridging Code Graphs and Large Language Models for Better Code Understanding

连接代码图与大型语言模型以实现更好的代码理解

Zeqi Chen, Zhaoyang Chu, Yi Gui, Feng Guo, Yao Wan, Chuan Shi

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；pretraining(abstract)

AI总结 CGBridge通过引入外部Bridge模块，提升LLMs对代码结构语义的理解，显著提高代码生成和翻译任务的性能。

SLMFix: Leveraging Small Language Models for Error Fixing with Reinforcement Learning

SLMFix：利用小型语言模型通过强化学习进行错误修复

David Jiahao Fu, Aryan Gupta, Aaron Councilman, David Grove, Yu-Xiong Wang, Vikram Adve

专题命中 评测与基准 ：language model(title,abstract)；small language model(title,abstract)；LLM(abstract)；large language model(abstract)

AI总结 SLMFix通过强化学习微调小型语言模型，有效修复LLMs生成代码的语法错误，提升领域特定语言代码质量，优于传统微调方法。

Towards Privacy-Preserving and Personalized Smart Homes via Tailored Small Language Models

Xinyu Huang, Leming Shen, Zijing Ma, Yuanqing Zheng

机构 * Department of Computing, The Hong Kong Polytechnic University（计算机系，香港理工大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；small language model(title,abstract)；LLM(abstract)；large language model(abstract)

Beyond Scale: Small Language Models are Comparable to GPT-4 in Mental Health Understanding

Hong Jia, Shiya Fu, Feng Xia, Vassilis Kostakos, Ting Dang

机构 * University of Melbourne（墨尔本大学） ； University of Auckland（奥克兰大学） ； RMIT University（皇家墨尔本理工学院） 纠错

专题命中 评测与基准 ：language model(title,abstract)；small language model(title,abstract)；LLM(abstract)；large language model(abstract)

Magneto: Combining Small and Large Language Models for Schema Matching

Yurong Liu, Eduardo Pena, Aecio Santos, Eden Wu, Juliana Freire

机构 * New York University ； Federal University of Technology Paran\' a 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；small language model(abstract)；SLM(abstract)

DRE: An Effective Dual-Refined Method for Integrating Small and Large Language Models in Open-Domain Dialogue Evaluation

Kun Zhao, Bohao Yang, Chen Tang, Siyuan Dai, Haoteng Tang, Chenghua Lin, Liang Zhan

机构 * Department of Electrical and Computer Engineering, University of Pittsburgh（匹兹堡大学电气与计算机工程系） ； Department of Computer Science, The University of Manchester（曼彻斯特大学计算机科学系） ； Department of Computer Science, University of Texas Rio Grande Valley（德克萨斯理工大学里奥格兰德谷分校计算机科学系） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；small language model(abstract)

Comments arXiv admin note: text overlap with arXiv:2405.15924

TarGEN: Targeted Data Generation with Large Language Models

Himanshu Gupta, Kevin Scaria, Ujjwala Anantheswaran, Shreyas Verma, Mihir Parmar, Saurabh Arjun Sawant, Chitta Baral, Swaroop Mishra

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；instruction tuning(abstract)

Comments COLM 2024, 35 pages

RES-Q: Evaluating Code-Editing Large Language Model Systems at the Repository Scale

Beck LaBash, August Rosedale, Alex Reents, Lucas Negritto, Colin Wiel

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

Can Large Language Models Understand Context?

Yilun Zhu, Joel Ruben Antony Moniz, Shruti Bhargava, Jiarui Lu, Dhivya Piraviperumal, Site Li, Yuan Zhang, Hong Yu, Bo-Hsiang Tseng

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；pretraining(abstract)

Comments Findings of EACL 2024

FreeAL: Towards Human-Free Active Learning in the Era of Large Language Models

Ruixuan Xiao, Yiwen Dong, Junbo Zhao, Runze Wu, Minmin Lin, Gang Chen, Haobo Wang

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；small language model(abstract)

Comments Accepted to EMNLP 2023 (Main conference)

A Four-Axis Trustworthiness Benchmark for LLM-as-Judge in Principle-Based Regulation

面向基于原则的监管的LLM作为评判者的四轴可信度基准

Dipankar Sarkar

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL、cs.AI、cs.LG；large language model(comments)；language model(comments)

AI总结 本文提出面向基于原则监管的LLM评判者的四轴可信度基准，发布Principle-Bench并引入Ceca评估器，发现无方法在所有四轴占优，部署级LLM评判者需报告对抗性欺骗与事后校准等指标。

Comments 7 pages, 3 figures. Accepted at the KDD 2026 Workshop on Secure and Trustworthy Large Language Models (SeT-LLM), poster

The Causal Impact of Tool Affordance on Safety Alignment in LLM Agents

工具可及性对LLM代理安全对齐的因果影响

Shasha Yu, Fiona Carroll, Barry L. Bentley

机构 * Cardiff Metropolitan University（卡地夫 Metropolitan 大学） ； Harvard Medical School（哈佛医学院） ； Clark University（克拉克大学） ； Harvard University（哈佛大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 研究通过对比文本聊天机器人与具备工具访问权限的代理行为，发现工具可及性显著增加安全违规率，表明文本评估不足以评估代理系统。

TSQueryBench: LLM-as-a-Judge for Time Series Explanations

基于时间序列的LLM作为裁判

Preetham Sivalingam, Murari Mandal, Dhruv Kumar, Saurabh Deshpande

机构 * BITS Pilani（比拉理工学院皮拉尼校区） ； KIIT（KIIT大学） ； Birla AI Labs（比拉人工智能实验室） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 本文研究了在无参考情况下，利用大语言模型作为生成和评估时间序列解释的工具，通过构造合成基准测试，评估模型在生成解释、相对排序、独立评分和多异常检测任务中的表现，发现评估任务比生成任务更稳定。

Comments Accepted at ICML FMSD

Optimizing Expert-Designed Crystal Graph Networks for Band-Gap Prediction with an Autonomous LLM Research Loop

利用自主LLM研究循环优化专家设计的晶体图网络用于带隙预测

Chenmu Zhang, Boris I. Yakobson

机构 * Department of Materials Science and NanoEngineering（材料科学与纳米工程系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出一个自主LLM研究循环，在MatBench带隙基准上构建了无需外部预训练的最准确模型，超越了所有17个专家设计模型，通过实现元素对特征和空间群嵌入等已知方法。

AgentStream: How Well Do Self-Evolving LLM Agents Perform Under Streaming Tasks?

AgentStream：自进化大语言模型智能体在流式任务下的表现如何？

Dong Yan, Jian Liang, Dapeng Hu, Ran He, Nicholas Jing Yuan, Qi Zhang, Tieniu Tan

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Microsoft（微软公司） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Nanjing University（南京大学） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 本文提出AgentStream框架，评估三种流式场景下三种基础模型的五种自进化LLM智能体方法，发现自进化表现受场景、模型能力等影响，为方法选择提供指导。

Comments Code is available at https://github.com/Jasper-Yan/AgentStream

MEDIC: Comprehensive Evaluation of Leading Indicators for LLM Safety and Utility in Clinical Applications

MEDIC：对LLM在临床应用中的安全性和实用性领先指标的综合评估

Praveenkumar Kanithi, Clément Christophe, Marco AF Pimentel, Tathagata Raha, Prateek Munjal, Nada Saadi, Hamza A Javed, Svetlana Maslenkova, Nasir Hayat, Ronnie Rajan, Shadab Khan

机构 * M42 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 MEDIC通过综合评估框架揭示LLM在临床应用中的安全性和实用性差异，强调需采用组合方法以应对多维度性能权衡。

Comments Published in Transactions on Machine Learning Research (06/2026)

Auditing LLM-Governed Social Robots with Culture-Specific Moral Gradients

审计具有文化特定道德梯度的LLM驱动社交机器人

Carmen Ng, Gjergji Kasneci

专题命中 评测与基准 ：LLM(title,title_cn)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 针对LLM驱动社交机器人在跨文化场景中优先分配资源时的道德偏差，提出基于梯度的多语言审计框架，通过对称控制场景测试模型对文化偏好梯度的区分能力，发现提示工程无法可靠纠正的持续性不对称问题。

Comments Accepted for publication in Proceedings of the 2026 ACM Conference on Fairness, Accountability, and Transparency (FAccT '26)