语言大模型 / LLM

A Knowledge-Driven LLM-Based Decision-Support System for Explainable Defect Analysis and Mitigation Guidance in Laser Powder Bed Fusion

基于知识的LLM决策支持系统：用于激光粉末床融合的可解释缺陷分析与缓解指导

Basit Mahmud Shahriar, Md Habibor Rahman

机构 * Department of Mechanical Engineering, University of Massachusetts Dartmouth（达特茅斯大学机械工程系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；language model(abstract)；foundation model(abstract)；分类 cs.AI

AI总结 本文提出一种整合结构化缺陷知识与LLM推理的知识驱动决策支持系统，用于制造业中激光粉末床融合的可解释缺陷诊断与缓解指导。系统基于包含27种已知缺陷类型的知识库，支持模糊自然语言查询、文献支持的缺陷解释及基于编码工艺知识的缺陷原因和缓解策略指导。

Comments 28 pages, 15 figures

FinSafetyBench: Evaluating LLM Safety in Real-World Financial Scenarios

FinSafetyBench：评估LLM在现实金融场景中的安全性

Yutao Hou, Yihan Jiang, Yuhan Xie, Jian Yang, Liwen Zhang, Hailiang Huang, Guanhua Chen, Yun Chen

机构 * Shanghai University of Finance and Economics（上海财经大学） ； Beihang University（北航） ； Southern University of Science and Technology（南方科技大学） ； MoE Key Laboratory of Interdisciplinary Research of Computation and Economics（计算与经济学交叉学科研究重点实验室） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出FinSafetyBench，一个双语红队基准，用于测试LLM对违反金融合规请求的拒绝能力，揭示了对抗性提示绕过合规保障的关键漏洞及中文环境下更严重的易受攻击性。

Comments Accepted by Findings of ACL2026

ReLay: Personalized LLM-Generated Plain-Language Summaries for Better Understanding, but at What Cost?

ReLay：为更好的理解而定制的LLM生成的通俗摘要，但代价是什么？

Joey Chan, Yikun Han, Jingyuan Chen, Samuel Fang, Lauren D. Gryboski, Alexandra Lee, Sheel Tanna, Qingqing Zhu, Zhiyong Lu, Lucy Lu Wang, Yue Guo

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Virginia（弗吉尼亚大学） ； University of Colorado Anschutz（科罗拉多大学安舒茨分校） ； Johns Hopkins University（约翰霍普金斯大学） ； University of Chicago Pritzker School of Medicine（芝加哥大学普ritzker法学院） ； National Library of Medicine, National Institutes of Health（国家医学图书馆，国家卫生研究院） ； University of Washington（华盛顿大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 ReLay研究通过评估五种LLM在两种个性化方法中的表现，探讨了个性化通俗摘要对理解提升与安全性的平衡问题。

Social Bias in LLM-Generated Code: Benchmark and Mitigation

LLM生成代码中的社会偏见：基准测试与缓解

Fazle Rabbi, Lin Ling, Song Wang, Jinqiu Yang

机构 * Concordia University（康科德大学） ； Lassonde School of Engineering, York University（York大学工程学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文研究LLM生成代码中的社会偏见问题，通过SocialBias-Bench基准测试发现四种主流模型存在严重偏见，提出Fairness Monitor Agent (FMA)有效降低偏见并提升代码正确性。

Measuring Opinion Bias and Sycophancy via LLM-based Persuasion

通过基于LLM的说服测量意见偏见和阿谀奉承

Rodrigo Nogueira, Giovana Kerche Bonás, Thales Sales Almeida, Andrea Roque, Ramon Pires, Hugo Abonizio, Thiago Laitz, Celio Larcher, Roseval Malaquias Junior, Marcos Piau

机构 * Maritaca AI ； JusBrasil 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出llm-bias-bench方法，通过模拟多轮交互发现LLM在争议性话题上的真实立场，揭示辩论比直接提问更易引发阿谀奉承，且模型在持续争论中更倾向于模仿。

Agent-Diff: Benchmarking LLM Agents on Enterprise API Tasks via Code Execution with State-Diff-Based Evaluation

Agent-Diff：通过代码执行基于状态差的评估来基准测试LLM代理在企业API任务上的表现

Hubert M. Pysklo, Artem Zhuravel, Patrick D. Watson

机构 * Minerva University（Minerva大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出Agent-Diff框架，通过代码执行和基于状态差的评估，评估LLM代理在企业API任务中的性能，提供了九个LLM在224个任务上的基准测试，并通过消融实验评估框架的鲁棒性。

Comments Pre-Print. Under review for KDD 2026

GAMMAF: A Common Framework for Graph-Based Anomaly Monitoring Benchmarking in LLM Multi-Agent Systems

GAMMAF：用于LLM多智能体系统基于图的异常监控基准测试的通用框架

Pablo Mateo-Torrejón, Alfonso Sánchez-Macián

机构 * University Carlos III of Madrid（卡洛斯三世大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出GAMMAF框架，用于评估LLM多智能体系统中的异常检测方法，通过生成合成数据集和动态隔离攻击节点，验证了其在拓扑扩展性和执行效率上的优势。

Rating Roulette: Self-Inconsistency in LLM-As-A-Judge Frameworks

评分轮盘：LLM作为裁判框架中的自不一致

Rajarshi Haldar, Julia Hockenmaier

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究揭示LLM作为裁判框架在不同运行中评分不一致的问题，探讨通过规范指南提升其评估效果的可行性。

Comments Accepted at EMNLP 2025

Towards Automated Ontology Generation from Unstructured Text: A Multi-Agent LLM Approach

从非结构化文本自动生成本体：一种多智能体LLM方法

Abid Talukder, Maruf Ahmed Mridul, Oshani Seneviratne

机构 * Rensselaer Polytechnic Institute（拉特格斯理工学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出一种多智能体LLM方法，通过领域特定保险合同实验，验证了在本体生成中规划优先、任务驱动的架构能提升结构质量和查询性。

Rethinking Math Reasoning Evaluation: A Robust LLM-as-a-Judge Framework Beyond Symbolic Rigidity

重新思考数学推理评估：一种超越符号刚性的LLM-as-a-Judge框架

Erez Yosef, Oron Anschel, Shunit Haviv Hakimi, Asaf Gendler, Adam Botach, Nimrod Berman, Igor Kviatkovsky

机构 * Tel-Aviv University（特拉维夫大学） ； Amazon Prime Video（亚马逊Prime视频） ； Ben-Gurion University（巴内尔·戈里翁大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出一种稳健灵活的LLM-as-a-Judge框架，用于评估模型生成答案的准确性，超越传统符号数学比较的局限，提升数学推理评估的可靠性。

Whose Story Gets Told? Positionality and Bias in LLM Summaries of Life Narratives

谁的故事被讲述？LLM在生命叙事中的位置性与偏见

Melanie Subbiah, Haaris Mian, Nicholas Deas, Ananya Mayukha, Dan P. McAdams, Kathleen McKeown

机构 * Department of Computer Science, Columbia University（哥伦比亚大学计算机科学系） ； Department of Applied Physics and Applied Mathematics, Columbia University（哥伦比亚大学应用物理与应用数学系） ； Department of Psychology, Northwestern University（西北大学心理学系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文研究LLM在生命叙事抽象分析中的伦理与有效性，提出基于总结的管道以揭示LLM在解读叙事时的偏见，识别种族和性别偏见并呼吁未来研究中使用该分析方法。

CircuChain: Disentangling Competence and Compliance in LLM Circuit Analysis

CircuChain: 解构LLM电路分析中的能力与合规性

Mayank Ravishankara

机构 * Independent Researcher（独立研究员） ； San Francisco, CA, USA（美国加州旧金山） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 CircuChain通过设计控制/陷阱问题对，评估LLM在电路分析中遵循指令与物理推理能力的差异，揭示模型能力与约束对齐的不足。

Explainable Iterative Data Visualisation Refinement via an LLM Agent

通过LLM代理的可解释迭代数据可视化细化

Burak Susam, Tingting Mu

机构 * Department of Computer Science, University of Manchester（曼彻斯特大学计算机科学系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出利用LLM代理的自动化方法，通过结合定量评估与人类洞察，实现高维数据可视化优化，生成高质量可视化结果。

Quality Assurance of LLM-generated Code: Addressing Non-Functional Quality Characteristics

LLM生成代码的质量保障：解决非功能性质量特性

Xin Sun, Daniel Ståhl, Kristian Sandahl, Christoph Kessler

机构 * Department of Computer and Information Science, Linköping University, Sweden（Linköping大学计算机与信息科学系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究通过文献综述、行业研讨会和实证分析，探讨LLM生成代码在安全、可维护性和性能效率等非功能性质量特性上的表现，揭示学术研究与行业需求的不匹配，强调需在代码生成流程中集成质量保障机制。

Journal ref Journal of Systems and Software (2026)

Do Agents Dream of Root Shells? Partial-Credit Evaluation of LLM Agents in Capture The Flag Challenges

智能体是否梦想着根壳？在夺旗挑战中的LLM智能体部分分数评估

Ali Al-Kaswan, Maksim Plotnikov, Maxim Hájek, Roland Vízner, Arie van Deursen, Maliheh Izadi

机构 * Delft University of Technology（代尔夫特理工大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出DeepRed基准，用于评估LLM智能体在真实夺旗挑战中的能力，通过部分分数评分和自动化标注流程，发现当前智能体在非标准发现和长周期适应任务中表现有限。

Comments Accepted to AIWare'26 Benchmark and Dataset Track

Detoxification for LLM: From Dataset Itself

LLM去毒化：从数据集本身开始

Wei Shao, Yihang Wang, Gaoyu Zhu, Ziqiang Cheng, Lei Yu, Jiafeng Guo, Xueqi Cheng

机构 * State Key Laboratory of AI Safety（人工智能安全国家重点实验室） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 本文提出HSPD方法，通过在原始语料上进行语义保留的改写，有效降低模型毒性，提升数据效用，减少后续调整成本。

Comments Accepted to Main Conference of ACL 2026

HoWToBench: Holistic Evaluation for LLM's Capability in Human-level Writing using Tree of Writing

HoWToBench: LLM在人类水平写作能力的综合评估方法：写作树

Andrew Zhuoer Feng, Cunxiang Wang, Yu Luo, Lin Fan, Yilin Zhou, Zikang Wang, Xiaotao Gu, Jie Tang, Hongning Wang, Minlie Huang

机构 * Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出Tree-of-Writing方法，通过树状流程结构评估LLM写作能力，构建包含12类文体和1302条指令的中文写作基准，实现与人类判断的高相关性。

Comments 49 pages, 6 figures, 19 tables, ACL 2026 main

Evaluating Answer Leakage Robustness of LLM Tutors against Adversarial Student Attacks

评估LLM导师对对抗性学生攻击的答案泄露鲁棒性

Jin Zhao, Marta Knežević, Tanja Käser

机构 * EPFL（瑞士联邦理工学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文研究了学生对抗性攻击下LLM导师的答案泄露鲁棒性，评估了多种模型在对抗攻击下的表现，并提出标准化基准和防御策略。

Comments ACL 2026

Position: LLM Watermarking Should Align Stakeholders' Incentives for Practical Adoption

位置：LLM水印应使所有相关方的利益一致以实现实际应用

Yepeng Liu, Xuandong Zhao, Dawn Song, Gregory W. Wornell, Yuheng Bu

机构 * UC Santa Barbara（加州大学圣芭芭拉分校） ； UC Berkeley（加州大学伯克利分校） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文探讨了LLM水印技术中利益相关方激励不一致的问题，提出通过设计激励一致的水印方法，如上下文水印，来解决实际应用中的障碍，强调在特定领域内实现可靠工具的重要性。

Comments ACL2026

Evaluating Multi-Hop Reasoning in RAG Systems: A Comparison of LLM-Based Retriever Evaluation Strategies

评估基于检索增强生成系统的多跳推理：LLM检索评估策略的比较

Lorenz Brehme, Thomas Ströhle, Ruth Breu

机构 * Universität Innsbruck（因斯布鲁克大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文通过对比三种LLM评估策略，提出上下文感知检索评估（CARE），证明其在提升RAG系统多跳推理能力方面效果显著，尤其在参数多和上下文长的模型中表现更优。

Comments 15 Pages, Accepted for publication at the SynIRgy Workshop, ECIR 2026 (48th European Conference on Information Retrieval)

Do LLMs Need to See Everything? A Benchmark and Study of Failures in LLM-driven Smartphone Automation using Screentext vs. Screenshots

LLM是否需要看到一切？基于Screentext与截图的LLM驱动智能手机自动化失败性基准与研究

Shiquan Zhang, Tianyi Zhang, Le Fang, Simon D'Alfonso, Hong Jia, Vassilis Kostakos

机构 * University of Melbourne（墨尔本大学） ； School of Computer Science（计算机科学学院） ； University of Auckland（奥克兰大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文通过DailyDroid基准测试，探讨LLM驱动的智能手机自动化在文本与截图输入下的性能差异，揭示UI可访问性、输入模态及LLM应用设计中的关键问题。

Comments 29 pages. This study was conducted around May, 2025

Characterizing LLM-driven Social Network: The Chirper.ai Case

刻画由LLM驱动的社会网络：Chirper.ai案例

Yiming Zhu, Yupeng He, Ehsan-Ul Haq, Gareth Tyson, Pan Hui

机构 * Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文通过对比Chirper.ai和Mastodon的社会网络结构，分析LLM代理与人类用户在发帖行为、恶意内容及网络结构上的差异，为负责任的AI通信系统发展提供启示。

Comments Accepted to CSCW 2026, camera-ready version

Bias in the Loop: Auditing LLM-as-a-Judge for Software Engineering

循环中的偏见：用于软件工程的LLM作为评判者的审计

Zixiao Zhao, Amirreza Esmaeili, Fatemeh Fard

机构 * University of British Columbia（不列颠哥伦比亚大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文研究了LLM作为评判者在代码评估中的偏见问题，通过测量优先的方法分析了代码生成、修复和测试生成任务中的评判制度，并发现提示偏见显著影响评判结果，甚至改变任务结论和模型排名。

A PennyLane-Centric Dataset to Enhance LLM-based Quantum Code Generation using RAG

面向增强基于LLM的量子代码生成的PennyLane数据集

Abdul Basit, Nouhaila Innan, Muhammad Haider Asif, Minghao Shao, Muhammad Kashif, Alberto Marchisio, Muhammad Shafique

机构 * Center for Quantum and Topological Systems (CQTS)（量子与拓扑系统中心（CQTS）） ； NYUAD Research Institute（纽约大学阿布扎克研究院） ； New York University Abu Dhabi（纽约大学阿布扎克分校） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出PennyLang数据集，通过系统化方法提升LLM生成量子代码的性能，验证了RAG框架在增强量子代码生成中的有效性。

Comments 8 pages, 6 figures, 8 tables. Accepted at IJCNN 2026

HWE-Bench: Benchmarking LLM Agents on Real-World Hardware Bug Repair Tasks

HWE-Bench：在真实世界硬件Bug修复任务上评估LLM代理的基准测试

Fan Cui, Hongyuan Hou, Zizhang Luo, Chenyun Yin, Yun Liang

机构 * Peking University（北京大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 HWE-Bench是首个大规模仓库级基准，用于评估LLM代理在真实世界硬件Bug修复任务中的表现，通过417个任务实例验证代理在不同项目中的性能差异。

Who Wrote This Line? Evaluating the Detection of LLM-Generated Classical Chinese Poetry

是谁写的这行诗？评估LLM生成古典中文诗歌的检测

Jiang Li, Tian Lan, Shanshan Wang, Dongxing Zhang, Dianqing Lin, Guanglai Gao, Derek F. Wong, Xiangdong Su

机构 * College of Computer Science, Inner Mongolia University, China（内蒙古大学计算机学院，中国） ； National & Local Joint Engineering Research Center of Intelligent Information Processing Technology for Mongolian, China（蒙古语智能信息处理技术国家与地方联合工程研究中心，中国） ； NLP²CT Lab, Department of Computer and Information Science, University of Macau, China（澳门大学计算机与信息科学学院NLP²CT实验室，中国） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出ChangAn基准，用于评估AI检测器对LLM生成的古典中文诗歌的检测能力，揭示现有工具的局限性。

Comments Accepted to ACL 2026 Main Conference

Style Amnesia: Investigating Speaking Style Degradation and Mitigation in Multi-Turn Spoken Language Models

风格失忆：多轮对话中 spoken language models 的说话风格退化与缓解研究

Yu-Xiang Lin, Cheng-Han Chiang, Hung-yi Lee

机构 * National Taiwan University（国立台湾大学） ； NTU Artificial Intelligence Center of Research Excellence (NTU AI-CoRE)（国立交通大学人工智能卓越研究中心（NTU AI-CoRE）） 纠错

专题命中 评测与基准 ：language model(title,title_cn)；SLM(abstract,abstract_cn)；分类 cs.CL

AI总结 本文研究了多轮对话中 spoken language models 无法维持指定说话风格的问题，发现模型在后续对话中无法保持一致性，通过实验表明模型在被提示时可回忆风格指令但无法正确表达，需改进以提升风格一致性。

Comments ACL 2026 Findings

TableNet A Large-Scale Table Dataset with LLM-Powered Autonomous

TableNet：一个大规模表格数据集与LLM驱动的自主系统

Ruilin Zhang, Kai Yang

机构 * School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 TableNet通过LLM驱动的自主系统生成和识别表格，解决大规模高质量表格数据集的不足，提升表格结构识别的效率与精度。

Comments The 40th Annual AAAI Conference on Artificial Intelligence Bridge Program on Logic & AI

Orak: A Foundational Benchmark for Training and Evaluating LLM Agents on Diverse Video Games

Orak：面向多样化视频游戏的LLM代理训练与评估基础基准

Dongmin Park, Minkyu Kim, Beongjun Choi, Junhyuck Kim, Keon Lee, Jonghyun Lee, Inkyu Park, Byeong-Uk Lee, Jaeyoung Hwang, Jaewoo Ahn, Ameya S. Mahabaleshwarkar, Bilal Kartal, Pritam Biswas, Yoshi Suhara, Kangwook Lee, Jaewoong Cho

机构 * KRAFTON ； Seoul National University（首尔国立大学） ； NVIDIA ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Ludo Robotics 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 Orak通过12种主流视频游戏构建基础基准，系统评估LLM代理在不同游戏场景中的能力，提供统一评估框架和细调数据集，推动多样化游戏代理发展。

CompliBench: Benchmarking LLM Judges for Compliance Violation Detection in Dialogue Systems

CompliBench：对话系统中LLM判别器合规性违规检测基准测试

Jingbo Yang, Guanyu Yao, Bairu Hou, Xinghan Yang, Nikolai Glushnev, Iwona Bialynicka-Birula, Duo Ding, Shiyu Chang

机构 * University of California, Santa Barbara（加州大学圣芭芭拉分校） ； Cresta 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出CompliBench基准测试，用于评估LLM判别器在多轮对话中检测和定位违规指南的能力。通过自动化数据生成管道解决数据稀缺问题，展示小型判别器模型在合成数据上表现优异。