语言大模型 / LLM

Synchronization-Free Algebraic Fingerprints for Large Language Models: From Autoregressive to Diffusion Models

大语言模型的无同步代数指纹：从自回归模型到扩散模型

Jaroslaw Janas, Josef Pieprzyk, Pawel Morawiecki

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)

AI总结 针对大语言模型水印需求，提出无同步水印方案，由相邻令牌生成二元同余作水印，从代数角度分析恢复问题，讨论解码算法，该方法能抗多种操作，避免同步问题，为嵌入不同长度秘密身份提供灵活框架。

Pezego-HITL: A policy-grounded large language model architecture for agricultural extension in Ghana

Pezego-HITL：一种用于加纳农业推广的基于政策的大语言模型架构

Shunbao Li, Zhipeng Yuan, Amoako Ofori, Benedicta Y. Fosu-Mensah, Yang Li, Manu Kenchappa Junjanna, Qing Xue, Po Yang

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)

AI总结 研究针对加纳农业推广中大语言模型应用问题，提出基于政策的结构化检索增强生成与验证内存路由方法，通过P-EVAL框架评估，提升了模型政策对齐率、农艺利用率，降低延迟，还验证了通用性，为小农户农业提供可扩展模板。

Structured Data Extraction from Real Estate Documents using Clustering, Classification, and Large Language Models

使用聚类、分类和大语言模型从房地产文档中提取结构化数据

Muhammad Assad Shehbaz, Carlos Francisco Moreno-García

机构 * Robert Gordon University（罗伯特·戈登大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)

AI总结 研究如何从房地产问卷文档中提取结构化数据，提出端到端管道，先分类文档，再用大语言模型提取属性，应用于3965份文档，成功处理2781份，得到2766条记录，验证了数据质量，证明该提取方法可行可靠。

Personality Without Persons? A Psychometric Critique of Big Five Testing in Large Language Models

无人格的人格？大语言模型中大五人格测试的心理测量学批判

Kim Zierahn, Cristina Cachero, Anna Korhonen, Nuria Oliver

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)

AI总结 通过心理测量学评估大语言模型的大五人格测试，发现其不适用于LLMs，无法捕捉模型间差异且因子结构失效，建议开发针对LLMs的评估框架。

Comments 11 pages

Learning to Deny: Action Denial in Multimodal Large Language Models

学习拒绝：多模态大语言模型中的动作否定

Raiyaan Abdullah, Shehreen Azad, Yogesh Singh Rawat

机构 * Institute of Artificial Intelligence, University of Central Florida（中佛罗里达大学人工智能研究所） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)

AI总结 提出UCF101-AD基准测试，评估多模态大语言模型在强上下文线索下识别动作缺失的能力，发现模型倾向于肯定动作而非验证其真实性，并通过因果图CausalAct减少误报。

Comments Accepted to ECCV 2026 main conference

CodeChat-Eval: Evaluating Large Language Models in Multi-Turn Code Refinement Dialogues

CodeChat-Eval：在多轮代码优化对话中评估大型语言模型

Guoxiang Guo, Kla Tantithamthavorn, Neelofar Neelofar, Yuanyuan Qi, Aldeida Aleti

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)

AI总结 提出CodeChat-Eval框架，通过动态指令选择算法构建多轮代码优化对话评估会话，发现LLMs在多轮优化中功能正确性显著下降（19.2%-69.2%），逻辑级优化和新增请求导致最大下降。

Comments Accepted by ICSME26

Are LLMs Ready for Anti-Pattern Detection in Microservice Architectures?

LLM 是否准备好检测微服务架构中的反模式？

Marco De Luca, Domenico Amalfitano, Porfirio Tramontana, Anna Rita Fasolino

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)

AI总结 本文研究大型语言模型（LLM）通过提示分析微服务仓库静态制品来检测16种架构反模式的能力，与静态分析工具MARS对比，发现LLM在局部、异构或语义丰富的反模式上表现有竞争力，但在需要结构或跨服务依赖证据时受限，可作为补充工具。

Comments accepted at ICSME 2026

LLM4MTLs: Automated Generation and Empirical Evaluation of Model Transformation Languages

LLM4MTLs：模型转换语言的自动生成与实证评估

Bowen Jiang, Nathan Hagel, Haowei Cheng, Benedikt Jutz, Arne Lange, Weixing Zhang, Rahul Sharma, Ralf Reussner, Anne Koziolek

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 提出LLM4MTLs工作流，通过少样本提示、语法提示和辅助方法组合，自动生成并评估LLM编写的模型转换代码，发现少样本提示能提升语法质量但语义改进有限。

Distributed Quality-Diversity Search for Toxicity in Large Language Models

大型语言模型中毒性检测的分布式质量-多样性搜索

Onkar Shelar, Travis Desell

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)

AI总结 提出ToxSearch-S方法，通过增量式物种形成和MPI并行化，在有限预算下实现与基线相当的峰值毒性，同时降低累积搜索压力，并利用分布式计算显著加速搜索。

Comments 40 pages, 10 figures, preprint

PCB-QA: Evaluating LLMs over the First Printed Circuit Board Design Question-Answer Dataset

PCB-QA：首个印刷电路板设计问答数据集评估大语言模型

Sahana Srinivasan, Benjamin Tan, Benjamin Turnbull, Hammond Pearce

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 针对大语言模型在PCB设计应用中缺乏文本数据集和评估方法的问题，提出PCB-QA数据集（480个问答对），通过不同文件格式提示LLM，发现基于JSON的文本格式使Gemini 3 Flash Preview达到93%准确率。

Comments 8 pages, 4 figures

LogCopilot: Automating Log Aggregation Analysis through Large Language Models

LogCopilot: 通过大型语言模型自动化日志聚合分析

Senyu Xie, Chenxi Zhang, Tong Zhou, Jiacheng Liu, Xiaoyu Hong, Qingshan Li, Xin Peng

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)

AI总结 提出LogCopilot框架，利用大型语言模型，通过自然语言指令、知识检索和工具调用自动生成LogQL查询，实现日志聚合分析，平均准确率76.8%。

Empowering Student Debugging in Parallel Programming with Execution Traces and Large Language Models

利用执行轨迹和大语言模型增强学生在并行编程中的调试能力

God'salvation F. Oguibe, Vinodh Kumaran Jayakumar, Tongping Liu, Andrew Lan, Wei Wang

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)

AI总结 提出ParaView工具，通过执行记录与可视化帮助学生调试并发程序，结合大语言模型分析错误，实验表明调试成功率显著提升。

Beyond End-to-End Success: Diagnosing Failures in Long-Horizon Security LLM Agents

超越端到端成功：诊断长视野安全大语言模型智能体的失败

Wei Shao, Chongzhou Fang, Zuxiong Tan, Zequan Liang, Setareh Rafatirad, Avesta Sasan, Houman Homayoun

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 该研究针对长视野安全LLM智能体，提出带检查点的诊断方法，发现Gemini 2.5 Flash失败多因未观测到需复用状态，92种子研究显示针对性指导可提升其状态观测率至95.4%，且失败主因随模型代际变化，需诊断失败根源而非仅看总体成功。

Beyond Raw Transcripts: Structured Persona Extraction for LLM-Based Digital Twins

超越原始文本记录：面向基于大语言模型的数字孪生的结构化角色提取

Iris Ye, Tianze Deng, Ozan Candogan

机构 * University of Chicago（芝加哥大学） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.CL

AI总结 本研究针对基于LLM的数字孪生，提出结构化角色提取方法，发现信息结构是性能关键，固定结构难通用，自动结构发现流水线可恢复性能并提升准确率。

Comments Preprint. Submitted to NeurIPS 2026

ReguSim: Evaluating LLM Agent Rule Grounding in Financial Compliance

ReguSim：评估大语言模型智能体在金融合规中的规则落地

Yiyang Luo, Yihang Jiang, Qijun Xie, Liang Lan, Lin Willian Cong, Anyi Rao, Yunya Song

机构 * HKUST（香港科技大学） ； HKBU（香港浸会大学） ； NTU（新加坡南洋理工大学） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 研究针对LLM智能体在金融合规中的规则落地问题，构建ReguSim环境与ReguBench基准，发现可见规则无法完全消除违规动作，结构化监控基线表现优于纯提示LLM，为金融合规评估提供新框架。

PersonalBench: Measuring the Authorship Gap in LLM Personalization

PersonalBench：测量大语言模型个性化中的作者差距

Yash Ganpat Sawant

机构 * Independent AI Researcher（独立人工智能研究员） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.CL

AI总结 本研究推出PersonalBench基准，通过LUAR、LLM评判者、自动风格计量学评估LLM个性化方法，发现其可区分作者但未达人类水平，发布该基准为LLM个性化提供校准工具。

Comments 17 pages. Extended version

CentaurBench: Benchmarking LLM Capabilities on Augmenting vs. Automating Real-World Work Tasks

CentaurBench：评估大型语言模型在增强与自动化现实工作任务方面的能力

Pattaraphon Kenny Wongchamcharoen, Kris Gulati, Min Min Fong, Abhishek Nagaraj

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 CentaurBench基准测试显示LLM的自动化能力与辅助能力仅适度相关，多数自动化优胜者在增强任务中表现不佳，辅助效果并非始终为正，表明需按模型在多智能体系统中的角色评估模型。

Comments 46 pages, 15 figures

EvoTS-Agent: A Self-Evolving LLM Agent for Financial Time Series Change Point Detection

EvoTS-Agent：一种用于金融时间序列变点检测的自进化大语言模型智能体

Lei Jiang, Ye Wei, Xinyu Xi, Jordan Langham-Lopez, Yifan Bao, Raad Khraishi, Yihao Ang, Anthony K. H. Tung, Lukasz Szpruch, Hao Ni

机构 * Alan Turing Institute（阿兰·图灵研究所） ； University of Oxford（牛津大学） ； National University of Singapore（新加坡国立大学） ； NatWest AI Research（国民西敏寺银行人工智能研究部） ； University of Edinburgh（爱丁堡大学） ； University College London（伦敦大学学院） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 该研究针对金融时间序列变点检测难题，提出自进化 LLM 智能体 EvoTS-Agent，经验证引导进化检测流程，在四个基准数据集上表现优于现有同类智能体且执行成功率达100%。

AeroCopilotBench: A Two-Tier Benchmark for Evaluating LLM Agents as Aviation Copilots in an Interactive Virtual Cockpit Environment

AeroCopilotBench：用于在交互式虚拟驾驶舱环境中评估作为航空副驾驶的大语言模型智能体的双层基准

Yuchen Yuan, Zhenghuang Wu, Yuangan Li, Liang Ma, Ke Li

机构 * School of Aeronautic Science and Engineering, Beihang University（北京航空航天大学航空科学与工程学院） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究提出AeroCopilot操作环境与双层航空智能体评估基准，通过12个模型测试发现静态知识表现难转化为流程执行能力，为航空智能体评估提供可复现基础。

Comments 38 pages, 7 figures, 6 tables

PLSQLBench: Benchmarking LLM Systems for Executable Procedural Database Programming

PLSQLBench：面向可执行过程式数据库编程的大语言模型系统基准测试

Marianne Menglin Liu, Leonid Boytsov, Daniel W. Peterson, Pramuditha Perera, Rongguang Wang, Sai Ashish Somayajula, Syed Hamza Rafique, Rohit Saini, Shubham Pathak, Sujeeth Bharadwaj, Tao Sheng, Graham Horwood, Fahad Shah, Ankan Bansal, Sujith Ravi, Dan Roth

机构 * Oracle AI, Turing Enterprise Inc（Oracle AI 图灵企业公司） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.CL

AI总结 本研究提出首个过程式数据库编程基准PLSQLBench，含2865个任务实例，经8个LLM实验发现其在多方面存在困难，工具增强智能体性能有提升但仍有差距，凸显了传统基准未覆盖的能力。

LLM-based Framework for Generating and Verifying Parallel DEVS Statecharts

基于大语言模型的并行DEVS状态图生成与验证框架

Vamsi Krishna Vasa, Hessam S. Sarjoughian, Edward J. Yellig

机构 * Arizona State University（亚利桑那州立大学） ； Intel Corporation（英特尔公司） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.LG

AI总结 本研究提出智能体式PDEVS-LLM框架，辅助建模人员生成验证PDEVS状态图，经评估该框架可显著提升生成状态图的逻辑一致性。

Comments 22 pages, 5 figures, 9 tables, 1 algorithm

DA-RAC: Distance-Aware Calibration of LLM Judges for Trustworthy AI Auditing

DA-RAC：面向可信AI审计的大语言模型评判器的距离感知校准

Cheng Wu, Vishal Anand, Jaya Krishna Mandivarapu, Xiya Liu, Rui Zhuang

机构 * Microsoft（微软公司） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.CL

AI总结 针对LLM评判器因无关参考示例导致的校准偏差问题，提出DA-RAC距离感知参考锚定校准方法，在多轮评估基准上提升了校准效果并降低了误通过风险，为可信AI审计提供支撑。

Toward Safe LLM Agents: A Survey of Specification, Verification, and Enforcement

面向安全的大语言模型智能体：规范、验证与执行的综述

Pierre Dantas, Lucas Cordeiro, Ehsan Nowroozi, Tihanyi Norbert

机构 * The University of Manchester（曼彻斯特大学） ； The University of Greenwich（格林威治大学） ； Technology Innovation Institute（技术创新研究院） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 该综述针对LLM智能体缺乏形式化任务级安全保障的问题，通过系统分析38项研究，揭示规范瓶颈等四项关键发现，提出三级分类体系与十大问题研究议程，为可信智能体AI研究提供方向。

Comments 28 pages

When Lexical Change Misleads: Rethinking Dynamic Topic Model Evaluation with Traditional and LLM-Based Metrics

当词汇变化产生误导时：结合传统指标与基于大语言模型的指标重新思考动态主题模型评估

Charu Karakkaparambil James

机构 * RPTU University Kaiserslautern-Landau（莱茵兰-普法尔茨州立大学凯撒斯劳滕-兰道分校） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.CL

AI总结 该研究针对动态主题模型评估中词汇变化误导的问题，对比传统指标与基于LLM的语义相似性指标，发现后者在CoNTM上与人工判断一致性更高，提出应结合两类指标开展感知词汇变化的评估。

Proxy-Validated LLM UX Micro-Simulations: An Artifact-First Protocol for Early-Stage Decision Support

代理验证的大语言用户体验微模拟：一种用于早期决策支持的工件优先协议

Alexandre Cristovão Maiorano

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 该研究提出代理验证的LLM驱动UX微模拟流程，通过代理语料库验证模拟结果，结合多指标对比基线、消融实验分析智能体策略，提供可复现的早期UX决策支持方案。

Comments 27 pages, 5 figures, 15 tables

Every Token Counts: Exact Likert-Scale Distributions for Measuring LLM Attitudes and Biases

每个词元都重要：用于测量大语言模型态度与偏差的精确李克特量表分布

Davood Wadi, Mohsen Ghodrat, Matthew Philp

机构 * McGill University（麦吉尔大学） ； University Canada West（加拿大西部大学） ； Toronto Metropolitan University（多伦多都会大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 该研究提出结合人类心理测量学与LLMs机制的精确框架，通过因子实验、词元级PMFs及对应分析方法，分离LLMs的系统性原产国偏差。

Persona Conditioning as an Assessor-Sensitivity Probe for LLM-Based IR Evaluation

角色设定作为基于大语言模型的信息检索评估的评估者敏感性探测工具

Samaneh Mohtadi, Pietro Bernardelle, Joel Mackenzie, Gianluca Demartini

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究以角色设定为探测工具，分析基于大语言模型的IR评估中评估者敏感性，发现高容量模型能保持系统排序一致性，角色来源影响小于评估者角色和模型容量。

Comments Accepted at CIKM 2026

HoosierHelp: Benchmarking LLM Agents for Social Service Navigation

HoosierHelp：面向社会服务导航的大语言模型智能体基准测试

Yiyang Li, Weixiang Sun, Tianyi Ma, Kaiwen Shi, Zheyuan Zhang, Yanfang Ye

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 该研究推出基于印第安纳州3971项公共社会服务资源的交互式基准HoosierHelp，测试发现现有LLM智能体在社会服务导航中对复杂非理想用户交互鲁棒性不足，需更可靠的智能体。

LLM-Guided Heuristic Design from Simulation Traces: A Case Study in Dynamic Production and AGV Scheduling

基于模拟轨迹的大语言模型引导式启发式设计：动态生产与自动导引车调度的案例研究

Jinbo Li, Chuanhao Li

机构 * Tsinghua University（清华大学） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 该研究提出LLM引导的启发式设计框架，通过模拟轨迹诊断优化AGV与生产调度策略，在多组实验中优于多种基线方法，证实模拟轨迹可指导代码层面的策略改进。

Comments 33 pages, 8 figures

Beyond Direct Identifiers: Probabilistic Privacy Risk Estimation for Privacy-Conscious LLM Query Delegation

超越直接标识符：面向注重隐私的大语言模型查询委托的概率隐私风险估计

Li Siyan, Zhou Yu, Julia Hirschberg

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.CL

AI总结 该研究针对注重隐私的LLM查询委托问题，提出概率变体PCD，结合LLM驱动的k-匿名性估计，创建PUPA-SD数据集，发现PAPILLON在Llama-3.2-3B上实现最佳隐私-效用平衡，k-匿名性是有用辅助指标。

Comments Accepted into HAIPS workshop at COLM 2026