语言大模型 / LLM

VOW: Verifiable and Oblivious Watermark Detection for Large Language Models

VOW：用于大型语言模型的可验证且 oblivious 水印检测

Xiaokun Luan, Yihao Zhang, Pengcheng Su, Feiran Lei, Meng Sun

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 VOW 提出一种隐私保护且可验证的水印检测协议，通过安全多方计算和可验证 oblivious 假随机函数实现高效检测，提升水印对抗现代改写攻击的鲁棒性。

Using Large Language Models for Black-Box Testing of FMU-Based Simulations

利用大型语言模型对基于FMU的仿真进行黑盒测试

Abdullah Mughees, Gaadha Sudheerbabu, Tanwir Ahmad, Dragos Truscan, Mikael Manngård, Kristian Klemets

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 本文提出利用大型语言模型生成动态仿真模型的测试场景，通过结构化目标减少手动工作量并提高结果可解释性。

Large Language Model-Enhanced Relational Operators: Taxonomy, Benchmark, and Analysis

大语言模型增强的关系运算符：分类、基准测试与分析

Yunxiang Su, Tianjing Zeng, Zhongjun Ding, Yin Lin, Rong Zhu, Zhewei Wei, Bolin Ding, Jingren Zhou

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 本文提出统一的关系运算符分类，设计全面的基准测试，并评估不同实现下的运算符性能，以指导复杂语义查询系统的设计。

Revisiting Framing Codebooks with AI: Employing Large Language Models as Analytical Collaborators in Deductive Content Analysis

重新审视框架代码本：利用大语言模型作为分析合作者进行演绎内容分析

Diego Gomez-Zara, Hernán Valdivieso, Jorge Pérez, Denis Parra, Sebastián Valenzuela

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 本文提出利用大语言模型辅助创建和优化框架代码本，通过结合理论框架与数据驱动探索，揭示潜在模式并支持迭代修订，提升分析方法的创造力同时保持研究者的解释权威。

Personalized Benchmarking: Evaluating LLMs by Individual Preferences

个性化基准测试：通过个体偏好评估LLM

Cristina Garbacea, Heran Wang, Chenhao Tan

机构 * University of Chicago（芝加哥大学） 纠错

专题命中 评测与基准 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出个性化LLM基准测试，通过ELO评分和Bradley-Terry系数分析115名用户对LLM的排名差异，发现个体偏好与聚合排名差异显著，强调开发个性化基准的重要性。

Comments Accepted to Findings of ACL 2026

Few-Shot and Pseudo-Label Guided Speech Quality Evaluation with Large Language Models

基于少量样本和伪标签的语音质量评估方法

Ryandhimas E. Zezario, Dyah A. M. G. Wisnu, Szu-Wei Fu, Sabato Marco Siniscalchi, Hsin-Min Wang, Yu Tsao

机构 * Academia Sinica, National Chengchi University, NVIDIA, University of Palermo 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 本文提出GatherMOS框架，利用大语言模型作为元评估器整合多种信号进行质量预测，通过零样本和少样本学习展示了其在不同条件下的优越性能。

Comments Accepted to IEEE ICASSP 2026

How Controllable Are Large Language Models? A Unified Evaluation across Behavioral Granularities

大型语言模型有多可控？跨行为细粒度的统一评估

Ziwen Xu, Kewei Xu, Haoming Xu, Haiwen Hong, Longtao Huang, Hui Xue, Ningyu Zhang, Yongliang Shen, Guozhou Zheng, Huajun Chen, Shumin Deng

机构 * Zhejiang University（浙江大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出SteerEval基准，从语言特征、情感和个性三个领域评估LLM可控性，揭示细粒度控制效果下降问题，提供安全可控的LLM行为框架。

Comments ACL 2026

Can Large Language Models Infer Causal Relationships from Real-World Text?

大语言模型能否从现实文本中推断因果关系？

Ryan Saklad, Aman Chadha, Oleg Pavlov, Raha Moraffah

机构 * Worcester Polytechnic Institute（伍斯特理工学院） ； Apple（苹果公司） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文探讨大语言模型能否从现实文本中推断因果关系，构建了首个现实世界数据集，发现最佳模型在因果推断上的F1分数仅为0.535。

An Empirical Study of Sustainability in Prompt-driven Test Script Generation Using Small Language Models

基于小型语言模型的提示驱动测试脚本生成的实证研究

Pragati Kumari, Novarun Deb

专题命中 评测与基准 ：language model(title,abstract)；small language model(title,abstract)；large language model(abstract)；SLM(abstract)

AI总结 本文通过HumanEval基准和适应性提示变体，实证分析小型语言模型在测试脚本生成中的环境与性能权衡，揭示提示结构与模型选择对环境和性能的影响。

Comments 6 pages. arXiv admin note: substantial text overlap with arXiv:2602.18012

EventChat: Implementation and user-centric evaluation of a large language model-driven conversational recommender system for exploring leisure events in an SME context

EventChat: 一种基于大语言模型的对话推荐系统在中小企业休闲活动探索中的实现与用户导向评估

Hannes Kunstmann, Joseph Ollier, Joel Persson, Florian von Wangenheim

机构 * Swiss Federal Institute of Technology, Zurich（苏黎世联邦理工学院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出一种基于大语言模型的对话推荐系统，通过客观指标和用户评价评估其在中小企业场景下的性能，揭示了系统在用户体验和商业可行性方面的挑战。

Comments Just accepted version

Transferring Physical Priors into Remote Sensing Segmentation via Large Language Models

通过大语言模型将物理先验转移到遥感分割中

Yuxi Lu, Kunqi Li, Zhidong Li, Xiaohan Su, Biao Wu, Chenya Huang, Bin Liang

机构 * University of Technology Sydney（悉尼科技大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；foundation model(abstract)；prompting(abstract)

AI总结 本文提出PriorSeg模型，利用物理先验提升遥感图像分割的准确性与物理合理性，通过构建物理中心知识图谱和异构数据集Phy-Sky-SA，无需重新训练即可提升性能。

LLMORPH: Automated Metamorphic Testing of Large Language Models

LLMORPH：大型语言模型的自动化形变测试

Steven Cho, Stefano Ruberto, Valerio Terragni

机构 * University of Auckland（奥克兰大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 LLMORPH通过形变测试技术自动检测大型语言模型输出不一致问题，无需人工标注数据，适用于多种NLP任务和模型评估。

Comments Accepted for publication in the 40th IEEE/ACM International Conference on Automated Software Engineering (ASE 2025). This arXiv version is the authors' accepted manuscript. DOI: 10.1109/ASE63991.2025.00385 Code: github.com/steven-b-cho/llmorph

Journal ref 40th IEEE/ACM International Conference on Automated Software Engineering (ASE 2025)

RedTopic: Toward Topic-Diverse Red Teaming of Large Language Models

RedTopic：迈向大语言模型的课题多样化红队测试

Jiale Ding, Xiang Zheng, Yutao Wu, Cong Wang, Wei-Bin Lee, Ling Pan, Xingjun Ma, Yu-Gang Jiang

机构 * Fudan University（复旦大学） ； City University of Hong Kong（香港城市大学） ； Deakin University（德克萨斯大学） ； Hon Hai Research Institute（鸿海研究室） ； Hong Kong University of Science and Technology（香港理工大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出RedTopic框架，通过上下文生成管道、聚合奖励设计和多目标RL训练循环，生成多样化对抗提示，提升红队测试的适应性和课题多样性。

Knowledge Boundary Discovery for Large Language Models

大型语言模型的知识边界发现

Ziquan Wang, Zhongqi Lu

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出KBD框架，通过强化学习探索LLM的知识边界，通过自动生成可答与不可答问题识别边界，验证了方法的有效性。

Comments 9 pages,4 figures

Comparative Analysis of Large Language Models in Generating Telugu Responses for Maternal Health Queries

大型语言模型在生成母体健康问题Telugu回应中的比较分析

Anagani Bhanusree, Sai Divya Vissamsetty, K VenkataKrishna Rao, Rimjhim

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

AI总结 研究比较了ChatGPT-4o、GeminiAI和Perplexity AI在母体健康问题中的Telugu回应表现，通过语义相似性指标和专家评估发现Gemini在准确性与连贯性上表现最佳，Perplexity在Telugu提示下表现良好，ChatGPT需改进。

LLLMs: A Data-Driven Survey of Evolving Research on Limitations of Large Language Models

LLMs: 一种数据驱动的关于大语言模型局限性研究演变的调查

Aida Kostikova, Zhipin Wang, Deidamea Bajri, Ole Pütz, Benjamin Paaßen, Steffen Eger

机构 * University of Bielefeld（比勒菲尔德大学） ； University of Technology Nuremberg（纽伦堡技术大学） ； University of Mannheim（曼海姆大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文通过数据驱动的方法分析了大语言模型局限性研究的演变趋势，揭示了推理、泛化等关键问题的热点及研究进展。

Comments ACM Computing Surveys (CSUR); 56 pages

Class Model Generation from Requirements using Large Language Models

基于大型语言模型的需求生成类模型

Jackson Nguyen, Rui En Koe, Fanyu Wang, Chetan Arora, Alessio Ferrari

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

AI总结 本文研究了大型语言模型在自动从自然语言需求生成UML类图方面的有效性，通过双验证框架评估模型生成的准确性和一致性。

Comments Accepted by The Eighth Workshop on Modeling and Simulation of Software-Intensive Systems (MSSiS 2026), ICSE 2026

From Restructuring to Stabilization: A Large-Scale Experiment on Iterative Code Readability Refactoring with Large Language Models

从重构到稳定：基于大语言模型的迭代代码可读性重构大规模实验

Norman Peitek, Julia Hess, Sven Apel

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

AI总结 本文通过大规模实验研究大语言模型在迭代代码重构中的能力，揭示了重构过程的收敛趋势及可读性提升的机制。

Preserving Historical Truth: Detecting Historical Revisionism in Large Language Models

守护历史真实：检测大语言模型中的历史修正主义

Francesco Ortu, Joeun Yook, Punya Syon Pandey, Keenan Samway, Bernhard Schölkopf, Alberto Cazzaniga, Rada Mihalcea, Zhijing Jin

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

AI总结 该研究提出HistoricalMisinfo数据集，用于评估大语言模型在面对历史修正主义请求时的鲁棒性及事实准确性。

Comments Accepted at IASEAI 2026, non-archival

On Calibration of Large Language Models: From Response To Capability

对大型语言模型的校准：从响应到能力

Sin-Han Yang, Cheng-Kuang Wu, Chieh-Yen Lin, Yun-Nung Chen, Hung-yi Lee, Shao-Hua Sun

机构 * Appier AI Research（Appier人工智能研究院） ； National Taiwan University（国立台湾大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出能力校准方法，用于改进大型语言模型在查询上的准确性估计，以提升预测和资源分配效果。

Comments preprint

AECBench: A Hierarchical Benchmark for Knowledge Evaluation of Large Language Models in the AEC Field

AECBench: 一个用于评估大型语言模型在AEC领域知识能力的分层基准

Chen Liang, Zhaoqi Huang, Haofen Wang, Fu Chai, Chunying Yu, Huanhuan Wei, Zhengjie Liu, Yanpeng Li, Hongjun Wang, Ruifeng Luo, Xianzhong Zhao

机构 * College of Civil Engineering, Tongji University（同济大学土木工程学院） ； Shanghai Qi Zhi Institute（上海启智研究院） ； Arcplus Group East China Architectural Design & Research Institute Co., Ltd.（Arcplus集团东部建筑设计与研究研究院有限公司） ； College of Design and Innovation, Tongji University（同济大学设计与创新学院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 AECBench提出一个分层基准，评估大型语言模型在AEC领域知识能力，揭示模型在复杂推理和文档生成方面的不足。

Comments Accepted by Advanced Engineering Informatics. Code and data available at: https://github.com/ArchiAI-LAB/AECBench

Journal ref Advanced Engineering Informatics, Vol. 71, Article 104314 (2026)

Improving Code Generation via Small Language Model-as-a-judge

通过小型语言模型作为评判者改进代码生成

Giuseppe Crupi, Rosalia Tufano, Gabriele Bavota

专题命中 评测与基准 ：language model(title,abstract)；small language model(title)；large language model(abstract)；SLM(abstract)

AI总结 通过训练小型语言模型作为代码正确性评判者，改进代码生成性能，展现其在无需执行信息时优于现有方法，并以更低成本接近大规模模型表现。

Comments Accepted to the 48th International Conference on Software Engineering (ICSE 2026)

A Large-Scale Benchmark for Evaluating Large Language Models on Medical Question Answering in Romanian

面向罗马尼亚语医疗问答的大型基准测试

Ana-Cristina Rogoz, Radu Tudor Ionescu, Alexandra-Valentina Anghel, Ionut-Lucian Antone-Iordache, Simona Coniac, Andreea Iuliana Ionescu

机构 * University of Bucharest（布加勒斯特大学） ； Colţea Clinical Hospital（科尔切亚临床医院） ； Hospice Hope Bucharest（希望临终关怀布加勒斯特医院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出首个罗马尼亚语医疗问答基准测试MedQARo，评估了多种LLM在医疗问答任务中的表现，发现微调模型在泛化能力上优于零样本模型。

Comments Accepted in npj Digital Medicine

Benchmarking Large Language Models for Geolocating Colonial Virginia Land Grants

对殖民弗吉尼亚土地授予进行大规模语言模型评估

Ryan Mioduski

机构 * Independent Researcher（独立研究者） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究评估了大规模语言模型在将殖民弗吉尼亚土地授予描述转换为地理坐标方面的性能，发现模型在准确性与成本效益上表现优异。

Journal ref Journal of Spatial Information Science, No. 31 (2025), pp. 57-96

CORE: Comprehensive Ontological Relation Evaluation for Large Language Models

CORE：面向大语言模型的全面本体关系评估

Satyam Dwivedi, Sanjukta Ghosh, Shivam Dwivedi, Nishi Kumari, Anil Thakur, Anurag Purushottam, Deepak Alok, Praveen Gatla, Manjuprasad B, Bipasha Patgiri

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 CORE提出一个全面评估大语言模型语义关系区分能力的数据集和基准测试，揭示其在无关性推理上的显著缺陷。

Are Large Language Models Sensitive to the Motives Behind Communication?

大型语言模型对沟通动机是否敏感？

Addison J. Wu, Ryan Liu, Kerem Oktar, Theodore R. Sumers, Thomas L. Griffiths

机构 * Princeton University（普林斯顿大学） ； Anthropic 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究了LLMs对沟通动机的敏感性，通过实验发现LLMs能以人类方式处理偏见信息，但需改进以适应更复杂的现实场景。

Comments NeurIPS 2025

Wikontic: Constructing Wikidata-Aligned, Ontology-Aware Knowledge Graphs with Large Language Models

Wikontic: 构建与维基数据对齐、本体感知的知识图谱

Alla Chepurova, Aydar Bulatov, Mikhail Burtsev, Yuri Kuratov

机构 * Cognitive AI Systems Lab（认知人工智能系统实验室） ； Moscow Independent Research Institute of Artificial Intelligence（莫斯科独立人工智能研究所） ； London Institute for Mathematical Sciences（伦敦数学科学研究所） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Wikontic通过多阶段流程构建维基数据对齐、本体感知的知识图谱，提升KG质量并实现高效构建。

Evaluating Large Language Models for Time Series Anomaly Detection in Aerospace Software

评估大型语言模型在航空航天软件时间序列异常检测中的应用

Yang Liu, Yixing Luo, Xiaofeng Li, Xiaogang Dong, Bin Gu, Zhi Jin

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

AI总结 本文提出ATSADBench基准，评估大型语言模型在航空航天软件时间序列异常检测中的性能，发现其在单变量任务表现良好，但多变量任务效果欠佳，且RAG策略可能加剧假警报问题。

Comments This paper has been accepted by ASE 2025

Uncertainty Quantification for Language Models: A Suite of Black-Box, White-Box, LLM Judge, and Ensemble Scorers

语言模型的不确定性量化：一套黑盒、白盒、LLM评判者和集成评分器

Dylan Bouchard, Mohit Singh Chauhan

机构 * CVS Health（CVS健康公司） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出了一种灵活的框架，利用黑盒、白盒、LLM评判者和集成评分器来检测语言模型的幻觉问题，通过可调节的集成方法提升检测性能。

Comments Accepted by TMLR; UQLM repository: https://github.com/cvs-health/uqlm

Journal ref Transactions on Machine Learning Research, 2025

TeleTables: A Benchmark for Large Language Models in Telecom Table Interpretation

TeleTables: 电信表格解释中的大语言模型基准

Anas Ezzakri, Nicola Piovesan, Mohamed Sana, Antonio De Domenico, Fadhel Ayed, Haozhe Zhang

机构 * Paris Research Center, Huawei Technologies（巴黎研究中心，华为技术） 纠错

专题命中 评测与基准 ：language model(title,abstract)；large language model(title)；LLM(abstract)；pretraining(abstract)

AI总结 TeleTables 是一个用于评估大语言模型在电信表格解释能力的基准，揭示了在电信标准上进行领域微调的重要性。