语言大模型 / LLM

LLM is Not All You Need: A Systematic Evaluation of ML vs. Foundation Models for text and image based Medical Classification

LLM并非万能：对ML与基础模型在文本和图像医学分类中的系统评估

Meet Raval, Tejul Pandit, Dhvani Upadhyay

机构 * University of Southern California Los Angeles, USA（美国南加州大学） ； Dhirubhani Ambani University Gandhinagar, India（印度达尔布哈尼·阿班尼大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；foundation model(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文系统评估了ML与基础模型在医学分类中的表现，发现传统ML模型在多数任务中表现优异，而PEFT方法的效果依赖于适应策略。

Comments 9 pages, 5 figures, 3 tables, paper accepted in AAIML'26 conference

EmbedAgent: Benchmarking Large Language Models in Embedded System Development

EmbedAgent: 在嵌入式系统开发中评估大型语言模型

Ruiyang Xu, Jialun Cao, Mingyuan Wu, Wenliang Zhong, Yaojie Lu, Ben He, Xianpei Han, Shing-Chi Cheung, Le Sun

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； Peng Cheng Laboratory（鹏城实验室） ； Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；pretraining(abstract)

AI总结 本文提出EmbedAgent和Embedbench，用于评估LLMs在嵌入式系统开发中的能力，发现通用LLMs在特定任务中表现不佳，提出检索增强生成和编译器反馈策略以提升性能。

Comments 12 pages, accepted by International Conference on Software Engineering (ICSE)

Standardizing Longitudinal Radiology Report Evaluation via Large Language Model Annotation

通过大型语言模型标注标准化纵向放射学报告评估

Xinyi Wang, Grazziela Figueredo, Ruizhe Li, Xin Chen

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于大型语言模型的标注方法，用于标准化放射学报告中的纵向信息评估，通过对比实验验证了其在疾病进展检测和跟踪方面的优越性能。

Regional Bias in Large Language Models

大语言模型中的区域偏见

M P V S Gopinadh, Kappara Lakshmi Sindhu, Soma Sekhar Pandu Ranga Raju P, Yesaswini Swarna

机构 * Vishnu Institute of Technology（维斯努技术学院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过FAZE框架评估了大语言模型中的区域偏见，发现不同模型在区域偏好上有显著差异，揭示了地理偏见对LLM输出公平性和包容性的影响。

Comments 8 pages, 1 figure. Presented at the Second International Conference on Advanced Computing, Machine Learning, Robotics and Internet Technologies (AMRIT 2024)

Persona Jailbreaking in Large Language Models

大型语言模型中的身份劫持

Jivnesh Sandhan, Fei Cheng, Tushar Sandhan, Yugo Murawaki

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 PHISH通过隐含引导历史的身份劫持框架，揭示LLM身份操控的新漏洞，实现对身份的可控操控。

Comments Accepted at EACL26 (Findings)

An Evolutionary Framework for Automatic Optimization Benchmark Generation via Large Language Models

基于大语言模型的进化自动优化基准生成框架

Yuhiro Ono, Tomohiro Harada, Yukiya Miura

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 本文提出基于大语言模型的进化自动优化基准生成框架，通过生成数学表达式问题诱导不同算法性能差异，实验表明该框架能高效生成具有显著区分性的优化基准。

AgentDrive: An Open Benchmark Dataset for Agentic AI Reasoning with LLM-Generated Scenarios in Autonomous Systems

AgentDrive: 一个用于自主系统中基于LLM生成场景的代理AI推理开放基准数据集

Mohamed Amine Ferrag, Abderrahmane Lakas, Merouane Debbah

机构 * Department of Computer and Network Engineering, College of Information Technology, United Arab Emirates University（计算机与网络工程系，信息科技学院，阿联酋大学） ； Khalifa University of Science and Technology（科技大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 AgentDrive是一个用于自主系统中基于LLM生成场景的代理AI推理开放基准数据集，包含300,000个驾驶场景和100,000个问题的多项选择基准，用于评估和训练自主代理。

Comments 16 pages

Supporting Stakeholder Requirements Expression with LLM Revisions: An Empirical Evaluation

通过LLM修订支持利益相关者需求表达：一项实证评估

Michael Mircea, Emre Gevrek, Elisa Schmid, Kurt Schneider

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文通过实证研究展示LLM在辅助利益相关者表达需求方面的有效性，证明其能提升需求表达的完整性、清晰度和一致性。

Comments This paper has been accepted at the research track of the 32nd International Working Conference on Requirements Engineering: Foundation for Software Quality (REFSQ 2026)

Modular Autonomy with Conversational Interaction: An LLM-driven Framework for Decision Making in Autonomous Driving

模块化自主性与对话交互：一种基于大语言模型的决策框架用于自动驾驶

Marvin Seegert, Korbinian Moller, Johannes Betz

机构 * Professorship of Autonomous Vehicle Systems, TUM School of Engineering and Design, Technical University of Munich（自主车辆系统教授职位，技术大学慕尼黑工程与设计学院，技术大学慕尼黑） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出基于大语言模型的自动驾驶决策框架，通过交互层与Autoware集成，实现乘客高级命令的翻译与执行，提升模块化自动驾驶系统的安全性和扩展性。

Comments Submitted to the IEEE Intelligent Vehicles Symposium (IV 2026), Detroit, MI, United States

When Agents Fail to Act: A Diagnostic Framework for Tool Invocation Reliability in Multi-Agent LLM Systems

当代理人失败时：多代理LLM系统工具调用可靠性的诊断框架

Donghao Huang, Gauri Malwe, Zhaoxia Wang

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出了一种多代理LLM系统工具调用可靠性的诊断框架，通过大数据分析评估程序可靠性，发现工具初始化故障是小模型的主要瓶颈，而qwen2.5:32b在性能上接近GPT-4.1。

Comments Accepted for publication in 2026 The 9th International Conference on Artificial Intelligence and Big Data (ICAIBD 2026)

Improving Estonian Text Simplification through Pretrained Language Models and Custom Datasets

通过预训练语言模型和定制数据集改进爱沙尼亚文本简化

Eduard Barbu, Meeri-Ly Muru, Sten Marcus Malva

机构 * Institute of Computer Science（计算机科学研究所） ； University of Tartu（塔尔图大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 本文利用预训练语言模型和定制数据集，改进爱沙尼亚文本简化效果，验证了LLaMA在低资源语言中的优越性。

Comments RANLP 2025 version, including code and data

LLM-Based Adversarial Persuasion Attacks on Fact-Checking Systems

基于大语言模型的对抗说服攻击对事实核查系统的攻击

João A. Leite, Olesya Razuvayevskaya, Kalina Bontcheva, Carolina Scarton

机构 * Department of Computer Science, University of Sheffield, UK（计算机科学系，谢菲尔德大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出基于大语言模型的说服对抗攻击方法，通过重述声明影响事实核查系统的验证和证据检索效果。

From LLMs to Agents in Programming: The Impact of Providing an LLM with a Compiler

从LLM到代理：提供编译器对编程的影响

Viktor Kjellberg, Miroslaw Staron, Farnaz Fotrousi

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)

AI总结 本文研究了提供编译器如何提升LLM在编程任务中的表现，发现编译器能显著提高编译成功率并减少错误，且小型模型在某些情况下表现更优。

FUSAR-KLIP: Towards Multimodal Foundation Models for Remote Sensing

FUSAR-KLIP：迈向遥感多模态基础模型

Yi Yang, Xiaokun Zhang, Qingchen Fang, Jing Liu, Ziqi Ye, Rui Li, Li Liu, Haipeng Wang

机构 * Key Laboratory for Information Science of Electromagnetic Waves (MoE), Fudan University（电磁波信息科学重点实验室（MoE），复旦大学） ； Institute of Zhejiang Laboratory（浙江实验室研究院） ； College of Electronic Science and Technology, NUDT（电子科学与技术学院，南大学） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；language model(abstract)

AI总结 FUSAR-KLIP是首个针对SAR图像的多模态基础模型，通过构建大规模数据集、生成结构化文本、设计自洽优化机制和建立统一评估基准，解决遥感图像与通用视觉表示之间的认知不一致问题。

Better Generalizing to Unseen Concepts: An Evaluation Framework and An LLM-Based Auto-Labeled Pipeline for Biomedical Concept Recognition

更好地泛化到未见概念：一种评估框架和一个基于LLM的自动标注流水线用于生物医学概念识别

Shanshan Liu, Noriki Nishida, Fei Cheng, Narumi Tokunaga, Rumana Ferdous Munne, Yuki Yamagata, Kouji Kozaki, Takehito Utsuro, Yuji Matsumoto

机构 * RIKEN AIP ； University of Tsukuba（大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；分类 cs.CL

AI总结 本文提出了一种评估框架和基于LLM的自动标注流水线，用于提升生物医学概念识别中对未见概念的泛化能力。

Comments Accepted to EACL 2026 (Main)

Is Length Really A Liability? An Evaluation of Multi-turn LLM Conversations using BoolQ

长度真的是一种劣势吗？使用BoolQ评估多轮LLM对话

Karl Neergaard, Le Qiu, Emmanuele Chersoni

机构 * The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；分类 cs.CL

AI总结 本研究通过BoolQ数据集评估多轮对话中LLM响应真实性，发现对话长度和支架条件对模型表现有显著影响，揭示了静态评估的局限性。

Comments 4 pages plus 6 pages of bibliography and appendix

Machine-Assisted Grading of Nationwide School-Leaving Essay Exams with LLMs and Statistical NLP

利用LLM和统计NLP进行全国性毕业考试作文自动评分

Andres Karjus, Kais Allkivi, Silvia Maine, Katarin Leppik, Krister Kruusmaa, Merilin Aruvee

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了利用LLM和统计NLP进行全国毕业考试作文自动评分的可行性，证明其在保持人类监督的同时可实现高精度评估。

PRACTIQ: A Practical Conversational Text-to-SQL dataset with Ambiguous and Unanswerable Queries

PRACTIQ：一个实用的对话式文本到SQL数据集，包含模糊和无法回答的查询

Mingwen Dong, Nischal Ashok Kumar, Yiqun Hu, Anuj Chauhan, Chung-Wei Hang, Shuaichen Chang, Lin Pan, Wuwei Lan, Henghui Zhu, Jiarong Jiang, Patrick Ng, Zhiguo Wang

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 PRACTIQ数据集旨在解决模糊和无法回答的文本到SQL问题，通过四轮对话生成和多种LLM基准测试，评估系统在复杂查询中的表现。

Prompting in Practice: Investigating Software Practitioners' Use of Generative AI Tools

实践中的提示：调查软件从业者使用生成式AI工具的方式

Daniel Otten, Trevor Stalnaker, Nathan Wintersgill, Oscar Chaparro, Denys Poshyvanyk

专题命中 评测与基准 ：prompting(title,abstract)

AI总结 研究调查软件从业者在实际开发中使用生成式AI工具的提示策略与实践，揭示其在代码生成、调试等任务中的应用现状及挑战。

Evaluating the Effect of Retrieval Augmentation on Social Biases

评估检索增强对社会偏见的影响

Tianhui Zhang, Yi Zhou, Danushka Bollegala

机构 * University of Liverpool（利兹大学） ； Cardiff University（卡迪夫大学） ； Amazon（亚马逊） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文研究了检索增强生成在三种语言中对社会偏见的影响，发现文档集合中的偏见在生成响应中被放大，强调了RAG在实际应用中需谨慎评估社会偏见。

Comments EACL26 main

I-MCTS: Enhancing Agentic AutoML via Introspective Monte Carlo Tree Search

I-MCTS：通过反思蒙特卡洛树搜索增强代理自动机器学习

Zujie Liang, Feng Wei, Wujiang Xu, Lin Chen, Yuxi Qian, Xinhui Wu

机构 * Ant Group（蚂蚁集团） ； Rutgers University（罗格斯大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 I-MCTS通过反思蒙特卡洛树搜索提升代理AutoML性能，实现4%的绝对性能提升。

Comments EACL 2026 Findings

Topic-Specific Classifiers are Better Relevance Judges than Prompted LLMs

针对特定主题的分类器比提示过的大型语言模型更能判断相关性

Lukas Gienapp, Martin Potthast, Andrew Yates, Harrisen Scells, Eugene Yang

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出通过微调monoT5训练针对特定主题的相关性分类器，以提高未被评判文档问题的处理效果，相比使用LLM作为评判者的方法更可靠且更简单。

Comments 10 pages, 3 figures, 4 tables

Zero-Shot Speech LLMs for Multi-Aspect Evaluation of L2 Speech: Challenges and Opportunities

零样本语音大语言模型在二语语音多维度评估中的应用：挑战与机遇

Aditya Kamlesh Parikh, Cristian Tejedor-Garcia, Catia Cucchiarini, Helmer Strik

机构 * Centre for Language Studies（语言研究学院） 纠错

专题命中 评测与基准 ：LLM(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 本文探讨了零样本语音大语言模型在二语发音多维度评估中的应用，分析了其在准确性、流利度、语调和完整性方面的评分表现及改进方向。

Comments This publication is part of the project Responsible AI for Voice Diagnostics (RAIVD) with file number NGF.1607.22.013 of the research programme NGF AiNed Fellowship Grants which is financed by the Dutch Research Council (NWO)

Journal ref 10th Workshop on Speech and Language Technology in Education (SLaTE),2025

Heterogeneous Prompting and Execution Feedback for SWE Issue Test Generation and Selection

异构提示与执行反馈用于SWE问题测试生成与选择

Toufique Ahmed, Jatin Ganhotra, Avraham Shinnar, Martin Hirzel

专题命中 评测与基准 ：prompting(title)

AI总结 本文提出e-Otter++生成器，通过异构提示与执行反馈提升SWE问题测试生成效率，实验显示其在TDD-Bench Verified基准测试中达到63%的平均失败到通过率。

Comments Accepted to the International Conference on Software Engineering (ICSE-2026)

AgentsEval: Clinically Faithful Evaluation of Medical Imaging Reports via Multi-Agent Reasoning

AgentsEval: 通过多智能体推理实现医学影像报告的临床可信评估

Suzhong Fu, Jingqi Dong, Xuan Ding, Rui Sun, Yiming Yang, Shuguang Cui, Zhen Li

机构 * FNii-Shenzhen, The Chinese University of Hong Kong (Shenzhen) School of Science and Engineering（深圳FNii、香港中文大学（深圳）科学与工程学院） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 AgentsEval通过多智能体推理框架，实现医学影像报告的临床可信评估，提供结构化反馈和稳健的评估结果。

MultiLexNorm++: A Unified Benchmark and a Generative Model for Lexical Normalization for Asian Languages

MultiLexNorm++: 一个统一的基准和一种生成模型用于亚洲语言的词汇规范化

Weerayut Buaphet, Thanh-Nhi Nguyen, Risa Kondo, Tomoyuki Kajiwara, Yumin Kim, Jimin Lee, Hwanhee Lee, Holy Lovenia, Peerat Limkonchotiwat, Sarana Nutanong, Rob Van der Goot

机构 * School of Information Science and Technology (VISTEC)（信息科学与技术学院） ； University of Information Technology, Ho Chi Minh City（胡志明市信息技术大学） ； Vietnam National University, Ho Chi Minh City（越南国家大学胡志明市分校） ； Graduate School of Science and Engineering, Ehime University（Ehime大学研究生院） ； D3 Center, The University of Osaka（大阪大学D3中心） ； Chung-Ang University（Chung-Ang大学） ； IT University of Copenhagen（哥本哈根IT大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 MultiLexNorm++提出一种基于大语言模型的新架构，用于改进亚洲语言的词汇规范化任务，涵盖5种不同语言家族的亚洲语言。

WildScore: Benchmarking MLLMs in-the-Wild Symbolic Music Reasoning

WildScore: 多模态符号音乐推理在现实中的基准测试

Gagan Mundada, Yash Vishe, Amit Namburi, Xin Xu, Zachary Novack, Julian McAuley, Junda Wu

机构 * University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 WildScore是首个用于评估多模态大语言模型在现实世界中符号音乐推理能力的基准测试，通过真实音乐作品和用户生成问题，系统性评估模型在音乐学分析中的表现。

Identifying Concurrency Bug Reports via Linguistic Patterns

通过语言模式识别并发Bug报告

Shuai Shao, Lu Xiao, Tingting Yu

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)

AI总结 本文提出基于语言模式的框架，通过微调预训练语言模型实现高精度识别并发Bug报告，提升分类自动化与可解释性。

CRADLE Bench: A Clinician-Annotated Benchmark for Multi-Faceted Mental Health Crisis and Safety Risk Detection

CRADLE Bench: 一种多维心理健康危机和安全风险检测的临床标注基准

Grace Byun, Rebecca Lipschutz, Sean T. Minton, Abigail Lott, Jinho D. Choi

机构 * Emory University, Department of Computer Science（埃默里大学计算机科学系） ； Emory University, Department of Psychiatry and Behavioral Sciences（埃默里大学精神病学与行为科学系） 纠错

专题命中 评测与基准 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 CRADLE Bench通过多维危机检测基准，结合临床标准和时间标签，提升语言模型对心理健康危机和安全风险的识别能力。

Journal ref EACL 2026

EvoCUA: Evolving Computer Use Agents via Learning from Scalable Synthetic Experience

EvoCUA：通过可扩展的合成经验学习来进化计算机使用代理

Taofeng Xue, Chong Peng, Mianqiu Huang, Linsen Guo, Tiancheng Han, Haozhe Wang, Jianing Wang, Xiaocheng Zhang, Xin Yang, Dengchang Zhao, Jinrui Ding, Xiandi Ma, Yuchen Xie, Peng Pei, Xunliang Cai, Xipeng Qiu

机构 * Meituan（美团） ； Fudan University（复旦大学） ； Tongji University（同济大学） ； The Hong Kong University of Science and Technology（香港理工大学） 纠错

专题命中 评测与基准 ：foundation model(abstract)；分类 cs.AI

AI总结 EvoCUA通过可扩展的合成经验学习进化计算机使用代理，实现更高性能和通用性。

Comments 26 pages, 8 figures