语言大模型 / LLM

How Toxic Can You Get? Search-based Toxicity Testing for Large Language Models

你能有多有毒？基于搜索的大型语言模型毒性测试

Simone Corbo, Luca Bancale, Valeria De Gennaro, Livia Lestingi, Vincenzo Scotti, Matteo Camilli

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 EvoTox通过迭代进化策略评估LLM的毒性倾向，有效检测毒性水平并控制成本开销。

Journal ref IEEE Transactions on Software Engineering, Nov. 2025, pp. 3056-3071, vol. 51

A Guide to Large Language Models in Modeling and Simulation: From Core Techniques to Critical Challenges

大语言模型在建模与仿真中的应用指南：从核心技术到关键挑战

Philippe J. Giabbanelli

机构 * Old Dominion University（旧 Dominion 大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.AI

AI总结 本文探讨了大语言模型在建模与仿真中的应用，分析了核心技术和关键挑战，提供了全面的使用指南和实践建议。

Comments Book chapter. Accepted in Artificial Intelligence in Modeling and Simulation, Philippe J. Giabbanelli and Istvan David (eds). Series on Simulation Foundations, Methods and Applications. Springer, Cham. Series ISSN: 2195-2817

BadTemplate: A Training-Free Backdoor Attack via Chat Template Against Large Language Models

BadTemplate: 一种通过聊天模板进行的无训练后门攻击针对大语言模型

Zihan Wang, Hongwei Li, Rui Zhang, Wenbo Jiang, Guowen Xu

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 BadTemplate通过在系统提示中植入恶意指令实现无训练后门攻击，有效提升攻击成功率并引发严重安全风险。

Comments This paper includes biased content that may be disturbing or offensive to certain readers

CASTLE: A Comprehensive Benchmark for Evaluating Student-Tailored Personalized Safety in Large Language Models

CASTLE：一个评估大语言模型学生定制个性化安全性的综合基准

Rui Jia, Ruiyi Lan, Fengrui Liu, Zhongxiang Dai, Bo Jiang, Jing Shao, Jingyuan Chen, Guandong Xu, Fei Wu, Min Zhang

机构 * East China Normal University（华东师范大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Zhejiang University（浙江大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； The Education University of Hong Kong（香港教育大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 CASTLE基准通过评估学生定制个性化安全性，揭示大语言模型在不同学生属性下的安全缺陷。

JSynFlow: Japanese Synthesised Flowchart Visual Question Answering Dataset built with Large Language Models

JSynFlow：利用大语言模型构建的日本合成流程图视觉问答数据集

Hiroshi Sasaki

机构 * The Japan Research Institute, Limited（日本研究所有限公司） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 JSynFlow利用大语言模型生成日本流程图视觉问答数据集，提升VLM在流程图问答任务中的性能。

Comments 7 pages, 1 figure

Journal ref Proceedings of the Annual Conference of JSAI, JSAI2025:2Win587-2Win587, 2025

LEANCODE: Understanding Models Better for Code Simplification of Pre-trained Large Language Models

LEANCODE: 为预训练大语言模型的代码简化更好地理解模型

Yan Wang, Ling Ding, Tien N Nguyen, Shaohua Wang, Yanan Zheng

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 LeanCode通过上下文感知注意力分数优化代码简化，提升预训练大语言模型在代码搜索和摘要任务中的性能。

Comments ACL 2025 Main. Our code and dataset are available at https://github.com/akai-sh/LeanCode

Journal ref Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1551-1567 (2025)

When Elo Lies: Hidden Biases in Codeforces-Based Evaluation of Large Language Models

当Elo谎言：基于Codeforces的大型语言模型评估中的隐藏偏见

Shenyu Zheng, Ximing Dong, Xiaoshuang Liu, Gustavo Oliva, Chong Chun Yong, Dayi Lin, Boyuan Chen, Shaowei Wang, Ahmed E. Hassan

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)

AI总结 本文研究了基于Codeforces的Elo评分中隐藏的偏见因素，发现提交顺序、比赛难度选择和LLM运行稳定性显著影响评分结果，指出直接比较Elo分数缺乏可靠性。

Large Language Models in Software Documentation and Modeling: A Literature Review and Findings

大语言模型在软件文档和建模中的应用：文献综述与发现

Lukas Radosky, Ivan Polasek

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)

AI总结 本文综述了大语言模型在软件文档和建模中的应用，分析了相关任务、提示技术、评估方法及数据集。

Comments This is a preprint of a paper that was presented at the IEEE 24th World Symposium on Applied Machine Intelligence and Informatics (SAMI 2026)

AgenticPay: A Multi-Agent LLM Negotiation System for Buyer-Seller Transactions

AgenticPay: 一种基于多智能体LLM的买方卖方交易谈判系统

Xianyang Liu, Shangding Gu, Dawn Song

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 AgenticPay是一种基于多智能体LLM的买方卖方交易谈判系统，通过自然语言驱动的多轮谈判解决市场交易问题，评估智能体在经济互动中的表现。

Dissecting the SWE-Bench Leaderboards: Profiling Submitters and Architectures of LLM- and Agent-Based Repair Systems

解析SWE-Bench排行榜：LLM和基于代理的修复系统的提交者与架构分析

Matias Martinez, Xavier Franch

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文分析了SWE-Bench排行榜上的提交者和架构，揭示了专有LLM的主导地位及不同设计类型。

Comments Part of this work (RQ1) has been published at the 2026 IEEE/ACM 48th International Conference on Software Engineering (ICSE-SEIP 2026), DOI: 10.1145/3786583.3786904. The published version is also available on arXiv at arXiv:2602.04449

Understanding LLM Evaluator Behavior: A Structured Multi-Evaluator Framework for Merchant Risk Assessment

理解大语言模型评估者行为：一种结构化多评估者框架用于商户风险评估

Liang Wang, Junpeng Wang, Chin-chia Michael Yeh, Yan Zheng, Jiarui Sun, Xiran Fan, Xin Dai, Yujie Fan, Yiwei Cai

机构 * Visa Research（Visa研究） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出一种结构化多评估者框架，用于评估LLM在商户风险评估中的推理质量，揭示了不同模型的自我评估偏见差异，并通过真实数据验证了框架的有效性。

Clouding the Mirror: Stealthy Prompt Injection Attacks Targeting LLM-based Phishing Detection

镜面迷雾：针对基于大语言模型的钓鱼检测的隐秘提示注入攻击

Takashi Koide, Hiroki Nakano, Daiki Chiba

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文首次全面评估了针对基于大语言模型的钓鱼检测的提示注入攻击，提出InjectDefuser防御框架以降低攻击成功率。

Can We Classify Flaky Tests Using Only Test Code? An LLM-Based Empirical Study

仅通过测试代码可以对不稳定测试进行分类吗？基于LLM的经验研究

Alexander Berndt, Vekil Bekmyradov, Rainer Gemulla, Marcus Kessel, Thomas Bach, Sebastian Baltes

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本研究探讨了仅通过测试代码是否能有效分类不稳定测试，发现LLM在无额外上下文时表现有限，需进一步结合检索增强生成等方法提升泛化能力。

Comments 10 pages, 3 figures, 7 tables, 33rd IEEE International Conference on Software Analysis, Evolution and Reengineering: Reproducibility Studies and Negative Results (SANER-RENE 2025)

E.M.Ground: A Temporal Grounding Vid-LLM with Holistic Event Perception and Matching

E.M.Ground: 一种具有整体事件感知和匹配的时序地面视频大语言模型

Jiahao Nie, Wenbin An, Gongjie Zhang, Yicheng Xu, Yap-Peng Tan, Alex C. Kot, Shijian Lu

机构 * Interdisciplinary Graduate Programme, Nanyang Technological University, Singapore（南洋理工大学交叉学科研究生项目） ； Xi’an Jiaotong University, China（西安交通大学） ； Alibaba DAMO Academy, Singapore（阿里巴巴达摩院） ； Institute of Science Tokyo, Japan（东京科学研究院） ； VinUniversity, Vietnam（文大学） ； Nanyang Technological University, Singapore（南洋理工大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 E.M.Ground通过引入事件标记、平滑处理和多粒度特征聚合，提升了时序视频地面任务的性能。

Fine-tuned LLM-based Code Migration Framework

基于微调的LLM代码迁移框架

Oleg Grynets, Vasyl Lyashkevych, Dmytro Baran, Maksym Orliansky, Taras Zelenyy, Markiian Leshchyshyn

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究提出一种基于微调LLM的代码迁移框架，通过自动化SQL特征检测和半监督错误分析，提升数据库迁移的精度与效率。

Comments 16 pages, 27 figures, 7 references

PriMod4AI: Lifecycle-Aware Privacy Threat Modeling for AI Systems using LLM

PriMod4AI：面向AI系统的生命周期感知隐私威胁建模

Gautam Savaliya, Robert Aufschläger, Abhishek Subedi, Michael Heigl, Martin Schramm

机构 * Deggendorf Institute of Technology, Germany（德国德格多夫技术学院） 纠错

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 PriMod4AI通过结合LINDDUN知识库和模型中心隐私攻击知识库，提供了一种统一的隐私威胁建模方法，以识别和分类AI系统生命周期中的隐私威胁。

Comments Accepted at the NDSS LAST-X Workshop 2026

LLM-Synth4KWS: Scalable Automatic Generation and Synthesis of Confusable Data for Custom Keyword Spotting

LLM-Synth4KWS: 可扩展的自动生成和合成混淆数据用于定制关键词识别

Pai Zhu, Quan Wang, Dhruuv Agarwal, Kurt Partridge

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)

AI总结 LLM-Synth4KWS通过生成混淆数据提升定制关键词识别的准确率和鲁棒性。

Journal ref Proc. Interspeech 2025, 2675-2679

A Causal Perspective for Enhancing Jailbreak Attack and Defense

从因果视角提升对抗攻击与防御

Licheng Pan, Yunsheng Lu, Jiexi Liu, Jialing Tao, Haozhe Feng, Hui Xue, Zhixuan Chu, Kui Ren

机构 * The State Key Laboratory of Blockchain and Data Security, Zhejiang University（区块链与数据安全国家重点实验室，浙江大学） ； Alibaba Group（阿里巴巴集团） ； University of Chicago（芝加哥大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Causal Analyst框架，通过因果分析提升大语言模型的对抗攻击与防御能力。

Quantification and Classification of Carbon Nanotubes in Electron Micrographs using Vision Foundation Models

利用视觉基础模型量化和分类电子显微图像中的碳纳米管

Sanjay Pradeep, Chen Wang, Matthew M. Dahm, Jeff D. Eldredge, Candace S. J. Tsai

机构 * Mechanical and Aerospace Engineering, University of California, Los Angeles（加州大学洛杉矶分校机械与航空航天工程学院） ； Health Effects Laboratory Division, National Institute for Occupational Safety and Health（职业安全与卫生研究所健康效应实验室） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)

AI总结 本文提出利用视觉基础模型实现电子显微图像中碳纳米管的自动化量化与分类，通过交互式分割工具和自监督特征学习提升准确性与效率。

RAG4Tickets: AI-Powered Ticket Resolution via Retrieval-Augmented Generation on JIRA and GitHub Data

RAG4Tickets: 通过在JIRA和GitHub数据上的检索增强生成实现AI驱动的工单解决

Mohammad Baqar

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 RAG4Tickets通过整合JIRA和GitHub数据，利用检索增强生成技术，提升工单解决的准确性与效率。

Comments 13 Pages

POLAR: A Benchmark for Multilingual, Multicultural, and Multi-Event Online Polarization

POLAR：一个多语言、多文化、多事件在线极化基准

Usman Naseem, Robert Geislinger, Juan Ren, Sarah Kohail, Rudy Garrido Veliz, P Sam Sahil, Yiran Zhang, Marco Antonio Stranisci, Idris Abdulmumin, Özge Alacam, Cengiz Acartürk, Aisha Jabr, Saba Anwar, Abinew Ali Ayele, Simona Frenda, Alessandra Teresa Cignarella, Elena Tutubalina, Oleg Rogov, Aung Kyaw Htet, Xintong Wang, Surendrabikram Thapa, Kritesh Rauniyar, Tanmoy Chakraborty, Arfeen Zeeshan, Dheeraj Kodati, Satya Keerthi, Sahar Moradizeyveh, Firoj Alam, Arid Hasan, Syed Ishtiaque Ahmed, Ye Kyaw Thu, Shantipriya Parida, Ihsan Ayyub Qazi, Lilian Wanzare, Nelson Odhiambo Onyango, Clemencia Siro, Jane Wanjiru Kimani, Ibrahim Said Ahmad, Adem Chanie Ali, Martin Semmann, Chris Biemann, Shamsuddeen Hassan Muhammad, Seid Muhie Yimam

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；small language model(abstract)；分类 cs.CL

AI总结 POLAR提出一个多语言、多文化、多事件的数据集，通过微调和评估不同模型，揭示极化检测的复杂性与上下文依赖性。

Comments Preprint

SPhyR: Spatial-Physical Reasoning Benchmark on Material Distribution

SPhyR：基于材料分布的空间-物理推理基准

Philipp D. Siedler

机构 * Aleph Alpha Research（Aleph Alpha研究机构） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 SPhyR数据集通过拓扑优化任务评估LLM在空间和物理推理方面的能力，无需模拟工具即可推断最优材料分布。

Can MLLMs generate human-like feedback in grading multimodal short answers?

大型语言模型能否在评估多模态简答时生成类人反馈？

Pritam Sil, Pushpak Bhattacharyya, Pawan Goyal, Ganesh Ramakrishnan

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文研究了多模态简答评分与反馈问题，通过生成数据集评估了四种多模态大语言模型，展示了其在正确性预测和图像相关性评估中的性能。

STACK: Adversarial Attacks on LLM Safeguard Pipelines

STACK: 对大语言模型安全防护流水线的对抗攻击

Ian R. McKenzie, Oskar J. Hollinsworth, Tom Tseng, Xander Davies, Stephen Casper, Aaron D. Tucker, Robert Kirk, Adam Gleave

机构 * UK AISI（英国人工智能安全研究所） ； OATML, University of Oxford（OATML，牛津大学） 纠错

专题命中 评测与基准 ：LLM(title)；分类 cs.CL、cs.AI

AI总结 STACK研究通过开发开源防御流水线，发现新型分类器在三种攻击中表现优异，并提出STaged AttaCK方法实现71%攻击成功率，为防御流水线的安全性提供了关键证据。

Comments Add results on other models and datasets

SynAT: Enhancing Security Knowledge Bases via Automatic Synthesizing Attack Tree from Crowd Discussions

SynAT: 通过自动合成 crowds 的攻击树来增强安全知识库

Ziyou Jiang, Lin Shi, Guowei Yang, Xuyan Ma, Fenglong Li, Qing Wang

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 SynAT通过自动合成攻击树提升安全知识库，利用LLM和提示学习提取安全讨论中的事件和关系，有效增强安全防护能力。

Comments 28 pages, 8 figures

DuoDrama: Supporting Screenplay Refinement Through LLM-Assisted Human Reflection

DuoDrama: 通过LLM辅助的人类反思支持剧本润色

Yuying Tang, Xinyi Chen, Haotian Li, Xing Xie, Xiaojuan Ma, Huamin Qu

专题命中 评测与基准 ：LLM(title)

AI总结 DuoDrama通过LLM辅助人类反思，提升剧本润色阶段的反馈质量和反思深度。

Comments Accepted by CHI 2026

BABE: Biology Arena BEnchmark

BABE：生物学竞技场基准

Junting Zhou, Jin Chen, Linfeng Hao, Denghui Cao, Zheyu Wang, Qiguang Chen, Chaoyou Fu, Jiaze Chen, Yuchen Wu, Ge Zhang, Mingxuan Wang, Wenhao Huang, Tong Yang

机构 * Peking University（北京大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 BABE基准通过评估生物AI系统的实验推理能力，解决现有生物学基准未能评估实验结果与上下文知识整合能力的问题。

Alignment of Diffusion Models: Fundamentals, Challenges, and Future

扩散模型对齐：基础、挑战与未来

Buhua Liu, Shitong Shao, Bao Li, Lichen Bai, Zhiqiang Xu, Haoyi Xiong, James Kwok, Sumi Helal, Zeke Xie

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Baidu Inc.（百度公司） ； The University of Bologna（博洛尼亚大学） 纠错

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文综述了扩散模型对齐的基础、挑战及未来方向，探讨了对齐技术、评估方法及当前挑战的解决方案。

Comments Accepted at ACM Computing Surveys. 35 pages, 5 figures, 4 tables. Paper List: github.com/xie-lab-ml/awesome-alignment-of-diffusion-models

Verifying the Verifiers: Unveiling Pitfalls and Potentials in Fact Verifiers

验证验证者：揭示事实验证器中的陷阱与潜力

Wooseok Seo, Seungju Han, Jaehun Jung, Benjamin Newman, Seungwon Lim, Seungbeen Lee, Ximing Lu, Yejin Choi, Youngjae Yu

机构 * Yonsei University（延世大学） ； Stanford University（斯坦福大学） ； University of Washington（华盛顿大学） ； Seoul National University（首尔国立大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究评估了多种大语言模型和事实验证器，揭示了数据标注问题、前沿模型性能及小型验证器的改进潜力。

Comments Accepted to COLM 2025

Beyond Length: Context-Aware Expansion and Independence as Developmentally Sensitive Evaluation in Child Utterances

超越长度：基于上下文的扩展与独立性作为儿童言语发展的敏感评估

Jiyun Chun, Eric Fosler-Lussier, Michael White, Andrew Perrault

机构 * The Ohio State University（俄亥俄州立大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种基于上下文的评估框架，通过扩展和独立性两个维度评估儿童言语的发展性，提升对儿童对话质量的敏感度。