语言大模型 / LLM

VRIQ: Benchmarking and Analyzing Visual-Reasoning IQ of VLMs

VRIQ：评估和分析视觉推理IQ的VLMs基准测试

Tina Khezresmaeilzadeh, Jike Zhong, Konstantinos Psounis

机构 * University of Southern California, Los Angeles, USA（美国南加州大学） 纠错

专题命中 推理与问题求解 ：language model(abstract)；分类 cs.LG

AI总结 VRIQ基准测试评估了VLMs的视觉推理能力，发现其在抽象推理任务中表现薄弱，主要源于感知限制，提出细粒度诊断方法以改进多模态系统中的视觉推理。

See Less, See Right: Bi-directional Perceptual Shaping For Multimodal Reasoning

看得少，看得对：双向感知塑造用于多模态推理

Shuoshuo Zhang, Yizhen Zhang, Jingjing Fu, Lei Song, Jiang Bian, Yujiu Yang, Rui Wang

机构 * Microsoft Research Asia（微软亚洲研究院） ； Tsinghua University（清华大学） 纠错

专题命中 推理与问题求解 ：language model(abstract)

AI总结 本文提出BiPS，通过双向感知塑造提升多模态推理性能，有效增强细粒度视觉依赖并提升跨领域泛化能力。

Affordance-Aware Interactive Decision-Making and Execution for Ambiguous Instructions

具有包容性的交互决策与执行以应对模糊指令

Hengxuan Xu, Fengbo Lan, Zhixin Zhao, Shengjie Wang, Mengqiao Liu, Jieqian Sun, Yu Cheng, Tao Zhang

机构 * Department of Automation, Tsinghua University（清华大学自动化系） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息学院） ； Computer Science and Engineering Department, Chinese University of Hong Kong（香港中文大学计算机科学与工程系） 纠错

专题命中 推理与问题求解 ：language model(abstract)

AI总结 AIDE通过双流框架整合交互式探索与视觉-语言推理，实现对模糊指令的高效决策与执行，提升机器人在陌生环境中的任务规划能力。

Comments 14 pages, 10 figures, 8 tables

Applying Ground Robot Fleets in Urban Search: Understanding Professionals' Operational Challenges and Design Opportunities

在城市搜索中应用地面机器人队伍：理解专业人员的操作挑战与设计机会

Puqi Zhou, Charles R. Twardy, Cynthia Lum, Myeong Lee, David J. Porfirio, Michael R. Hieb, Chris Thomas, Xuesu Xiao, Sungsoo Ray Hong

机构 * George Mason University（乔治·马歇尔大学） ； Virginia Tech（弗吉尼亚理工学院） 纠错

专题命中 推理与问题求解 ：LLM(abstract)

AI总结 本文探讨了在城市搜索中应用地面机器人队伍对公共安全专业人员操作挑战的影响，提出了减轻认知和体力负担的设计机会。

Comments Under review

How Toxic Can You Get? Search-based Toxicity Testing for Large Language Models

你能有多有毒？基于搜索的大型语言模型毒性测试

Simone Corbo, Luca Bancale, Valeria De Gennaro, Livia Lestingi, Vincenzo Scotti, Matteo Camilli

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 EvoTox通过迭代进化策略评估LLM的毒性倾向，有效检测毒性水平并控制成本开销。

Journal ref IEEE Transactions on Software Engineering, Nov. 2025, pp. 3056-3071, vol. 51

A Guide to Large Language Models in Modeling and Simulation: From Core Techniques to Critical Challenges

大语言模型在建模与仿真中的应用指南：从核心技术到关键挑战

Philippe J. Giabbanelli

机构 * Old Dominion University（旧 Dominion 大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.AI

AI总结 本文探讨了大语言模型在建模与仿真中的应用，分析了核心技术和关键挑战，提供了全面的使用指南和实践建议。

Comments Book chapter. Accepted in Artificial Intelligence in Modeling and Simulation, Philippe J. Giabbanelli and Istvan David (eds). Series on Simulation Foundations, Methods and Applications. Springer, Cham. Series ISSN: 2195-2817

BadTemplate: A Training-Free Backdoor Attack via Chat Template Against Large Language Models

BadTemplate: 一种通过聊天模板进行的无训练后门攻击针对大语言模型

Zihan Wang, Hongwei Li, Rui Zhang, Wenbo Jiang, Guowen Xu

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)

AI总结 BadTemplate通过在系统提示中植入恶意指令实现无训练后门攻击，有效提升攻击成功率并引发严重安全风险。

Comments This paper includes biased content that may be disturbing or offensive to certain readers

CASTLE: A Comprehensive Benchmark for Evaluating Student-Tailored Personalized Safety in Large Language Models

CASTLE：一个评估大语言模型学生定制个性化安全性的综合基准

Rui Jia, Ruiyi Lan, Fengrui Liu, Zhongxiang Dai, Bo Jiang, Jing Shao, Jingyuan Chen, Guandong Xu, Fei Wu, Min Zhang

机构 * East China Normal University（华东师范大学） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Zhejiang University（浙江大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； The Education University of Hong Kong（香港教育大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 CASTLE基准通过评估学生定制个性化安全性，揭示大语言模型在不同学生属性下的安全缺陷。

JSynFlow: Japanese Synthesised Flowchart Visual Question Answering Dataset built with Large Language Models

JSynFlow：利用大语言模型构建的日本合成流程图视觉问答数据集

Hiroshi Sasaki

机构 * The Japan Research Institute, Limited（日本研究所有限公司） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 JSynFlow利用大语言模型生成日本流程图视觉问答数据集，提升VLM在流程图问答任务中的性能。

Comments 7 pages, 1 figure

Journal ref Proceedings of the Annual Conference of JSAI, JSAI2025:2Win587-2Win587, 2025

LEANCODE: Understanding Models Better for Code Simplification of Pre-trained Large Language Models

LEANCODE: 为预训练大语言模型的代码简化更好地理解模型

Yan Wang, Ling Ding, Tien N Nguyen, Shaohua Wang, Yanan Zheng

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 LeanCode通过上下文感知注意力分数优化代码简化，提升预训练大语言模型在代码搜索和摘要任务中的性能。

Comments ACL 2025 Main. Our code and dataset are available at https://github.com/akai-sh/LeanCode

Journal ref Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 1551-1567 (2025)

When Elo Lies: Hidden Biases in Codeforces-Based Evaluation of Large Language Models

当Elo谎言：基于Codeforces的大型语言模型评估中的隐藏偏见

Shenyu Zheng, Ximing Dong, Xiaoshuang Liu, Gustavo Oliva, Chong Chun Yong, Dayi Lin, Boyuan Chen, Shaowei Wang, Ahmed E. Hassan

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)

AI总结 本文研究了基于Codeforces的Elo评分中隐藏的偏见因素，发现提交顺序、比赛难度选择和LLM运行稳定性显著影响评分结果，指出直接比较Elo分数缺乏可靠性。

Large Language Models in Software Documentation and Modeling: A Literature Review and Findings

大语言模型在软件文档和建模中的应用：文献综述与发现

Lukas Radosky, Ivan Polasek

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)

AI总结 本文综述了大语言模型在软件文档和建模中的应用，分析了相关任务、提示技术、评估方法及数据集。

Comments This is a preprint of a paper that was presented at the IEEE 24th World Symposium on Applied Machine Intelligence and Informatics (SAMI 2026)

AgenticPay: A Multi-Agent LLM Negotiation System for Buyer-Seller Transactions

AgenticPay: 一种基于多智能体LLM的买方卖方交易谈判系统

Xianyang Liu, Shangding Gu, Dawn Song

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 AgenticPay是一种基于多智能体LLM的买方卖方交易谈判系统，通过自然语言驱动的多轮谈判解决市场交易问题，评估智能体在经济互动中的表现。

Dissecting the SWE-Bench Leaderboards: Profiling Submitters and Architectures of LLM- and Agent-Based Repair Systems

解析SWE-Bench排行榜：LLM和基于代理的修复系统的提交者与架构分析

Matias Martinez, Xavier Franch

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文分析了SWE-Bench排行榜上的提交者和架构，揭示了专有LLM的主导地位及不同设计类型。

Comments Part of this work (RQ1) has been published at the 2026 IEEE/ACM 48th International Conference on Software Engineering (ICSE-SEIP 2026), DOI: 10.1145/3786583.3786904. The published version is also available on arXiv at arXiv:2602.04449

Understanding LLM Evaluator Behavior: A Structured Multi-Evaluator Framework for Merchant Risk Assessment

理解大语言模型评估者行为：一种结构化多评估者框架用于商户风险评估

Liang Wang, Junpeng Wang, Chin-chia Michael Yeh, Yan Zheng, Jiarui Sun, Xiran Fan, Xin Dai, Yujie Fan, Yiwei Cai

机构 * Visa Research（Visa研究） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出一种结构化多评估者框架，用于评估LLM在商户风险评估中的推理质量，揭示了不同模型的自我评估偏见差异，并通过真实数据验证了框架的有效性。

Clouding the Mirror: Stealthy Prompt Injection Attacks Targeting LLM-based Phishing Detection

镜面迷雾：针对基于大语言模型的钓鱼检测的隐秘提示注入攻击

Takashi Koide, Hiroki Nakano, Daiki Chiba

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文首次全面评估了针对基于大语言模型的钓鱼检测的提示注入攻击，提出InjectDefuser防御框架以降低攻击成功率。

Can We Classify Flaky Tests Using Only Test Code? An LLM-Based Empirical Study

仅通过测试代码可以对不稳定测试进行分类吗？基于LLM的经验研究

Alexander Berndt, Vekil Bekmyradov, Rainer Gemulla, Marcus Kessel, Thomas Bach, Sebastian Baltes

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本研究探讨了仅通过测试代码是否能有效分类不稳定测试，发现LLM在无额外上下文时表现有限，需进一步结合检索增强生成等方法提升泛化能力。

Comments 10 pages, 3 figures, 7 tables, 33rd IEEE International Conference on Software Analysis, Evolution and Reengineering: Reproducibility Studies and Negative Results (SANER-RENE 2025)

E.M.Ground: A Temporal Grounding Vid-LLM with Holistic Event Perception and Matching

E.M.Ground: 一种具有整体事件感知和匹配的时序地面视频大语言模型

Jiahao Nie, Wenbin An, Gongjie Zhang, Yicheng Xu, Yap-Peng Tan, Alex C. Kot, Shijian Lu

机构 * Interdisciplinary Graduate Programme, Nanyang Technological University, Singapore（南洋理工大学交叉学科研究生项目） ； Xi’an Jiaotong University, China（西安交通大学） ； Alibaba DAMO Academy, Singapore（阿里巴巴达摩院） ； Institute of Science Tokyo, Japan（东京科学研究院） ； VinUniversity, Vietnam（文大学） ； Nanyang Technological University, Singapore（南洋理工大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 E.M.Ground通过引入事件标记、平滑处理和多粒度特征聚合，提升了时序视频地面任务的性能。

Fine-tuned LLM-based Code Migration Framework

基于微调的LLM代码迁移框架

Oleg Grynets, Vasyl Lyashkevych, Dmytro Baran, Maksym Orliansky, Taras Zelenyy, Markiian Leshchyshyn

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究提出一种基于微调LLM的代码迁移框架，通过自动化SQL特征检测和半监督错误分析，提升数据库迁移的精度与效率。

Comments 16 pages, 27 figures, 7 references

PriMod4AI: Lifecycle-Aware Privacy Threat Modeling for AI Systems using LLM

PriMod4AI：面向AI系统的生命周期感知隐私威胁建模

Gautam Savaliya, Robert Aufschläger, Abhishek Subedi, Michael Heigl, Martin Schramm

机构 * Deggendorf Institute of Technology, Germany（德国德格多夫技术学院） 纠错

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 PriMod4AI通过结合LINDDUN知识库和模型中心隐私攻击知识库，提供了一种统一的隐私威胁建模方法，以识别和分类AI系统生命周期中的隐私威胁。

Comments Accepted at the NDSS LAST-X Workshop 2026

LLM-Synth4KWS: Scalable Automatic Generation and Synthesis of Confusable Data for Custom Keyword Spotting

LLM-Synth4KWS: 可扩展的自动生成和合成混淆数据用于定制关键词识别

Pai Zhu, Quan Wang, Dhruuv Agarwal, Kurt Partridge

机构 * Google DeepMind（谷歌DeepMind） 纠错

专题命中 评测与基准 ：LLM(title)；large language model(abstract)；language model(abstract)

AI总结 LLM-Synth4KWS通过生成混淆数据提升定制关键词识别的准确率和鲁棒性。

Journal ref Proc. Interspeech 2025, 2675-2679

A Causal Perspective for Enhancing Jailbreak Attack and Defense

从因果视角提升对抗攻击与防御

Licheng Pan, Yunsheng Lu, Jiexi Liu, Jialing Tao, Haozhe Feng, Hui Xue, Zhixuan Chu, Kui Ren

机构 * The State Key Laboratory of Blockchain and Data Security, Zhejiang University（区块链与数据安全国家重点实验室，浙江大学） ； Alibaba Group（阿里巴巴集团） ； University of Chicago（芝加哥大学） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Causal Analyst框架，通过因果分析提升大语言模型的对抗攻击与防御能力。

Quantification and Classification of Carbon Nanotubes in Electron Micrographs using Vision Foundation Models

利用视觉基础模型量化和分类电子显微图像中的碳纳米管

Sanjay Pradeep, Chen Wang, Matthew M. Dahm, Jeff D. Eldredge, Candace S. J. Tsai

机构 * Mechanical and Aerospace Engineering, University of California, Los Angeles（加州大学洛杉矶分校机械与航空航天工程学院） ； Health Effects Laboratory Division, National Institute for Occupational Safety and Health（职业安全与卫生研究所健康效应实验室） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)

AI总结 本文提出利用视觉基础模型实现电子显微图像中碳纳米管的自动化量化与分类，通过交互式分割工具和自监督特征学习提升准确性与效率。

RAG4Tickets: AI-Powered Ticket Resolution via Retrieval-Augmented Generation on JIRA and GitHub Data

RAG4Tickets: 通过在JIRA和GitHub数据上的检索增强生成实现AI驱动的工单解决

Mohammad Baqar

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 RAG4Tickets通过整合JIRA和GitHub数据，利用检索增强生成技术，提升工单解决的准确性与效率。

Comments 13 Pages

POLAR: A Benchmark for Multilingual, Multicultural, and Multi-Event Online Polarization

POLAR：一个多语言、多文化、多事件在线极化基准

Usman Naseem, Robert Geislinger, Juan Ren, Sarah Kohail, Rudy Garrido Veliz, P Sam Sahil, Yiran Zhang, Marco Antonio Stranisci, Idris Abdulmumin, Özge Alacam, Cengiz Acartürk, Aisha Jabr, Saba Anwar, Abinew Ali Ayele, Simona Frenda, Alessandra Teresa Cignarella, Elena Tutubalina, Oleg Rogov, Aung Kyaw Htet, Xintong Wang, Surendrabikram Thapa, Kritesh Rauniyar, Tanmoy Chakraborty, Arfeen Zeeshan, Dheeraj Kodati, Satya Keerthi, Sahar Moradizeyveh, Firoj Alam, Arid Hasan, Syed Ishtiaque Ahmed, Ye Kyaw Thu, Shantipriya Parida, Ihsan Ayyub Qazi, Lilian Wanzare, Nelson Odhiambo Onyango, Clemencia Siro, Jane Wanjiru Kimani, Ibrahim Said Ahmad, Adem Chanie Ali, Martin Semmann, Chris Biemann, Shamsuddeen Hassan Muhammad, Seid Muhie Yimam

专题命中 评测与基准 ：large language model(abstract)；language model(abstract)；small language model(abstract)；分类 cs.CL

AI总结 POLAR提出一个多语言、多文化、多事件的数据集，通过微调和评估不同模型，揭示极化检测的复杂性与上下文依赖性。

Comments Preprint

SPhyR: Spatial-Physical Reasoning Benchmark on Material Distribution

SPhyR：基于材料分布的空间-物理推理基准

Philipp D. Siedler

机构 * Aleph Alpha Research（Aleph Alpha研究机构） 纠错

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 SPhyR数据集通过拓扑优化任务评估LLM在空间和物理推理方面的能力，无需模拟工具即可推断最优材料分布。

Can MLLMs generate human-like feedback in grading multimodal short answers?

大型语言模型能否在评估多模态简答时生成类人反馈？

Pritam Sil, Pushpak Bhattacharyya, Pawan Goyal, Ganesh Ramakrishnan

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文研究了多模态简答评分与反馈问题，通过生成数据集评估了四种多模态大语言模型，展示了其在正确性预测和图像相关性评估中的性能。

STACK: Adversarial Attacks on LLM Safeguard Pipelines

STACK: 对大语言模型安全防护流水线的对抗攻击

Ian R. McKenzie, Oskar J. Hollinsworth, Tom Tseng, Xander Davies, Stephen Casper, Aaron D. Tucker, Robert Kirk, Adam Gleave

机构 * UK AISI（英国人工智能安全研究所） ； OATML, University of Oxford（OATML，牛津大学） 纠错

专题命中 评测与基准 ：LLM(title)；分类 cs.CL、cs.AI

AI总结 STACK研究通过开发开源防御流水线，发现新型分类器在三种攻击中表现优异，并提出STaged AttaCK方法实现71%攻击成功率，为防御流水线的安全性提供了关键证据。

Comments Add results on other models and datasets

SynAT: Enhancing Security Knowledge Bases via Automatic Synthesizing Attack Tree from Crowd Discussions

SynAT: 通过自动合成 crowds 的攻击树来增强安全知识库

Ziyou Jiang, Lin Shi, Guowei Yang, Xuyan Ma, Fenglong Li, Qing Wang

专题命中 评测与基准 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 SynAT通过自动合成攻击树提升安全知识库，利用LLM和提示学习提取安全讨论中的事件和关系，有效增强安全防护能力。

Comments 28 pages, 8 figures

DuoDrama: Supporting Screenplay Refinement Through LLM-Assisted Human Reflection

DuoDrama: 通过LLM辅助的人类反思支持剧本润色

Yuying Tang, Xinyi Chen, Haotian Li, Xing Xie, Xiaojuan Ma, Huamin Qu

专题命中 评测与基准 ：LLM(title)

AI总结 DuoDrama通过LLM辅助人类反思，提升剧本润色阶段的反馈质量和反思深度。

Comments Accepted by CHI 2026