语言大模型 / LLM

GARAGE: Characterizing the Automation Boundary in LLM-based Attack Graph Generation

GARAGE：基于大语言模型的攻击图生成中自动化边界的特征描述

Daekwon Pi, Sangho Lee, Young Hun Lee, Huy Kang Kim

专题命中 评测与基准 ：LLM(title,summary_cn)

AI总结 研究针对现代车辆安全CTI合成难题，提出GARAGE框架，通过RAG技术将碎片化CTI转化为特定领域知识库用于攻击图生成，经实验验证能准确转移安全知识，还可作为TARA支持工具提供性价比分析以指导在各LLM层级部署。

Comments 22 pages, 10 figures, 12 tables

LLM-as-a-Judge Scores Are Unreliable Optimization Signals in Closed-Loop Table Recognition

评估能力并不意味着优化效用：闭环表格识别中的大语言模型作为评判信号

Donghwan Kim

机构 * Aidentyx Inc.（艾登蒂克斯公司） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究闭环表格识别中LLM-as-a-judge的效用，发现其评判信号弱，无特定反馈也有严重损失，结构保留约束效果不佳，表明评估能力不意味着优化效用，迭代细化需确定性检测结构变化的验证信号。

Comments 32 pages, 9 figures, appendix included

LLM vs. SAST: A Technical Analysis on Detecting Coding Bugs of GPT4-Advanced Data Analysis

大语言模型与SAST：关于GPT4-高级数据分析编码漏洞检测的技术分析

Madjid G. Tehrani, Eldar Sultanow, William J. Buchanan, Mahkame Houmani, Christel H. Djaha Fodja

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究对比GPT-4与两个SAST工具在32个安全场景的编码漏洞检测，用二元规则评分、逻辑或基线聚合结果，经McNemar检验，发现GPT-4检测性能更优，还讨论了将其集成到安全软件开发工作流程的相关要点。

Beyond Time Shifts: Adapting Omni-LLM as a Reference-Free Evaluator for Generative Audio-Visual Models

超越时间偏移：将全能语言模型（Omni-LLM）适配为生成式视听模型的无参考评估器

Yijie Qian, Juncheng Wang, Chao Xu, Huihan Wang, Yuxiang Feng, Yang Liu, Baigui Sun, Yong Liu, Shujun Wang

机构 * Zhejiang University（浙江大学） ； The Hong Kong Polytechnic University（香港理工大学） ； IROOTECH TECHNOLOGY（易路泰克科技） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 研究针对视听生成模型跨模态同步评估难题，提出框架解决人类与自动化评估指标的矛盾。通过引入数据集、适配模型及提出优化方法，实现先进的人类偏好对齐，建立标准化基准推动评估从信号相关性到因果关系发展。

Comments Accepted to ECCV 2026

The Poisoned Chalice of LLM Evaluation Report

大语言模型评估报告的毒圣杯

Jonathan Katzy, Ali Al-Kaswan, Razvan Mihai Popescu, Zhou Yang

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 研究大语言模型评估中因数据污染致结果不可靠的问题，通过举办竞赛将污染检测设为白盒成员推理任务，提供相关资源，报告竞赛设置与结果，推动软件工程中可信大语言模型评估社区发展。

Comments Report of the competition hosted at FSE 2026

ChatImage: Navigating Long-Form LLM Answers through Interactive Images

ChatImage：通过交互式图像导航大语言模型的长文本回答

Wencan Jiang, Jiangning Zhang, Yong Liu

机构 * Zhejiang University（浙江大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 针对LLM长文本答案难以细粒度浏览的问题，ChatImage将其转为带点击热点的交互图像，支持局部查询，提升内容与交互区域的一致性，还开源实现并发布多格式评测基准。

Comments Project:https://wencanjiang.github.io/ChatImage

Bringing Everyone to the Table: An Experimental Study of LLM-Facilitated Group Decision Making

让每个人都参与进来：关于大语言模型辅助群体决策的实验研究

Mohammed Alsobay, David M. Rothschild, Jake M. Hofman, Daniel G. Goldstein

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 研究大语言模型辅助群体决策，通过随机实验，比较无辅助、一次性信息共享提示、人类辅助和大语言模型辅助四种条件下完成隐藏档案任务的情况，发现大语言模型辅助能增加信息共享，且成本有限，还开源数据和平台。

Comments To appear at ACM CSCW 2026

A Novel Method for Differential-Algebraic Dynamic Model Discovery in Power Systems: An LLM-Based Multi-Agent Collaborative Framework

一种电力系统微分代数动态模型发现的新方法：基于LLM的多智能体协作框架

Xinming Wang, Fan Tang, Yingli Wei, Yakun He, Zhe Liu, Ping Jiang, Haoyu Wu, Zihan Guo, Chao Shen

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 针对电力系统强非线性、多时间尺度耦合及黑箱控制逻辑导致的模型发现难题，提出基于大语言模型的多智能体协作框架，通过并行生成候选方程结构并联合恢复状态动态、代数约束和关键中间变量，在同步发电机和构网型逆变器案例中优于单智能体方法和传统符号回归。

Using Mutation-Analysis to Examine an LLM's Ability to Summarize Code

使用变异分析检验大语言模型总结代码的能力

Lara Khatib, Michael Pu, Bogdan Vasilescu, Meiyappan Nagappan

专题命中 评测与基准 ：LLM(title,summary_cn)

AI总结 提出基于变异分析的评估方法，通过注入代码突变并检查摘要是否更新，测试LLM摘要是否反映实际行为；实验表明摘要准确率随复杂度下降，模型常描述意图而非行为。

Agentic AutoResearch forSpace Autonomy: An Auditable, LLM-Driven Research Agent for Aerospace Control Problems

面向空间自主性的智能体自动研究：用于航空航天控制问题的可审计、LLM驱动的研究代理

Amit Jain, Richard Linares

机构 * Department of Aeronautics and Astronautics（航空航天学系） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 提出AutoResearch框架，利用大语言模型作为离线研究代理，自动迭代开发航天控制策略，并通过内置可信层审计结果，消除种子噪声影响，在交会和对接问题上验证了有效性。

Cordon: Semantic Transactions for Tool-Using LLM Agents

Cordon: 工具使用型LLM代理的语义事务

Zheng Chen, Hanqing Liu, Duling Xu, Dong Dong, Jialin Li, Bangzheng Pu, Jidong Zhai

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 提出Cordon事务运行时系统，通过语义事务边界实现多步代理工作流的提交、回滚、恢复和审计，减少不可逆效应失败并暴露跨步违规。

LATS-RCA: Language Agent Tree Search for Root Cause Analysis in Microservices

LATS-RCA：面向微服务根因分析的语言智能体树搜索

Alexander Naakka, Yuqing Wang, Mika V Mäntylä

专题命中 评测与基准 ：language agent(title,abstract)；LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出LATS-RCA方法，将根因分析建模为反射引导的树结构搜索，通过多智能体迭代分析日志和指标，在微服务系统中实现91.3%的诊断准确率，并验证了模型无关性。

Comments Accepted at the 52nd Euromicro Conference on Software Engineering and Advanced Applications (SEAA 2026)

SemOpt: LLM-Driven Code Optimization via Rule-Based Analysis

SemOpt: 基于规则分析的LLM驱动代码优化

Yuwei Zhao, Yuan-An Xiao, Qianyu Xiao, Zhao Zhang, Yingfei Xiong

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 提出SemOpt框架，通过静态程序分析识别代码段、检索优化策略并生成优化结果，在C/C++和Python任务上显著提升优化成功率。

MENTIS: What Belief Changes Under Alignment? Measuring Multi-Scale Latent Torsion in Language Models

MENTIS: 对齐改变了什么信念？语言模型中多尺度潜在扭转的测量

Partha Pratim Saha, Samarth Raina, Mayur Parvatikar, Amit Dhanda, Vinija Jain, Aman Chadha, Amitava Das

机构 * Pragya Lab, BITS Pilani Goa, India（BITS Pilani 去掉 Goa 的机构名，因为该机构名中包含 'Goa'，但根据规则，如果机构已有常见中文名，使用常见中文名。'Pragya Lab, BITS Pilani' 是 BITS Pilani 的一个实验室，因此翻译为 'BITS Pilani 实验室'） ； IIIT Delhi, India（德里印度理工学院） ； Amazon, USA（美国亚马逊） ； Meta, USA（美国Meta） ； Apple, USA（美国苹果） 纠错

专题命中 评测与基准 ：language model(title,abstract)；large language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出MENTIS框架，通过层间协方差扭转范数、谱扭转诊断和能量-辐射-激活度量，测量偏好对齐在语言模型内部计算中引起的选择性、深度局部的几何结构变化。

Comments Submitted to EMNLP 2026

Porting Declarative UI to HarmonyOS: A Heuristic-guided LLM Approach

将声明式UI移植到鸿蒙：一种启发式引导的LLM方法

Kunwu Zheng, Pengyu Xue, Zhen Yang, Xiran Lyu, Peishi Lai, Mengying Zhao, Yutian Tang, Huizhi Zhang, Xianhang Li, Linhao Wu, Chengyi Wang

专题命中 评测与基准 ：LLM(title,title_cn)；prompting(abstract)

AI总结 针对鸿蒙系统从Android/iOS迁移声明式UI的需求，提出ArkTrans方法，通过启发式构建骨架和模式匹配修复语法错误，实现高编译成功率和视觉保真度。

Automated Report-Derived Oncology VQA Benchmark for Evaluating Vision-Language Models on 3D Medical Imaging

自动化报告驱动的肿瘤学VQA基准：用于评估3D医学影像上的视觉-语言模型

Bo Liu, Hanxue Gu, Xiangru Li, Zheren Zhu, Jacob Ellison, Kang Wang, Janine M. Lupo, Yang Yang, Hui Lin

机构 * UCSF–UC Berkeley Joint Graduate Program in Bioengineering（UCSF-伯克利生物工程联合研究生项目） ； Department of Radiology, UCSF（UCSF放射科） ； Department of Radiation Oncology, UCSF（UCSF放射肿瘤科） 纠错

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract,abstract_cn)；pretraining(abstract)

AI总结 提出一个自动化管道，从私有放射学报告和3D肿瘤影像生成多选VQA数据集，构建无污染基准，评估六种视觉-语言模型，发现视觉依赖因数据集而异。

Constitutional Arms Races in the Public Goods Game: Co-Evolving LLM Constitutions Under Cooperation-Defection Pressure

公共物品博弈中的宪法军备竞赛：合作-背叛压力下共进化的大语言模型宪法

Ujwal Kumar, Arth Singh, Hershraj Niranjani, Machiko Hirota, Takehiro Takayanagi, Alice Saito, Eiji Kamioka, Phan Xuan Tan

专题命中 评测与基准 ：LLM(title,summary_cn)

AI总结 研究在公共物品博弈中，通过LLM引导的进化搜索，发现对抗性宪法共进化在耦合适应度和足够评估预算下可行，并产生可解释的红队测试工件。

Comments 15 pages, 5 figures

Measuring the Depth of LLM Unlearning via Activation Patching

通过激活修补测量大语言模型遗忘的深度

Jaeung Lee, Dohyun Kim, Jaemin Jo

机构 * Sungkyunkwan University（全北大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出遗忘深度评分（UDS），通过激活修补量化遗忘的机制深度，在150个遗忘模型上的元评估中达到最高忠实性和鲁棒性。

Comments 18 pages

LLMs and Childhood Safety: Identifying Risks and Proposing a Protection Framework for Safe Child-LLM Interaction

大语言模型与儿童安全：识别风险并提出安全的儿童-大语言模型交互保护框架

Junfeng Jiao, Saleh Afroogh, Kevin Chen, Abhejay Murali, David Atkinson, Amit Dhurandhar

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 通过系统文献综述识别儿童与大语言模型交互的风险，并基于不同证据流比较提出包含内容安全、发展敏感性和对抗性滥用控制的保护框架。

Rethinking Fraud Safety Evaluation: Multi-Round Attacks Reveal Safety-Utility Tradeoffs in Graph-Context LLM Defenders

重新思考欺诈安全评估：多轮攻击揭示图上下文LLM防御中的安全与效用权衡

Laura Jiang, Reza Ryan, Qian Li, Nasim Ferdosian

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 本文通过多轮攻击评估欺诈防御系统，发现图上下文防御在早期安全拒绝方面优于纯文本基线，但同时产生更多的良性误报，揭示了安全与效用之间的权衡。

Comments 19 pages, 3 figures

B4DL: A Benchmark for 4D LiDAR LLM in Spatio-Temporal Understanding

B4DL：用于空间时间理解的4D激光雷达LLM基准

Changho Choi, Youngwoo Shin, Gyojin Han, Dong-Jae Lee, Junmo Kim

机构 * Korea Advanced Institute of Science and Technology（韩国科学技术院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出B4DL基准，用于训练和评估多模态大语言模型对4D激光雷达数据的理解，结合可扩展的数据生成管道和新模型，实现动态户外环境的空间时间推理。

Comments Accepted at ACM MM 2025

Can Language Models Go Beyond Coding? Assessing the Capability of Language Models to Build Real-World Systems

语言模型能否超越编程？评估语言模型构建现实系统的能力

Chenyu Zhao, Shenglin Zhang, Zeshun Huang, Weilin Jin, Yongqian Sun, Dan Pei, Chaoyun Zhang, Qingwei Lin, Chetan Bansal, Saravan Rajmohan, Minghua Ma

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)

AI总结 本文提出Build-bench基准，评估语言模型在跨指令集架构迁移中修复构建失败的能力，发现当前模型最大成功率为63.19%，并揭示了不同模型在工具使用上的差异。

CCL-Bench 1.0: A Trace-Based Benchmark for LLM Infrastructure

CCL-Bench 1.0：基于跟踪的LLM基础设施基准测试

Eric Ding, Byungsoo Oh, Bhaskar Kataria, Kaiwen Guo, Jelena Gvero, Abhishek Vijaya Kumar, Arjun Devraj, Lindsey Bowen, Atharv Sonwane, Emaad Manzoor, Rachee Singh

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 CCL-Bench 1.0通过记录可重用证据，解决现有基准测试的局限性，揭示计算-通信重叠与训练步时间的关系，以及不同框架配置的性能差异。

LearnMate^2: Design and Evaluation of an LLM-powered Personalized and Adaptive Support System for Online Learning

LearnMate^2：一种基于大语言模型的个性化和自适应在线学习支持系统的设计与评估

Xinyu Jessica Wang, Christine P. Lee, Bilge Mutlu

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文设计并评估了基于大语言模型的个性化学习支持系统LearnMate^2，通过提供个性化学习计划、实时上下文帮助和自适应学习活动，提升学习效果和用户体验。

Assistance Without Interruption: A Benchmark and LLM-based Framework for Non-Intrusive Human-Robot Assistance

无中断协助：一种非侵入式人机协助的基准和基于大语言模型的框架

Yuedi Zhang, Shuanghao Bai, Wanqi Zhou, Haoran Zhang, Qi Zhang, Zhirong Luan, Badong Chen

机构 * Institute of Artificial Intelligence and Robotics（人工智能与机器人研究院） ； Xi’an Jiaotong University（西安交通大学） ； School of Electrical Engineering（电气工程学院） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)

AI总结 本文提出非侵入式协助的基准和框架，通过模拟基准和新指标评估，结合LLM与评分模型实现主动非侵入式协助，减少人类努力并保持任务有效性。

OceanPile: A Large-Scale Multimodal Ocean Corpus for Foundation Models

OceanPile：一个大规模多模态海洋语料库用于基础模型

Yida Xue, Ningyu Zhang, Tingwei Wu, Zhe Ma, Daxiong Ji, Zhao Wang, Guozhou Zheng, Huajun Chen

机构 * College of Computer Science and Technology, Zhejiang University, Hangzhou 310027, China（浙江大学计算机科学与技术学院） ； ZJU-Hangzhou Global Scientific and Technological Innovation Center, Hangzhou 311200, China（浙江大学杭州全球科技创新中心） ； School of Software Technology, Zhejiang University, Ningbo 315048, China（浙江大学软件学院） ； Ocean College, Zhejiang University, Zhoushan 316021, China（浙江大学海洋学院） ； State Key Laboratory of Ocean Sensing, Hangzhou 311200, China（杭州海洋传感国家重点实验室） ； Ocean Research Center of Zhoushan, Zhejiang University, Zhoushan 316021, China（舟山海洋研究中心） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出OceanPile，一个用于海洋基础模型的多模态语料库，整合了声呐数据、水下图像、海洋科学图像和科学文本，通过高质量指令数据集和评估基准提升海洋领域模型性能。

Comments Work in progress

LLM-based uncertainty assessment of social media situational signals for crisis reporting

基于大型语言模型的社会媒体情境信号不确定性评估用于危机报道

Timothy Douglas, Roben Delos Reyes, Asanobu Kitamoto

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出一种考虑社会媒体声明可信度的自动化情境感知报告框架，通过评估外部代理数据下的置信度生成危机报告，提升危机响应中的信息优先级处理。

Iterative Definition Refinement for Zero-Shot Classification via LLM-Based Semantic Prototype Optimization

基于LLM的语义原型优化的零样本分类迭代定义细化

Naeem Rehmat, Muhammad Saad Saeed, Ijaz Ul Haq, Khalid Malik

机构 * University of Michigan-Flint（密歇根大学弗林特分校） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；foundation model(abstract)

AI总结 本文提出一种无需训练的迭代定义优化框架，通过优化类别定义提升零样本网页内容分类性能，引入三种定义优化策略，并在13种前沿嵌入模型上验证了定义质量对分类效果的关键影响。

Comments Accepted at CVPR NeXD Workshop (2026)

LLM-Assisted Empirical Software Engineering: Systematic Literature Review and Research Agenda

基于大语言模型的实证软件工程：系统文献综述与研究议程

Victoria Gomes, Delaney Selb, Fabio Palomba, Rodrigo Spinola, David Lo

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文通过系统文献综述分析了大语言模型在实证软件工程中的应用，揭示了其在数据处理和分析中的集中使用，指出了自动化驱动但缺乏人机协同的局限性，并提出未来研究方向。

News Harvesting from Google News combining Web Scraping, LLM Metadata Extraction and SCImago Media Rankings enrichment: a case study of IFMIF-DONES

从谷歌新闻获取新闻：结合网络爬虫、大语言模型元数据提取和SCImago媒体排名增强：以IFMIF-DONES为例

Victor Herrero-Solana

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出一种系统方法，结合网络爬虫、大语言模型元数据提取和SCImago媒体排名增强，构建新闻数据集，通过IFMIF-DONES案例研究，验证了数据收集管道的有效性，并分析了方法学挑战与数据集完整性保障。

Comments 24 pages, 7 figures