语言大模型 / LLM

LLM-based Atomic Propositions help weak extractors: Evaluation of a Propositioner for triplet extraction

基于LLM的原子命题帮助弱提取器：命题者在三元组提取中的评估

Luc Pommeret, Thomas Gerald, Patrick Paroubek, Sahar Ghannay, Christophe Servan, Sophie Rosset

机构 * Université Paris-Saclay, CNRS, LISN（巴黎-萨克雷大学，法国国家科学研究中心，语言与语音处理实验室） ； AMIAD, Pôle Recherche（AMIAD，研究部） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL；large language model(journal_ref)；language model(journal_ref)

AI总结 本文探讨通过将文本分解为原子命题来提升三元组提取效果，引入MPropositionneur-V2模型，并在多个数据集上验证其对弱提取器的增强作用。

Journal ref Proceedings of the Knowledge Graphs and Large Language Models Workshop (KG-LLM) @ LREC 2026

OpenRTLSet: A Fully Open-Source Dataset for Large Language Model-based Verilog Module Design

OpenRTLSet: 基于大语言模型的Verilog模块设计的完全开源数据集

Jinghua Wang, Lily Jiaxin Wan, Sanjana Pingali, Scott Smith, Manvi Jha, Shalini Sivakumar, Xing Zhao, Kaiwen Cao, Deming Chen

机构 * UIUC-ChenLab（UIUC-陈实验室） 纠错

专题命中 评测与基准 ：language model(title,abstract)；large language model(title)；分类 cs.CL；LLM(journal_ref)

AI总结 提出最大完全开源硬件设计数据集OpenRTLSet，包含13万+多样Verilog代码样本，结合GitHub代码、VHDL和C/C++翻译，利用DeepSeek-R1生成自然语言描述，支持多种语言模型微调，证明开源方法在硬件设计中的优越性。

Comments Accepted by ICLAD'25

Journal ref 2025 IEEE International Conference on LLM-Aided Design (ICLAD), Stanford, CA, USA, 2025, pp. 212-218

Beyond Binary: Towards Fine-Grained LLM-Generated Text Detection via Role Recognition and Involvement Measurement

Zihao Cheng, Li Zhou, Feng Jiang, Benyou Wang, Haizhou Li

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract,comments)；language model(abstract,comments)；分类 cs.CL

Comments Social Media, Large Language Models, LLM-generated Text Detection, AI-assisted News Detection; Accepted by WWW2025

Journal ref Proceedings of the ACM Web Conference 2025 (WWW '25), April 28-May 2, 2025, Sydney, NSW, Australia

Spatial-Knowledge-Graph-Grounded LLM Agents for Neighborhood Livability Evaluation

基于空间知识图谱的大语言模型智能体用于社区宜居性评估

Haiyan Hao

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 该研究提出结合空间知识图谱与大语言模型智能体的框架，通过生成修订家庭日程等评估社区宜居性，发现设施可用性不代表便利可达，为关联空间机会与居民体验提供可审计方法。

Comments 31 pages, 4 figures, prototype framework

Beyond the Editing Canvas: Evidence Divergence in OOXML-to-LLM Ingestion

超越编辑画布：OOXML导入大语言模型过程中的证据分歧

Side Liu, Jiangpeng Liu, Jinwen Xin, Guojun Peng, Jiang Ming

专题命中 评测与基准 ：LLM(title,summary_cn)

AI总结 本文发现OOXML导入LLM流程存在证据分叉，同一份OOXML文件在Office与LLM中呈现不同视图，21种分叉经测试，多数接口会返回Office未显示的陷阱，开源项目默认导入路径集中于受影响提取器。

Learning to Prompt: Improving Student Engagement with Adaptive LLM-based High-School Tutoring

学习提示：基于自适应LLM的高中辅导提升学生参与度

Po-Chin Chang, Nicholas Hogan, Aske Plaat, Michiel T. van der Meer

机构 * Leiden University（莱顿大学） ； FutureWhiz 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出一种基于14个教学特征的主题感知提示路由模型，通过模拟训练和在线A/B测试，在高中辅导中实现自适应策略切换，提高教学效率并减少交互轮次。

Comments Accepted to EMNLP 2026 (Industry Track)

When Probing Accuracy Saturates, Fragility Resolves: A Complementary Metric for LLM Pre-Training Analysis

当探测精度饱和时，脆弱性揭示问题：LLM预训练分析的互补度量

Orion Reblitz-Richardson

机构 * Distiller Labs 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对线性探测在预训练中精度快速饱和的问题，提出脆弱性度量，通过激活噪声水平衡量探测鲁棒性，揭示精度无法捕捉的表示结构演化。

Comments 25 pages, 6 figures. Code and datasets at https://github.com/deepsteer/deepsteer. v2: Adds an activation-scale (RMS-normalization) control, the v1 post-saturation critical-noise decline is withdrawn as a scale artifact; the layer-depth gradient is largely activation scale, with the residual not claimed as a genuine gradient. Finding 2 and the abstract are scoped

Rethinking Semantic Alignment in LLM-Enhanced Collaborative Filtering: A Spectral Decoupling Approach

重新思考大语言模型增强型协同过滤中的语义对齐：一种谱解耦方法

Yedong Jin, Shaowen Peng, Tsunenori Mine, Shoko Wakamiya, Eiji Aramaki

专题命中 评测与基准 ：LLM(title,summary_cn)

AI总结 本研究针对LLM增强型推荐中语义对齐无法有效利用互补非主语义信息的问题，提出UniSpecRec模型，通过信号特异性谱滤波实现谱解耦，提升推荐性能。

AdaptPrint: Response-Adaptive Fingerprinting of Black-Box LLM Services

AdaptPrint：黑盒大语言模型服务的响应自适应指纹识别

Yilin Li, Yifei Zhang, Guozhu Meng

专题命中 评测与基准 ：LLM(title,summary_cn)

AI总结 针对黑盒LLM服务的不透明性问题，提出响应自适应指纹识别方法AdaptPrint，整合三种探测策略实现LLM身份识别，在27个候选模型上优于现有方法，准确率达80.6%等且鲁棒性强。

LLM-Enhanced Commit Message Generation via Issue Information: An Exploratory Study

结合问题信息的大语言模型增强型提交消息生成：一项探索性研究

Zongen Ren, Wei Shi, Bo Xiong, Chong Wang, Peng Liang

专题命中 评测与基准 ：LLM(title,summary_cn)

AI总结 该研究提出ISAC框架，将代码差异与问题信息结合作为LLM输入生成提交消息，经实验验证其性能优于现有基线，且纳入问题信息可提升CMG效果。

Comments 28 pages, 7 images, 11 tables, Manuscript submitted to a journal (2026)

LLM-Driven Cost-Effective Requirements Change Impact Analysis

基于大语言模型的低成本需求变更影响分析

Romina Etezadi, Sallam Abualhaija, Chetan Arora, Lionel Briand

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出ProReFiCIA方法，利用大语言模型自动识别需求变更影响，实验显示其在未见过的工业数据集上召回率达85.7%，且成本低，仅需审查3%的需求。

Comments 33 pages, 4 figures

Spike-Killer: Evidence-Gated LLM Assistance for Safe Performance Diagnosis on a Real Windows Workstation

Spike-Killer：面向真实Windows工作站安全性能诊断的证据门控大语言模型辅助方案

Baocheng Zeng, Jinhao Yang

专题命中 评测与基准 ：LLM(title,summary_cn)

AI总结 该研究提出Spike-Killer，一种人在环的证据门控工作流，用于安全诊断Windows工作站的帧时间问题，以CS2为目标应用验证了其可审计性，为LLM辅助智能体提供了可信操作模式。

Comments 6 pages. Experience report; no causal CS2 frame-time improvement or autonomous-safety claim is made

The Claws in Plain Sight: Unauthorized Context Disclosure through LLM Agent Tool Calls

显而易见的爪痕：通过大语言模型智能体工具调用实现未授权的上下文信息泄露

Ben Dong, Zhonghao Guo, Tianyi Lu, Qian Wang

专题命中 评测与基准 ：LLM(title,summary_cn)

AI总结 该研究提出Claw in Plain Sight攻击方法，通过构造任务相关内容框架诱导LLM智能体泄露上下文信息，实验显示其在多种模型上的会话级泄露率达20.8%-75.0%，提示需在工具参数执行前进行目的与目的地感知检查。

Language Models Reproduce Human Reductionist Bias and Decision Inconsistency in Neurodevelopmental Disorders Assessment

语言模型在神经发育障碍评估中再现了人类的简化主义偏差与决策不一致性

Maciej Wodziński, Joanna Wodzińska, Kacper Dudzic, Marcin Moskalewicz

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)

AI总结 研究通过对比人类与7个LLMs，发现LLMs虽表现出更高智力谦逊，却再现了人类在神经发育障碍评估中的简化主义偏差与决策不一致性，强调需审查AI的神经多样性操作化概念。

Rich-Media Re-Ranker: A User Satisfaction-Driven LLM Re-ranking Framework for Rich-Media Search

多介质重排序：一种基于用户满意度的LLM重排序框架用于多介质搜索

Zihao Guo, Ligang Zhou, Zeyang Tang, Feicheng Li, Ying Nie, Zhiming Peng, Qingyun Sun, Jianxin Li

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 本文提出Rich-Media Re-Ranker框架，通过多维细粒度建模提升用户搜索满意度，整合丰富侧信息和视觉信号，通过多任务强化学习增强系统适应性，实验证明其优于现有方法。

Comments Accepted by the Full Research Track of CIKM-2026

Does Fixing Break Security? An Empirical Study of Security Degradation in Iterative LLM-Driven Infrastructure-as-Code Repair

修复会破坏安全性吗？对迭代式大语言模型驱动的基础设施即代码修复中安全性退化的实证研究

Benjamin Agyekum, Fabio Santos

专题命中 评测与基准 ：LLM(title,summary_cn)

AI总结 该研究通过分析IaC-Eval基准的5968个场景，发现迭代式LLM驱动的IaC修复会引入约3.3%场景的安全退化，主要由资源重构导致，第3次迭代是最优停止点，为安全反馈设计提供指导。

Comments 20 pages, 3 figures, 5 tables. Accepted at the 20th International Symposium on Empirical Software Engineering and Measurement (ESEM 2026). To appear in LIPIcs Vol. 394. v2: corrected the bibliographic record of one reference (preprint, not a journal article) and added the related-version link to the published LIPIcs article

Optimal Transport-based Semantic Alignment for LLM-based Audio-Visual Speech Recognition

基于最优传输的基于大语言模型的视听语音识别语义对齐

Xugang Lu, Peng Shen, Yu Tsao, Hisashi Kawai

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究基于大语言模型的视听语音识别，提出基于最优传输的语义对齐框架，通过在多模态融合前对齐声学和视觉表征弥合模态差距，经实验验证该方法能有效提升性能，在多种条件下达到最优。

'OpenBloom': A Stigma-Sensitive LLM Design Probe for Navigating Reproductive Well-being Conversations with Young Adults

「OpenBloom」：一种面向生殖健康的污名敏感型大语言模型设计探针

Yang Hong, Ashley Hua, Adya Daruka, Sharifa Sultana

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 提出OpenBloom，利用大语言模型将生殖健康文章转为问题提示，通过34名参与者的136次交互研究，探讨AI生成问题如何与社会污名、情境敏感性和反思性互动，并讨论女性主义HCI、可争议性和价值敏感AI框架的应用。

Nine Raters, One Index: Carrying LLM Disagreement into Labour-Market Estimates

英国就业对生成式人工智能的暴露程度如何？开发和应用一个基于任务的指数

Golo Henseke, Rhys Davies, Alan Felstead, Duncan Gallie, Francis Green, Ying Zhou

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文开发了生成式人工智能易感指数（GAISI），通过任务层面的数据衡量英国就业对大语言模型的暴露程度，发现多数岗位有一定程度的AI暴露，但仅有少数岗位高度暴露，且AI暴露对工资溢价的影响有所下降。

Comments 47 pages, 4 figures

Continuous Improvement and Parallel Autonomous Exploration: An LLM-Agent Framework for Searching Large Solution Spaces

持续改进与并行自主探索：用于搜索大型解空间的大语言模型智能体框架

Dulmini Hettiarachchi, Andre Rusli, Julio Christian Young, Sho Akiyama

专题命中 评测与基准 ：LLM(title,summary_cn)

AI总结 该研究提出一种LLM智能体框架，含持续改进奖励循环与并行自主探索机制，在产品到目录匹配任务中，5个并行智能体的合格覆盖度较单智能体及基线显著提升。

Comments 5 pages, ACM KDD'26 Workshop on SciSoc Agents & LLMs

CURATE: Leveraging LLM Agents to Compose, Catalog, and Deploy Reproducible Workflows

CURATE：利用大语言模型智能体构建、编目和部署可复现工作流

Nolan Cutler, Chia-Chen Kuo, Nanda Velugoti, Kathryn Newhart, Renato Figueiredo

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 该研究提出CURATE多智能体系统，覆盖工作流全生命周期，通过模块目录支持FAIR原则，用Claude Opus 4.8原型验证，完成6项含基准工作流复现及环境工程工作流开发的实验。

Comments 8 pages, 3 figures

LDU-Bench: Multimodal LLM Evaluation for Lithography Defect Understanding under Layout-Varying Circuit Backgrounds

LDU-Bench：面向不同布局电路背景下光刻缺陷理解的多模态大语言模型评估基准

Huanglong Ji, Botong Zhao, Shujing Lv, Yue Lv

专题命中 评测与基准 ：LLM(title)；large language model(abstract,abstract_cn)；language model(abstract,abstract_cn)

AI总结 本文提出LDU-Bench这一多模态基准，将光刻审查工作流程分解为四项任务，评估发现现有多模态大语言模型的缺陷分类能力无法稳定迁移至下游审查阶段，为工业MLLM评估提供了统一平台。

Comments 12 pages, 3 figures, and 5 tables, including appendices

PRWeaver: Evaluating LLM-Based Code Auditors against Long-Horizon Malicious Pull Requests

PRWeaver：针对基于大语言模型的代码审计工具对抗长周期恶意拉取请求的评估

Yuekun Wang, Mingfei Cheng, Xiaofei Xie

专题命中 评测与基准 ：LLM(title,summary_cn)

AI总结 该研究提出PRWeaver基准，评估基于LLM的代码审计工具对长周期恶意PR的可靠性，发现特定评审策略会降低检测率，为优化代码审计工具提供了依据。

Obshazard-bench: Benchmarking Multimodal Foundation Models for Real-Time Disaster Intelligence from Raw Earth Observation Streams

Obshazard-bench：面向原始地球观测流的实时灾害情报多模态基础模型基准测试

Fengxiang Wang, Qiuyang Yu, Yueying Li, Mingshuo Chen, Chengchi Fei, Kaiyi Xu, Lixin Gu, Wangxu Wei, Junchao Gong, Lipeng Ma, Jiong Wang, Fenghua Ling, Wenlong Zhang, Xue Yang, Wenjing Yang, Ben Fei, Long Lan

机构 * National University of Defense Technology（国防科技大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究推出Obshazard-bench基准测试，评估多模态基础模型的实时灾害情报能力，发现现有模型在将原始多通道物理观测转化为符合决策需求的灾害推理方面存在显著局限。

EnergyAgentBench: Benchmarking LLM Agents on Live Energy Infrastructure Data

EnergyAgentBench: 在实时能源基础设施数据上评估LLM代理的基准测试

Eliseo Curcio

专题命中 评测与基准 ：LLM(title,title_cn)

AI总结 本文提出EnergyAgentBench，首个基于实时电力市场数据的LLM代理基准测试，评估数据中心选址、长期投资组合优化等任务，九种模型在1414次运行中表现各异，Claude Sonnet 4.6在整体得分上领先。

Scaling LLM-Driven Multi-Agent Systems: Design Principles and Architectural Scalability Analysis

扩展大语言模型驱动的多智能体系统：设计原则与架构可扩展性分析

Linus Sander, Fengjunjie Pan, Vahid Zolfaghari, Andre Schamschurko, Nenad Petrovic, Alois Knoll

专题命中 评测与基准 ：LLM(title,summary_cn)

AI总结 该研究提炼出可扩展多智能体系统的四项设计原则，构建参考架构并在基准任务上评估，发现LLM超能力阈值时扩展可提升准确率但成本近似线性增长，性能在中等复杂度达峰，一致性是核心挑战。

AgentS4D: Benchmarking Runtime Risks across the Execution Lifecycle of LLM-Based Workspace Agents

AgentS4D：基于大语言模型的工作空间智能体执行生命周期内运行时风险基准

Jiajun Zhou, Zhaoxuan Ke, Jihang Ye, Xuanze Chen, Shanqing Yu, Qi Xuan

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究推出AgentS4D基准，评估20种智能体配置在328个风险案例中的表现，发现任务完成不代表安全，需跨风险条件完整评估智能体配置。

Just Testing, Move Along: Evasion of LLM-based System Log Interpretation by Prompt Injection

只是测试，继续前进：通过提示注入规避基于大语言模型的系统日志解释

Max Landauer, Florian Skopik, Markus Wurzenberger, Franciszek Górski, Mateusz Krzysztoń

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究基于大语言模型的系统日志解释中提示注入攻击问题，提出评估框架，利用真实攻击日志痕迹创建对抗示例，证明攻击可致恶意日志误分类，且LLMs解释含对抗指标可用于检测攻击。

LEACL: LLM-Enhanced Automatic Curriculum Learning for Reinforcement Learning in Long-Horizon Manipulation Tasks

LEACL：用于长时程操作任务强化学习的大语言模型增强自动课程学习

Faraz Heravi, James Ouyang, Zifan Xu, Arjun Kumar, Yoonchang Sung, Peter Stone

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Nanyang Technological University（南洋理工大学） ； Sony AI（索尼人工智能） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 针对长时程操作任务强化学习挑战，提出LEACL框架，结合大语言模型与自动课程学习，用大语言模型分解任务并生成规范，由自动课程学习算法仅依稀疏奖励信号指导学习，在相关任务上取得更好渐近性能。

Comments 8 pages, 4 figures, Published in the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2026

Context Matters: Improving the Practical Reliability of LLM-Based Unit Test Generation

上下文很重要：提高基于大语言模型的单元测试生成的实际可靠性

Junjie Chen, Ziqi Wang, Lin Yang, Chen Yang, Xiao Chu, Jianyi Zhou, Guangtai Liang, Qianxiang Wang, Dong Wang

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究基于大语言模型的单元测试生成在实际应用中的问题，提出上下文感知工作流程CATGen，通过明确依赖、稳定框架、静态分析等改进设计，经评估在实际项目和基准测试中提升编译成功率与覆盖率，减少生成时间和消耗。

Comments 23 pages, 5 figures, 7 tables