语言大模型 / LLM

Rule Taxonomy and Evolution in AI IDEs: A Mining and Survey Study

AI IDE中的规则分类与演化：挖掘与调查研究

Guangzong Cai, Ruiyin Li, Peng Liang, Zengyang Li, Mojtaba Shahin

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； School of Computer Science, Central China Normal University（中央师范大学计算机学院） ； School of Computing Technologies, RMIT University（皇家墨尔本理工大学计算技术学院） 纠错

专题命中 评测与基准 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 通过挖掘83个开源项目中的7310条规则和99份从业者调查，建立了包含5个主类和25个子类的规则分类法，发现开发者重视架构约束但实际配置多为低级工作流和代码格式规则，规则演化主要由建设性上下文扩展和丰富驱动，且更新规则可使工件合规率平均提升22.99%。

Comments 52 pages, 21 images, 8 tables, Manuscript submitted to a Journal (2026)

One Jailbreak, Many Tongues: Learning Language-Insensitive Intention Representations for Multilingual Jailbreak Detection

一次越狱，多种语言：学习语言无关的意图表示用于多语言越狱检测

Shuyu Jiang, Kaiyu Xu, Xingshu Chen, Hao Ren, Rui Tang, Yi Zhang, Tianwei Zhang, Hongwei Li

机构 * School of Cyber Science and Engineering, Sichuan University（四川大学网络空间安全学院） ； School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院） ； School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院） 纠错

专题命中 评测与基准 ：LLM(summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对多语言LLM安全漏洞，提出MLJailDe框架，通过多语言回译数据增强和相对距离约束，实现跨语言越狱检测，F1达98.5%。

Frontier Coding Agents Use Metaprogramming to Adapt to Unfamiliar Programming Languages

前沿编码代理使用元编程适应不熟悉的编程语言

Aman Sharma, Sushrut Thorat, Paras Chopra

机构 * Lossfunk 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 研究评估LLM编码代理在陌生语言上的表现，发现强代理通过元编程（如用Python生成目标语言代码）适应，禁止此策略性能大幅下降，而弱代理无法从中受益。

Comments 43 pages, 8 figures

Where Does the Answer Come From? Benchmarking View-Level Visual Evidence Identification in Multi-View MLLMs for Autonomous Driving

答案从何而来？面向自动驾驶的多视角MLLMs中视角级视觉证据识别基准

Yimu Wang, Yee Man Choi, Barry Zhang, Mozhgan Nasr Azadani, Sean Sedwards, Krzysztof Czarnecki

机构 * University of Waterloo（滑铁卢大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对多视角自动驾驶场景，提出一个基准测试，评估多模态大模型在视觉问答中识别支持性相机视角的能力，包含122个冲突中心问题对，并区分视角选择与答案正确性。

ZIPP:Zero-shot Image Personalization from Personas

ZIPP：基于人物画像的零样本图像个性化生成

Harini SI, Somesh Singh, Yaman Kumar Singla, David Doermann, Rajiv Ratn Shah

机构 * Adobe Media and Data Science Research (MDSR)（Adobe媒体与数据科学研究（MDSR）） ； IIIT-Delhi（德里印度理工学院） ； SUNY at Buffalo（纽约州立大学布法罗分校） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出ZIPP方法，利用自然语言人物画像通过LLM改写提示词实现零样本图像个性化生成，无需用户数据或微调；引入ZIPBench基准，在多个评测中取得13-20%的提升。

Auditable Graph-Guided Root Cause Analysis for Kubernetes Incidents

可审计的图引导的Kubernetes事件根因分析

Anastasiia Kuvshinova, Seungmin Jin

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出Graph Traversal Agent，结合LLM推理与确定性图操作，通过类型化证据图、有界搜索和独立验证实现可审计的根因分析，在ITBench上F1从0.6087提升至0.9130。

Comments 8 pages, 1 figure. Preprint

Testing the Black Box: Structural Barriers to Independent Evaluation of Consumer-Facing Health LLMs

测试黑箱：面向消费者的健康大语言模型独立评估的结构性障碍

Rahul Gorijavolu, Kaushik Madapati, Pritika Vig, Rawan Abulibdeh, Nikhil Jaiswal, Mahri Kadyrova, Zeamanuel Hailu Tesfaye, Charles Senteio, Paula Maurutto, Leo Anthony Celi

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Johns Hopkins University（约翰霍普金斯大学） ； University of California, Berkeley（加州大学伯克利分校） ； Toronto General Hospital, University Health Network（多伦多综合医院，大学健康网络） ； McGill University（麦吉尔大学） ； University of Toronto（多伦多大学） ； Independent Researcher（独立研究者） ； Rutgers University（罗格斯大学） ； Beth Israel Deaconess Medical Center（贝斯以色列女执事医疗中心） ； Harvard T.H. Chan School of Public Health（哈佛大学陈曾熙公共卫生学院） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究通过模拟用户档案，测试面向消费者的健康大语言模型在响应变异和谄媚行为方面的表现，发现五大结构性障碍阻碍独立评估。

Comments 6 pages, 1 figure. Preprint submitted for review

Hiding in Plain Floats: Steganographic Carriers for Indirect Prompt and Content Injection

隐藏在普通浮点数中：用于间接提示和内容注入的隐写载体

Mudit Sinha, Sanika Chavan

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 研究结构化浮点参数作为隐写载体绕过文本检测器实现LLM间接提示/内容注入，实验显示在最强防御下泄露ASR达94.3%。

Comments Accepted as a poster at FAGEN@ICML 2026. 14 pages, 3 figures

Closing the Sim-to-Real Gap: An Evaluation Framework for Autonomous Cyber Defense Configuration of Commercial EDR

弥合模拟到现实的差距：商业EDR自主网络防御配置评估框架

Kerri Prinos, Lilianne Brush

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出首个针对商业EDR自主防御智能体的评估框架，通过GOAD实验室与微软Defender XDR的实例化测试，揭示模拟和开源评估无法发现的三个关键差距。

Comments 12 pages including references

Support Vector Rubrics: Closing the Gap Between Self-Generated and Human Rubrics

支持向量评分准则：弥合自生成与人工评分准则之间的差距

Mengyuan Sun, Yu Li, Zhuohao Yu, Shikun Zhang, Wei Ye

机构 * National Engineering Research Center for Software Engineering, Peking University（北京大学软件工程国家工程研究中心） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对自生成评分准则在困难实例上落后于人工标注的问题，提出SVR框架，将准则构建转化为偏好数据上的最大间隔边界学习，通过对比特征挖掘、提示条件选择器和迭代优化，显著缩小与人工准则的差距，并展现出广泛的奖励建模能力。

ROSUM-MCTS: Monte Carlo Tree Search-Inspired HDL Code Summarization with Structural Rewards

ROSUM-MCTS：基于蒙特卡洛树搜索的HDL代码摘要生成与结构奖励

Prashanth Vijayaraghavan, Charles Mackin, Luyao Shi, Apoorva Nitsure, Ashutosh Jadhav, David Beymer, Tyler Baldwin, Ehsan Degan, Vandana Mukherjee

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出ROSUM-MCTS方法，利用蒙特卡洛树搜索引导大语言模型，通过分层候选扩展和复合奖励函数优化硬件描述语言代码摘要，在VHDL和Verilog数据集上优于基线方法。

Comments 7 pages

Journal ref ICLAD'2025

Phun-Bench: Evaluating LLMs on Phonological Understanding in Chinese

Phun-Bench：评估大语言模型的中文语音理解能力

Xing Yue, Yongliang Shen, Weiming Lu

机构 * Zhejiang University（浙江大学） 纠错

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出Phun-Bench基准，通过同音、押韵和语音相似性三个维度系统评估大语言模型的语音理解能力，发现模型在灵活运用语音知识方面存在不足。

Comments Accepted to ACL 2026 Main Conference

Evidence-Grounded Ensemble Diagnosis of 802.11 Packet Captures: A Multi-Stage Pipeline with Deterministic Reliability Scoring

基于证据的802.11数据包捕获集成诊断：具有确定性可靠性评分的多阶段流水线

Jerome Henry, Swadhin Pradhan, Miroslav Popovic

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；分类 cs.LG

AI总结 提出PROBE多阶段流水线，通过确定性证据框架和集成方法解决LLM在802.11诊断中的幻觉、置信度偏差和评估偏见问题，在87个企业Wi-Fi捕获上实现0.957的加权证据F1分数和96%的自动接受率。

Comments 37 pages, 9 figures, 9 tables

NEMESIS: NEtlist-Driven Modeling and Equation Synthesis with Inversion-Aware SPICE Anchoring

NEMESIS：基于网表驱动的建模与方程合成，结合反演感知SPICE锚定

Subhadip Ghosh, Ramesh Harjani, Sachin S. Sapatnekar

专题命中 评测与基准 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 研究基于大语言模型提出NEMESIS框架用于OTA设计，平衡分析模型与SPICE评估。通过识别电路原语生成性能方程，经修复循环优化。在65nm工艺下对五种OTA拓扑验证，方程误差小且评估速度大幅提升。

Comments Accepted for publication at the IEEE International Conference on LLM-Aided Design, 2026, to be held: Time: July 30-31, 2026 Location: Stanford University, Stanford, CA

SESSE: Sketch, Expand, Sort, Summarize, Evaluate -- LLM-as-Judge Evaluation via Structured Decomposition

SESSE：草图、扩展、排序、总结、评估——通过结构化分解的大模型作为评判者的评估

Dae Lee, Mihai Delgeanu, Adel Youssef

机构 * Apple（苹果公司） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对大模型作为评判者评估无法分离质量维度等问题，提出无需训练的SESSE框架，在RewardBench上实现与基线近乎相当的性能，且可提供可解释的审计跟踪。

You Only Pass Once: Answering and Abstaining Together in a Single Forward Pass of a Frozen Language Model

仅前向传播一次：在冻结语言模型的单次前向传播中同时完成回答与弃权（不执行）

Ziyang Luo, Zhongyao Chu, Xinjie He, Youting Wang, Xukui Qin, Runxiong Wu, Yan-Syuan Chen

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 该研究提出YOPO系统，通过训练小型网络重构残差流，在冻结Qwen2.5模型单次前向传播中同时实现回答、引导与弃权，性能优于两次前向传播基准，且在跨域等场景表现出色。

Comments 24 pages. Ziyang Luo and Zhongyao Chu contributed equally

Attributing Preprocessing Invariance in Spectral Foundation Models

归因于光谱基础模型中的预处理不变性

Dongjun Wei, Hongyi Wu, Yinuo Zou

机构 * ESCP Business School（ESCP商学院） ； OpluxCare Co., Ltd.（欧普乐康护理有限公司） ； The University of Hong Kong（香港大学） ； Nanjing University（南京大学） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 该研究以拉曼光谱基础模型为例，指出其声称的预处理不变性多源于归一化而非学习，多数系统的归一化已消除相关变换，训练编码器未带来显著增益。

Forecast Collapse in Time-Series Foundation Models

时间序列基础模型中的预测崩溃现象

Shu Wan, Miles Ma, Hank Zhu, Guangqi Liu, Stephen Wang, Qingsong Wen, Huan Liu

专题命中 评测与基准 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 针对1000只美股每小时收益预测出现的预测崩溃现象，本文分析其成因，提出CalibRank目标函数平衡校准与排名，在Finance1K上提升了截面相关性。

Comments 27 pages, 3 figures, 5 tables. Dataset: https://huggingface.co/datasets/abel-lab/finance1k

Into the ORBIT for Time Series: Training Regimes for Foundation Models

面向时间序列的ORBIT：基础模型的训练机制

Hongjie Xia, Yiding Liu, Yifan Hu, Peiyuan Liu, Zewei Dong

专题命中 评测与基准 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对时间序列基础模型训练分布控制不足的问题，提出ORBIT训练范式，结合多级采样与增量训练，训练Falcon-2.0模型并引入Rank引导跨深度对齐，在多基准测试中展现优异零样本预测性能。

Vision-Language Models are Fragile Multilingual Associators

视觉-语言模型是脆弱的多语言关联器

Ritabrata Chakraborty, Rajatsubhra Chakraborty, Shivakumara Palaiahnakote, Angelo Cangelosi, Umapada Pal

机构 * Manipal University Jaipur（斋浦尔马尼帕尔大学） ； University of North Carolina Charlotte（北卡罗来纳大学夏洛特分校） ； University of Salford（索尔福德大学） ； University of Manchester（曼彻斯特大学） ； Indian Statistical Institute Kolkata（印度统计研究所加尔各答分所） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对视觉-语言模型的多语言关联稳定性问题，构建M²BIND基准，发现其跨语系/文字时会出现绑定崩溃，关系密切语言则表现较好，表明多语言部署的VLMs关联质量存疑。

Comments Preprint (under review). Project Page: https://ritabrata04.github.io/m2bind/

How Far Do Foundation Models Transfer to Infant Signals? A Cross-Dataset Transfer Audit with a Unified Need Ontology

基础模型在婴儿信号上的迁移能力如何？基于统一需求本体的跨数据集迁移审计

Wu Hangyu

专题命中 评测与基准 ：foundation model(title)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对婴儿哭声语料库的标签不兼容等问题，通过多级审计探究基础模型的跨数据集迁移能力，提出实用方案并发布工具将不兼容语料库转为联合训练资源。

Comments 18 pages, 7 figures. Under review at AAAI 2027

Do AI Personas Grow? Analyzing and Benchmarking Personality Evolution in LLM Agents After Life Events

AI人格会成长吗？分析并基准化大语言模型智能体在经历生活事件后的人格演变

Ming Wang, Peidong Wang, Xiaocui Yang, Daling Wang, Shi Feng, Fiona Fui-Hoon Nah, Ee-Peng Lim

专题命中 评测与基准 ：LLM(title,abstract)；分类 cs.CL、cs.AI

AI总结 该研究聚焦PC-Agents的人格演变，以大五人格为锚点，引入BFI-Adapt基准，发现其人格转变幅度低于人类、离散度压缩，仅模拟人类人格动态均值。

DeepInvert: Semi-Supervised Embedding Inversion Against Obfuscated Language Models

DeepInvert：针对混淆语言模型的半监督嵌入反演攻击

Zhicong Huang, Cheng Hong, Tao Wei

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 该研究针对ObfusLM等混淆语言模型防御提出半监督嵌入反演攻击DeepInvert，其标记恢复率达73.5%，优于现有方法，揭示混淆防御存在效用与反演的权衡问题，呼吁重新评估该防御类别。

Comments 20 pages

NuclearDiffusion: Text-to-Image Foundation Models for Learning Nuclear Energy Concepts

NuclearDiffusion：用于学习核能概念的文生成像基础模型

Mohammed I. Radaideh, Jeremy Moon, Andre Gala-Garza, Emma Son, Yug Shah, Majdi I. Radaideh

专题命中 评测与基准 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本研究通过微调开源扩散模型构建核能文生成像模型，发现微调效果依赖生成架构，且微调后开源模型在专业核能图像生成上优于主流商业系统，证实领域特定微调是开发可信领域生成式AI的可行路径。

Comments 29 pages, 10 figures, and 4 tables

Single Canonical Prompts Underestimate LLM Safety's Surface-Form Sensitivity

单一规范提示低估了大语言模型安全的表面形式敏感性

Yongxi Zhou, Junwei Yao, Yuanzhe Liu, Zihan Dong, Wenbo Ye, Jiaxi Wen, Lai Yun Choi

专题命中 评测与基准 ：LLM(title,abstract)；分类 cs.CL、cs.AI

AI总结 该研究发现仅用单一规范提示评估大语言模型安全会低估其不安全合规性，不同表面形式下的不安全结果并集会超出最糟单一形式，且存在模型差异，同时发布了相关数据集、代码与响应标签。

Comments 9 pages, 3 tables

Can You Trust the Confidence? ConfBench for Vision-Language Models on Document Extraction

你能信任置信度吗？面向文档提取的视觉语言模型ConfBench

Priyashree Roy, Sujitha Martin, Mohammad Rostami, Spencer Romo, Renhao Xue, Bob Strahan, Diego A. Socolinsky, Boyi Xie, Md Mofijul Islam

机构 * Amazon Web Services（亚马逊网络服务） 纠错

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对视觉语言模型的文档提取任务推出校准专用基准ConfBench，评估多类VLM的置信度估计方法，揭示模态、模型能力等对置信度的影响，发布相关指标以助力可信IDP部署。

Not the Dimension, the Norm: What Matters in Gradient-Free Weight Perturbation of Language Models

并非维度，而是范数：无梯度语言模型权重扰动的关键因素

Taeyeong Kim, Ahhyun Kim, TaeHyeon Kim, Unggi Lee

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 该研究探究无梯度语言模型权重扰动的关键因素，发现全权重搜索非必需，扰动范数是核心有效因素，其安全区域可跨模型与尺度迁移，优化方向聚焦于扰动强度的确定。

DLLM-TTS: Block Discrete Diffusion Language Model for Text-to-Speech Synthesis

DLLM-TTS：用于文本到语音合成的块离散扩散语言模型

Wasim Madha, Nityanand Mathur, Hamees Sayed, Apoorv Singh, Sameer Khurana, Akshat Mandloi, Sudarshan Kamath

专题命中 评测与基准 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出 DLLM-TTS 框架，将 TTS 建模为基于 X-Codec2 的条件块离散扩散，通过块内掩码扩散与并行预测实现高效语音生成，在 Seed-TTS-eval 基准上取得良好性能，兼具实用性与数据效率。

The Formalism Trap: Are LLM-as-a-Judge Evaluators Blinded by Consensus Mimicry under Social Load?

形式主义陷阱：社会负荷下作为评判者的大语言模型是否会被共识模仿蒙蔽？

Dahlia Shehata, Ming Li

机构 * University of Waterloo（滑铁卢大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；分类 cs.CL、cs.AI

AI总结 该研究提出Agentic形式主义陷阱与评估失调指数，通过多领域轨迹分析揭示作为评判者的大语言模型易受句法触发影响，且该漏洞与领域无关，需架构特定的警戒过滤器。

FunL2O: LLM-Guided Feature Function Design for Learning to Optimize

FunL2O：面向学习优化的大语言模型引导特征函数设计

Bingheng Li, Junyang Cai, Yupeng Zhang, Bistra Dilkina, Jayant Kalagnanam, Dzung T. Phan

专题命中 评测与基准 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出首个大语言模型驱动特征自动化设计的L2O统一框架FunL2O，经多类优化任务及四种大语言模型验证，其演化特征性能优于人工设计特征。