语言大模型 / LLM

Codified Finite-state Machines for Role-playing

编码有限状态机用于角色扮演

Letian Peng, Yupeng Hou, Kun Zhou, Jingbo Shang

机构 * University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文提出编码有限状态机（CFSMs）和编码概率有限状态机（CPFSMs）框架，通过自动编码文本角色档案生成可解释的状态机，提升角色扮演中的一致性和随机性探索能力。

DrVoice: Parallel Speech-Text Voice Conversation Model via Dual-Resolution Speech Representations

DrVoice：通过双分辨率语音表示实现平行语音-文本语音对话模型

Chao-Hong Tan, Qian Chen, Wen Wang, Chong Deng, Qinglin Zhang, Luyao Cheng, Hai Yu, Xin Zhang, Xiang Lv, Tianyu Zhao, Chong Zhang, Yukun Ma, Yafeng Chen, Hui Wang, Jiaqing Liu, Xiangang Li, Jieping Ye

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 DrVoice通过双分辨率语音表示实现语音与文本的平行生成，有效降低计算成本并提升语音基础模型性能。

Comments Work in progress

EvoEdit: Lifelong Free-Text Knowledge Editing through Latent Perturbation Augmentation and Knowledge-driven Parameter Fusion

EvoEdit: 通过潜在扰动增强和知识驱动参数融合实现终身自由文本知识编辑

Pengfei Cao, Zeao Ji, Daojian Zeng, Jun Zhao, Kang Liu

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 EvoEdit通过潜在扰动增强和知识驱动参数融合，实现终身自由文本知识编辑，有效解决知识更新与遗忘问题。

Mechanistic Interpretability of Code Correctness in LLMs via Sparse Autoencoders

Kriz Tahimic, Charibeth Cheng

机构 * College of Computer Studies（计算机科学学院） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

EEGDM: EEG Representation Learning via Generative Diffusion Model

Jia Hong Puah, Sim Kuan Goh, Ziwei Zhang, Zixuan Ye, Chow Khuen Chan, Kheng Seang Lim, Si Lei Fong, Kok Sin Woon, Cuntai Guan

机构 * School of Artificial Intelligence and Robotics, Xiamen University Malaysia（厦门大学马来西亚分校人工智能与机器人学院） ； School of Energy and Chemical Engineering, Xiamen University Malaysia（厦门大学马来西亚分校能源与化学工程学院） ； Department of Biomedical Engineering, Universiti Malaya（马来亚大学生物医学工程系） ； Department of Medicine, Universiti Malaya（马来亚大学医学系） ； Thrust of Carbon Neutrality and Climate Change, Hong Kong University of Science and Technology (Guangzhou)（香港科学与艺术大学（广州）碳中和与气候变化研究方向） ； College of Computing & Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；pretraining(abstract)

Comments EEGDM Preprint 10 Pages

GeoSR: Cognitive-Agentic Framework for Probing Geospatial Knowledge Boundaries via Iterative Self-Refinement

Jinfan Tang, Kunming Wu, Ruifeng Gongxie, Yuya He, Yuankai Wu

机构 * School of Computer Science（计算机学院） ； Sichuan University（四川大学） ； National Key Laboratory of Fundamental Science on Synthetic Vision（合成视觉基础科学国家重点实验室） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments 16 pages, 9 figures

How Well Can Knowledge Edit Methods Edit Perplexing Knowledge?

Huaizhi Ge, Frank Rudzicz, Zining Zhu

机构 * Columbia University（哥伦比亚大学） ； Dalhousie University（达尔豪斯大学） ； Stevens Institute of Technology（斯蒂文斯理工学院） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

Comments A previous version of this document contained a hidden prompt entered by Z Zhu without knowledge of -- or consent by -- his co-authors. This version does not contain the prompt

Relation-aware Hierarchical Prompt for Open-vocabulary Scene Graph Generation

Tao Liu, Rongjie Li, Chongyu Wang, Xuming He

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments Accepted by AAAI-25

Monet: Mixture of Monosemantic Experts for Transformers

Jungwoo Park, Young Jin Ahn, Kee-Eung Kim, Jaewoo Kang

机构 * Korea University（韩国大学） ； KAIST（韩国科学技术院） ； AIGEN Sciences（AIGEN科学） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

Multi-Domain Explainability of Preferences

Nitay Calderon, Liat Ein-Dor, Roi Reichart

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

CodeUpdateArena: Benchmarking Knowledge Editing on API Updates

Zeyu Leo Liu, Shrey Pandit, Xi Ye, Eunsol Choi, Greg Durrett

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments Under Review

Probing the topology of the space of tokens with structured prompts

Michael Robinson, Sourya Dey, Taisa Kushner

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments 20 pages, 5 figures

Savaal: Scalable Concept-Driven Question Generation to Enhance Human Learning

Kimia Noorbakhsh, Joseph Chandler, Pantea Karimi, Mohammad Alizadeh, Hari Balakrishnan

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments Kimia Noorbakhsh, Joseph Chandler, and Pantea Karimi contributed equally to the work

Where's the Bug? Attention Probing for Scalable Fault Localization

Adam Stein, Arthur Wayne, Aaditya Naik, Mayur Naik, Eric Wong

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments 14 pages, 5 figures

Understanding Multimodal LLMs: the Mechanistic Interpretability of Llava in Visual Question Answering

Zeping Yu, Sophia Ananiadou

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

Comments preprint

EAGLE: Enhanced Visual Grounding Minimizes Hallucinations in Instructional Multimodal Models

Andrés Villa, Juan León Alcázar, Motasem Alfarra, Vladimir Araujo, Alvaro Soto, Bernard Ghanem

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

Comments 12 pages, 4 figures, 8 tables

Concept Induction using LLMs: a user experiment for assessment

Adrita Barua, Cara Widmer, Pascal Hitzler

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Journal ref Neural-Symbolic Learning and Reasoning, NeSy 2024, Lecture Notes in Computer Science, vol. 14980, pp. 132-148, 2024

Fantastic Semantics and Where to Find Them: Investigating Which Layers of Generative LLMs Reflect Lexical Semantics

Zhu Liu, Cunliang Kong, Ying Liu, Maosong Sun

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments Accepted to Findings of ACL 2024

Decoding by Contrasting Knowledge: Enhancing LLMs' Confidence on Edited Facts

Baolong Bi, Shenghua Liu, Lingrui Mei, Yiwei Wang, Pengliang Ji, Xueqi Cheng

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

Lost in Space: Probing Fine-grained Spatial Understanding in Vision and Language Resamplers

Georgios Pantazopoulos, Alessandro Suglia, Oliver Lemon, Arash Eshghi

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

Comments NAACL 2024

Unveiling Hidden Links Between Unseen Security Entities

Daniel Alfasi, Tal Shapira, Anat Bremler Barr

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

Ferret: Refer and Ground Anything Anywhere at Any Granularity

Haoxuan You, Haotian Zhang, Zhe Gan, Xianzhi Du, Bowen Zhang, Zirui Wang, Liangliang Cao, Shih-Fu Chang, Yinfei Yang

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

Comments 30 pages, 10 figures. Code/Project Website: https://github.com/apple/ml-ferret

Latent Adversarial Training Improves Robustness to Persistent Harmful Behaviors in LLMs

Abhay Sheshadri, Aidan Ewart, Phillip Guo, Aengus Lynch, Cindy Wu, Vivek Hebbar, Henry Sleight, Asa Cooper Stickland, Ethan Perez, Dylan Hadfield-Menell, Stephen Casper

机构 * Georgia Institute of Technology（佐治亚理工学院） ； University of Bristol（布里斯托大学） ； University of Maryland（马里兰大学） ； University College London（伦敦大学学院） ； MATS ； Astra ； MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract,comments)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Code at https://github.com/aengusl/latent-adversarial-training. Models at https://huggingface.co/LLM-LAT

OneEdit: A Neural-Symbolic Collaboratively Knowledge Editing System

Ningyu Zhang, Zekun Xi, Yujie Luo, Peng Wang, Bozhong Tian, Yunzhi Yao, Jintian Zhang, Shumin Deng, Mengshu Sun, Lei Liang, Zhiqiang Zhang, Xiaowei Zhu, Jun Zhou, Huajun Chen

专题命中 知识编辑与模型理解 ：LLM(abstract,comments)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments LLM+KG@VLDB2024, code is available at https://github.com/zjunlp/OneEdit

Virgil: Navigating Explainability for Transformer-based Language Models

Virgil：为基于Transformer的语言模型实现可解释性导航

Martino Ciaperoni, Sezer Kutluk, Benedetta Muscato, Marta Marchiori Manerba, Fosca Giannotti

机构 * Scuola Normale Superiore（高等师范学院） ； University of Turin（都灵大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 针对Transformer语言模型可解释性工具碎片化难导航的问题，提出交互式系统Virgil，依托知识库实现统一界面下工具的发现与比较，为相关人员提供可解释性导航支持。

Comments ECML PKDD 2026, Demo Track

Finding and using interpretable latents in a neutrino foundation model with sparse autoencoders

利用稀疏自编码器在中微子基础模型中寻找和使用可解释隐变量

Raphaël Bonnet-Guerrini, Johann Ioannou-Nikolaides, Inar Timiryasov, Vincenzo Piuri

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本研究将基于稀疏自编码器的机械可解释性方法应用于中微子基础模型，识别出经验证的物理概念图谱，训练的不确定性预测头可提升20%选择效率下的中位角分辨率，证明机械可解释性可助力下游任务设计。

Mitigating Bias in Large Vision-Language Models via Counterfactual Ensemble Decoding

基于反事实集成解码缓解大视觉语言模型中的偏差

Yisong Xiao, Aishan Liu, Yongxin Huang, Zonghao Ying, Shiji Zhao, Tianlin Li, Yong Han, Jian Yang, Xianglong Liu

机构 * State Key Lab of Software Development Environment, Beihang University（北京航空航天大学软件开发环境国家重点实验室） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对大视觉语言模型的社会偏差问题，提出反事实集成解码框架，通过构建多群体反事实视角并集成解码，在三类基准上实现最高47.97%的偏差降低，同时保留模型核心能力。

Who Do Language Models Think Is Competent? A Mechanistic Analysis of Occupational Bias

语言模型认为谁具备胜任能力？职业偏见的机制分析

Keren Fuentes, Aaron Mueller

机构 * Boston University（波士顿大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过引入因果框架，揭示语言模型对用户专业知识的内部表征存在职业偏见，该偏见会受人口统计学属性影响，且仅靠行为指标无法完全检测到相关失效模式。

CFM: Language-aligned Concept Foundation Model for Vision

CFM：面向视觉的语言对齐概念基础模型

Kai Wittenmayer, Sukrut Rao, Amin Parchami-Araghi, Bernt Schiele, Jonas Fischer

机构 * Max Planck Institute for Informatics（马克斯·普朗克信息研究所） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 CFM提出一种语言对齐的概念基础模型，提供细粒度可解释的概念，提升视觉任务的解释能力，实现分类、分割和描述生成的高性能表现。

Comments Accepted as a Spotlight at ECCV 2026. Corrected inaccuracies in equation 3,4 and B.8. 58 pages

A Critical Synthesis of Uncertainty Quantification and Foundation Models for Semantic Segmentation

语义分割中不确定性量化与基础模型的批判性综合研究

Steven Landgraf, Joceline Hinz, Markus Ulrich

机构 * Institute of Photogrammetry and Remote Sensing (IPF), Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院摄影测量与遥感研究所） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文首次系统评估四类不确定性量化方法在语义分割基础模型上的表现，揭示预测性能、可靠性与计算成本间的权衡，为现实应用需联合优化相关指标指明方向。

Comments Accepted for publication in the ISPRS Annals (ISPRS Congress 2026, Toronto, Oral Presentation)