语言大模型 / LLM

Latent Structure Modulation in Large Language Models Through Stochastic Concept Embedding Transitions

Stefan Whitaker, Colin Sisate, Marcel Windsor, Nikolai Fairweather, Tarquin Goldborough, Oskar Lindenfeld

专题命中 知识编辑与模型理解 ：large language model(title)；language model(title)；分类 cs.CL

Comments arXiv admin note: This paper has been withdrawn by arXiv due to disputed and unverifiable authorship

Disentangling Language and Culture for Evaluating Multilingual Large Language Models

Jiahao Ying, Wei Tang, Yiran Zhao, Yixin Cao, Yu Rong, Wenxuan Zhang

机构 * Singapore Management University（新加坡管理学院） ； University of Science and Technology of China（中国科学技术大学） ； National University of Singapore（新加坡国立大学） ； Institute of Trustworthy Embodied AI, Fudan University（复旦大学可信具身人工智能研究院） ； DAMO Academy, Alibaba Group（阿里集团大模型实验室） ； Singapore University of Technology and Design（新加坡科技设计大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(title)；language model(title)；分类 cs.CL

Comments Accepted to ACL 2025 (Main Conference)

Uncertainty Unveiled: Can Exposure to More In-context Examples Mitigate Uncertainty for Large Language Models?

Yifei Wang, Yu Sheng, Linjing Li, Daniel Zeng

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，自动化研究所，中国科学院） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（人工智能学院，中国科学院大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(title)；language model(title)；分类 cs.CL

Comments Camera-ready versions for ACL 2025 Findings

Trajectory Adaptation using Large Language Models

Anurag Maurya, Tashmoy Ghosh, Ravi Prakash

专题命中 知识编辑与模型理解 ：large language model(title)；language model(title)；分类 cs.AI

Comments Accepted to CoRL LangRob workshop 2024

Hierarchical Lexical Manifold Projection in Large Language Models: A Novel Mechanism for Multi-Scale Semantic Representation

Natasha Martus, Sebastian Crowther, Maxwell Dorrington, Jonathan Applethwaite, Edgar Tillinghurst, Quentin Birkenshaw, Lukas Petrov, Constance Willoughby

专题命中 知识编辑与模型理解 ：large language model(title)；language model(title)；分类 cs.CL

Comments arXiv admin note: This paper has been withdrawn by arXiv due to disputed and unverifiable authorship

Interpretable Few-Shot Retinal Disease Diagnosis with Concept-Guided Prompting of Vision-Language Models

Deval Mehta, Yiwen Jiang, Catherine L Jan, Mingguang He, Kshitij Jadhav, Zongyuan Ge

专题命中 知识编辑与模型理解 ：language model(title)；prompting(title)；分类 cs.AI

Comments Accepted to Information Processing in Medical Imaging (IPMI) 2025

Transformer Dynamics: A neuroscientific approach to interpretability of large language models

Jesseba Fernando, Grigori Guitchounts

专题命中 知识编辑与模型理解 ：large language model(title)；language model(title)；分类 cs.AI

Brain Surgery: Ensuring GDPR Compliance in Large Language Models via Concept Erasure

Michele Laurelli

专题命中 知识编辑与模型理解 ：large language model(title)；language model(title)；分类 cs.AI

Divine LLaMAs: Bias, Stereotypes, Stigmatization, and Emotion Representation of Religion in Large Language Models

Flor Miriam Plaza-del-Arco, Amanda Cercas Curry, Susanna Paoli, Alba Curry, Dirk Hovy

专题命中 知识编辑与模型理解 ：large language model(title)；language model(title)；分类 cs.CL

PAC Prediction Sets for Large Language Models of Code

Adam Khakhar, Stephen Mell, Osbert Bastani

专题命中 知识编辑与模型理解 ：large language model(title)；language model(title)；分类 cs.LG

Comments Proceedings of the 40th International Conference on Machine Learning

Journal ref PMLR 202, 2023

Hallucination Detection via Activations of Open-Weight Proxy Analyzers

通过开放权重代理分析器的激活进行幻觉检测

Akshita Singh, Prabesh Paudel, Siddhartha Roy

机构 * Khoury College of Computer Sciences（科里学院计算机科学学院） ； Northeastern University（东北大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出一种代理分析器框架，通过本地部署的小型开放权重模型检测大语言模型的幻觉，采用变压器文本处理特性构建18种特征，并在多个模型架构上训练堆叠集成模型，最终在RAGTruth数据集上取得优于ReDeEP的AUC和F1分数。

Comments 12 pages, 4 figures. Code available at https://github.com/hallu-detect/llm_hallucination_detection

Hidden in the Request: Explaining Unethical LLM Compliance through Token Relevance

隐藏在请求中：通过词元相关性解释不道德的大语言模型合规性

Or Biton, Tomer Krichli, Itai Allouche, Joseph Keshet

机构 * Faculty of Electrical and Computer Engineering, Technion（以色列理工学院电气与计算机工程学院） 纠错

专题命中 知识编辑与模型理解 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究针对LLMs在不道德场景下的合规性失败问题，提出LRP引导的解码方法，发现模型对提示词元的归因不足是关键原因，干预后可提升响应安全性。

Decoding Phenotypes: A Framework for Fusing Genomic Language Models and Neuroimaging

解码表型：融合基因组语言模型与神经成像的框架

Tianli Tao, Ziyang Wang, Emma Robinson, Rachel Sparks, Le Zhang

机构 * King’s College London（伦敦国王学院） ； Aston University（阿斯顿大学） ； University of Birmingham（伯明翰大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出多模态框架GeneFuse，整合GLM遗传表征与神经成像特征，在NC vs. MCI、NC vs. AD任务上分别获0.77、0.83的AUROC，性能优于现有方法。

Escaping Mode Collapse in LLM Generation via Geometric Regulation

通过几何调控逃离大语言模型生成中的模式崩溃

Xin Du, Kumiko Tanaka-Ishii

机构 * Department of XXX, University of YYY, Location, Country（XXX系，YYY大学，地点，国家） ； School of ZZZ, Institute of WWW, Location, Country（ZZZ学院，WWW研究所，地点，国家） ； Department of Communications and Computer Engineering, Waseda University, Tokyo, Japan（通信与计算机工程系，早稻田大学，东京，日本） ； Department of Computer Science and Engineering, Waseda University, Tokyo, Japan（计算机科学与工程系，早稻田大学，东京，日本） ； Shanghai Research Institute for Intelligent Autonomous Systems, Tongji University, Shanghai, China（智能自主系统上海研究院，同济大学，上海，中国） 纠错

专题命中 知识编辑与模型理解 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文从动力系统视角将模式崩溃解释为几何崩溃，并提出轻量级在线状态空间干预方法RMR（通过低秩阻尼调控Transformer值缓存中的自强化方向），显著降低模式崩溃并实现极低熵率下的稳定生成。

Comments Accepted to ICML 2026

Beyond the Bidirectional Promise: Re-evaluating the Robustness of Diffusion Language Models

超越双向承诺：重新评估扩散语言模型的鲁棒性

Saurabh Yadav, Badri Narayana Patro, Vijay Srinivas Agneeswaran

机构 * Microsoft（微软公司） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 该研究评估了扩散语言模型的鲁棒性，发现其虽能抵御部分对抗攻击但易受自然噪声影响，存在过度自信问题，脆弱性源于解码器路由故障，需将鲁棒性整合入迭代解码循环。

Directional Hallucinations: Ideological Drift in News-Grounded LLM Question Answering

定向幻觉：基于新闻的语言模型问答中的意识形态漂移

Chendi Wang, Liam Cunningham, Tom Yishay, Jieying Chen

机构 * Vrije Universiteit Amsterdam（阿姆斯特丹自由大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究基于新闻的语言模型问答中的意识形态漂移，提出可重复测量框架，利用大量新闻文章对多个模型进行实验，发现幻觉率因模型和话题而异，幻觉内容有向左漂移现象，并探讨了相关意义。

Causal dictionary learning reveals and validates transcription-factor binding features in genomic language models

因果字典学习揭示并验证基因组语言模型中的转录因子结合特征

Sarwan Ali

机构 * Columbia University Irving Medical Center（哥伦比亚大学伊文思医疗中心） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对基因组语言模型内部表示不透明问题，引入结合稀疏字典学习与因果干预的框架，训练自动编码器提取转录因子结合特征，开发去混淆协议并因果验证，为基因组深度学习可解释性提供计算标准。

MorphologyFM: A Foundation Model for Morphology-Aware Representation Learning from ECG and Pulse Oximetry Waveforms

MorphologyFM：一种用于从心电图和脉搏血氧波形中进行形态感知表示学习的基础模型

Saiyang Feng, Yuanyun Zhang, Shi Li

机构 * University of the Chinese Academy of Sciences（中国科学院大学） ； Columbia University（哥伦比亚大学） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对现有生理波形方法未保留临床意义波形形态的问题，提出多模态基础模型MorphologyFM，通过形态感知自监督学习目标预训练，结合多种技术学习相关表示，在多下游任务中表现优于其他方法，证明联合建模更具可转移性。

Can We Trust LLM's Logic? Quantifying Uncertainty, Coherence, and Robustness via a Graph-Based Framework

我们能信任大语言模型的逻辑吗？通过基于图的框架量化不确定性、连贯性和鲁棒性

Riccardo Revalor, Jalees Rehman, Debjit Pal

机构 * Department of Electrical and Computer Engineering（电气与计算机工程系） ； Department of Biochemistry and Molecular Genetics（生物化学与分子遗传学系） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型推理问题，引入基于图的GRAPHEVAL框架，提出GRCS度量和GSC解码策略，量化不确定性等，发现GRCS与推理忠实度负相关，证明GSC所选路径对推理的重要性。

Comments 42 pages, 14 figures, 12 tables

Language Models Represent and Transform Concepts with Shared Geometry

语言模型通过共享几何表示和转换概念

Zhimin Hu, Lanhao Niu, Sashank Varma

专题命中 知识编辑与模型理解 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究神经网络中概念表示问题，将概念表示形式化为点云流形、上下文转换为向量场，在大语言模型中实例化该框架，发现模型共享概念表示及上下文转换的通用几何结构。

Sparse Autoencoders are Capable LLM Jailbreak Mitigators

稀疏自编码器是LLM劫持攻击缓解器

Yannick Assogba, Jacopo Cortellazzi, Javier Abad, Pau Rodriguez, Xavier Suau, Arno Blaas

专题命中 知识编辑与模型理解 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出基于SAE的CC-Delta方法，通过比较带有和无劫持上下文的有害请求的token级表示，识别劫持相关的稀疏特征，从而在稀疏SAE特征空间中实现更优的安全-效用权衡。

Comments Accepted at the Mechanistic Interpretability Workshop, ICML 2026. 31 pages, 20 figures, 7 tables

PORTER: Language-Grounded Event Representations for Portable Structured EHR Foundation Models

PORTER：面向便携式结构化电子健康记录基础模型的语言基础事件表示

Lin Lawrence Guo, Adam Paul Yan, Emily Vettese, Lillian Sung

机构 * Child Health Evaluative Sciences（儿童健康评估科学） ； The Hospital for Sick Children（圣母医院） ； Division of Haematology/Oncology（血液肿瘤科） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

AI总结 提出PORTER模型，通过冻结文本编码器和数值路径解耦事件表示与固定词汇，实现跨词汇迁移，在儿科医院74项临床任务中匹配基线性能，跨词汇迁移恢复97.1% AUROC，并在MIMIC上优于固定词汇模型。

Density Ridge Selective Prediction for LLM and VLM Hallucination Detection under Calibration Label Scarcity

密度脊选择性预测：校准标签稀缺下的大语言模型与视觉语言模型幻觉检测

Nina I. Shamsi

机构 * Northeastern University Boston, United States（东北大学波士顿分校） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对校准标签稀缺时大语言模型和视觉语言模型的幻觉检测问题，提出基于核密度估计的密度脊方法，利用隐藏状态生成轨迹的六维运动特征图构建响应流形，通过到最近脊顶点的欧氏距离评分，在标签稀缺协议下AUROC提升5-20点。

Do Video Foundation Models Understand Intuitive Physics? A Layerwise Probing Analysis

视频基础模型是否理解直觉物理？逐层探测分析

Samuele Punzo, Niccolò Caselli, Ippokratis Pantelidis, Francesco Massafra, Salvatore Lo Sardo, Mohammadreza Salehi

机构 * University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 通过冻结特征探测，研究预训练视频基础模型在直觉物理信息上的编码能力，发现V-JEPA表现最佳，物理信息在中后期层最易获取，且时序破坏显著降低性能。

From Simulation to Enaction: Post-trained language models recognize and react to their own generations

从模拟到行动：后训练语言模型识别并回应自身生成

Asvin G., Jack Lindsey

机构 * Institute for Advanced Study, Princeton（普林斯顿高级研究院） ； Anthropic 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文发现后训练语言模型能够识别自身生成（on-policy）并降低输出熵，通过内部表示输入意外性来调节，且显式识别与隐式识别机制不同。

Comments Anthropic fellows project mentored by Jack Lindsey

Virtual Personas for Language Models via an Anthology of Backstories

通过背景区 anthology 为语言模型构建虚拟人物

Suhong Moon, Marwa Abdulhai, Minwoo Kang, Joseph Suh, Widyadewi Soedarmadji, Eran Kohen Behar, David M. Chan, John Canny

机构 * University of California, Berkeley（加州大学伯克利分校） ； Google LLC（谷歌公司） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出 anthology 方法，利用开放性生活叙述引导语言模型生成特定虚拟人物，提升实验结果的一致性和可靠性，通过三个人类调查发现其在匹配响应分布和一致性指标上分别提升18%和27%。

Comments EMNLP 2024 Main

Patch-Effect Graph Kernels for LLM Interpretability

用于LLM可解释性的补丁效应图核

Ruben Fernandez-Boullon, David N. Olivieri

机构 * Department of Computer Science, University of Vigo（维戈大学计算机科学系） 纠错

专题命中 知识编辑与模型理解 ：LLM(title,title_cn)；分类 cs.CL、cs.AI

AI总结 本文提出将机械可解释性分析转化为图机器学习问题，通过补丁效应图分析模型组件的激活补丁特征，提升不同任务下的结构比较能力。

Automated Interpretability and Feature Discovery in Language Models with Agents

在语言模型中通过代理实现自动化可解释性和特征发现

Arnau Marin-Llobet, Javier Ferrando

机构 * Harvard University（哈佛大学） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一个自主多代理框架，用于自动化大型语言模型的内部特征发现与解释，通过两个耦合循环提升解释精度和可验证性。

AIPsy-Affect: A Keyword-Free Clinical Stimulus Battery for Mechanistic Interpretability of Emotion in Language Models

AIPsy-Affect：一种无关键词的临床刺激电池，用于语言模型中情绪的机制可解释性

Michael Keeman

机构 * Keido Labs（Keido实验室） 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出AIPsy-Affect，一种480项的临床刺激电池，通过叙事情境引发Plutchik的八种基本情绪，消除关键词混淆，支持情绪机制的可解释性研究。

Comments Dataset paper. 12 pages + appendix, 2 figures. Dataset available at https://huggingface.co/datasets/keidolabs/aipsy-affect. MIT license

Are LLM Uncertainty and Correctness Encoded by the Same Features? A Functional Dissociation via Sparse Autoencoders

语言模型的不确定性和正确性是否由相同特征编码？通过稀疏自编码器的函数解离

Het Patel, Tiejin Chen, Hua Wei, Evangelos E. Papalexakis, Jia Chen

机构 * University of California, Riverside（加州大学河滨分校） ； Arizona State University（亚利桑那州立大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究通过稀疏自编码器探讨语言模型的不确定性与正确性是否由同一内部机制驱动，发现三类功能不同的特征群体，揭示其在模型性能中的作用差异。