语言大模型 / LLM

Conformal Sets in Multiple-Choice Question Answering under Black-Box Settings with Provable Coverage Guarantees

Guang Yang, Xinyang Liu

机构 * School of Electrical Engineering University of Jinan（电气工程学院 华东理工大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments under review

Semantic Convergence: Investigating Shared Representations Across Scaled LLMs

Daniel Son, Sanjana Rathore, Andrew Rufail, Adrian Simon, Daniel Zhang, Soham Dave, Cole Blondin, Kevin Zhu, Sean O'Brien

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments Submitted to ACL 2025 Student Research Workshop (poster)

Empirical Evaluation of Concept Drift in ML-Based Android Malware Detection

Ahmed Sabbah, Radi Jarrar, Samer Zein, David Mohaisen

机构 * Department of Computer Science, Birzeit University（巴伊兹大学计算机科学系） ； Department of Computer Science, University of Central Florida（中央佛罗里达大学计算机科学系） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 18 pages, 12 tables, 14 figures, paper under review

Probing Information Distribution in Transformer Architectures through Entropy Analysis

Amedeo Buonanno, Alessandro Rivetti, Francesco A. N. Palmieri, Giovanni Di Gennaro, Gianmarco Romano

机构 * Department of Energy Technologies and Renewable Sources, ENEA（能源技术与可再生能源部门，ENEA） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments Presented to the Italian Workshop on Neural Networks (WIRN2025) and it will appear in a Springer Chapter

FHSTP@EXIST 2025 Benchmark: Sexism Detection with Transparent Speech Concept Bottleneck Models

Roberto Labadie-Tamayo, Adrian Jaques Böck, Djordje Slijepčević, Xihui Chen, Andreas Babic, Matthias Zeppelzauer

机构 * St. P\" o lten University of Applied Sciences, 3100 St. Pölten, Austria 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 12 pages

The Blessing and Curse of Dimensionality in Safety Alignment

Rachel S. Y. Teo, Laziz U. Abdullaev, Tan M. Nguyen

机构 * Department of Mathematics National University of Singapore（数学系新加坡国立大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments Published as a conference paper at COLM 2025

NeuralDB: Scaling Knowledge Editing in LLMs to 100,000 Facts with Neural KV Database

Weizhi Fei, Hao Shi, Jing Xu, Jingchen Peng, Jiazheng Li, Jingzhao Zhang, Bo Bai, Wei Han, Zhenyuan Chen, Xueyan Niu

机构 * Department of Mathematical Sciences, Tsinghua University（清华大学数学科学系） ； IIIS, Tsinghua University（清华大学人工智能学院） ； College of AI, Tsinghua University（清华大学人工智能学院） ； Huawei Technologies Co., Ltd.（华为技术有限公司） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Spin glass model of in-context learning

Yuhao Li, Ruoran Bai, Haiping Huang

机构 * PMI Lab, School of Physics, Sun Yat-sen University（物理系实验室、中山大学） ； Guangdong Provincial Key Laboratory of Magnetoelectric Physics and Devices（磁电物理与器件广东省重点实验室） ； Sun Yat-sen University（中山大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 16 pages, 4+6 figures, revised version to the journal

Journal ref Phys. Rev. E 112, L013301 (2025)

ICR Probe: Tracking Hidden State Dynamics for Reliable Hallucination Detection in LLMs

Zhenliang Zhang, Xinyu Hu, Huixuan Zhang, Junzhe Zhang, Xiaojun Wan

机构 * Wangxuan Institute of Computer Technology, Peking University（北京大学王璇计算机技术研究所） ； School of Software and Microelectronics, Peking University（北京大学软件与微电子学院） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted to ACL 2025 (Main Conference)

Coordinate Heart System: A Geometric Framework for Emotion Representation

Omar Al-Desi

机构 * Jordan, Amman（约旦，阿曼） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 26 pages

Linearly-Interpretable Concept Embedding Models for Text Analysis

Francesco De Santis, Philippe Bich, Gabriele Ciravegna, Pietro Barbiero, Danilo Giordano, Tania Cerquitelli

机构 * CENTAI Institute（CENTAI研究所） 纠错

专题命中 知识编辑与模型理解 ：LLM(abstract)；language model(abstract)；分类 cs.CL、cs.AI

any4: Learned 4-bit Numeric Representation for LLMs

Mostafa Elhoushi, Jeff Johnson

机构 * FAIR at Meta（Meta 的 FAIR） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments ICML 2025

Attention Slipping: A Mechanistic Understanding of Jailbreak Attacks and Defenses in LLMs

Xiaomeng Hu, Pin-Yu Chen, Tsung-Yi Ho

机构 * The Chinese University of Hong Kong Sha Tin, Hong Kong（香港中文大学沙田分校） ； IBM Research New York, USA（IBM纽约研究院） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Semantic Scene Graph for Ultrasound Image Explanation and Scanning Guidance

Xuesong Li, Dianye Huang, Yameng Zhang, Nassir Navab, Zhongliang Jiang

机构 * Computer Aided Medical Procedures (CAMP)（计算机辅助医疗程序） ； TU Munich, Germany（慕尼黑工业大学，德国） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； The Chinese University of Hong Kong, Hong Kong, China（香港中文大学，中国香港） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Separating Tongue from Thought: Activation Patching Reveals Language-Agnostic Concept Representations in Transformers

Clément Dumas, Chris Wendler, Veniamin Veselovsky, Giovanni Monea, Robert West

机构 * ENS Paris-Saclay（巴黎萨克雷大学） ； Université Paris-Saclay（巴黎萨克雷大学） ； Northeastern（东北大学） ； Princeton（普林斯顿大学） ； Cornell（康奈尔大学） ； EPFL（洛桑联邦理工学院） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 20 pages, 14 figures, previous version published under the title "How Do Llamas Process Multilingual Text? A Latent Exploration through Activation Patching" at the ICML 2024 mechanistic interpretability workshop at https://openreview.net/forum?id=0ku2hIm4BS

AggTruth: Contextual Hallucination Detection using Aggregated Attention Scores in LLMs

Piotr Matys, Jan Eliasz, Konrad Kiełczyński, Mikołaj Langner, Teddy Ferdinan, Jan Kocoń, Przemysław Kazienko

机构 * Department of Artificial Intelligence, Wroclaw Tech（华沙技术大学人工智能系） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments ICCS 2025 Workshops

Taming Polysemanticity in LLMs: Provable Feature Recovery via Sparse Autoencoders

Siyu Chen, Heejune Sheen, Xuyuan Xiong, Tianhao Wang, Zhuoran Yang

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 136 pages, 21 figures

Sample Complexity and Representation Ability of Test-time Scaling Paradigms

Baihe Huang, Shanda Li, Tianhao Wu, Yiming Yang, Ameet Talwalkar, Kannan Ramchandran, Michael I. Jordan, Jiantao Jiao

机构 * University of California, Berkeley（加州大学伯克利分校） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Propositional Logic for Probing Generalization in Neural Networks

Anna Langedijk, Jaap Jumelet, Willem Zuidema

机构 * University of Amsterdam（阿姆斯特丹大学） ； CLCG, Rijksuniversiteit Groningen（CLCG，格罗宁根大学） ； ILLC, University of Amsterdam（ILLC，阿姆斯特丹大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Dissecting Bias in LLMs: A Mechanistic Interpretability Perspective

Bhavik Chandna, Zubair Bashir, Procheta Sen

机构 * University of California San Diego（加州大学圣地亚哥分校） ； Indian Institute of Technology, Kharagpur（印度理工学院，Khargpur分校） ； University of Liverpool（利物浦大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

CoRe-MMRAG: Cross-Source Knowledge Reconciliation for Multimodal RAG

Yang Tian, Fan Liu, Jingyuan Zhang, Victoria W., Yupeng Hu, Liqiang Nie

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted to ACL 2025 Main

Language-Enhanced Representation Learning for Single-Cell Transcriptomics

Yaorui Shi, Jiaqi Yang, Changhao Nai, Sihang Li, Junfeng Fang, Xiang Wang, Zhiyuan Liu, Yang Zhang

机构 * University of Science and Technology of China（中国科学技术大学） ； Harbin Institute of Technology（哈尔滨工业大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Model Unlearning via Sparse Autoencoder Subspace Guided Projections

Xu Wang, Zihao Li, Benyou Wang, Yan Hu, Difan Zou

机构 * The University of Hong Kong（香港大学） ； New Jersey Institute of Technology（新泽西理工学院） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Toward universal steering and monitoring of AI models

Daniel Beaglehole, Adityanarayanan Radhakrishnan, Enric Boix-Adserà, Mikhail Belkin

机构 * Computer Science and Engineering（计算机科学与工程） ； Broad Institute of MIT and Harvard（MIT和哈佛大学Broad研究所） ； UC San Diego（圣地亚哥大学） ； Harvard SEAS（哈佛大学工程与应用科学学院） ； MIT Mathematics（MIT数学系） ； Halıcıoğlu Data Science Institute（Halıcıoğlu数据科学研究所） ； Harvard CMSA（哈佛大学计算机科学与应用数学系） 纠错

专题命中 知识编辑与模型理解 ：language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

DocMEdit: Towards Document-Level Model Editing

Li Zeng, Zeming Liu, Chong Feng, Heyan Huang, Yuhang Guo

机构 * School of Computer Science and Technology, Beijing Institute of Technology, Beijing, China（北京理工大学计算机科学与技术学院） ； School of Computer Science and Engineering, Beihang University, Beijing, China（北京航空航天大学计算机科学与工程学院） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted by ACL 2025 findings

Safety Alignment via Constrained Knowledge Unlearning

Zesheng Shi, Yucheng Zhou, Jing Li

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

GloSS over Toxicity: Understanding and Mitigating Toxicity in LLMs via Global Toxic Subspace

Zenghao Duan, Zhiyi Yin, Zhichao Shi, Liang Pang, Shaoling Jing, Jiayi Wu, Yu Yan, Huawei Shen, Xueqi Cheng

机构 * Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Dalian University of Technology（大连理工大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

GRAPE: Heterogeneous Graph Representation Learning for Genetic Perturbation with Coding and Non-Coding Biotype

Changxi Chi, Jun Xia, Jingbo Zhou, Jiabei Cheng, Chang Yu, Stan Z. Li

机构 * Zhejiang University（浙江大学） ； AI Lab, Research Center for Industries of the Future, Westlake University（西交大人工智能实验室，未来产业研究中心，西湖大学） ； Department of Automation, School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University（自动化系，电子信息与电气工程学院，上海交通大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

The Struggles of LLMs in Cross-lingual Code Clone Detection

Micheline Bénédicte Moumoula, Abdoul Kader Kabore, Jacques Klein, Tegawendé Bissyande

机构 * University of Luxembourg（卢森堡大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments Accepted for publication at the ACM International Conference on the Foundations of Software Engineering (FSE) 2025

Multivariate Conformal Selection

Tian Bai, Yue Zhao, Xiang Yu, Archer Y. Yang

专题命中 知识编辑与模型理解 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 25 pages, 4 figures. Accepted to ICML 2025