语言大模型 / LLM

Enhancing Large Language Models (LLMs) for Telecom using Dynamic Knowledge Graphs and Explainable Retrieval-Augmented Generation

通过动态知识图谱和可解释检索增强生成增强大型语言模型用于电信

Dun Yuan, Hao Zhou, Xue Liu, Hao Chen, Yan Xin, Jianzhong, Zhang

机构 * School of Computer Science, McGill University（麦吉尔大学计算机科学学院） ； Standards and Mobility Innovation Lab, Samsung Research America（三星美国标准与移动创新实验室） 纠错

专题命中 知识编辑与模型理解 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 本文提出KG-RAG框架，通过整合知识图谱与检索增强生成技术，提升大型语言模型在电信领域中的准确性与可靠性。

Fail-Closed Alignment for Large Language Models

大型语言模型的Fail-Closed对齐

Zachary Coalson, Beth Sohler, Aiden Gabriel, Sanghyun Hong

机构 * Oregon State University, Corvallis, OR USA（俄勒冈州立大学） 纠错

专题命中 知识编辑与模型理解 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.LG

AI总结 本文提出fail-closed对齐原则，通过冗余独立路径提升LLM安全，有效对抗基于提示的Jailbreak攻击。

Comments Pre-print

Quantifying LLM Attention-Head Stability: Implications for Circuit Universality

量化大语言模型注意力头的稳定性：对电路通用性的启示

Karan Bali, Jack Stanley, Praneet Suresh, Danilo Bzdok

机构 * Mila - Quebec Artificial Intelligence Institute（魁北克人工智能研究所） ； McGill University（麦吉尔大学） 纠错

专题命中 知识编辑与模型理解 ：LLM(title)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本研究量化了大语言模型注意力头的稳定性，发现中层头最不稳定但表示最独特，深层模型中层分歧更明显，权重衰减优化提升稳定性，残差流较稳定，为AI系统白盒监控提供新视角。

Comments Main Body: 8 pages, Total length: 33 pages, Code repo: https://github.com/karanbali/attention_head_seed_stability , Weights repo: https://huggingface.co/karanbali/attention_head_seed_stability

Systematic Evaluation of Single-Cell Foundation Model Interpretability Reveals Attention Captures Co-Expression Rather Than Unique Regulatory Signal

单细胞基础模型解释性系统评估揭示注意力捕捉共表达而非独特调控信号

Ihor Kendiukhov

机构 * Department of Computer Science University of Tübingen（计算机科学系图宾根大学） 纠错

专题命中 知识编辑与模型理解 ：foundation model(title,abstract)；分类 cs.AI

AI总结 单细胞基础模型中注意力机制捕捉共表达而非独特调控信号，CSSI提升GRN恢复效率

Discovering Universal Activation Directions for PII Leakage in Language Models

发现语言模型中PII泄露的通用激活方向

Leo Marchyok, Zachary Coalson, Sungho Keum, Sooel Son, Sanghyun Hong

机构 * Oregon State University, Corvallis OR, USA ； Korea Advanced Institute of Science \& Technology, Daejeon, South Korea 纠错

专题命中 知识编辑与模型理解 ：language model(title,abstract)；分类 cs.LG

AI总结 UniLeak通过识别语言模型中通用激活方向，提升PII泄露可能性，为隐私安全研究提供新视角。

Comments Pre-print

On the Concept of Violence: A Comparative Study of Human and AI Judgments

关于暴力概念的观念：人类与AI判断的比较研究

Mariachiara Stellato, Francesco Lancia, Chiara Galeazzi, Nico Curti

专题命中 知识编辑与模型理解 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文通过比较人类与AI对暴力的判断，探讨了AI如何处理模糊的道德概念及人类解释的转化。

FRAPPE: Infusing World Modeling into Generalist Policies via Multiple Future Representation Alignment

FRAPPE：通过多未来表示对齐将世界建模注入通用策略

Han Zhao, Jingbo Wang, Wenxuan Song, Shuai Chen, Yang Liu, Yan Wang, Haoang Li, Donglin Wang

机构 * Zhejiang University（浙江大学） ； Westlake University（西湖大学） ； South China University of Technology（华南理工大学） ； ShanghaiTech University（上海科技大学） ； Tsinghua University（清华大学） 纠错

专题命中 知识编辑与模型理解 ：foundation model(abstract)；post-training(abstract)

AI总结 FRAPPE通过多未来表示对齐提升通用机器人策略的世界建模能力，提高微调效率并减少数据依赖，实验证明其在长时序和未见场景中的泛化性能优于现有方法。

Comments Project Website: https://h-zhao1997.github.io/frappe