IBM

Intrinsic Structure: Spectral Identifiability for Mechanistic Interpretability

内在结构：机制可解释性的谱可识别性

Ashim Dhor, Pin-Yu Chen

机构 * IISER Bhopal（印度博帕尔科学教育与研究所） ； IBM Research（IBM研究院） 纠错

AI总结 本研究提出机制可解释性的谱可识别性定理，利用Koopman算子构建模型内在指纹，在GPT-2 small等模型上验证了谱的收敛性及相关性质，为机制可解释性的基础组件提供了首个可识别性理论。

Do LLMs Benefit From Their Own Words?

大型语言模型是否受益于自身话语？

Jenny Y. Huang, Leshem Choshen, Wei Sun, Omar Khattab, Ramón Fernandez Astudillo, Mehul Damani, Tamara Broderick, Jacob Andreas

机构 * Department of Electrical Engineering and Computer Science, Massachusetts Institute of Technology（麻省理工学院电子工程与计算机科学系） ； MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室） ； IBM Research（IBM研究院） 纠错

AI总结 研究发现，省略大型语言模型自身历史上下文可提高响应质量并减少内存消耗。