University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）

The Emergence of Relevance Through Axiomatic Attention Patterns During LoRA Fine-Tuning

LoRA微调期间通过公理注意力模式实现相关性的涌现

Matthew Perlman, Atharva Nijasure, James Allan

机构 * University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） 纠错

AI总结 该研究探究LoRA微调LLMs用于重排序时，注意力更新在网络中间区域的作用，发现其与公理IR特征关注度相关，为改进重排序器适配策略提供了可解释依据。

Comments Accepted to EMNLP 2026 Findings. 17 Pages. 25 Figures. 5 Tables

Can LLMs Truly Forget? Revealing Unlearning Gaps Through Adversarial Evaluation

大语言模型（LLMs）真的能遗忘吗？通过对抗性评估揭示遗忘差距

Ayush Gupta, Hima Varshini Surisetty, Sreevidya Bollineni, Varad Ingale, Tuhina Tripathi, Abhishek Lalwani, Somya Chatterjee, Sadid Hasan

机构 * University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； Microsoft Corporation（微软公司） 纠错

AI总结 本研究针对TOFU数据集和Llama-3.2-3B-Instruct模型，引入ASR指标评估遗忘方法，发现标准指标表现优异的遗忘方法仍存在高对抗恢复风险，提出需补充对抗性压力测试作为遗忘评估的必要部分。

Comments 19 pages, 5 figures