Understanding the Dynamics of Demonstration Conflict in In-Context Learning
理解上下文学习中演示冲突的动力学
机构 * University of Toronto(多伦多大学) ; King Abdullah University of Science(卡布斯国王科学大学) ; Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
AI总结 本研究探讨了上下文学习中演示冲突的处理机制,发现模型在冲突证据下表现出两阶段计算结构,通过注意力头分析揭示了模型对腐败证据的敏感性,并验证了针对性消融对性能提升的显著影响。
Comments 19 pages,12 figures,4 tables