AILS-NTUA 在 SemEval-2025 任务4中的表现：基于数据分块的大语言模型参数高效遗忘方法
AILS-NTUA at SemEval-2025 Task 4: Parameter-Efficient Unlearning for Large Language Models using Data Chunking
AI总结：
针对大语言模型敏感内容遗忘需求，提出结合LoRA、层级微调与数据分块的参数高效遗忘方法，在SemEval-2025任务4中取得榜首，实现优异的遗忘-保留平衡。
摘要：
大语言模型敏感内容遗忘任务旨在从已训练模型中移除目标数据点，同时最小化对模型通用知识的影响。本研究采用基于梯度的参数高效遗忘方法，结合低秩适配（LoRA）和层级聚焦微调技术。为进一步提升遗忘效果，我们引入数据分块策略：将遗忘数据拆分为互不重叠的分区，按预设比例与循环采样的保留数据样本合并。该任务无关方法实现了出色的遗忘-保留平衡，在排行榜上位列第一，性能显著优于基线模型与其他参赛系统。
英文摘要：
The Unlearning Sensitive Content from Large Language Models task aims to remove targeted datapoints from trained models while minimally affecting their general knowledge. In our work, we leverage parameter-efficient, gradient-based unlearning using low-rank (LoRA) adaptation and layer-focused fine-tuning. To further enhance unlearning effectiveness, we employ data chunking, splitting forget data into disjoint partitions and merging them with cyclically sampled retain samples at a pre-defined ratio. Our task-agnostic method achieves an outstanding forget-retain balance, ranking first on leaderboards and significantly outperforming baselines and competing systems.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
