控制与评估基于大语言模型（LLM）的对话生成中角色设定的恰当使用
Controlling and Assessing Appropriate Persona Use in LLM-based Dialogue Generation
浏览论文内容
中文总结 AI 辅助
本研究针对LLM对话生成中角色过度使用问题，分析其偏差原因，提出SCONPOS方法与PAS指标，有效缓解角色过度使用并评估其恰当性。
中文摘要 AI 辅助
在基于角色设定的对话生成（PDG）中，大语言模型（LLM）常过度使用角色属性，无论对话上下文如何都将其纳入，导致回复不自然。尽管该问题具有实际意义，但其根本原因仍未被探究，既无缓解该问题的方法，也无评估角色使用恰当性的指标。为解决这些问题，我们首先对基于LLM的PDG展开全面分析，发现LLM存在系统性地纳入所有给定角色属性的偏差，且现有指标无法捕捉上下文恰当性。基于这些发现，我们提出自对比角色过度使用抑制方法（SCONPOS），该方法在提示编码阶段直接干预LLM的内部表征以缓解过度使用，无需生成任何回复。我们进一步提出角色恰当性得分（PAS）这一新指标，该指标同时惩罚过度使用和使用不足。实验结果表明，SCONPOS可系统性减少过度使用，PAS能够捕捉角色使用的上下文恰当性。
英文摘要
In persona-based dialogue generation (PDG), LLMs often overuse persona attributes by incorporating them regardless of dialogue context, resulting in unnatural responses. Despite its practical significance, the underlying causes remain unexplored, with no method to mitigate this problem or metric to assess the appropriateness of persona use. To address these issues, we first conduct a comprehensive analysis of LLM-based PDG, revealing that LLMs exhibit a systematic bias to incorporate all given persona attributes, and that existing metrics fail to capture contextual appropriateness. Building on these findings, we propose Self-CONtrastive Persona Overuse Suppression (SCONPOS) to mitigate overuse by directly intervening in LLMs' internal representations at the prompt encoding stage, without requiring any response generation. We further propose the Persona Appropriateness Score (PAS), a novel metric that penalizes both overuse and underuse. Experimental results demonstrate that SCONPOS systematically reduces overuse, and PAS captures the contextual appropriateness of persona use.
发表机构
- UNIST（韩国蔚山科学技术院）
- POSTECH（浦项科技大学）
- POSCO Holdings Inc.（浦项控股公司）
机构由 AI 辅助整理，请以论文原文为准。
