大语言模型是上下文中的个性化摘要器吗？用 iCOPERNICUS 测试检验一下！
Are Large Language Models In-Context Personalized Summarizers? Get an iCOPERNICUS Test Done!
AI总结：
本文提出 iCOPERNICUS 框架，以 EGISES 为度量检验 LLMs 是否真正具备上下文个性化学习能力，发现 15/17 个模型在更丰富提示下 ICPL 下降，缺乏真正的个性化摘要能力。
摘要：
大语言模型（LLMs）在基于上下文学习（In-Context-Learning，ICL）的摘要任务中已取得显著成功。然而，显著性取决于用户特定的偏好历史。因此，我们需要在此类 LLMs 中具备可靠的上下文个性化学习（In-Context Personalization Learning，ICPL）能力。任意 LLM 要展现 ICPL，都需要具备辨别用户画像中对比差异的能力。最近的一项研究首次提出了一种名为 EGISES 的个性化程度度量方法。EGISES 衡量模型对用户画像差异的响应程度。然而，它无法检验模型是否利用了 ICPL 提示中提供的全部三类线索：（i）示例摘要，（ii）用户阅读历史，以及（iii）用户画像中的对比差异。为解决这一问题，我们提出了 iCOPERNICUS 框架，这是一种新颖的针对 LLMs 摘要能力的上下文个性化学习审视（In-COntext PERsonalization learNIng sCrUtiny）框架，该框架使用 EGISES 作为比较度量。作为案例研究，我们根据所报告的 ICL 性能评估了 17 个最先进的 LLMs，并观察到当使用更丰富的提示进行探测时，有 15 个模型的 ICPL 性能下降（最低：1.6%；最高：3.6%），从而表明它们缺乏真正的 ICPL。
英文摘要：
Large Language Models (LLMs) have succeeded considerably in In-Context-Learning (ICL) based summarization. However, saliency is subject to the users' specific preference histories. Hence, we need reliable In-Context Personalization Learning (ICPL) capabilities within such LLMs. For any arbitrary LLM to exhibit ICPL, it needs to have the ability to discern contrast in user profiles. A recent study proposed a measure for degree-of-personalization called EGISES for the first time. EGISES measures a model's responsiveness to user profile differences. However, it cannot test if a model utilizes all three types of cues provided in ICPL prompts: (i) example summaries, (ii) user's reading histories, and (iii) contrast in user profiles. To address this, we propose the iCOPERNICUS framework, a novel In-COntext PERsonalization learNIng sCrUtiny of Summarization capability in LLMs that uses EGISES as a comparative measure. As a case-study, we evaluate 17 state-of-the-art LLMs based on their reported ICL performances and observe that 15 models' ICPL degrades (min: 1.6%; max: 3.6%) when probed with richer prompts, thereby showing lack of true ICPL.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
