评估大语言模型中的形容词-名词组合性：功能视角与表征视角
Evaluating Adjective-Noun Compositionality in LLMs: Functional vs Representational Perspectives
AI总结：
研究探讨LLM在形容词-名词组合性任务中的表现，发现模型内部状态与任务性能存在差异，强调对比评估的重要性。
摘要：
组合性被认为是语言能力的核心。作为高性能语言系统，大语言模型（LLM）在组合性任务中如何表现？我们通过两种互补的方法评估LLM的形容词-名词组合性：基于提示的功能评估和内部模型状态的表征分析。我们的结果揭示了任务性能与内部状态之间的显著分歧。尽管LLM能够可靠地发展出组合性表征，但它们在不同模型变体中无法一致地将这种表征转化为功能任务的成功。因此，我们强调对比评估对于更全面理解模型能力的重要性。
英文摘要：
Compositionality is considered central to language abilities. As performant language systems, how do large language models (LLMs) do on compositional tasks? We evaluate adjective-noun compositionality in LLMs using two complementary setups: prompt-based functional assessment and a representational analysis of internal model states. Our results reveal a striking divergence between task performance and internal states. While LLMs reliably develop compositional representations, they fail to translate consistently into functional task success across model variants. Consequently, we highlight the importance of contrastive evaluation for obtaining a more complete understanding of model capabilities.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
