对话式聊天机器人中对称推理的实证研究
Empirical Study of Symmetrical Reasoning in Conversational Chatbots
AI总结：
本文使用 SIS 数据集和 ICL 评估五款 LLM 聊天机器人的谓词对称推理能力，发现模型表现不一，Gemini Advanced 与人类评分相关性达 0.85。
摘要：
本研究探讨了由大型语言模型（LLM）驱动的对话式聊天机器人理解和刻画谓词对称性的能力；谓词对称性是一种认知语言功能，传统上被认为是人类固有的特征。我们利用上下文学习（ICL）这一范式转变，使聊天机器人无需重新训练即可从提示中学习新任务，并评估了五款聊天机器人的对称推理能力：ChatGPT 4、Huggingface chat AI、Microsoft 的 Copilot AI、通过 Perplexity 使用的 LLaMA，以及 Gemini Advanced。我们使用 Tanchip 等人（2020）提出的 Symmetry Inference Sentence（SIS）数据集，将聊天机器人的回答与人类评估进行比较，以衡量它们对谓词对称性的理解。实验结果表明，各聊天机器人的表现存在差异，其中一些接近人类式推理能力。例如，Gemini 与人类评分的相关性达到 0.85，同时为每一项对称性评估提供了听起来合理的理由。本研究强调了 LLM 在镜像对称推理等复杂认知过程方面的潜力与局限。
英文摘要：
This work explores the capability of conversational chatbots powered by large language models (LLMs), to understand and characterize predicate symmetry, a cognitive linguistic function traditionally believed to be an inherent human trait. Leveraging in-context learning (ICL), a paradigm shift enabling chatbots to learn new tasks from prompts without re-training, we assess the symmetrical reasoning of five chatbots: ChatGPT 4, Huggingface chat AI, Microsoft's Copilot AI, LLaMA through Perplexity, and Gemini Advanced. Using the Symmetry Inference Sentence (SIS) dataset by Tanchip et al. (2020), we compare chatbot responses against human evaluations to gauge their understanding of predicate symmetry. Experiment results reveal varied performance among chatbots, with some approaching human-like reasoning capabilities. Gemini, for example, reaches a correlation of 0.85 with human scores, while providing a sounding justification for each symmetry evaluation. This study underscores the potential and limitations of LLMs in mirroring complex cognitive processes as symmetrical reasoning.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
