Deception Abilities Emerged in Large Language Models
本研究发现GPT-4等最先进的LLMs已涌现出欺骗策略，能诱导其他智能体产生错误信念，且思维链推理和马基雅维利主义可增强其欺骗倾向，为机器心理学领域做出贡献。
2024-02-02 cs.AI cs.CL cs.LG
On the Reasoning Abilities of Masked Diffusion Language Models
ETH Zürich（苏黎世联邦理工学院）；Allen Institute for AI（人工智能研究所）
本文研究了掩码扩散模型在推理任务中的能力，通过与链式思维和填充循环变压器框架对比，证明了其在有限精度对数宽度下与多项式填充PLTs等效，并展示了其在解决特定问题时的高效性。
2026-04-26 cs.AI cs.CL cs.LG
U-shaped and Inverted-U Scaling behind Emergent Abilities of Large Language Models
National Taiwan University（台湾大学）
本研究通过按难度分组问题，发现LLMs困难问题呈U型缩放、简单问题先倒U型后持续提升，二者初期抵消致性能停滞，简单问题模式转换后性能飙升产生涌现能力，并提出Slice-and-Sandwich pipeline预测涌现阈值及后续性能。
2025-02-12 cs.AI cs.CL
On the Decision-Making Abilities in Role-Playing using Large Language Models
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）
本文构建16种MBTI虚拟角色并从适应性、探索-利用权衡、推理和安全四方面量化评估LLM角色扮演后的决策能力，发现其决策表现与角色类型稳定相关。
2024-02-29 cs.AI cs.CL
SciBench: Evaluating College-Level Scientific Problem-Solving Abilities of Large Language Models
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；California Institute of Technology（加州理工学院）；University of Washington（华盛顿大学）
SciBench通过构建大学级数学、化学和物理科学问题基准，系统评估并揭示了当前LLM在复杂科学推理上的不足，为改进推理能力提供方向。
2024-06-28 cs.AI cs.CL cs.LG
Language Models are Multilingual Chain-of-Thought Reasoners
Google Research（谷歌研究院）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Stanford University（斯坦福大学）；Dartmouth College（达特茅斯学院）
我们评估的推理能力的大语言模型在多语种设置。我们引入了多语言小学数学（MGSM）基准，通过手动翻译GSM8K数据集的250个小学数学问题（Cobbe等人，2021年）分为10个不同类型的语言。我们发现，通过思维链提示解决MGSM问题的能力随着模型规模的增加而出现，并且模型具有非常强大的多语言推理能力，即使在孟加拉语和斯瓦希里语等代表性不足的语言中也是如此。最后，我们表明，多语言推理能力的语言模型扩展到其他任务，如常识推理和词的上下文语义判断。MGSM基准可在https://github.com/google-research/url-nlp上公开获得。
2022-10-06 cs.AI cs.CL cs.LG
Do Emergent Abilities Exist in Quantized Large Language Models: An Empirical Study
Renmin University of China（中国人民大学）；Alibaba Group（阿里巴巴集团）
本研究实证考察量化对LLM涌现能力（上下文学习、思维链推理、指令跟随）的影响，发现4位量化保留能力而2位严重退化，并提出细粒度分析与微调补偿方法。
2023-07-26 cs.AI cs.CL
Empowering Cross-lingual Abilities of Instruction-tuned Large Language Models by Translation-following demonstrations
Idiap Research Institute（伊迪亚普研究所）；University of Manchester（曼彻斯特大学）
针对大语言模型跨语言能力不均衡问题，提出带翻译跟随示例的CrossAlpaca指令调优模型，通过语义对齐增强非英语能力，在多类基准六种语言上优于单语调优模型。
2023-08-27 cs.AI cs.CL
Self-Evolving Critique Abilities in Large Language Models
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Shenzhen International Center for Industrial and Applied Mathematics（深圳国际工业与应用数学中心）；Qwen Team, Alibaba Inc.（阿里云通义团队）
本文提出SCRIT框架，利用自生成数据和对比批评方法，无需外部监督即可增强LLMs的批判能力，在数学和科学推理基准上显著提升批评纠正准确率和错误识别F1分数。
2025-08-04 cs.AI cs.CL cs.LG
Emergent Abilities of Large Language Models
Google Research（谷歌研究院）；Stanford University（斯坦福大学）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）；DeepMind（深度思维）
扩展语言模型已被证明可以在广泛的下游任务上可预见地提高性能和样本效率。相反，本文讨论了一种不可预测的现象，我们称之为大语言模型的涌现能力。我们认为一种能力是突现的，如果它不存在于较小的模型中，但存在于较大的模型中。因此，不能简单地通过推断较小模型的表现来预测涌现能力。这种出现的存在意味着额外的扩展可以进一步扩展语言模型的能力范围。
2022-10-26 cs.CL
Don't Trust ChatGPT when Your Question is not in English: A Study of Multilingual Abilities and Types of LLMs
Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）；University of Alberta（阿尔伯塔大学）
本文研究了LLMs在多语言环境下的性能差异与跨语言泛化现象，提出基于反向翻译的提示方法，发现GPT在多语言场景下表现出高度类似翻译的行为。
2023-10-24 cs.AI cs.CL
Enhancing Multi-Step Reasoning Abilities of Language Models through Direct Q-Function Optimization
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；ByteDance（字节跳动）；Oregon State University（俄勒冈州立大学）
针对现有强化学习方法在语言模型多步推理任务中存在的计算资源消耗大或性能不足问题，提出基于MDP构建和SAC框架的DQO方法，在GSM8K和MATH数据集上优于现有方法，为语言模型对齐提供了高效的离线强化学习方案。
2025-02-11 cs.AI cs.CL cs.LG
Dialectical language model evaluation: An initial appraisal of the commonsense spatial reasoning abilities of LLMs
University of Leeds（利兹大学）；The Alan Turing Institute（艾伦·图灵研究所）；Tongji University（同济大学）；Universitat Politècnica de València（瓦伦西亚理工大学）；ValGRAI；Leverhulme Centre for the Future of Intelligence（利弗休姆未来智能中心）
本文针对大语言模型在静态常识推理基准上表现不断提升的现象，提出通过对话式辩证评估探查其空间推理失败案例与能力边界，并给出改进模型和系统化评估的建议。
2023-04-22 cs.AI cs.CL
Emergent Abilities of Large Language Models under Continued Pretraining for Language Adaptation
HiTZ Center, University of the Basque Country (UPV/EHU)（巴斯克大学希茨中心）
本文研究持续预训练中英语数据的作用，发现英语数据虽不影响验证困惑度，但对目标语言下游能力涌现至关重要，并提出课程学习和权重EMA作为替代方案。
2025-09-19 cs.AI cs.CL
Dynamic Evaluation of Large Language Models by Meta Probing Agents
Microsoft Research（微软研究院）；University of Science and Technology of China（中国科学技术大学）
本文提出受心理测量学启发的元探测智能体MPA，作为DyVal 2核心组件，通过动态转换评估问题并围绕语言理解、问题解决和领域知识三种能力进行细粒度、多方面的大语言模型动态评估，同时揭示能力相关性与模型规模间的马太效应。
2024-06-07 cs.AI cs.CL cs.LG
Evaluating the Process Modeling Abilities of Large Language Models -- Preliminary Foundations and Results
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Saarland University（萨尔大学）
本文指出LLM流程建模能力评估涉及质量、成本、时间及Pareto最优权衡，并分析质量定义、验证、泛化和数据泄漏等挑战，提出未来科学实验方向。
2025-03-14 cs.CL cs.LG cs.SE
Are Emergent Abilities in Large Language Models just In-Context Learning?
The University of Bath（巴斯大学）；Technical University of Darmstadt（达姆施塔特工业大学）
该研究针对大语言模型涌现能力的评估混淆问题，提出结合上下文学习等混淆因素的新理论，经千余次实验验证所谓涌现能力是上下文学习、模型记忆与语言知识共同作用的结果，为模型高效使用提供参考。
2024-07-15 cs.CL
MenatQA: A New Dataset for Testing the Temporal Comprehension and Reasoning Abilities of Large Language Models
University of Chinese Academy of Sciences（中国科学院大学）；CASIA（中国科学院自动化研究所）；Fuzhou University（福州大学）；Beijing Institute of Technology（北京理工大学）
针对大语言模型时间敏感性研究不足的问题，本文构建了含三类时间因素、2853个样本的MenatQA数据集，测试发现主流LLM时间推理表现弱于小型专用模型，并初步探索了提示工程与外部工具的改进方向。
2023-10-08 cs.AI cs.CL
The BLA Benchmark: Investigating Basic Language Abilities of Pre-Trained Multimodal Models
University of Amsterdam（阿姆斯特丹大学）
本文提出自动构建的BLA基准，考察多模态模型对主动-被动语态、并列结构和关系从句等基础语言能力的掌握，发现主流模型表现有限，而BLIP2在上下文学习中展现潜力。
2023-10-23 cs.AI cs.CL cs.CV
On the Planning Abilities of Large Language Models (A Critical Investigation with a Proposed Benchmark)
Arizona State University（亚利桑那州立大学）；Colorado State University（科罗拉多州立大学）
感兴趣的索赔紧急推理能力的LLM训练一般的Web语料库，在本文中，我们着手调查他们的规划能力。我们的目标是评估（1）LLM本身在常识规划任务（人类通常非常擅长的类型）中生成和验证简单计划的效果如何，以及（2）LLM在其他代理（AI规划者或人类规划者）的启发式指导来源中的效果如何。为了系统地而不是以轶事的方式调查这些问题，我们首先根据国际规划竞赛中采用的领域类型开发了一个基准套件。在这个基准测试中，我们以三种模式评估LLM：自主，启发式和人在回路。我们的研究结果表明，LLM的自主生成可执行计划的能力是相当微薄的，平均只有约3%的成功率。启发式和人在回路模式显示出更大的希望。除了这些结果，我们还提供了我们的基准和评估工具，以支持研究界的调查。
2023-02-13 cs.AI cs.CL cs.LG
Reasoning Abilities of Large Language Models: In-Depth Analysis on the Abstraction and Reasoning Corpus
GIST（光州科学技术院）；Electrical Engineering and Computer Science, GIST（光州科学技术院电气工程与计算机科学系）；AI Graduate School, GIST（光州科学技术院人工智能研究生院）
本文提出基于思维语言假说的过程导向评估方法，利用ARC基准分析LLMs在逻辑连贯性、组合性和生成性上的推理能力，发现其仍显著落后于人类水平，为发展人类级AI推理提供了新视角。
2024-11-23 cs.AI cs.CL cs.ET
Improving Conversational Abilities of Quantized Large Language Models via Direct Preference Alignment
Hanyang University（汉阳大学）
针对量化大语言模型对话能力下降的问题，提出量化感知直接偏好优化（QDPO），对齐量化与全精度模型，在多种语言上超越现有技术，提升对话性能。
2024-07-18 cs.CL
Exploring the Reasoning Abilities of Multimodal Large Language Models (MLLMs): A Comprehensive Survey on Emerging Trends in Multimodal Reasoning
ByteDance Inc.（字节跳动有限公司）
本文系统综述多模态大语言模型的推理能力，梳理现有评估协议、前沿模型与推理密集型应用，并指出当前实践问题及未来方向。
2024-01-18 cs.AI cs.CL
Decomposing the Basic Abilities of Large Language Models: Mitigating Cross-Task Interference in Multi-Task Instruct-Tuning
College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）；Key Laboratory of Symbolic Computation and Knowledge Engineering, Ministry of Education, Jilin University（吉林大学符号计算与知识工程重点实验室）；RIKEN Center for Advanced Intelligence Project（RIKEN高级智能项目中心）；Graduate School of Frontier Sciences, University of Tokyo（东京大学前沿科学研究生院）
本文通过实验揭示现有方法仍存在跨任务干扰问题，提出BADIT方法将LLM参数分解为正交的高奇异值LoRA专家，通过球形聚类保持正交性，实验证明其在多任务指令微调中优于现有方法。
2026-05-07 cs.AI cs.CL
Emergent Abilities in Reduced-Scale Generative Language Models
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
本文通过简化预训练数据并训练100万至1.65亿参数的36个因果语言模型，证明缩小语言规模可使小模型涌现零样本ICL能力，并呈现损失与三类缩放因素的幂律关系。
2024-04-02 cs.CL cs.LG
A Closer Look at the Self-Verification Abilities of Large Language Models in Logical Reasoning
Institute for Artificial Intelligence, Tsinghua University（清华大学人工智能研究院）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tencent AI Lab（腾讯AI实验室）
本文在逻辑推理背景下深入探讨了LLMs的自我验证能力，通过引入包含232种推理谬误的FALLACIES数据集进行实验，发现现有模型难以准确识别谬误步骤，无法保证自我验证有效性，并据此提出了未来研究建议。
2024-03-23 cs.AI cs.CL
CogLM: Tracking Cognitive Development of Large Language Models
School of Computer Science, Beijing Institute of Technology（北京理工大学计算机学院）；Xiaohongshu Inc（小红书科技有限公司）
本文基于皮亚杰认知发展理论构建CogLM基准评估LLMs认知水平，发现先进LLMs（如GPT-4）认知能力接近20岁人类，参数规模和优化目标是关键影响因素，填补了LLMs认知能力研究空白。
2025-02-12 cs.AI cs.CL
Assessing the Emergent Symbolic Reasoning Abilities of Llama Large Language Models
University of Padova（帕多瓦大学）；Department of General Psychology, University of Padova（帕多瓦大学普通心理学系）
本文系统评估了 Llama 2 系列模型在符号推理任务上的能力，发现增大模型规模和相关微调能显著提升性能，但提升主要集中在低复杂度公式上，高难度问题仍具挑战性。
2024-06-05 cs.AI cs.CL cs.LG
REAL: Benchmarking Abilities of Large Language Models for Housing Transactions and Services
Beike Inc.（贝壳公司）
本文提出首个住房交易与服务领域LLM评估基准REAL，包含5316个条目、4大主题和14个类别，实验表明现有LLMs在该领域仍有较大改进空间。
2025-07-04 cs.AI
KITE: A Benchmark for Evaluating Korean Instruction-Following Abilities in Large Language Models
Korea University（高丽大学）；Soongsil University（崇实大学）
针对韩语缺乏指令遵循基准的问题，提出KITE基准，涵盖通用与韩语特定开放式任务，结合自动与人工评估，揭示模型差异并公开数据集与代码。
2025-10-17 cs.AI cs.CL
SpeechGPT: Empowering Large Language Models with Intrinsic Cross-Modal Conversational Abilities
Fudan University（复旦大学）
针对现有语音语言模型级联范式阻碍模态间知识迁移的问题，提出SpeechGPT，通过构建大规模跨模态指令数据集并采用三阶段训练策略，赋予大型语言模型内在的跨模态对话能力，实现单模型对多模态指令的遵循与处理。
2023-05-19 cs.CL
Orca: Enhancing Role-Playing Abilities of Large Language Models by Integrating Personality Traits
College of Software（软件学院）；Jilin University（吉林大学）
本文提出Orca框架，通过整合大五人格特质的数据处理与训练流程，显著提升大型语言模型在角色扮演任务中的能力，并发布首个多规模社交平台内容评估基准OrcaBench。
2024-11-15 cs.AI cs.CL
Extracting and Combining Abilities For Building Multi-lingual Ability-enhanced Large Language Models
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院）；School of Information, Renmin University of China（中国人民大学信息学院）；Baichuan Inc（百川科技）
提出MAEC方法，通过提取和组合语言无关的能力权重，无需训练即可增强多语言LLM，在数学和科学任务上达到与PaLM相当的性能。
2025-09-06 cs.CL
Large Linguistic Models: Investigating LLMs' metalinguistic abilities
Project CETI（CETI项目）；Rutgers University（罗格斯大学）
本文首次证实LLMs能生成有效的元语言分析，通过提示测试其行为可解释性，发现OpenAI o1在句法树和语音泛化任务上远超其他模型，其优势可能源于思维链机制。
2025-05-19 cs.AI cs.CL
LogicGame: Benchmarking Rule-Based Reasoning Abilities of Large Language Models
Tsinghua University（清华大学）
本文提出LogicGame基准，通过包含初始状态和预定义规则的多样化游戏场景，全面评估大型语言模型的规则理解、执行与多步规划能力，发现现有模型在基于规则的逻辑推理上存在显著不足。
2024-10-12 cs.AI cs.CL
UloRL:An Ultra-Long Output Reinforcement Learning Approach for Advancing Large Language Models' Reasoning Abilities
Tencent Hunyuan Team（腾讯文言团队）
针对传统强化学习处理大语言模型超长输出时的效率与熵崩塌问题，提出UloRL方法，通过分段解码与动态掩码机制提升训练效率与推理性能，效果显著。
2025-07-26 cs.AI cs.CL
Go-tuning: Improving Zero-shot Learning Abilities of Smaller Language Models
Shanghai AI Lab（上海人工智能实验室）；Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
随着规模的增加，大语言模型表现出定量的改进和新的定性能力，特别是作为zero-shot学习者，如GPT-3。然而，这些结果在很大程度上依赖于微妙的提示设计和大的计算。在这项工作中，我们探讨是否可以在一个较小的模型规模，没有任何外部监督数据的情况下，实现强大的zero-shot能力。为了实现这一目标，我们重新审视掩蔽语言建模，并提出了一种几何引导的自监督学习方法（Go-tuningfor short），通过采取少量的任务感知的自监督数据，以更新语言模型进一步。实验表明，与大语言模型（如T5-XL（3B））相比，Go调优可以使T5-small（80 M）具有竞争力的zero-shot结果。我们还将Go调优应用于多任务设置，并开发了一个多任务模型，mgo-T5（250 M）。在9个数据集上，它可以达到OPT（175 B）的平均性能。
2022-12-20 cs.CL
EaSyGuide : ESG Issue Identification Framework leveraging Abilities of Generative Large Language Models
NCSOFT（NCSoft公司）
本研究提出EaSyGuide框架，结合多种生成式大模型与编码器模型，采用零样本、GPT3Mix增强及知识蒸馏等技术，在FinNLP-2023多语言ESG议题识别任务的英、法子任务中分获第一、二名，验证了大模型用于ESG议题识别的潜力。
2023-06-13 cs.AI cs.CL
GameTraversalBenchmark: Evaluating Planning Abilities Of Large Language Models Through Traversing 2D Game Maps
University of the Witwatersrand（威特沃特斯兰德大学）；New York University（纽约大学）
本文提出GameTraversalBenchmark（GTB），通过2D网格游戏地图评估LLMs的规划能力，发现GPT-4-Turbo得分44.97%，推理模型o1得分67.84%，表明该基准仍具挑战性。
2024-10-10 cs.AI cs.CL
On the Relationship between Sentence Analogy Identification and Sentence Structure Encoding in Large Language Models
AI Institute, University of South Carolina（南卡罗来纳大学AI研究所）；Carnegie Mellon University（卡内基梅隆大学）；Amazon GenAI（亚马逊生成式AI部门）；Stanford University（斯坦福大学）
本研究探讨大语言模型识别句子类比的能力与其编码句法语义结构能力的关系，发现两者正相关，句法结构编码更好的模型在类比识别上表现更优。
2024-02-06 cs.AI cs.CL
A Multi-faceted Analysis of Cognitive Abilities: Evaluating Prompt Methods with Large Language Models on the CONSORT Checklist
本研究通过比较通用和领域专用LLM在三种提示策略下的表现，揭示了其在评估临床试验报告时存在显著的校准错误和过度自信问题，强调了改进校准和提示工程的重要性。
2026-02-25 cs.AI cs.CL
SALMONN: Towards Generic Hearing Abilities for Large Language Models
Tsinghua University（清华大学）；ByteDance（字节跳动）
本文提出SALMONN多模态模型，将文本LLM与语音及音频编码器融合，使其具备通用听觉理解、多任务竞争性能和跨模态涌现能力，并用少样本激活调优激发这些能力。
2024-04-08 cs.CL cs.SD eess.AS
Model Editing Harms General Abilities of Large Language Models: Regularization to the Rescue
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Science and Technology of China（中国科学技术大学）
该研究发现模型编辑提升大语言模型事实性时会损害其通用能力，通过分析成因提出基于权重相对变化的RECT正则化方法，可在保持94%以上编辑性能的同时显著缓解副作用。
2024-10-04 cs.CL
Investigating Large Language Models' Linguistic Abilities for Text Preprocessing
University of Milano-Bicocca（米兰-比科卡大学）；Politecnico di Torino（托里尼 Politecnico）
本文研究使用大语言模型（LLMs）结合上下文进行文本预处理（停用词移除、词形还原和词干提取），发现其在六种欧洲语言中能高准确率复制传统方法，并使下游文本分类的$F_1$指标提升达6%。
2025-10-13 cs.AI cs.CL
RoleLLM: Benchmarking, Eliciting, and Enhancing Role-Playing Abilities of Large Language Models
Beijing University of Posts and Telecommunications（北京邮电大学）；The Hong Kong University of Science and Technology（香港科技大学）；Beihang University（北京航空航天大学）；University of the Chinese Academy of Sciences（中国科学院大学）；ETH Zürich（苏黎世联邦理工学院）；The Hong Kong Polytechnic University（香港理工大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Shanghai AI Lab（上海人工智能实验室）
针对大语言模型角色扮演能力受闭源和通用训练限制的问题，提出包含四阶段的RoleLLM框架，构建了大规模角色扮演基准数据集，并微调得到中英文模型，实现了媲美GPT-4的角色扮演效果。
2024-06-18 cs.AI cs.CL
The Magic of IF: Investigating Causal Reasoning Abilities in Large Language Models of Code
Peking University（北京大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）
本文探究代码大语言模型是否因代码中“if”等条件语句对因果关系的显式表达而具备更强的因果推理能力，实验证明使用代码提示的Code-LLMs显著优于纯文本LLMs，且编程结构对提示设计至关重要。
2023-05-30 cs.CL
Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts
DAMO Academy, Alibaba Group（阿里巴巴达摩院）；Nanyang Technological University（南洋理工大学）
提出一种无监督提示方法，利用多语言合成示例将低资源语言翻译为英语，再生成语内示例执行任务，性能媲美监督少样本学习，并显著提升翻译与摘要效果。
2024-07-19 cs.AI cs.CL
Self-Refine Instruction-Tuning for Aligning Reasoning in Language Models
Idiap Research Institute（伊迪亚普研究所）；University of Manchester（曼彻斯特大学）
提出自精炼指令微调方法，通过两阶段过程（LLM演示指令微调与基于DPO的自精炼）对齐小模型与大模型的推理能力，在常识和数学推理任务上显著超越传统指令微调。
2024-05-01 cs.CL
KnowledgePrompts: Exploring the Abilities of Large Language Models to Solve Proportional Analogies via Knowledge-Enhanced Prompting
AI Institute, University of South Carolina（南卡罗来纳大学人工智能学院）；IIIT Hyderabad（印度信息技术与管理研究所海得拉巴分校）；Meta AI；Amazon GenAI（亚马逊生成式人工智能部门）
本研究构建了1.5万道比例类比多选题问答数据集，通过引入示例、结构化和针对性知识增强提示，评估了大型语言模型解决比例类比的能力，发现针对性知识辅助效果最佳，且最佳模型准确率仅为55%。
2024-12-19 cs.AI cs.CL
Large Language Models on the Chessboard: A Study on ChatGPT's Formal Language Comprehension and Complex Reasoning Skills
Chingshin Academy（静心学园）；Academia Sinica（中央研究院）；National Central University（国立中央大学）
本研究以国际象棋为案例，评估ChatGPT在形式语言理解与复杂推理任务中的表现，发现其注意力机制局限和自调节不足，但策略连贯且信息充分时决策更果断。
2023-08-29 cs.CL
Big City Bias: Evaluating the Impact of Metropolitan Size on Computational Job Market Abilities of Language Models
Indeed（Indeed公司）；IT University of Copenhagen（哥本哈根信息技术大学）
本研究量化大型语言模型在美国384个都市区域零样本就业预测中的都市规模偏见，发现较小区域性能显著更差，最小10个区域比最大10个区域性能差超300%。
2024-03-12 cs.CL
AgentGen: Enhancing Planning Abilities for Large Language Model based Agent via Environment and Task Generation
The University of Hong Kong（香港大学）；Microsoft Corporation（微软公司）
本文提出AgentGen框架，通过LLM自动生成多样化环境和从易到难的规划任务，并结合双向演化方法Bi-Evol合成平滑难度任务集，用于指令微调以显著增强LLM智能体的规划能力。
2025-02-06 cs.AI cs.CL cs.LG
KMIR: A Benchmark for Evaluating Knowledge Memorization, Identification and Reasoning Abilities of Language Models
Huawei Poisson Laboratory（华为泊松实验室）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Hong Kong University of Science and Technology（香港科技大学）
先前的工作显示了预训练的语言模型（PLM）存储大量事实知识的巨大潜力。然而，为了弄清楚PLM是否可以作为可靠的知识源并用作替代知识库（KB），我们需要进一步探索PLM的一些关键特性。首先，知识记忆和识别能力：传统知识库可以存储各种类型的实体和关系; PLM是否具有存储不同类型知识的高知识容量？第二，推理能力：一个合格的知识源不仅应该提供事实的集合，而且应该支持一个符号推理器。PLM能否根据事实之间的相关性获得新的知识？为了评估这些功能的PLM，我们提出了一个基准测试，命名为知识化，识别和推理测试（KMIR）。KMIR涵盖3种知识类型，包括一般知识，特定领域知识和常识，并提供184，348个精心设计的问题。在KMIR上对各种有代表性的预训练语言模型进行的初步实验揭示了许多有趣的现象：1）PLM的记忆能力更多地取决于参数的数量而不是训练方案。2)当前的PLM正在努力记住这些事实。3)模型压缩技术虽然很好地保留了知识量，但对模型的识别和推理能力有一定的影响。我们希望KMIR可以促进PLM的设计，作为更好的知识来源。
2022-02-28 cs.CL
Theory of Mind abilities of Large Language Models in Human-Robot Interaction : An Illusion?
Arizona State University（亚利桑那州立大学）
本文研究大型语言模型在人机交互中是否真正具备心智理论能力，通过感知行为识别任务和扰动测试揭示其高分表现源于对上下文扰动的脆弱性，而非真正具备心智理论。
2024-01-17 cs.AI cs.HC cs.RO
