Effect of Document Packing on the Latent Multi-Hop Reasoning Capabilities of Large Language Models
文档打包对大型语言模型潜在多跳推理能力的影响
机构 * Chandar Research Lab(Chandar研究实验室) ; Mila – Quebec AI Institute(魁北克人工智能研究所) ; Université de Montréal(蒙特利尔大学) ; Microsoft Research(微软研究院) ; Polytechnique Montréal(蒙特利尔理工学院) ; Canada CIFAR AI Chair(加拿大CIFAR人工智能主席)
专题命中 推理与问题求解 :large language model(title,abstract);language model(title,abstract);LLM(abstract);分类 cs.CL、cs.AI、cs.LG
AI总结 本文研究了文档打包对大型语言模型多跳推理能力的影响,发现打包可提升性能但增加计算成本,并通过消融研究揭示了其关键因素。