Predictive Simultaneous Interpretation: Harnessing Large Language Models for Democratizing Real-Time Multilingual Communication
ErudAite Inc.(ErudAite公司)
本文提出一种利用大型语言模型预测说话人话语并以树状结构扩展可能性的同声传译新算法,旨在实现低延迟、自然流畅的实时翻译,推动多语言通信的民主化。
2024-07-02 cs.AI cs.CL
On the Temporal Question-Answering Capabilities of Large Language Models Over Anonymized Data
AI Research, JP Morgan Chase(人工智能研究, 花旗集团)
本文研究大型语言模型在匿名数据上的时间推理能力,开发了RATA数据集并比较了多种方法,发现需要集成方法而非单一LLM。
2025-12-02 cs.AI cs.CL
Conversational Question Answering on Heterogeneous Sources
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
本文提出端到端流水线CONVINSE,通过结构化表示统一融合知识库、文本和表格异构源证据生成答案,并发布首个异构源对话问答基准ConvMix,实验证明其优于现有基线。
2023-06-30 cs.CL cs.IR
Investigating LLM Capabilities on Long Context Comprehension for Clinical Question Answering
Istanbul Aydın University(伊斯坦布尔阿迪兰大学);Queen Mary University of London(伦敦女王学院);The Alan Turing Institute(艾伦·图灵研究所)
本研究探讨大语言模型在医疗问答中处理长上下文任务的能力,分析了模型大小、记忆问题及RAG方法的效果,揭示了其在不同任务中的优势与限制。
2026-11-16 cs.CL
Harnessing Artificial Intelligence to Combat Online Hate: Exploring the Challenges and Opportunities of Large Language Models in Hate Speech Detection
Arizona State University(亚利桑那州立大学)
本研究通过文献综述与实证分析,探讨大语言模型在仇恨言论检测中的能力与限制,识别表现优异的模型及其影响因素。
2024-03-12 cs.AI cs.CL
In-Context Explainers: Harnessing LLMs for Explaining Black Box Models
University of Florida(佛罗里达大学);Harvard University(哈佛大学)
本研究提出In-Context Explainers框架,通过三种利用大语言模型上下文学习能力的方法解释黑箱预测模型,实验证明其效果可媲美当前最优的事后解释器。
2024-07-11 cs.AI cs.CL cs.LG
Mirror-Consistency: Harnessing Inconsistency in Majority Voting
Shanghai Jiaotong University(上海交通大学);Tiansuan Lab, Ant Group Co., Ltd.(蚂蚁集团天算实验室);SJTU Paris Elite Institute of Technology(上海交通大学巴黎精英理工学院)
针对Self-Consistency忽略少数不一致响应的问题,提出Mirror-Consistency方法,通过引入“反射镜”机制让模型审查生成不一致性,从而在提升推理准确率的同时增强置信度校准。
2025-09-17 cs.AI cs.CL
JDocQA: Japanese Document Question Answering Dataset for Generative Language Models
Nara Institute of Science and Technology(奈良科学技术研究所);RIKEN(理化学研究所);ATR(ATR(先进电信研究所))
本文提出JDocQA,一个包含5,504份PDF文档和11,600个日语问答实例的大规模日语文档问答数据集,要求同时利用视觉与文本信息,并通过纳入不可回答问题来抑制大语言模型的幻觉生成。
2024-03-28 cs.CL
Adaptive Reinforcement Learning Planning: Harnessing Large Language Models for Complex Information Extraction
Fudan University(复旦大学)
本文提出一种基于LLM的两阶段多步信息抽取方法,将顺序抽取视为马尔可夫决策过程,并利用DDQN算法训练决策模块以自适应提供实体抽取最优顺序,有效提升了LLMs在复杂任务上的抽取能力。
2024-08-29 cs.AI cs.CL
ALLaVA: Harnessing GPT4V-Synthesized Data for Lite Vision-Language Models
Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出 ALLaVA 合成数据生成流程,利用 GPT4V 产出 130 万对齐标注与复杂推理问答样本,使轻量级 VLM 在多项基准上媲美更大规模模型。
2024-06-17 cs.AI cs.CL
WikiWhy: Answering and Explaining Cause-and-Effect Questions
University of California, Santa Barbara(加州大学圣巴巴拉分校)
随着大语言模型(LLM)变得越来越大、越来越复杂,评估它们在自然语言中的“推理”能力变得越来越具有挑战性。最近的问答(QA)基准,试图评估推理往往是有限的范围内所涵盖的情况和主题。我们介绍了WikiWhy,一个围绕一个新的辅助任务构建的QA数据集:解释为什么答案在自然语言中是正确的。WikiWhy包含超过9,000个“为什么”问题-答案-理由三元组,基于维基百科跨各种主题的事实。每个理由都是一组将问题与答案联系起来的支持性陈述。WikiWhy作为LLM推理能力的基准,因为它要求每个答案都有严格的明确理由,以证明获得隐含的常识知识,这是不太可能容易记住的。GPT-3基线在端到端回答和解释条件下仅实现了38.7%的人工评估正确性,为未来的改进留下了巨大的空间。
2022-11-30 cs.AI cs.CL
MediQAl: A French Medical Question Answering Dataset for Knowledge and Reasoning Evaluation
Data Clinic, University Hospital of Nantes, France(南特大学医院数据诊所,法国);Nantes Université, École Centrale Nantes, CNRS, LS2N, France(南特大学,中央理工学院南特分校,国家科学研究中心,LS2N,法国)
本文提出MediQAl数据集,用于评估语言模型在事实性医学记忆和现实临床场景推理方面的能力,包含32,603个法语医学问题,涵盖41个医学科目,包含三种任务,通过14个大型语言模型的评估发现事实记忆与推理任务之间存在显著性能差距。
2025-07-28 cs.AI cs.CL
Cooperative Retrieval-Augmented Generation for Question Answering: Mutual Information Exchange and Ranking by Contrasting Layers
Department of Artificial Intelligence, Hanyang University(人工智能学院,翰阳大学);Department of Data Science, Hanyang University(数据科学学院,翰阳大学)
CoopRAG通过协作检索与生成机制,提升问答任务中检索与生成的准确性。
2025-12-17 cs.AI cs.CL
A Multimodal Social Agent
针对大语言模型社交能力与计算机结合潜力待挖掘的问题,提出基于多模态大语言模型的社交智能体MuSA,采用多策略完成多类以人为中心的内容分析任务,实验表现显著优于基线。
2024-12-11 cs.AI cs.CL
Harnessing the Power of LLMs in Source Code Vulnerability Detection
AIVault Inc.(AIVault公司)
本文提出将源代码转换为LLVM IR并在其上训练大语言模型,以实现跨编程语言的通用漏洞检测,在NVD和SARD数据集上验证了高准确性。
2024-08-07 cs.AI cs.CR cs.SE
Text-VQA Aug: Pipelined Harnessing of Large Multimodal Models for Automated Synthesis
International Institute of Information Technology Bangalore(国际信息科技学院班加罗尔)
提出一种自动化合成text-VQA数据集的端到端流水线,结合OCR、ROI检测、字幕与问题生成等组件,首次自动合成并验证了基于约44K张图像的约72K个QA对。
2025-11-03 cs.AI cs.CV
DEXTER: A Benchmark for open-domain Complex Question Answering using LLMs
Delft University of Technology(代尔夫特理工大学)
本文提出了开放域复杂问答基准 DEXTER,评估了多种预训练稠密与稀疏检索模型及 LLMs 的推理能力,发现后期交互模型和 BM25 表现优异,并指出复杂 QA 检索仍需大量改进以提升下游性能。
2024-06-24 cs.CL cs.IR
SQuARE: Sequential Question Answering Reasoning Engine for Enhanced Chain-of-Thought in Large Language Models
Intel Labs(英特尔实验室)
针对大型语言模型推理能力未被充分利用的问题,提出新型提示技术SQuARE,通过自我询问生成并解决辅助问题分解主查询,在多个数据集上显著优于传统思维链提示,提升推理任务性能。
2025-02-13 cs.AI cs.CL cs.LG
Harness^2: Recursive Agent Harnessing for an Open World
Google Cloud AI Research(谷歌云人工智能研究院);Northwestern University(西北大学)
Harness^2是面向开放世界的递归智能体控制框架,通过任务级与控制框架级递归解决开放世界下RSI的挑战,在多个基准上提升了GLM-5和Gemini 3.5 Flash的性能。
2026-10-14 cs.AI cs.CL cs.LG
Omne-R1: Learning to Reason with Memory for Multi-hop Question Answering
Tanka Inc.(Tanka公司)
本文提出Omne-R1方法,通过多阶段训练流程(含强化学习和监督微调)结合领域无关知识图谱构建与问答对自动生成,增强无模式知识图谱多跳问答能力,尤其提升3+跳复杂问题性能并实现跨领域泛化。
2025-08-24 cs.AI cs.CL
From Generator to Embedder: Harnessing Innate Abilities of Multimodal LLMs via Building Zero-Shot Discriminative Embedding Model
Department of Artificial Intelligence(人工智能系)
本文提出一种高效框架,通过构建零样本判别嵌入模型,利用多模态大语言模型的固有能力,提升多模态表示空间的鲁棒性和零样本嵌入能力。
2026-08-05 cs.AI cs.IR cs.LG
Seek and Solve Reasoning for Table Question Answering
nd University of Toronto(多伦多大学);st Mashang Consumer Finance Co., Ltd.(马莎消费金融有限公司);Mashang Consumer Finance Co., Ltd.(马莎消费金融有限公司)
本文提出寻求与求解流水线及SS-CoT思维链,利用LLM推理能力提升表格问答性能与可靠性,实验验证其高效性。
2025-04-20 cs.AI cs.CL
SEMQA: Semi-Extractive Multi-Source Question Answering
Google DeepMind(谷歌DeepMind);Google Research(谷歌研究院)
本文提出半抽取式多源问答任务SEMQA,要求模型混合逐字引用片段与自由文本连接成分生成可归因答案,并构建首个数据集QuoteSum及评估指标,实验表明该任务对现有大语言模型仍具挑战性。
2024-06-30 cs.AI cs.CL cs.LG
Harnessing Consistency for Robust Test-Time LLM Ensemble
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
CoRE通过利用模型一致性提升LLM集成的鲁棒性,通过token和model级别的一致性改进集成性能。
2026-01-19 cs.AI cs.CL
A Bayesian Approach to Harnessing the Power of LLMs in Authorship Attribution
University of Maryland(马里兰大学);Adobe Research(奥多比研究院)
本研究针对传统作者归属方法的局限,提出基于贝叶斯方法利用预训练大语言模型概率输出的单样本作者归属方案,在多数据集上取得85%的准确率,设定了新基准并拓展了大语言模型在司法语言学的应用。
2024-10-29 cs.AI cs.CL stat.AP
KeyKnowledgeRAG (K^2RAG): An Enhanced RAG method for improved LLM question-answering capabilities
University of Sydney(悉尼大学);University of New South Wales(新南威尔士大学);Qatar University(卡塔尔大学)
针对大模型微调资源消耗高、朴素RAG可扩展性与准确性不足的问题,提出整合多向量搜索、知识图谱与文本摘要的K2RAG框架,在MultiHopRAG数据集上实现了答案准确性、训练效率与可扩展性的全面提升。
2025-07-31 cs.AI cs.CL
TheoremQA: A Theorem-driven Question Answering dataset
University of Waterloo(滑铁卢大学);University of California Santa Barbara(加州大学圣巴巴拉分校);University of California Los Angeles(加州大学洛杉矶分校)
本文提出定理驱动问答数据集 TheoremQA,覆盖多学科 350 个定理、800 个问题,并评估 16 个模型,发现 GPT-4 仅达 51% 准确率,开源模型不足 15%。
2023-12-06 cs.AI cs.CL
Improving Numerical Reasoning Skills in the Modular Approach for Complex Question Answering on Text
Monash University(莫纳什大学)
数字推理技能对于文本上的复杂问答(CQA)是必不可少的。它需要包括计数、比较、加法和减法在内的操作。一种成功的文本CQA方法,神经模块网络(NMN),遵循程序员-解释器范式,并利用专门的模块来执行组合推理。然而,国家独立网络框架在问题和段落中都没有考虑数字和实体之间的关系。我们提出了有效的技术,以提高NMN的数值推理能力,使解释器的问题意识和捕捉实体和数字之间的关系。在用于文本CQA的DROP数据集的同一子集上,实验结果表明,我们的添加比原始NMN的整体F1得分高出3.0分。
2021-09-06 cs.AI cs.CL
Speeding Up Question Answering Task of Language Models via Inverted Index
Boston University(波士顿大学);eMentalist
自然语言处理应用,如会话代理及其问答功能,在现实世界中得到广泛应用。尽管大语言模型(LLM)的广泛流行,很少有现实世界的会话代理利用LLM。LLM消耗的大量资源使开发人员无法将其集成到最终用户应用程序中。在这项研究中,我们利用倒排索引机制结合LLM,以提高效率的问题回答模型的封闭域的问题。我们的实验表明,使用索引提高了平均响应时间的97.44%。此外,由于缩小了搜索范围,使用倒排索引时,平均BLEU分数提高了0.23。
2022-10-24 cs.CL cs.IR cs.LG
Harnessing Optimization Dynamics for Curvature-Informed Model Merging
The Pennsylvania State University(宾夕法尼亚州立大学);Carnegie Mellon University(卡内基梅隆大学)
针对大模型SFT阶段的能力合并问题,提出曲率感知的OTA合并与FFG稀疏化方法,利用优化器二阶矩重加权参数编辑并生成低秩掩码以减少干扰,显著提升了合并质量并开源了相关代码。
2025-09-14 cs.AI cs.LG
MUST-RAG: MUSical Text Question Answering with Retrieval Augmented Generation
Graduate School of Culture Technology, KAIST, South Korea(文化科技研究生院,韩国釜山科学技术院)
MUST-RAG通过引入音乐专用数据库和检索增强生成技术,提升通用语言模型在音乐问答任务中的表现。
2025-12-08 cs.AI cs.CL cs.IR
NitiBench: A Comprehensive Study of LLM Framework Capabilities for Thai Legal Question Answering
VISAI AI(VISAI人工智能);Vidyasirimedhi Institute of Science and Technology(维达亚西米德希科学与技术研究院);Faculty of Law, Thammasat University(朱拉隆功大学法学院)
本文提出泰国法律问答基准NitiBench,通过RAG与长上下文LLM对比实验发现章节分块有效、现有检索器处理复杂查询能力不足,并开源代码与数据集以推动该领域研究。
2025-08-21 cs.CL
Harnessing the Power of Prompt-based Techniques for Generating School-Level Questions using Large Language Models
IIT Kharagpur(印度理工学院卡拉格普尔分校)
本文提出利用基于提示的技术和大型语言模型为学校层级科目自动生成高质量问题,构建了EduProbe数据集,并通过微调PEGASUS、T5、MBART、BART及评估GPT-3.5系列模型,发现T5在自动评估中表现最佳,但所有模型仍低于人类基线。
2023-12-02 cs.AI cs.CL
LOVA3: Learning to Visual Question Answering, Asking and Assessment
National University of Singapore(新加坡国立大学);Singapore Management University(新加坡管理大学)
提出 LOVA3 框架,通过 GenQA 与 EvalQA 任务及 EvalQABench 基准,让多模态大语言模型同时学习视觉问答、提问与评估,从而提升多模态理解和整体性能。
2025-02-19 cs.AI cs.CL cs.CV
Harnessing LLMs for Automated Video Content Analysis: An Exploratory Workflow of Short Videos on Depression
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Institute of High Performance Computing (IHPC), A*STAR(高性能计算研究所(A*STAR));Pennsylvania State University(宾夕法尼亚州立大学);Clark University(克拉克大学);Columbia University(哥伦比亚大学)
本研究提出了一种LLM辅助的多模态内容分析工作流,通过对25个抑郁症短视频的203个关键帧进行标注实验,验证了LLM在视频内容分析中的潜力与局限,并探讨了未来研究的机遇与伦理挑战。
2024-07-29 cs.AI cs.CY cs.HC
Text2Analysis: A Benchmark of Table Question Answering with Advanced Data Analysis and Unclear Queries
Microsoft(微软)
针对现有表格问答研究忽视高级分析与模糊查询的问题,构建了包含2249个查询-结果对、347个表格的Text2Analysis基准,并评估五个先进模型,验证了其挑战性。
2023-12-21 cs.CL cs.LG
Addressing Issues of Cross-Linguality in Open-Retrieval Question Answering Systems For Emergent Domains
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
开放式检索问答系统通常在成熟领域的大型数据集上进行训练和测试。然而,低资源设置,如新的和新兴的领域将特别受益于可靠的问答系统。此外,新兴领域的多语言和跨语言资源稀缺,导致很少或根本没有这样的系统。在本文中,我们展示了一个跨语言的开放检索问答系统的新冠肺炎的紧急领域。我们的系统采用了语料库的科学文章,以确保检索到的文件是可靠的。为了解决紧急领域中跨语言训练数据的稀缺性,我们提出了一种利用自动翻译、对齐和过滤来产生英语到所有数据集的方法。我们表明,深度语义检索器从我们的英语到所有数据的训练中受益匪浅,并且在跨语言设置中显着优于BM 25基线。我们举例说明我们的系统的能力,并释放所有必要的代码训练和部署这样一个系统。
2022-01-26 cs.CL cs.IR
Refiner: Restructure Retrieval Content Efficiently to Advance Question-Answering Capabilities
Hongkong University of Science and Technology(香港科技大学);Tsinghua University(清华大学);The Hong Kong Polytechnic University(香港理工大学)
针对LLM在RAG中“迷失在中间”的问题,提出端到端提取重构范式Refiner,通过单模型自适应提取并分节相关内容,在多跳QA任务中显著提升准确率并大幅减少token。
2024-06-18 cs.AI cs.CL cs.HC
Fusing Bidirectional Chains of Thought and Reward Mechanisms A Method for Enhancing Question-Answering Capabilities of Large Language Models for Chinese Intangible Cultural Heritage
针对非遗领域大模型微调中的偏差、错误继承与遗忘问题,提出在 ICH-Qwen 上融合双向思维链和加权奖励机制的训练方法,并验证其问答性能、消融效果与跨领域泛化能力。
2025-06-10 cs.AI cs.CL
CADgpt: Harnessing Natural Language Processing for 3D Modelling to Enhance Computer-Aided Design Workflows
University of Derby(德比大学)
本文提出CADgpt插件,将GPT-4自然语言处理能力集成到Rhino3D中,使用户通过自然语言命令完成三维建模,降低CAD学习门槛并推动设计教育普及。
2024-01-10 cs.AI cs.GR cs.HC
A Learn-Then-Reason Model Towards Generalization in Knowledge Base Question Answering
Renmin University of China(中国人民大学);Zhongguancun Laboratory(中关村实验室)
针对现有知识库问答模型泛化受限的问题,本文提出遵循先学习后推理框架的KBLLaMA,将知识库知识注入大语言模型,在多个基准上取得了优于基线的性能。
2024-06-20 cs.AI cs.CL
LLMpatronous: Harnessing the Power of LLMs For Vulnerability Detection
针对传统工具误报高和LLM自身局限,本文提出结合RAG与MoA的AI驱动方法,以提升漏洞检测的质量与可靠性。
2025-04-25 cs.AI cs.CR
Harnessing the Power of LLMs: Automating Unit Test Generation for High-Performance Computing
University Of Houston(休斯顿大学);Kent State University(肯特州立大学)
针对高性能并行科学软件单元测试成本高、现有工具效果差的问题,本文利用 Davinci 与 ChatGPT 为 C++ 并行程序自动生成单元测试,验证了 LLM 的有效性及局限。
2024-07-06 cs.AI cs.SE
Exploring Neural Net Augmentation to BERT for Question Answering on SQUAD 2.0
University of California, Berkeley(加州大学伯克利分校)
增强机器回答问题的能力一直是近年来NLP研究的一个相当关注的话题。语言模型如语言模型嵌入(ELMo)[1]和Transformers双向编码器表示(BERT)[2]在开发通用语言模型方面非常成功,可以为大量下游语言任务进行优化。在这项工作中,我们专注于用不同的输出神经网络架构来增强预训练的BERT语言模型,并比较它们在斯坦福问答数据集2.0(SQUAD 2.0)提出的问答任务上的表现。此外,我们还微调了预训练的BERT模型参数,以证明其适应专门语言任务的有效性。我们最好的输出网络是上下文化的CNN,它在不可回答和可回答的问答任务上都有表现,F1得分分别为75.32和64.85。
2020-03-08 cs.AI cs.CL cs.LG
Architecture of an Ontology-Based Domain-Specific Natural Language Question Answering System
Government Engineering College, Sreekrishnapuram(斯里克里希纳普兰政府工程学院)
问答(QA)系统的目标是从大量的文档中检索出精确的信息。本文描述了一个基于本体信息的特定领域自然语言问答系统的体系结构,向语义Web问答迈进了一步。建议的架构定义了四个基本模块,适合于提高当前的QA能力与处理复杂问题的能力。第一个模块是问题处理模块,它对问题进行分析和分类,并对用户的查询进行重构。第二个模块允许检索相关文件。下一个模块处理检索到的文档,最后一个模块执行响应的提取和生成。自然语言处理技术被用于处理问题和文档以及用于答案提取。本体和领域知识被用于重构查询和识别关系。该系统的目的是生成简短而具体的答案,是在特定领域的自然语言提出的问题。在我们的实现中,我们已经达到了94%的自然语言问答准确率。
2013-11-13 cs.CL cs.IR
Leveraging Structured Information for Explainable Multi-hop Question Answering and Reasoning
University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对大语言模型多跳问答存在推理不准、幻觉及可解释性不足的问题,本研究构建并利用抽取的语义结构图开展推理,在两个基准上提升了问答性能,且生成的结构化解释更受人类青睐。
2023-11-07 cs.CL
Harnessing Temporal Databases for Systematic Evaluation of Factual Time-Sensitive Question-Answering in Large Language Models
KAIST(韩国科学技术院);William & Mary(威廉与玛丽学院);Microsoft Research Asia(微软亚洲研究院)
TDBench通过时间数据库技术系统构建TSQA对,引入时间准确性指标,实现大语言模型时间敏感问答的可扩展和全面评估。
2026-03-02 cs.CL
Enhancing Temporal Sensitivity and Reasoning for Time-Sensitive Question Answering
University of Technology Sydney(悉尼科技大学);University of Liverpool(利物浦大学)
本文提出结合时间信息感知嵌入与粒度对比强化学习的新框架,以增强大模型的时间敏感性与推理能力,并在四个TSQA数据集上显著超越现有模型。
2024-09-29 cs.AI cs.CL
XiHeFusion: Harnessing Large Language Models for Science Communication in Nuclear Fusion
Anhui University(安徽大学);Institute of Plasma Physics, Chinese Academy of Sciences(中国科学院等离子体物理研究所);Tsinghua University(清华大学)
本文提出核聚变领域首个大模型XiHeFusion,基于Qwen2.5-14B监督微调,融合多源核聚变知识并通过思维链增强推理,经180+问题测试表现优异,模型已开源。
2025-02-08 cs.AI cs.CV
Harnessing Large Vision and Language Models in Agriculture: A Review
Guangxi Normal University(广西师范大学);University of Aberdeen(阿伯丁大学)
本综述探讨了大型模型在农业领域的应用潜力,涵盖LLM、LVM和LVLM,指出其能解决农业图像处理、问答系统和机器自动化等问题,以提升生产效率与产量。
2024-07-29 cs.AI cs.CV
CodeRepoQA: A Large-scale Benchmark for Software Engineering Question Answering
ByteDance(字节跳动)
本文提出软件工程领域的大规模多轮问答基准 CodeRepoQA,涵盖5种编程语言与585,687条目;通过评估10个大型语言模型,发现其在该领域问答能力仍存局限,且中等长度上下文更有利于模型表现。
2024-12-19 cs.AI cs.SE
Latent Bridges for Multi-Table Question Answering
EURECOM;University of Antwerp(安特卫普大学)
提出GRAB管道,通过图编码器和潜在桥梁将关系数据转化为紧凑表示,冻结LLM以保持推理能力,在多表问答中显著提升性能。
2026-10-23 cs.AI cs.CL cs.DB
MINTQA: A Multi-Hop Question Answering Benchmark for Evaluating LLMs on New and Tail Knowledge
School of Informatics, University of Edinburgh, UK(爱丁堡大学信息学院);Southeast University, Nanjing, Jiangsu, China(东南大学);University of Manchester, UK(曼彻斯特大学)
本文提出 MINTQA 多跳问答基准,从四个维度评估大语言模型在新知识和长尾知识上的多跳推理能力,并通过22个模型的系统评估揭示了现有方法在处理复杂知识查询方面的显著不足。
2025-08-22 cs.CL
Generalization v.s. Memorization: Tracing Language Models' Capabilities Back to Pretraining Data
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学);SynthLabs;Carnegie Mellon University(卡内基梅隆大学)
本文提出分布记忆概念和task-gram语言模型,通过统计预训练语料中n-gram共现频率,在Pythia模型上分析四项任务,发现记忆在知识密集型任务中作用更大,泛化是推理任务关键。
2025-03-02 cs.AI cs.CL cs.LG