Counterfactual Recipe Generation: Exploring Compositional Generalization in a Realistic Scenario
Peking University(北京大学);Baidu Inc.(百度公司);Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院)
人们可以通过阅读以无监督的方式获取知识,并将知识组合成新颖的组合。在本文中,我们研究了预训练的语言模型是否可以在现实环境中执行组合泛化:配方生成。我们设计了反事实配方生成任务,要求模型根据原料的变化修改基本配方。这项任务需要在两个层面上进行成分概括:将新成分纳入基本配方的表面层面,以及与变化成分相关的调整行动的更深层次。我们收集了一个大规模的中文食谱数据集,用于学习烹饪知识的模型,以及一个用于评估的动作级细粒度注释子集。我们在食谱语料库上微调预训练的语言模型,并使用无监督的反事实生成方法来生成修改后的食谱。结果表明,现有的模型很难修改的成分,同时保持原始文本的风格,往往错过了需要调整的动作。虽然预训练的语言模型可以生成流畅的食谱文本,但它们无法以组合的方式真正学习和使用烹饪知识。代码和数据可在https://github.com/xxxiaol/counterfactual-recipe-generation上获得。
2022-10-20 cs.CL
A Closer Look at Data Bias in Neural Extractive Summarization Models
Fudan University(复旦大学)
在本文中,我们评估了摘要数据集的现状,并探讨了数据集的不同因素如何影响神经提取摘要模型的泛化行为。具体来说,我们首先提出了数据集的几个属性,这对摘要模型的泛化很重要。然后,我们建立了驻留在数据集和模型设计的先验之间的联系,分析数据集的不同属性如何影响模型的结构设计和训练方法的选择。最后,以一个典型的数据集为例,在上述分析的基础上,我们重新思考了模型设计的过程。我们证明,当我们对数据集的特征有了深刻的理解时,一个简单的方法可以为现有的最先进的模型带来显着的改进。
2019-09-30 cs.CL
Exploring Length Generalization in Large Language Models
Google Research(谷歌研究院);University of Toronto(多伦多大学);Vector Institute(向量研究所)
从短问题实例外推到长问题实例的能力是推理任务中分布外泛化的一种重要形式,并且在从较长问题实例很少的数据集学习时至关重要。这些包括定理证明,解决定量数学问题,阅读/总结小说。在本文中,我们进行了仔细的实证研究,探索基于transformer的语言模型的长度泛化能力。我们首先确定,天真的微调Transformers的长度泛化任务显示出显着的泛化缺陷独立的模型规模。然后,我们表明,将预训练的大语言模型的上下文学习能力与便笺式提示(要求模型在产生答案之前输出解决方案步骤)相结合,可以显著提高长度泛化能力。我们对每一种学习模式进行了仔细的失败分析,并确定了常见的错误来源,这些错误突出了语言模型具备概括更长问题的能力的机会。
2022-11-14 cs.CL cs.LG
Exploring Generalization Ability of Pretrained Language Models on Arithmetic and Logical Reasoning
Zhejiang University(浙江大学);Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院);Johns Hopkins University(约翰斯·霍普金斯大学);Imperial College London(帝国理工学院)
为了定量和直观地探索预训练语言模型(PLM)的泛化能力,我们设计了几个算术和逻辑推理任务。我们都分析了当测试数据与训练数据处于相同分布时PLM的泛化能力如何,以及当测试数据与训练数据处于不同分布时PLM的泛化能力如何,对于后者的分析,我们还设计了一个交叉分布测试集而不是分布内测试集。我们进行了实验,最先进的和公开发布的生成PLM之一-BART。我们的研究发现,PLM可以很容易地概括时,分布是相同的,但是,它仍然是很难为他们概括出的分布。
2021-10-19 cs.AI cs.CL
Exploring the generalization of LLM truth directions on conversational formats
ADM, Universiteit Antwerpen(安特卫普大学)
本文研究 LLM 真相方向在不同对话格式间的泛化问题,发现短对话表现良好而长提示中前置谎言难以泛化,并通过末尾固定关键短语显著提升检测效果。
2025-05-14 cs.AI cs.CL
Towards Understanding Multi-Task Learning (Generalization) of LLMs via Detecting and Exploring Task-Specific Neurons
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部)
该研究从神经元视角解析大语言模型多任务学习机制,通过梯度归因识别任务特定神经元,发现其重叠度与泛化相关,据此提出仅微调当前任务特定神经元的持续微调方法,提升多任务可解释性与持续学习效果。
2025-01-12 cs.CL cs.LG
Extractive Fact Decomposition for Interpretable Natural Language Inference in one Forward Pass
TU Dresden(德累斯顿技术大学)
本文提出仅编码器架构JEDI,通过抽取式原子事实分解与可解释推理联合执行,并利用合成理由语料训练,在NLI任务中实现有竞争力的准确率和显著提升的分布外及对抗鲁棒性。
2025-09-23 cs.CL
Exploring Compositional Generalization of Multimodal LLMs for Medical Imaging
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文通过构建包含106个数据集的Med-MAT基准,验证组合泛化(CG)是多模态LLM在医学影像多任务训练中实现泛化的关键驱动力,并确认其在分类与检测任务及有限数据场景下的有效性。
2025-05-31 cs.AI cs.CL cs.CV
Reasoning-Table: Exploring Reinforcement Learning for Table Reasoning
Institute of Automation, CAS(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文首次将强化学习应用于表格推理,提出Reasoning-Table,通过统一训练和基于规则的结果奖励在多个基准上超越SFT及更大的专有模型,并提升泛化性与鲁棒性。
2025-06-02 cs.CL
Towards leveraging LLMs for Conditional QA
Ohio State University(俄亥俄州立大学);Fidelity Investments(富达投资)
本文研究LLMs在条件问答中的表现,发现微调后模型在Yes/No问题上可超越SOTA,但在抽取式问答和证据检索上仍存明显不足,并呼吁构建更全面的评估框架。
2023-12-02 cs.CL
Exploring the Impact of Corpus Diversity on Financial Pretrained Language Models
Department of Applied Artificial Intelligence, Hanyang University(应用人工智能系,翰阳大学);Division of Computer Science, Hanyang University(计算机科学系,翰阳大学);Ramply Inc.(Ramply公司)
针对金融预训练语言模型因训练语料多样性不足而泛化性能差的问题,本文收集广泛金融语料训练FiLM模型,实验证明其在多个下游任务上优于现有金融及通用PLMs,且对未见语料组同样有效。
2025-05-26 cs.CL
Doing Good or Doing Right? Exploring the Weakness of Commonsense Causal Reasoning Models
Shanghai University of Finance and Economics(上海财经大学)
本文揭示了PLM在COPA任务上的语义相似性偏差问题,通过添加正则化损失有效缓解了该偏差,提升了模型的泛化能力和在无偏数据集BCOPA-CE上的鲁棒性。
2021-07-05 cs.CL
Exploring Multitask Learning for Low-Resource AbstractiveSummarization
University of Pittsburgh(匹兹堡大学)
本文在小型训练语料库上探讨了多任务学习对摘要写作的影响。特别是,我们将四个不同的任务(提取摘要,语言建模,概念检测和释义检测)单独和组合,通过多任务学习增强抽象摘要的目标任务的目标。我们发现,对于许多任务组合,在多任务设置中训练的模型优于仅为抽象摘要训练的模型,没有引入额外的摘要数据。此外,我们做了一个全面的搜索,发现某些任务(例如释义检测)始终有利于抽象总结,不仅当与其他任务相结合,而且当使用不同的架构和训练语料库。
2021-09-17 cs.CL
Confident or Seek Stronger: Exploring Uncertainty-Based On-device LLM Routing From Benchmarking to Generalization
Rice University(莱斯大学);Johns Hopkins University(约翰斯·霍普金斯大学);University of Minnesota(明尼苏达大学);Meta AI;University of California, San Diego(加利福尼亚大学圣迭戈分校)
本文系统研究了端侧小语言模型到强大语言模型的不确定性路由策略,通过1500余种设置揭示不确定性量化方法与模型特性对路由性能的影响,并提出校准数据构建流水线以提升跨数据集泛化能力。
2025-02-06 cs.AI cs.CL cs.LG
Exploring Format Consistency for Instruction Tuning
Tsinghua University(清华大学);ModelBest Inc.(智谱AI公司);Apple(苹果公司)
本文提出统一指令微调(UIT)框架,通过OpenAI API实现跨数据集格式转换,证明格式一致性必要性,提升T5-LM-xl泛化性能,并基于困惑度去噪及GPT-J离线模型降低成本。
2024-01-08 cs.AI cs.CL
Exploring Neural Models for Query-Focused Summarization
Salesforce Research(Salesforce研究院)
以查询为中心的摘要(QFS)旨在生成回答感兴趣的特定问题的摘要,从而实现更大的用户控制和个性化。虽然最近发布的数据集,如QMSum或AmmunMuSe,促进了QFS的研究工作,但该领域缺乏对适用建模方法的广泛空间的全面研究。在本文中,我们进行了系统的探索QFS的神经方法,考虑两个一般类的方法:两阶段提取抽象的解决方案和端到端的模型。在这些类别中,我们调查现有的模型,并探索迁移学习的策略。我们还提出了两个建模扩展,它们在QMSum数据集上实现了最先进的性能,当与迁移学习策略相结合时,最高可达3.38 ROUGE-1,3.72 ROUGE 2和3.28 ROUGE-L。人类评估的结果表明,与基线模型相比,最好的模型可以产生更全面和更符合事实的摘要。代码和检查点是公开的:https://github.com/salesforce/query-focused-sum。
2022-04-26 cs.CL
English is Not All You Need: Systematically Exploring the Role of Multilinguality in LLM Post-Training
UC Santa Barbara(加州大学圣巴巴拉分校);Amazon(亚马逊)
研究通过220次监督微调实验,探讨训练语言覆盖、模型规模和任务领域间的相互作用,发现增加后训练语言覆盖对各任务和模型规模均有益,低资源语言受益最大,高资源语言趋于稳定。单语种多语言性可提升英语表现和跨语言泛化,英语独占后训练效果不佳。
2026-09-22 cs.AI cs.CL
Exploring Linguistic Probes for Morphological Generalization
Stony Brook University(石溪大学)
本文提出语言特定探针以测试形态学泛化,发现三种领先的形态学词形变化系统在英语、西班牙语和斯瓦希里语的正字法及语音输入上采用了不同的泛化策略。
2023-10-20 cs.CL
MentSum: A Resource for Exploring Summarization of Mental Health Online Posts
Georgetown University(乔治城大学)
精神卫生仍然是全世界公共卫生的一个重大挑战。随着在线平台的日益普及,许多人使用这些平台分享他们的心理健康状况,表达他们的感受,并寻求社区和咨询师的帮助。其中一些平台,如Reachout,是用户注册寻求帮助的专用论坛。其他人,如Reddit,提供子Reddit,用户公开但匿名发布他们的心理健康困扰。虽然帖子的长度各不相同,但提供一个简短但信息丰富的摘要是有益的,以便辅导员快速处理。为了促进对心理健康在线帖子总结的研究,我们引入了心理健康总结数据集MentSum,其中包含来自Reddit的超过24,000个精心挑选的用户帖子,以及来自43个心理健康子Reddit的简短用户书面摘要(称为TLDR)。这个特定领域的数据集不仅可以在Reddit上生成简短的摘要,还可以在专门的心理健康论坛(如Reachout)上生成帖子摘要。我们根据Rouge评分进一步评估了提取和抽象的最先进摘要基线,最后对用户编写和系统生成的摘要进行了深入的人类评估研究,突出了本研究中的挑战。
2022-06-02 cs.CL
Seen to Unseen: Exploring Compositional Generalization of Multi-Attribute Controllable Dialogue Generation
Meituan(美团);Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出DCG模型,通过属性提示向量和解耦损失实现多属性可控对话生成的组合泛化,并设计统一无参考评估框架,在两个基准上验证了有效性。
2023-06-17 cs.CL
Exploring Out-of-Distribution Generalization in Text Classifiers Trained on Tobacco-3482 and RVL-CDIP
SkySync(SkySync公司);University of California, Berkeley(加州大学伯克利分校);Oregon State University(俄勒冈州立大学)
为了足够强大以广泛采用,涉及机器学习模型的文档分析系统必须能够正确响应落在用于生成模型所训练的数据的数据分布之外的输入。本文探讨了在标准文档分类数据集上训练的文本分类器在推理时推广到非分布文档的能力。我们以Tobacco-3482和RVL-CDIP数据集为起点,生成新的分布外评估数据集,以分析在这些标准数据集上训练的模型的泛化性能。我们发现,在较小的Tobacco-3482数据集上训练的模型在我们新的分布外数据上表现不佳,而在较大的RVL-CDIP上训练的文本分类模型表现出较小的性能下降。
2021-08-05 cs.CL
Exploring Continual Learning of Compositional Generalization in NLI
Heidelberg University(海德堡大学)
本文提出C2Gen NLI挑战,探讨持续学习对NLI组合泛化的影响,发现模型在持续场景下泛化失败,但通过合理排序子任务及利用依赖关系可增强该能力。
2024-07-25 cs.CL
Improving QA Generalization by Concurrent Modeling of Multiple Biases
Ubiquitous Knowledge Processing Lab (UKP-TUDA)(普适知识处理实验室(UKP-TUDA));Department of Computer Science, Technische Universität Darmstadt(达姆施塔特工业大学计算机科学系)
现有的NLP数据集包含各种偏见,模型可以很容易地利用这些偏见来实现相应评估集的高性能。然而,专注于特定于数据集的偏见限制了他们从更一般的数据模式中学习有关任务的更一般化知识的能力。在本文中,我们研究了去偏方法对提高泛化能力的影响,并提出了一个通用框架,通过对训练数据中的多个偏差进行并发建模,来提高域内和域外数据集的性能。我们的框架根据每个示例所包含的偏差以及这些偏差在训练数据中的强度来对每个示例进行加权。然后,它在训练目标中使用这些权重,以便模型更少地依赖于具有高偏差权重的示例。我们广泛评估我们的框架提取问答与训练数据从不同领域的不同强度的多个偏见。我们在两种不同的设置中进行评估,其中模型同时在单个域或多个域上进行训练,并与最先进的去偏置方法相比,在两种设置中显示其有效性。
2020-10-07 cs.CL
Exploring the Compositional Generalization in Context Dependent Text-to-SQL Parsing
Tsinghua University(清华大学)
本文首次研究上下文依赖 Text-to-SQL 的组合泛化,构建 CoSQL-CG 与 SParC-CG 基准,并提出 p-align 通过对齐历史 SQL 与当前话语提升模型泛化性能。
2023-05-29 cs.CL
Exploring Underexplored Limitations of Cross-Domain Text-to-SQL Generalization
Queen Mary University of London(伦敦玛丽女王大学);UC Berkeley(加州大学伯克利分校);Jožef Stefan Institute(约瑟夫·斯蒂芬研究所)
最近,在研究用于在zero-shot跨域设置下将文本描述翻译成SQL查询的神经网络方面取得了重大进展。尽管在一些公共基准测试中取得了良好的性能,但我们观察到,现有的文本到SQL模型在面对不经常出现在训练数据中的领域知识时不会泛化,这可能会导致看不见的领域的预测性能较差。在这项工作中,我们调查的文本到SQL模型的鲁棒性时,问题需要很少观察到的领域知识。特别是,我们定义了五种类型的领域知识,并介绍了Spider-DK(DK是领域知识的缩写),这是一个基于Spider基准测试的人工数据集,用于文本到SQL的翻译。Spider-DK中的自然语言问题是从Spider中选取的,我们通过添加反映真实世界问题释义的领域知识来修改一些样本。我们证明,预测精度显着下降的样本,需要这样的领域知识,即使领域知识出现在训练集中,该模型提供了正确的预测相关的训练样本。
2021-09-11 cs.CL
Exploring the Limits of ChatGPT for Query or Aspect-based Text Summarization
University of California, Santa Barbara(加州大学圣巴巴拉分校);Microsoft(微软);NEC Laboratories America(NEC美国实验室)
文本摘要是自然语言处理中的一个重要问题。它旨在将冗长的文件压缩成较短的版本,同时保留最关键的信息。已经提出了各种文本摘要方法,包括抽取式和抽象式摘要。大语言模型(LLM)的出现,如GPT3和ChatGPT,最近产生了使用这些模型进行文本摘要任务的极大兴趣。最近的研究\cite{goyal2022news, zhang2023benchmarking}表明,LLMs生成的新闻摘要已经与人类不相上下。然而,LLM对于更实际的应用程序(如方面或基于查询的摘要)的性能还没有得到充分的研究。为了填补这一空白,我们在四个广泛使用的基准数据集上对ChatGPT的性能进行了评估,其中包括Reddit帖子,新闻文章,对话会议和故事的各种摘要。我们的实验表明,ChatGPT的性能与传统的微调方法在胭脂分数方面相当。此外,我们强调了ChatGPT生成的摘要和人类引用之间的一些独特差异,为ChatGPT在各种文本摘要任务中的强大功能提供了有价值的见解。我们的研究结果呼吁在这一领域的新方向,我们计划进行进一步的研究,通过广泛的人类评估系统地检查ChatGPT生成的摘要的特征。
2023-02-16 cs.AI cs.CL
Exploring Transitivity in Neural NLI Models through Veridicality
RIKEN(理化学研究所);Keio University(庆应义塾大学);Tohoku University(东北大学)
尽管深度神经网络最近在自然语言处理方面取得了成功,但它们在自然语言理解方面能在多大程度上表现出类似人类的泛化能力仍不清楚。我们在自然语言推理(NLI)领域探索这个问题,重点是推理关系的传递性,系统地绘制推理的基本属性。一个捕捉传递性的模型可以组成基本的推理模式,并得出新的推理。我们介绍了一种分析方法,使用合成的和自然的NLI数据集,涉及小句嵌入动词,以评估模型是否可以执行由真实推理和任意推理类型组成的传递性推理。我们发现,目前的NLI模型并不一贯表现良好的传递性推理任务,这表明他们缺乏泛化能力,从提供的训练样本绘制复合推理。用于我们分析的数据和代码可在https://github.com/verypluming/transitivity上公开获取。
2021-01-26 cs.CL
CDEvalSumm: An Empirical Study of Cross-Dataset Evaluation for Neural Summarization Systems
Fudan University(复旦大学);Carnegie Mellon University(卡内基梅隆大学)
基于神经网络的模型增强了无监督的预训练知识,在文本摘要方面取得了令人印象深刻的性能。然而,大多数现有的评估方法仅限于域内设置,其中摘要器在相同的数据集上进行训练和评估。我们认为,这种方法可以缩小我们的理解不同的摘要系统的泛化能力。在本文中,我们对不同数据集的特征进行了深入分析,并研究了跨数据集设置下不同摘要模型的性能,其中在一个语料库上训练的摘要器将在一系列域外语料库上进行评估。通过对11个有代表性的文摘系统在不同领域的5个数据集上的综合研究,揭示了模型结构和生成方式(即抽象和抽取)对模型泛化能力的影响。此外,实验结果揭示了现有摘要器的局限性。简介和补充代码可在https://github.com/zide05/CDEvalSumm中找到。
2020-10-22 cs.CL
Exploring Compositional Generalization (in COGS/ReCOGS_pos) by Transformers using Restricted Access Sequence Processing (RASP)
本文用 RASP 编程语言证明 Transformer 编码器-解码器能通过平面模式匹配规则而非树结构,在 COGS 和 ReCOGS_pos 基准上实现接近完美的组合泛化。
2025-10-14 cs.CL
RAG-QA Arena: Evaluating Domain Robustness for Long-form Retrieval Augmented Question Answering
AWS AI Labs(亚马逊人工智能实验室);Google(谷歌);University of California, Santa Barbara(加州大学圣巴巴拉分校)
本文针对RAG-QA跨领域评估不足的问题,构建了包含七个领域26K查询的长文本数据集LFRQA,并提出RAG-QA Arena评估平台,实验显示其与人类判断高度相关且极具挑战性。
2024-10-03 cs.AI cs.CL
Improving Few-Shot Generalization by Exploring and Exploiting Auxiliary Data
University of Toronto(多伦多大学);Vector Institute(向量研究所)
针对FLAD中辅助数据混合成本随数据集数增长的问题,本文基于多臂老虎机构造复杂度与辅助集数量无关的EXP3-FLAD和UCB1-FLAD,性能提升4%,并使30亿参数模型超越GPT-3。
2023-10-03 cs.CL cs.LG
Exploring Multilingual Text Data Distillation
本文针对多语言文本分类任务提出多种基于语言模型的数据蒸馏方法,重点提升跨架构泛化能力,并分析分类性能与语言公平性。
2023-08-09 cs.AI cs.CL
MReD: A Meta-Review Dataset for Structure-Controllable Text Generation
DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);National University of Singapore(新加坡国立大学);Singapore University of Technology and Design(新加坡科技设计大学);Nanyang Technological University(南洋理工大学)
当直接使用现有的文本生成数据集进行可控生成时,我们面临着没有领域知识的问题,因此可以控制的方面是有限的。一个典型的例子是,当使用CNN/Daily Mail数据集进行可控文本摘要时,没有关于摘要句子强调的指导信息。一个更有用的文本生成器应该利用输入文本和控制信号来指导生成,这只能通过对领域知识的深刻理解来构建。基于这一愿景,本文介绍了一个新的文本生成数据集,名为MReD。我们的新数据集由7,089个元评论组成,所有45 k元评论句子都是用9个精心定义的类别之一手动注释的,包括摘要,强度,决策等。我们提出了最先进的摘要模型的实验结果,并提出了使用我们的注释数据进行提取和抽象模型的结构控制生成方法。通过探索各种设置并分析模型相对于控制信号的行为,我们展示了我们提出的任务的挑战和我们的数据集MReD的价值。同时,MReD也让我们更好地理解元评论领域。
2022-07-05 cs.CL
Exploring Knowledge Purification in Multi-Teacher Knowledge Distillation for LLMs
Department of Automation, Tsinghua University(清华大学自动化系);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
本文提出知识净化方法,通过整合多个教师模型的推理以减少冲突并提升效率,实验表明其在知识蒸馏中提升性能并促进轻量模型部署。
2026-04-11 cs.CL
Exploring the Generalization of Cancer Clinical Trial Eligibility Classifiers Across Diseases
The University of Texas MD Anderson Cancer Center(德克萨斯大学MD安德森癌症中心)
本研究评估了基于癌症试验训练的临床试验资格分类器跨疾病泛化能力,发现其在非癌症试验常见标准上表现良好,但在癌症特有标准上表现不佳,few-shot learning可部分弥补此差距,并发布了新数据集。
2024-03-25 cs.CL cs.LG q-bio.QM
Exploring the Capacity of a Large-scale Masked Language Model to Recognize Grammatical Errors
Konan University(甲南大学);JST, PRESTO(日本科学技术振兴机构,PRESTO);GRAS Group, Inc.(GRAS集团);RIKEN AIP(理化学研究所革新智能统合研究中心);Tohoku University(东北大学)
在本文中,我们探讨的能力,语言模型为基础的方法,语法错误检测详细。我们首先表明,5%至10%的训练数据是足够的一个基于BERT的错误检测方法,以实现性能相当于一个非语言模型为基础的方法可以实现与完整的训练数据;召回提高更快的训练数据的大小在基于BERT的方法比在非语言模型方法,而精度表现相似。这表明(i)基于BERT的方法应该具有识别某些类型的错误所需的良好语法知识,并且(ii)它可以通过少量训练样本的微调将知识转化为错误检测规则,这解释了其在语法错误检测中的高泛化能力。我们进一步用伪错误数据表明,它实际上在识别各种类型错误的学习规则中表现出如此好的特性。最后,基于这些发现,我们探索了一种低成本的方法来检测语法错误,并向学习者解释相关的语法规则的反馈意见。
2021-08-27 cs.CL
AGent: A Novel Pipeline for Automatically Creating Unanswerable Questions
Denison University(丹尼森大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文提出AGent流程,通过将问题与缺乏必要信息的上下文重新匹配自动生成不可回答问题,有效降低人工标注成本,并在多个EQA基准上取得与SQuAD 2.0微调模型相当的性能。
2023-09-10 cs.AI cs.CL
Relation-Guided Pre-Training for Open-Domain Question Answering
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
解决复杂的开放域问题需要理解涉及实体之间的潜在关系。然而,我们发现现有的QA数据集在某些类型的关系中非常不平衡,这损害了长尾关系问题的泛化性能。为了解决这个问题,在本文中,我们提出了一个指导性的预训练(RGPT-QA)框架。我们首先生成一个关系QA数据集,涵盖了维基数据三元组和维基百科超链接的广泛关系。然后,我们预训练一个QA模型来推断问题中的潜在关系,然后进行提取QA以获得目标答案实体。我们证明,通过使用建议的RGPT-QA技术进行预训练,流行的开放域QA模型Dense Passage Retriever(DPR)在Natural Questions,TriviaQA和WebQuestions上的精确匹配准确率分别提高了2.2%,2.4%和6.3%。特别是,我们表明,RGPT-QA显着改善长尾关系的问题
2021-09-21 cs.CL cs.LG
Exploring and Evaluating Personalized Models for Code Generation
McGill University(麦吉尔大学);Anthropic(Anthropic公司);Microsoft(微软公司)
大型Transformer模型在自然语言理解任务中达到了最先进的水平,并且越来越多地成为建模源代码的基线模型架构。Transformers通常在大型无监督语料库上进行预训练,学习与建模一般可用文本相关的令牌表示和转换,然后在特定的下游感兴趣的任务上进行微调。虽然微调是使模型适应新领域的可靠方法-例如,对给定主题的问答-但泛化仍然是一个持续的挑战。在本文中,我们探讨和评估Transformer模型微调个性化。在为Java方法生成单元测试的上下文中,我们使用几种个性化技术来评估学习个性化特定软件项目的能力。我们考虑三种关键方法:(i)自定义微调,允许调整所有模型参数;(ii)轻量级微调,冻结大部分模型参数,仅允许调整令牌嵌入和softmax层或仅调整最终层;(iii)前缀调整,保持模型参数冻结,但优化小的项目特定前缀向量。这些技术中的每一种都提供了总计算成本和预测性能的权衡,我们通过代码和特定于任务的指标,训练时间和总计算操作来评估。我们比较了这些用于代码生成的微调策略,并讨论了每种策略在各种部署场景中的潜在通用性和成本效益。
2022-09-20 cs.CL cs.LG cs.SE
Exploring Natural Language-Based Strategies for Efficient Number Learning in Children through Reinforcement Learning
Univeristy Of Colorado, Boulder(科罗拉多大学博尔德分校)
本文通过强化学习框架研究儿童如何使用十进制积木组成数字,发现明确动作指导的指令更有效,并提出有效的教学课程以加速收敛和提升泛化能力。
2026-04-08 cs.AI cs.CL cs.LG
Exploring Fine-Tuning of Large Audio Language Models for Spoken Language Understanding under Limited Speech Data
MAUM AI Inc.(MAUM AI公司);Soongsil University(_soongsil大学)
本研究探讨了在有限语音数据条件下,通过不同微调方案提升语音语言理解性能,发现文本-only微调已具竞争力,课程学习在数据稀缺时效果显著。
2026-01-21 cs.CL cs.LG cs.SD
EHR-SeqSQL : A Sequential Text-to-SQL Dataset For Interactively Exploring Electronic Health Records
KAIST(韩国科学技术院)
本文提出EHR-SeqSQL,首个包含序列与上下文问题的最大医学text-to-SQL数据集,通过多轮交互和特殊标记提升组合泛化能力与执行效率。
2024-07-30 cs.AI cs.CL cs.DB