Towards preserving word order importance through Forced Invalidation
Imperial College London(伦敦帝国理工学院);City, University of London(伦敦大学城市学院)
针对预训练语言模型对词序不敏感的问题,本文提出强制失效(FI)方法,通过让模型将乱序序列识别为无效样本来保留词序重要性,并在多个NLU和QA任务上验证其有效性。
2023-04-11 cs.CL
Deep Model Compression Also Helps Models Capture Ambiguity
School of Computing(计算学院);Korea Advanced Institute of Science and Technology(韩国高等科学技术研究院)
针对NLU模型难以捕捉样本歧义、预测过度自信的问题,提出结合深度模型压缩的新方法,通过低层剪枝与关联知识蒸馏提升歧义量化效果,同时减小模型体积、优化延迟。
2023-06-12 cs.AI cs.CL cs.LG
ShortcutLens: A Visual Analytics Approach for Exploring Shortcuts in Natural Language Understanding Dataset
Hong Kong University of Science and Technology(香港科技大学);Peking University(北京大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
基准数据集在评估自然语言理解(NLU)模型中起着重要作用。然而,捷径-基准数据集中不必要的偏差-可能会损害基准数据集在揭示模型真实能力方面的有效性。由于快捷方式在覆盖范围,生产力和语义意义上各不相同,因此NLU专家在创建基准数据集时系统地理解和避免它们是一项挑战。在本文中,我们开发了一个可视化分析系统ShortcutLens,以帮助NLU专家在NLU基准数据集中探索快捷方式。该系统允许用户对快捷方式进行多层次探索。具体来说,Statistics View可以帮助用户掌握基准数据集中快捷方式的覆盖率和生产率等统计数据。模板视图使用分层和可解释的模板来汇总不同类型的快捷方式。实例视图允许用户检查快捷方式覆盖的相应实例。我们进行案例研究和专家访谈,以评估系统的有效性和可用性。结果表明,ShortcutLens支持用户通过快捷方式更好地理解基准数据集问题,激励他们创建具有挑战性和相关性的基准数据集。
2022-08-17 cs.CL cs.HC cs.LG
CLUE: A Chinese Language Understanding Evaluation Benchmark
英语自然语言理解(NLU)基准的出现,如GLUE和SuperGLUE,允许在各种任务中评估新的NLU模型。这些全面的基准促进了自然语言处理(NLP)的广泛研究和应用。然而,问题是大多数这样的基准仅限于英语,这使得英语NLU的许多成功很难复制到其他语言。为了解决这个问题,我们引入了第一个大规模的中文语言理解评测(CLUE)基准。CLUE是一个开放式的社区驱动的项目,它汇集了9个任务,涵盖了几个成熟的单句/句子对分类任务,以及机器阅读理解,所有这些都是基于中文原文。为了确定这些任务的结果,我们使用一组详尽的当前最先进的预训练中国模型(共9个)来报告分数。我们还介绍了一些补充数据集和其他工具,以帮助促进中国NLU的进一步发展。我们的基准测试在https://www.CLUEbenchmarks.com上发布
2020-11-05 cs.CL cs.LG
Investigating Meta-Learning Algorithms for Low-Resource Natural Language Understanding Tasks
Carnegie Mellon University(卡内基梅隆大学)
学习文本的一般表示是许多自然语言理解(NLU)任务的基本问题。在此之前,研究者们已经提出使用语言模型预训练和多任务学习来学习鲁棒的表征。然而,这些方法可以在低资源场景中实现次优性能。受到最近基于优化的Meta学习算法的成功的启发,在本文中,我们探讨了模型不可知的Meta学习算法(MAML)及其变体的低资源NLU任务。我们在GLUE基准测试上验证了我们的方法,并表明我们提出的模型可以优于几个强基线。我们进一步实证表明,学习的表征可以有效地适应新的任务。
2019-08-27 cs.CL
Less is Better: Recovering Intended-Feature Subspace to Robustify NLU Models
Fudan Univerisity(复旦大学)
具有显著偏见比例的数据集对在NLU任务上训练可信模型构成威胁。尽管取得了很大的进展,目前的去偏置方法过度依赖于偏置属性的知识。然而,属性的定义是难以捉摸的,并且在不同的数据集中有所不同。此外,在输入级利用这些属性来减轻偏差可能会在内在属性和底层决策规则之间留下差距。为了缩小这一差距,解放监督偏见,我们建议扩展偏见缓解到特征空间。因此,一个新的模型,恢复意图特征子空间与知识自由(RISK)的发展。假设由各种偏差引起的快捷特征不适合预测,RISK将其视为冗余特征。当深入研究一个较低的流形以消除冗余时,RISK揭示了一个具有预期特征的极低维子空间可以鲁棒地表示高度偏差的数据集。实验结果表明,我们的模型可以不断提高模型的推广到分布外的集合,并实现了一个新的国家的最先进的性能。
2022-09-16 cs.AI cs.CL cs.LG
CLUES: Few-Shot Learning Evaluation in Natural Language Understanding
Microsoft Research(微软研究院)
自然语言理解(NLU)的最新进展部分是由GLUE、SuperGLUE、SQuAD等基准测试驱动的。事实上,许多NLU模型在这些基准测试中的许多任务上的性能都达到或超过了“人类水平”。然而,这些基准测试中的大多数都使模型能够访问相对大量的标记数据进行训练。因此,模型提供的数据远远超过人类实现强大性能所需的数据。这激发了一系列专注于提高NLU模型的少样本学习性能的工作。然而,由于Few-Shot自然语言理解缺乏标准化的评价基准,导致不同论文的实验设置不同。为了帮助加速这一工作,我们引入了CLUES(约束语言理解评估标准),这是一个用于评估NLU模型的少样本学习能力的基准。我们证明,虽然最近的模型达到人类的性能时,他们可以访问大量的标记数据,有一个巨大的差距,在Few-Shot设置为大多数任务的性能。我们还展示了替代模型的家庭和适应技术之间的差异,在Few Shot设置。最后,我们讨论了几个原则和选择,在设计的实验设置,以评估真正的少样本学习性能,并提出了一个统一的标准化方法,少样本学习评估。我们的目标是鼓励对NLU模型的研究,这些模型可以用少量的例子推广到新的任务。CLUES的代码和数据可在https://github.com/microsoft/CLUES上获得。
2021-11-04 cs.CL cs.LG
Transforming NLU with Babylon: A Case Study in Development of Real-time, Edge-Efficient, Multi-Intent Translation System for Automated Drive-Thru Ordering
IBM watsonx
针对自动得来速点餐场景,提出将自然语言理解建模为意图翻译任务的Transformer架构Babylon,并引入LSTM音素池化以降低输入长度、提升边缘实时性与ASR鲁棒性,实验表明其在准确率、延迟和内存上优于Flan-T5与BART。
2024-11-22 cs.AI cs.CL cs.LG
Assessing the Severity of Health States based on Social Media Posts
Wright State University(莱特州立大学);University of South Carolina(南卡罗来纳大学);Indian Institute of Technology Patna(印度理工学院巴特那分校)
互联网用户的空前增长导致了社交媒体上大量的非结构化信息,包括健康论坛,患者在论坛上请求其他用户提供与健康相关的信息或意见。先前的研究表明,在线同伴支持在没有专家干预的情况下效果有限。因此,能够从患者的社交媒体帖子评估健康状态的严重性的系统可以帮助健康专业人员(HP)优先考虑用户的帖子。在这项研究中,我们检查了自然语言理解(NLU)的不同方面的功效,以识别与两个视角(任务)有关的用户健康状态的严重性(a)医疗状况(即,恢复,存在,恶化,其他)和(b)药物治疗(即,有效、无效、严重不良反应、其他)。我们提出了一个多视图学习框架,模型的文本内容以及上下文信息来评估用户的健康状态的严重程度。具体来说,我们的模型利用NLU的观点,如情绪,情感,个性,并使用比喻语言来提取上下文信息。不同的NLU视图证明了其在任务和个体疾病上评估用户健康的有效性。
2020-09-21 cs.CL
SeqGPT: An Out-of-the-box Large Language Model for Open Domain Sequence Understanding
Tsinghua University(清华大学);ShanghaiTech University(上海科技大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Zhejiang University(浙江大学)
针对大语言模型在格式受限的NLU任务上表现不稳定、依赖提示的问题,研究提出专为开放域NLU优化的双语开源模型SeqGPT,通过统一原子任务格式、多阶段多任务微调,实现跨领域的分类与抽取能力。
2023-08-21 cs.CL
Unsupervised Pre-training for Natural Language Generation: A Literature Review
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
最近,无监督预训练在计算语言学领域越来越受欢迎,这要归功于其在推进自然语言理解(NLU)方面的惊人成功以及有效利用大规模未标记语料库的潜力。然而,尽管NLU取得了成功,但在自然语言生成(NLG)方面,无监督预训练的力量只得到了部分挖掘。主要的障碍源于NLG的特殊性质:文本通常是基于特定的上下文生成的,这可能会随目标应用而变化。因此,设计一个通用的预训练架构是很难的,就像在NLU场景中一样。此外,在学习目标任务时保留从预训练中学到的知识也是一个不平凡的问题。本文总结了最近通过无监督预训练来增强NLG系统的努力,特别关注将预训练模型整合到下游任务中的方法。根据它们处理上述障碍的方式,可以将它们分为基于架构的方法和基于策略的方法。讨论还提供了进一步了解这两条线的工作之间的关系,一些翔实的经验现象,以及一些可能的方向,未来的工作可以致力于。
2019-11-13 cs.CL
Preserving Pre-trained Features Helps Calibrate Fine-tuned Language Models
Tsinghua University(清华大学);Pazhou Lab(琶洲实验室)
本文研究微调语言模型的校准问题,发现灾难性遗忘损害校准性,并提出通过辅助语言建模保留预训练特征的方法,在多个NLU任务上取得最低期望校准误差。
2023-05-30 cs.CL cs.LG
HICL: Hashtag-Driven In-Context Learning for Social Media Natural Language Understanding
Hong Kong Polytechnic University(香港理工大学);Southern University of Science and Technology(南方科技大学);Baidu Inc.(百度公司)
针对社交媒体短文本含噪导致NLU性能下降的问题,提出HICL框架,利用话题标签对比预训练#Encoder检索主题相关帖子,并通过梯度触发词融合上下文,在七项任务上显著超越此前最优方法。
2023-08-19 cs.CL
E-CONAN (Entailment, CONtradition And Neutral) Diagnostics Dataset Investigating Linguistic Phenomena in Arabic Natural Language Understanding
Higher Institute for Applied Sciences and Technology(高等应用科学与技术学院);Arab International University(阿拉伯国际大学)
针对阿拉伯语NLU,提出E-CONAN诊断数据集和层级错误分析框架,评估9个预训练模型和5个LLM,发现LLM在知识和常识推理上更强,但在句法上较弱。
2026-09-29 cs.AI cs.CL cs.HC
Active Learning for New Domains in Natural Language Understanding
Alexa Machine Learning, Amazon.com(亚马逊Alexa机器学习团队(Amazon Alexa Machine Learning),亚马逊公司(Amazon.com))
我们探索主动学习(AL),以提高自然语言理解(NLU)系统中新领域的准确性。我们提出了一种算法,称为多数-CRF,使用分类模型的合奏,以指导相关的话语的选择,以及一个序列标记模型,以帮助优先信息的例子。三个领域的实验表明,多数CRF实现了6.6%-9%的相对出错率减少随机抽样与相同的注释预算相比,统计上显着的改善相比,其他AL方法。此外,六个新领域的人类在环AL案例研究显示,现有NLU系统的性能提高了4.6%-9%。
2019-03-30 cs.AI cs.CL
Adapting to the Long Tail: A Meta-Analysis of Transfer Learning Research for Language Understanding Tasks
Carnegie Mellon University(卡内基梅隆大学)
自然语言理解(NLU)在大型基准测试的推动下取得了巨大的进步,但基准测试往往会留下一个长尾巴,这些现象很少被代表。我们反思这个问题:迁移学习方法是否充分解决了长尾上基准训练模型的糟糕性能?我们使用宏观层面的维度来概念化长尾(例如,代表性不足的类型、主题等),并对100篇有代表性的自然语言理解迁移学习研究论文进行了定性的元分析。我们的分析提出了三个问题:(i)迁移学习研究的目标是哪些长尾维度?(ii)自适应方法的哪些属性有助于提高长尾的性能?(iii)哪种方法差距对长尾绩效的负面影响最大?我们的回答突出了长尾迁移学习未来研究的主要途径。最后,使用我们的荟萃分析框架,我们进行了一个案例研究,比较了各种适应方法对临床叙述的表现,这提供了有趣的见解,可能使我们能够沿着这些未来的途径取得进展。
2022-06-03 cs.CL
Revisiting Pre-trained Language Models and their Evaluation for Arabic Natural Language Understanding
Huawei Technologies Co., Ltd.(华为技术有限公司);Huawei Cloud Computing Technologies Co., Ltd(华为云计算技术有限公司);Université de Montréal(蒙特利尔大学)
近年来,为阿拉伯语开发预训练语言模型(PLM)的工作越来越多。这项工作涉及解决两个主要问题,在现有的阿拉伯语PLM制约阿拉伯语NLU和NLG领域的进展。第一,现有的阿拉伯语PLM没有得到很好的探索,他们的预培训可以显着改善使用更有条不紊的方法。其次,在文献中缺乏对这些模型的系统性和可重复性的评价。在这项工作中,我们重新审视阿拉伯语PLM的预培训和评估。在预训练方面,我们从三个方面探索改进阿拉伯语LM:预训练数据的质量,模型的大小,并纳入字符级信息。因此,我们发布了三个新的阿拉伯语BERT风格的模型(JABER,Char-JABER和SABER)和两个T5风格的模型(AT 5S和AT 5 B)。在评估方面,我们进行了一项全面的实证研究,系统地评估现有的国家的最先进的模型的性能ALUE是一个领先的基准阿拉伯语NLU任务,并在一个子集的ARGEN基准阿拉伯语NLG任务。我们表明,我们的模型显着优于现有的阿拉伯语PLM,并实现了一个新的国家的最先进的性能判别和生成阿拉伯语NLU和NLG任务。我们的模型和源代码,以重现的结果将很快提供。
2022-05-21 cs.CL
StructBERT: Incorporating Language Structures into Pre-training for Deep Language Understanding
Alibaba Group Inc.(阿里巴巴集团有限公司)
最近,预训练的语言模型BERT(及其鲁棒优化版本RoBERTa)在自然语言理解(NLU)中引起了广泛关注,并在各种NLU任务中实现了最先进的准确性,例如情感分类,自然语言推理,语义文本相似性和问答。受Elman [8]的线性化探索工作的启发,我们将BERT扩展到一个新的模型StructBERT,将语言结构纳入预训练。具体来说,我们用两个辅助任务对StructBERT进行预训练,以充分利用单词和句子的顺序,这分别在单词和句子层面上利用语言结构。因此,新模型适用于下游任务所需的不同水平的语言理解。具有结构化预训练的StructBERT在各种下游任务上给出了令人惊讶的良好实证结果,包括将GLUE基准测试的最新水平推高至89.0(优于所有已发布的模型),SQuAD v1.1问答的F1得分为93.0,SNLI的准确性为91.7。
2019-09-27 cs.CL
Submodularity-Inspired Data Selection for Goal-Oriented Chatbot Training Based on Sentence Embeddings
School of Computer and Communication Sciences, EPFL(洛桑联邦理工学院计算机与通信科学学院);Swisscom AG(瑞士电信股份公司)
口语语言理解(SLU)系统(例如面向目标的聊天机器人或个人助理)依赖于初始自然语言理解(NLU)模块来确定意图并从它们作为输入的用户查询中提取相关信息。SLU系统通常帮助用户解决相对狭窄领域内的问题,并且需要大量的域内训练数据。这导致了严重的数据可用性问题,阻碍了成功系统的开发。为了缓解这个问题,我们提出了一种在低数据制度,使我们能够训练更少的标记句子,从而更小的标签成本的数据选择技术。我们提出了一个子模块启发的数据排序函数,比率惩罚边际增益,选择数据点标记的基础上只从文本嵌入空间中提取的信息。我们表明,嵌入空间中的距离是一个可行的信息来源,可用于数据选择。我们的方法优于两个已知的主动学习技术,并使成本效益的NLU单元的培训。此外,我们提出的选择技术不需要在选择步骤之间重新训练模型,这也使其具有时间效率。
2018-07-08 cs.CL
GF + MMT = GLF -- From Language to Semantics through LF
FAU Erlangen-Nürnberg(埃尔朗根-纽伦堡大学)
如今,网上有大量的知识,其中大部分是书面形式的。搜索引擎帮助我们获得这些知识,但聚合,关联和推理仍然是一个主要的人类努力。基于自然语言文本的自动推理的关键挑战之一是需要从文本中提取意义(语义)。自然语言理解(NLU)系统描述了从一组自然语言话语到特定逻辑中的术语的转换。语法和目标逻辑的共同开发工具目前基本上缺失。我们将描述语法逻辑框架(GLF),这是两个现有框架的组合,其中可以开发和实现符号化的基于规则的NLU系统的大部分:语法框架(GF)和MMT。GF是一种用于复杂自然语言语法的句法分析、生成和翻译的工具,MMT可用于指定逻辑系统并表示其中的知识。结合这些工具是可能的,因为它们基于兼容的逻辑框架:马丁-洛夫类型论和LF。逻辑框架的灵活性是必要的,因为NLU研究还没有确定一个特定的目标逻辑的意义表示。相反,新的逻辑一直在发展,以处理各种语言现象。GLF允许用户并行开发逻辑和语言解析组件,并将它们连接起来,以便在整个管道中进行实验。
2019-10-24 cs.CL cs.LO
GPT Understands, Too
Tsinghua University(清华大学);Massachusetts Institute of Technology(麻省理工学院)
针对离散提示性能不稳定的问题,提出 P-Tuning 方法,通过结合可训练的连续提示嵌入与离散提示,稳定训练过程并在多种 NLU 任务上大幅提升性能。
2023-10-25 cs.CL cs.LG
Data Generation Using Large Language Models for Text Classification: An Empirical Case Study
Microsoft Corporation(微软公司)
本研究实证分析LLM生成合成数据用于文本分类时,提示词、任务复杂性和数据质量等影响因素,并提出改进数据生成实践的建议。
2024-07-19 cs.AI cs.CL
Robust Natural Language Understanding with Residual Attention Debiasing
University of Southern California(南加州大学)
本文提出残差注意力去偏方法 READ,通过端到端缓解注意力中的非预期偏差,在多个 NLU 任务的 OOD 数据上显著提升 BERT 模型的鲁棒性。
2023-05-28 cs.AI cs.CL cs.LG
An Empirical Survey of the Effectiveness of Debiasing Techniques for Pre-trained Language Models
Mila(米拉研究所);McGill University(麦吉尔大学);Facebook(脸书)
最近的研究表明,预先训练的语言模型可以从大量的文本中捕捉到社会偏见,这引起了人们对开发减轻这种偏见的技术的关注。在这项工作中,我们进行了实证调查最近提出的偏见缓解技术:反事实数据增强(CDA),辍学,迭代零空间投影,自我Debias,和SentenceDebias。我们使用三个内在偏差基准来量化每种技术的有效性,同时还测量这些技术对模型语言建模能力的影响,以及其对下游NLU任务的性能。我们通过实验发现:(1)Self-Debias是最强的去偏置技术,在所有偏置基准上都获得了提高的分数;(2)当前的去偏置技术在减轻非性别偏置时表现不太一致;(3)通过使用去偏置策略对StereoSet和CrowS-Pairs等偏置基准的改进通常伴随着语言建模能力的下降,这使得很难确定偏置减轻是否有效。
2022-04-03 cs.CL cs.LG
Prompting Large Language Models for Counterfactual Generation: An Empirical Study
Wuhan University(武汉大学)
本文通过构建覆盖多种NLU任务的评估框架,实证研究了大语言模型生成反事实的能力及其影响因素,发现对齐技术可提升该能力而单纯增大模型规模无效,并揭示了提示设计中任务指南与思维链方法的不同作用。
2024-02-23 cs.CL
Can large language models understand uncommon meanings of common words?
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology, Tsinghua University(清华大学北京信息科学与技术国家研究中心)
本文构建涵盖细粒度与跨语言维度的LeSC基准,测试LLM对常用词罕见含义的理解,发现GPT-4等仍落后于人类,提示与RAG改进有限。
2024-05-09 cs.AI cs.CL
Can Model Fusing Help Transformers in Long Document Classification? An Empirical Study
University of Wolverhampton(伍尔弗汉普顿大学);Aston University(阿斯顿大学);Lancaster University(兰卡斯特大学)
针对主流Transformer模型受512 token长度限制、难以处理长文档分类的问题,本研究实证探索模型融合方法在该任务中的效果,并与BERT、Longformer架构的表现进行对比。
2023-07-18 cs.CL
An Empirical Study on Chinese Character Decomposition in Multiword Expression-Aware Neural Machine Translation
Leiden University Medical Center(莱顿大学医学中心);Leiden University(莱顿大学);ADAPT Research Centre(ADAPT研究中心);Dublin City University(都柏林城市大学);Insight Centre for Data Analytics(洞察数据分析中心)
本研究探讨了中文字符分解技术在多词表达意识神经机器翻译中的应用,旨在提升中文词汇意义的表示和多词表达翻译的准确性。
2025-12-17 cs.CL
KLUE: Korean Language Understanding Evaluation
Upstage;KAIST(韩国科学技术院);NAVER AI Lab(NAVER AI 实验室);Seoul National University(首尔大学);Yonsei University(延世大学);Scatter Lab;KyungHee University(庆熙大学);Kakao Enterprise;Sogang University(西江大学);Hanbat National University(韩巴国立大学);Riiid AI Research(Riiid AI 研究院);New York University(纽约大学)
我们介绍韩国语语言理解评估(KLUE)基准。KLUE是8个韩语自然语言理解(NLU)任务的集合,包括主题分类、语义文本相似性、自然语言推理、命名实体识别、关系抽取、依存句法分析、机器阅读理解和对话状态跟踪。我们从不同的源语料库中从头开始构建所有任务,同时尊重版权,以确保任何人都可以无限制地访问。考虑到伦理因素,我们精心设计了注释协议。除了基准任务和数据,我们还为每个任务的预训练语言模型提供了合适的评估指标和微调配方。我们还发布了预训练的语言模型(PLM)KLUE-BERT和KLUE-RoBERTa,以帮助在KLUE上重现基线模型,从而促进未来的研究。我们提出了一些有趣的意见,从初步实验中使用拟议的KLUE基准套件,已经证明了这个新的基准套件的有用性。首先,我们发现KLUE-RoBERTa-large优于其他基准,包括多语言PLM和现有的开源韩国PLM。其次,即使我们从预训练语料库中替换个人身份信息,我们也会看到性能的最小下降,这表明隐私和NLU能力并不矛盾。最后,我们发现,使用BPE标记与词素级预标记相结合是有效的任务,涉及词素级标记,检测和生成。除了加速韩语NLP研究之外,我们关于创建KLUE的全面文档将有助于将来为其他语言创建类似的资源。KLUE可在https://klue-benchmark.com上获得。
2021-11-02 cs.CL
Ecological Semantics: Programming Environments for Situated Language Understanding
The Hebrew University of Jerusalem(希伯来大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
大规模自然语言理解(NLU)系统已经取得了令人印象深刻的进展:它们可以灵活地应用于各种任务,并采用最少的结构假设。然而,大量的实证研究表明,这是一把双刃剑,代价是理解肤浅:概括性差,接地和可解释性。接地的语言学习方法提供了更深入的理解的承诺,通过在更丰富,更结构化的培训环境中进行学习,但在规模上限于相对狭窄,预定义的领域。我们如何才能享受这两个世界的最佳:接地,一般NLU?在广泛的当代认知科学之后,我们建议将环境视为语义表征中的“一等公民”,值得研究和开发。重要的是,模型还应成为创造和配置环境的伙伴,而不是像现有方法那样仅仅是环境中的行为者。要做到这一点,我们认为,模型必须开始理解和编程语言的启示(定义可能的行动,在给定的情况下),无论是在线的,位于话语理解,以及大规模的,离线的常识知识挖掘。为此,我们提出了一个面向环境的生态语义学,概述了理论和实践的方法实现。我们还提供了基于交互式小说程序设计语言的实际演示。
2020-05-24 cs.AI cs.CL cs.LG
An Empirical Study on Finding Spans
Johns Hopkins University(约翰斯·霍普金斯大学);Microsoft Semantic Machines(微软语义机器公司);University of Rochester(罗切斯特大学)
我们提出了一个实证研究的方法跨度发现,选择连续的标记在文本中的一些下游任务。本文重点研究了可用于训练端到端信息抽取系统的方法,发现在不考虑任务属性的情况下,没有确定的解决方案,并给出了我们的观察结果,以帮助未来的设计选择:1)标记方法通常具有更高的精确度,而跨度枚举和边界预测提供更高的召回率; 2)跨度类型信息有助于边界预测方法;(3)在大多数情况下,额外的语境化并不能帮助跨越发现。
2022-10-14 cs.CL
Can Many-Shot In-Context Learning Help LLMs as Evaluators? A Preliminary Empirical Study
Tencent Hunyuan(腾讯混元)
本文针对大语言模型作为评估者时存在的潜在偏见问题,提出并比较了带参考和不带参考的两种多示例上下文学习提示模板,实验证明GPT-4o在多示例设置下评估一致性和质量更优,且带参考模板效果更好。
2025-02-05 cs.CL
SpeechLLMs for Large-scale Contextualized Zero-shot Slot Filling
Uniphore
本文针对口语理解中的槽位填充任务,利用speechLLMs建立经验上界,通过改进训练数据、架构和策略显著缩小性能差距,实现零样本泛化。
2025-10-17 cs.CL cs.LG
Is Translation Helpful? An Empirical Analysis of Cross-Lingual Transfer in Low-Resource Dialog Generation
Donghua University(东华大学);Amazon Alexa AI(亚马逊Alexa人工智能部门)
本研究通过模拟低资源场景发现,直接使用原始英文对话数据比使用其机器翻译版本更能提升中文对话生成的自然度、相关性和跨领域迁移性,建议未来研究关注利用原始英文数据进行跨语言迁移。
2023-05-21 cs.CL
Can Taxonomy Help? Improving Semantic Question Matching using Question Taxonomy
Indian Institute of Technology Patna(印度理工学院巴特那分校);Purdue University(普渡大学);Accenture Labs(埃森哲实验室)
在本文中,我们提出了一种混合技术的语义问题匹配。它使用我们提出的英语问题的两层分类法,通过使用从基于深度学习的问题分类器获得的问题类来增强最先进的深度学习模型。在三个开放域数据集上的实验证明了该方法的有效性。我们在偏序问题排序(POQR)基准数据集上取得了最先进的结果。我们的实证分析表明,将标准分布特征(由问题编码器提供)与分类学知识相结合比单独使用深度学习(DL)或基于分类学的知识更有效。
2021-01-20 cs.CL
Can Subcategorisation Probabilities Help a Statistical Parser?
从语料库中自动获取词汇信息的研究开始产生大规模的计算词典,其中包含单个动词谓词的子分类选择的相对频率数据。然而,这种类型的频率信息是否可以在实践中提高统计分析器的准确性的经验问题还没有得到回答。在本文中,我们描述了一个实验,广泛覆盖的统计语法和语法分析器的英语和子分类频率从1000万字的文本,这表明,这些信息可以显着提高解析精度。
1998-06-21 cmp-lg cs.CL
Debate Helps Weak-to-Strong Generalization
Tongyi Lab(通义实验室)
本文结合可扩展监督与弱到强泛化,通过辩论让弱模型从强模型提取可信信息,并用集成弱模型提升监督稳健性,实验证明该方法能改善对齐。
2025-01-21 cs.AI cs.CL
Creativity Support in the Age of Large Language Models: An Empirical Study Involving Emerging Writers
Columbia University(哥伦比亚大学);New York University(纽约大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
该研究通过30名专业作家参与的实证实验,探究大语言模型在创意写作中的辅助作用,发现其在转译和审阅环节更具效用,为相关研究指明了方向。
2024-01-30 cs.AI cs.CL cs.CY
When Chain-of-Thought Helps and When It Hurts: An Empirical Investigation of the Serial-Depth Bottleneck in LLM Reasoning
Vistula University(维斯图拉大学)
该研究通过实证发现,思维链(CoT)是带宽旁路而非通用推理增强器,在高深度推理任务中可提升大语言模型准确率,在浅层任务中冗余,其效果与任务序列深度、模型规模相关。
2026-08-12 cs.AI cs.CL cs.LG