LAWDR: Language-Agnostic Weighted Document Representations from Pre-trained Models
Facebook AI(脸书人工智能研究院)
跨语言文档表示使多语言上下文中的语言理解成为可能,并允许在文档级别从高资源语言到低资源语言的迁移学习。最近,大型的预训练语言模型,如BERT,XLM和XLM-RoBERTa,在对执行级下游任务进行微调时取得了巨大的成功。将这些跨语言模型应用于文档表示学习是很有吸引力的。然而,存在两个挑战:(1)这些模型对长文档处理施加高成本,因此它们中的许多具有严格的长度限制;(2)模型微调需要额外的数据和计算资源,这在资源有限的设置中是不实际的。在这项工作中,我们解决这些挑战,提出无监督的不可知加权文档表示(LAWDR)。我们研究预训练的句子嵌入的几何结构,并利用它来推导文档表示,而无需微调。通过跨语言文档对齐评估,LAWDR在基准数据集上表现出与最先进模型相当的性能。
2021-06-07 cs.AI cs.CL
Discovering Useful Sentence Representations from Large Pretrained Language Models
Scale AI;Arrive
尽管预训练的语言模型作为构建NLP系统的编码器取得了广泛的成功,但它们作为序列生成任务的解码器并不突出。我们探讨的问题,这些模型是否可以适应被用作通用解码器。为了被认为是“通用的”,解码器必须具有针对任何目标句子$s$的隐式表示,使得它可以在以其表示为条件时准确地恢复该句子。对于在大量英语文本上训练的大型基于transformer的语言模型,我们研究了使用标准优化方法是否可以轻松地发现这种表示。我们提出并比较了三种表示注入技术的转换器为基础的模型和三个相应的方法,映射句子,并从这个表示空间。实验表明,不仅各种流派的句子都存在表示。更重要的是,在不需要复杂的优化算法的情况下,我们的方法几乎可以完美地恢复这些句子,而根本不需要微调底层的语言模型。
2020-08-20 cs.CL cs.LG
AST-Probe: Recovering abstract syntax trees from hidden representations of pre-trained language models
University of Murcia(穆尔西亚大学);University of Montreal(蒙特利尔大学);Institute for Clarity in Documentation(文档清晰化研究所);Inria Paris-Rocquencourt(法国国家信息与自动化研究所巴黎-罗克库尔中心);Rajiv Gandhi University(拉吉夫·甘地大学);Tsinghua University(清华大学);Palmer Research Laboratories(帕尔默研究实验室)
预先训练的语言模型的目标是学习文本数据的上下文表示。预训练的语言模型已经成为自然语言处理和代码建模的主流。使用探针,一种研究隐藏向量空间的语言属性的技术,以前的工作表明,这些预先训练的语言模型在其隐藏表示中编码简单的语言属性。然而,以前的工作没有评估这些模型是否编码的整个语法结构的程序设计语言。在本文中,我们证明了一个语法子空间的存在,躺在隐藏的表示预先训练的语言模型,其中包含的语法信息的程序设计语言。我们表明,这个子空间可以从模型的表示中提取,并定义了一种新的探测方法,AST-Probe,使整个抽象语法树(AST)的输入代码片段恢复。在我们的实验中,我们表明,这个句法子空间存在于五个国家的最先进的预训练语言模型。此外,我们强调模型的中间层是编码大多数AST信息的层。最后,我们估计了该句法子空间的最佳大小,并表明其维度远低于模型表示空间的维度。这表明预先训练的语言模型使用其表示空间的一小部分来编码程序设计语言的语法信息。
2022-09-10 cs.AI cs.CL cs.LG
On the Scaling Laws of Geographical Representation in Language Models
Inria(法国国家信息与自动化研究所);Sorbonne Université(索邦大学)
本文研究语言模型地理表征随模型规模的缩放规律,发现地理知识在极小模型中已存在并随规模一致增长,但更大模型仍无法消除训练数据固有的地理偏见。
2024-03-04 cs.AI cs.CL
A Language for Function Signature Representations
University of Stuttgart(斯图加特大学)
最近的工作(Richardson和Kuhn,2017 a,b; Richardson等人,2018)着眼于源代码库和API领域中的语义解析器归纳和问答。在这篇简短的笔记中,我们将这些研究中学习到的表示形式化,并介绍一种简单的领域特定语言和从这种语言到一阶逻辑的系统翻译。通过在经典逻辑方面重铸目标表示,我们的目标是扩大现有代码数据集的适用性,以研究软件领域中更复杂的自然语言理解和推理问题。
2018-04-18 cs.AI cs.CL cs.PL
How does fine-tuning improve sensorimotor representations in large language models?
Department of Experimental Psychology, Ghent University(实验心理学系,根特大学);Information Processing and Telecommunications Center (IPTC), Universidad Politécnica de Madrid, Spain(信息处理与电信中心(IPTC),马德里理工大学,西班牙)
本研究通过微调改善大语言模型的感知运动表征,发现其在语言和感知运动维度上具有良好的泛化能力,但对学习目标敏感,无法跨任务格式迁移。
2026-02-09 cs.AI cs.CL
Logical Reasoning over Natural Language as Knowledge Representation: A Survey
Nanyang Technological University(南洋理工大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
本文综述了以自然语言作为知识表示、预训练语言模型作为推理器的逻辑推理新范式,涵盖其优势、基准、挑战及未来方向,该范式有效缓解了形式表示的瓶颈并优于端到端神经方法。
2024-02-16 cs.AI cs.CL
Driver Activity Classification Using Generalizable Representations from Vision-Language Models
University of California San Diego(加利福尼亚大学圣迭戈分校);Aalborg University(奥尔堡大学)
本文提出利用视觉语言模型的可泛化表示进行驾驶员活动分类,采用SRLF-Net融合多视角视频帧嵌入生成预测,在Naturalistic Driving Action Recognition Dataset上展现高准确率,兼具准确性与可解释性。
2024-04-23 cs.AI cs.CV cs.LG
Pre-trained Language Model Representations for Language Generation
Facebook AI Research(Facebook人工智能研究(Facebook AI Research));Menlo Park, CA(加利福尼亚州门洛帕克(Menlo Park, CA))
预先训练的语言模型表示在广泛的语言理解任务中已经取得了成功。在本文中,我们研究了将预训练的表示集成到序列到序列模型中的不同策略,并将其应用于神经机器翻译和抽象摘要。我们发现,预先训练的表示在添加到编码器网络时是最有效的,这只会使推理速度降低14%。我们在机器翻译中的实验显示,在模拟的资源贫乏设置中,增益高达5.3 BLEU。虽然回报随着更多的标记数据而减少,但当数百万个标记对可用时,我们仍然观察到改进。最后,在摘要方面,我们在CNN/DailyMail的全文版上取得了新的进展。
2019-04-01 cs.CL
IDL-Expressions: A Formalism for Representing and Parsing Finite Languages in Natural Language Processing
University of Padua(帕多瓦大学)
我们提出了一个形式主义的有限语言,被称为类的IDL表达式,它结合了概念,只考虑在现有的形式主义隔离表示。建议的应用是在自然语言处理中,更具体地说,在表面自然语言生成和机器翻译中,通过首先生成以紧凑方式表示的候选句子的大集合,然后通过分析器过滤这样的集合来获得句子。我们研究了IDL表达式的几个形式属性,并将这种新的形式主义与更标准的形式主义进行了比较。我们还提出了一种新的解析算法的IDL表达式,并证明了其时间复杂度的一个非平凡的上限。
2011-06-30 cs.AI
Evaluating and Adapting Large Language Models to Represent Folktales in Low-Resource Languages
School of Languages, Literatures and Cultures(语言文学与文化学院);University of Edinburgh(爱丁堡大学)
本研究通过两个分类任务评估大型语言模型对低资源语言民间故事的表示能力,并提出三种适配方法(如处理长序列和领域继续预训练)以提升性能,尽管基线SVM表现同样出色。
2024-11-08 cs.CL
Enhancing Language Representation with Constructional Information for Natural Language Understanding
Zhejiang University(浙江大学)
本文提出HyCxG框架,将构式语法与预训练语言模型结合,通过构式提取、条件最大覆盖选择及关系超图注意力网络增强语言表示,并在多种NLU任务上验证其优越性。
2023-06-05 cs.CL
LangNav: Language as a Perceptual Representation for Navigation
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Dartmouth College(达特茅斯学院)
本文提出LangNav,将语言描述作为视觉-语言导航的感知表征,在低数据场景下利用合成轨迹、领域迁移及视觉-语言表征融合,超越依赖视觉特征的基线方法。
2024-03-30 cs.AI cs.CL cs.CV
Deepening Hidden Representations from Pre-trained Language Models
SJTU-ParisTech Elite Institute of Technology, Shanghai Jiao Tong University(上海交通大学上海交大-巴黎高科卓越工程师学院);Shanghai Jiao Tong University(上海交通大学);Department of Computer Science and Engineering, Shanghai Jiao Tong University(上海交通大学计算机科学与工程系);MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University(上海交通大学人工智能研究院教育部人工智能重点实验室)
基于transformer的预训练语言模型已被证明是有效的学习语境化的语言表示。然而,当前的方法在微调下游任务时仅利用编码器的最终层的输出。我们认为,只采用单层的输出限制了预训练表示的能力。因此,我们通过将隐藏表示融合到显式隐藏表示提取器(HIRE)中来加深模型学习的表示,该提取器自动吸收与最终层输出相关的互补表示。利用RoBERTa作为骨干编码器,我们提出的对预训练模型的改进在多个自然语言理解任务中表现出有效性,并帮助我们的模型在GLUE基准测试中与最先进的模型竞争。
2020-04-29 cs.CL
ERNIE: Enhanced Language Representation with Informative Entities
Tsinghua University(清华大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
在大规模语料库上预训练的神经语言表示模型(如BERT)可以很好地从纯文本中捕获丰富的语义模式,并进行微调,以持续提高各种NLP任务的性能。然而,现有的预训练语言模型很少考虑纳入知识图谱(KG),这可以提供丰富的结构化知识事实,以更好的语言理解。我们认为,知识库中的信息实体可以增强语言表征与外部知识。在本文中,我们利用大规模的文本语料库和知识库训练一个增强的语言表示模型(ERNIE),它可以充分利用词汇,句法和知识信息的同时。实验结果表明,ERNIE在各种知识驱动的任务上取得了显著的改进,同时在其他常见的NLP任务上与最先进的模型BERT相当。本文的源代码可以从https://github.com/thunlp/ERNIE获得。
2019-06-04 cs.CL
mLUKE: The Power of Entity Representations in Multilingual Pretrained Language Models
Studio Ousia(欧西亚工作室);The University of Tokyo(东京大学);RIKEN AIP(理化学研究所人工智能研究中心)
最近的研究表明,多语言预训练的语言模型可以有效地改善与维基百科实体的跨语言对齐信息。然而,现有的方法仅在预训练中利用实体信息,并且在下游任务中不显式地使用实体。在这项研究中,我们探讨了利用实体表示下游跨语言任务的有效性。我们训练了一个包含24种语言的多语言模型,并显示该模型在各种跨语言迁移任务中始终优于基于单词的预训练模型。我们还分析了模型,关键的见解是,将实体表示纳入输入允许我们提取更多的语言无关的功能。我们还评估了mLAMA数据集的多语言完形填空提示任务的模型。我们表明,基于实体的提示elancement正确的事实知识更有可能比只使用文字表示。我们的源代码和预训练模型可以在https://github.com/studio-ousia/luke上找到。
2022-03-30 cs.CL
Large Language Models Share Representations of Latent Grammatical Concepts Across Typologically Diverse Languages
Northeastern University(东北大学);TU Clausthal(图鲁克劳斯塔尔大学);EPFL(苏黎世联邦理工学院);Technion – IIT(技术学院 – 以色列理工学院)
本研究通过稀疏自编码器和因果干预,发现大型语言模型在多种语言间共享形态句法概念的表示,并能精确控制行为,表明跨语言抽象能力可稳健形成。
2025-05-23 cs.CL
HyPe: Better Pre-trained Language Model Fine-tuning with Hidden Representation Perturbation
Alibaba DAMO Academy(阿里巴巴达摩院);Alibaba Group(阿里巴巴集团);Tsinghua University(清华大学)
HyPe通过扰动Transformer层隐藏表示来缓解预训练语言模型微调中的过拟合和表示坍缩问题,在GLUE等数据集上优于普通微调,且计算开销极小。
2023-05-11 cs.CL
Linguistic Context Recodes Visual Representations in Vision-Language Models
Brown University(布朗大学)
本研究揭示视觉语言模型中语言上下文会重编码视觉表示,通过对比引导向量和属性调制两种机制,为跨模态动态处理提供了因果证据。
2026-08-04 cs.AI cs.CV
Alignment among Language, Vision and Action Representations
Institute of Cognitive Sciences and Technologies, National Research Council(国家研究委员会认知科学与技术研究所);University of Naples “Federico II”(那不勒斯费德里科二世大学)
研究通过训练Transformer智能体执行自然语言指令,发现语言、视觉和动作表征在跨模态中呈现部分共享的语义结构,支持模态无关的语义组织。
2026-01-30 cs.AI
Shaping Schema via Language Representation as the Next Frontier for LLM Intelligence Expanding
The Hong Kong University of Science and Technology(香港理工大学);MiLM Plus, Xiaomi Inc(小米公司);Zhongguancun Academy(中关村学院);Hong Kong Baptist University(香港 Baptist大学);The University of Tokyo(东京大学);RIKEN Center for Advanced Intelligence Project(日本理化学研究院高级智能项目中心);Xi’an Jiaotong University(西安交通大学)
本文探讨通过高级语言表示塑造模式作为扩展LLM智能的新方向,提出语言表示的结构和符号复杂性对知识激活和组织至关重要,并通过实验证明语言表示设计的有效性。
2026-05-10 cs.AI
High-Dimensional Interlingual Representations of Large Language Models
Hong Kong University of Science and Technology(香港理工大学);Cohere
本文研究多语言大模型中跨语言表征对齐不一致的问题,提出跨语言表征框架和ILO分数,并发现冻结早期层可保持对齐、改善跨语言泛化。
2025-08-17 cs.CL
NEZHA: Neural Contextualized Representation for Chinese Language Understanding
Noah’s Ark Lab(诺亚方舟实验室);HiSilicon, Huawei Technologies(海思,华为技术有限公司)
预训练语言模型在自然语言理解(NLU)任务中取得了巨大的成功,因为它能够通过对大规模语料库的预训练来捕获文本中的深层语境信息。在这份技术报告中,我们介绍了我们在中文语料库上预训练语言模型NEZHA(NEural contextualiZed representation for CHinese语言理解)的实践,并为中文NLU任务进行了微调。NEZHA的当前版本基于BERT,并进行了一系列改进,其中包括作为有效位置编码方案的功能相对位置编码,全字掩码策略,混合精度训练和LAMB优化器。实验结果表明,NEZHA在命名实体识别(人民日报NER)、句子匹配(LCQMC)、中文情感分类(ChnSenti)和自然语言推理(XNLI)等典型中文任务上均达到了最佳性能。
2021-11-19 cs.CL
SAE-RNA: A Sparse Autoencoder Model for Interpreting RNA Language Model Representations
Department of Computer Science, University of California, Berkeley(加州大学伯克利分校计算机科学系);Department of Development Engineering, University of California, Berkeley(加州大学伯克利分校发展工程系)
本文提出SAE-RNA模型,通过分析RiNALMo表示并映射到人类水平的生物特征,探索稀疏自编码器在RNA语言模型表示中的可解释性及局限性。
2026-05-15 cs.AI q-bio.BM q-bio.GN
CARPE: Context-Aware Image Representation Prioritization via Ensemble for Large Vision-Language Models
University of California, Davis(加州大学戴维斯分校)
CARPE通过集成机制增强大视觉-语言模型对视觉和文本模态的自适应加权能力,提升图像分类和多模态任务表现。
2026-03-26 cs.AI cs.CV
Language is Power: Representing States Using Natural Language in Reinforcement Learning
强化学习的最新进展已经显示出其解决复杂现实任务的潜力。然而,随着任务维度的增加,强化学习方法往往会遇到困难。为了克服这一点,我们探索的方法来表示嵌入在状态的语义信息。虽然先前的方法集中于原始形式的信息(例如,原始视觉输入),我们建议使用自然语言来表示状态。语言可以表示复杂的场景和概念,使其成为表示的有利候选者。在ViZDoom领域内的经验证据表明,基于自然语言的代理比基于视觉的代理更强大,收敛速度更快,性能更好,显示了使用自然语言表示进行强化学习的好处。
2020-02-05 cs.AI cs.CL cs.LG
Assessing Multilingual Fairness in Pre-trained Multimodal Representations
University of California, Santa Cruz(加州大学圣克鲁兹分校)
最近预训练的多模态模型,如CLIP,在连接图像和自然语言方面表现出了卓越的能力。英语的文本表征可以被期望地转移到多语言,并支持不同语言的下游多模态任务。然而,多语言公平原则很少被仔细审查:多语言多模态模型是否平等对待语言?他们的表现是否偏向于特定的语言?为了回答这些问题,我们将语言视为公平性的接受者,并为预训练的多模态模型引入了两个新的公平性概念,多语言个体公平性和多语言群体公平性。多语言个体公平性要求不同语言中表达相似语义的文本片段与图像的连接相似,而多语言群体公平性要求跨语言的预测性能均衡。我们描述了预先训练的多语言视觉和语言表示在多大程度上对不同语言都是公平的。然而,大量的实验表明,多语言表示并不能满足群体公平性:(1)存在严重的多语言准确性差异问题;(2)错误表现出跨语言的偏见,影响图像中的人群,包括种族,性别和年龄。
2022-03-16 cs.AI cs.CL cs.LG
Harms of Gender Exclusivity and Challenges in Non-Binary Representation in Language Technologies
UCLA(加州大学洛杉矶分校);University of Utah(犹他大学)
在语言任务的背景下,在审查语言模型传播的定型观念时,性别问题得到了广泛的讨论。然而,目前的讨论主要将性别视为二元的,这可能会使伤害永久化,例如周期性地消除非二元性别身份。这些伤害是由模型和数据集偏见驱动的,这是不承认和缺乏对社会中非二元性别的理解的后果。在本文中,我们解释了性别和语言的复杂性,并调查了非二进制的人,以了解在英语语言技术中将性别视为二进制的危害。我们还详细介绍了当前的语言表示(例如,GloVe、BERT)捕捉并延续这些危害和相关挑战,这些危害和挑战需要得到承认和解决,以便代表公平地编码性别信息。
2021-09-10 cs.AI cs.CL cs.LG
Distilling Linguistic Context for Language Model Compression
KAIST(韩国科学技术院);AITRICS(艾特里克斯)
最近语言表示学习的成功背后是一个计算昂贵和内存密集的神经网络。知识蒸馏是在资源稀缺的环境中部署如此庞大的语言模型的一种主要技术,它可以无限制地传输学习到的单个单词表示的知识。本文基于语言表征相对定位和整体语义知识含量较高的观点,提出了一种新的语言表示学习知识提取目标,即通过两种不同的表征关系:词关系和层转换关系来传递语境知识。不像其他最近的语言模型的蒸馏技术,我们的上下文蒸馏没有任何限制,教师和学生之间的架构变化。我们验证了我们的方法的有效性,具有挑战性的基准测试的语言理解任务,不仅在各种规模的架构,而且结合DynaBERT,最近提出的自适应大小修剪方法。
2021-09-17 cs.AI cs.CL cs.LG
Language Transfer of Audio Word2Vec: Learning Audio Segment Representations without Target Language Data
National Taiwan University(台湾大学)
Audio Word2Vec使用序列到序列自动编码器(SA)为可变长度音频段提供固定维度的矢量表示。这些矢量表示描述的顺序语音结构的音频段,以良好的程度,与现实世界的应用,如查询的例子口语术语检测(STD)。本文研究了AudioWord2Vec的语言迁移能力。我们从一种语言(源语言)训练SA,并使用它来提取另一种语言(目标语言)的音频片段的矢量表示。我们发现,如果源语言和目标语言相似,SA仍然可以从目标语言的音频片段中捕获语音结构。在逐例查询STD中,我们从大量源语言数据中学习到的SA得到了向量表示,并发现它们优于从少量目标语言数据中直接学习到的SA和朴素编码器的表示。实验结果表明,从高资源语言中学习Audio Word2Vec模型并将其用于低资源语言是可行的。这进一步扩展了Audio Word2Vec的可用性。
2017-07-19 cs.CL cs.LG
From Language to Language-ish: How Brain-Like is an LSTM's Representation of Nonsensical Language Stimuli?
University of Alberta(阿尔伯塔大学);Alberta Machine Intelligence Institute (Amii)(阿尔伯塔机器智能研究所);Max Planck Institute for Psycholinguistics(马克斯·普朗克心理语言学研究所);International Max Planck Research School for Language Sciences(马克斯·普朗克语言科学国际研究学校);Donders Institute for Brain, Cognition, and Behaviour, Radboud University(拉德布德大学德登斯脑认知与行为研究所);Department of Psychology, University of Alberta(阿尔伯塔大学心理学系)
许多语言模型(词嵌入、循环神经网络和Transformers)产生的表征与人们阅读时记录的大脑活动相关。然而,这些解码结果通常是基于大脑对句法和语义上的声音语言刺激的反应。在这项研究中,我们问:LSTM(长短期记忆)语言模型,在语义和语法上都是完整的语言上训练的,如何表示具有退化语义或语法信息的语言样本?LSTM表示仍然类似于大脑的反应吗?我们发现,即使对于某些无意义的语言,大脑活动与LSTM的表示之间也存在统计学上的显著关系。这表明,至少在某些情况下,LSTM和人脑处理无意义数据的方式是相似的。
2020-10-14 cs.CL cs.LG
What Do Language Models Hear? Probing for Auditory Representations in Language Models
Massachusetts Institute of Technology(麻省理工学院)
本研究通过线性对比探测头验证,仅文本训练的语言模型仍编码了部分物体的声音基础表征,泛化表现高于随机水平。
2024-08-16 cs.AI cs.CL cs.LG
CLEAR: Improving Vision-Language Navigation with Cross-Lingual, Environment-Agnostic Representations
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
视觉和语言导航(VLN)任务需要代理根据语言指令在环境中导航。在本文中,我们的目标是解决这一任务中的两个关键挑战:利用多语言指令来改善训练路径的基础,并在训练过程中看不到的新环境中导航。为了应对这些挑战,我们提出了CLEAR:跨语言和环境无关的表示。首先,我们的代理在Room-Across-Room数据集中学习三种语言(英语,印地语和泰卢固语)的共享和视觉对齐的跨语言语言表示。我们的语言表示学习由视觉信息对齐的文本对指导。其次,我们的代理学习环境不可知的视觉表示,通过最大限度地提高语义对齐的图像对(对象匹配的约束)从不同的环境之间的相似性。我们的环境无关的视觉表示可以减轻低层次视觉信息引起的环境偏见。从经验上讲,在Room-Across-Room数据集上,我们证明了我们的多语言代理在使用跨语言语言表示和与环境无关的视觉表示推广到看不见的环境时,在强基线模型的所有指标上都有很大的改进。此外,我们表明,我们学到的语言和视觉表征可以成功地转移到房间到房间和合作的视觉和对话导航任务,并提出详细的定性和定量的概括和接地分析。我们的代码可在https://github.com/jialuli-luka/CLEAR上获得
2022-07-05 cs.AI cs.CL cs.CV
Towards Language Agnostic Universal Representations
Microsoft(微软)
当一个双语学生学习解决数学中的应用题时,我们希望学生能够用学生流利的两种语言解决这些问题,即使数学课只用一种语言教授。然而,机器学习中的当前表示是依赖于语言的。在这项工作中,我们提出了一种方法,通过学习语言不可知的表示,从而允许在一种语言中训练模型,并以zero shot方式应用于不同的语言,从而将语言与问题解耦。我们通过从语言学中汲取灵感并将普遍语法形式化为优化过程来学习这些表示(Chomsky,2014; Montague,1970)。我们通过展示使用语言不可知表示在单一语言上训练的模型在其他语言中达到非常相似的准确性来展示这些表示的能力。
2018-09-23 cs.CL cs.LG stat.ML
Low-Dimensional Structure in the Space of Language Representations is Reflected in Brain Responses
UT Austin(德克萨斯大学);Intel Labs(英特尔实验室)
研究揭示语言表示空间的低维结构,并通过fMRI验证其与大脑自然语言处理层次的关系。
2025-12-10 cs.CL cs.LG
SLM: Learning a Discourse Language Representation with Sentence Unshuffling
Samsung Research(三星研究院);Stanford University(斯坦福大学)
我们引入了句子级语言建模,这是一种新的预训练目标,用于以完全自我监督的方式学习话语语言表示。NLP中最近的预训练方法专注于学习底层或顶层语言表示:一个极端是从语言模型目标导出的上下文化单词表示,另一个极端是通过对两个给定文本片段的顺序分类学习的整个序列表示。然而,这些模型并不直接被鼓励来捕获存在于自然语言中的中等大小结构的表示,例如句子及其之间的关系。为此,我们提出了一种新的方法来鼓励学习的上下文的上下文层次表示的输入句子的序列和训练的层次Transformer模型,以重建原始的顺序。通过对GLUE、SQuAD和DiscoEval等下游任务的实验,我们证明了我们模型的这一特性大大提高了原始BERT的性能。
2020-10-30 cs.CL cs.LG
Bridging the Gap: Using Deep Acoustic Representations to Learn Grounded Language from Percepts and Raw Speech
University of Maryland, Baltimore County(马里兰大学巴尔的摩郡分校);Booz Allen Hamilton(博思艾伦汉密尔顿)
学习理解基础语言是一个关键的研究领域,它将自然语言与感知联系起来。先前的工作接地语言习得主要集中在文本输入。在这项工作中,我们证明了配对的视觉感知和原始语音输入进行接地语言习得的可行性。这将允许从最终用户那里学习关于新任务和环境的语言的交互,减少对文本输入的依赖,并可能减轻广泛使用的语音识别系统中发现的人口统计偏见的影响。我们利用最近在自我监督语音表示模型方面的工作,并表明学习的语音表示可以使语言基础系统对特定群体更具包容性,同时保持甚至提高整体性能。
2021-12-27 cs.AI cs.CL cs.LG
FrameNet CNL: a Knowledge Representation and Information Extraction Language
Institute of Mathematics and Computer Science, University of Latvia(拉脱维亚大学数学与计算机科学研究所)
提出了一种基于FrameNet的信息抽取和知识表示框架,称为FrameNet-CNL。该框架用于自然语言文档,并表示提取的知识,在一个定制的框架本体,明确的FrameNet-CNL释义文本可以自动生成多种语言。这种方法将信息抽取和CNL领域结合在一起,因为如果信息抽取解析器产生正确的知识表示,则可以认为源文本属于FrameNet-CNL。我们描述了一个国家的最先进的信息抽取解析器使用的国家新闻机构和推测,FrameNet-CNL最终可以塑造自然语言子集用于写新闻专线文章。
2014-06-10 cs.AI cs.CL cs.IR
Mapping Natural-language Problems to Formal-language Solutions Using Structured Neural Representations
Microsoft Research(微软研究院);Northwestern University(西北大学);Johns Hopkins University(约翰斯·霍普金斯大学)
生成由关系元组表示的形式语言程序(如Lisp程序或数学运算)来解决用自然语言陈述的问题是一项具有挑战性的任务,因为它需要显式地捕获隐含在输入中的离散符号结构信息。然而,大多数一般的神经序列模型并没有明确地捕获这样的结构信息,限制了它们在这些任务上的性能。在本文中,我们提出了一个新的编码器-解码器模型的基础上,结构化的神经表示,张量积表示(TPR),映射自然语言的问题,形式语言的解决方案,称为TP-N2 F。TP-N2 F的编码器使用TPR“绑定”在向量空间中编码自然语言符号结构,解码器使用TPR“解绑定”在符号空间中生成由关系元组表示的顺序程序,每个关系元组由一个关系(或操作)和多个参数组成。TP-N2 F在两个基准测试中的表现大大优于基于LSTM的seq 2seq模型,并创造了新的最先进的结果。消融研究表明,改进可以归因于使用结构化TPR明确在编码器和解码器。对学习结构的分析显示了TPR如何增强TP-N2 F的可解释性。
2020-08-02 cs.CL cs.LG
Evaluating Input Representation for Language Identification in Hindi-English Code Mixed Text
Pune Institute of Computer Technology(浦那计算机技术学院);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
自然语言处理(NLP)技术在近十年来已经成为主流。这些进步大部分归功于对单一语言的处理。最近,随着社交媒体平台的广泛增长,焦点已经转移到代码混合文本。代码混合文本包括以多于一种语言书写的文本。人们自然倾向于将本地语言与英语等全球语言结合起来。要处理这样的文本,目前的NLP技术是不够的。作为第一步,处理文本以识别文本中的单词的语言。在这项工作中,我们专注于印度语-英语混合文本的代码混合句子的语言识别。语言识别的任务被制定为一个令牌分类任务。在监督设置中,句子中的每个单词都有一个相关的语言标签。我们评估了不同的深度学习模型和输入表示组合来完成这项任务。主要地,字符、子词和词嵌入与基于CNN和LSTM的模型相结合来考虑。我们表明,子词表示和LSTM模型可以给出最好的结果。一般来说,子词表示的表现明显优于其他输入表示。我们报告了在标准SAIL ICON 2017测试集上使用单层LSTM模型的最佳准确率为94.52%。
2020-11-25 cs.CL cs.LG
Revisiting Language Encoding in Learning Multilingual Representations
Peking University(北京大学);Huazhong University of Science and Technology(华中科技大学);Microsoft Research(微软研究院)
Transformer已经展示了它在单个模型中学习多种语言的上下文单词表示的强大功能。为了在模型中处理多语言句子,通常为每种语言分配一个可学习的向量,这被称为“语言嵌入”。语言嵌入既可以添加到词嵌入中,也可以附加在句首。它充当特定于语言的信号,供Transformer跨语言捕获上下文表示。在本文中,我们重新使用的语言嵌入,并确定在现有的配方中的几个问题。通过考察自我注意模块中语言嵌入和词嵌入之间的相互作用,发现现有方法不能很好地反映特定语言的词相关性。鉴于这些发现,我们提出了一种新的方法,称为跨语言语言投影(XLP),以取代语言嵌入。对于一个句子,XLP将词嵌入投影到语言特定的语义空间中,然后将投影的嵌入馈送到Transformer模型中,以处理其语言特定的含义。通过这种方式,XLP实现了在多语言Transformer模型中对“语言”进行适当编码的目的。实验结果表明,XLP可以自由和显着提高模型的性能在广泛的多语言基准数据集。代码和模型将在https://github.com/lsj2408/XLP上发布。
2021-02-16 cs.CL cs.LG
Emergent Stack Representations in Modeling Counter Languages Using Transformers
Birla Institute of Technology and Science, Pilani(比拉理工学院皮拉尼分校);Saarland University(萨尔大学)
本文在4种计数器语言上训练Transformer模型,并用栈等价表示这些语言,通过探测内部表示发现模型作为下一token预测器学习到了类似栈的表示,为理解Transformer学习语言的算法机制和电路发现提供了新见解。
2025-02-03 cs.CL cs.LG
Semantic Exploration from Language Abstractions and Pretrained Representations
DeepMind(深度思维)
本文提出利用自然图像描述数据预训练的视觉-语言表示构建语义状态抽象以定义新颖性,从而改善高维3D环境中的强化学习探索,并通过两类任务与消融实验验证其有效性。
2023-04-26 cs.AI cs.LG
Correlating neural and symbolic representations of language
Tilburg University(蒂尔堡大学)
本文提出基于RSA和TK的分析方法,用于量化神经激活与句法树等符号结构之间的对应关系,并在合成算术语言及英语句子成分句法树上验证应用。
2019-06-05 cs.CL cs.LG
Inducing Language Networks from Continuous Space Word Representations
Stony Brook University(石溪大学)
无监督特征学习的最新进展开发了强大的单词潜在表示。然而,我们仍然不清楚是什么让一种表示比另一种更好,以及我们如何学习理想的表示。理解潜在空间的结构是无监督学习未来发展的关键。在这项工作中,我们介绍了一个新的观点,连续空间词表示的语言网络。我们探索了两种技术来创建语言网络的学习功能,通过诱导他们两个流行的单词表示方法,并检查其产生的网络的属性。我们发现,诱导网络不同于其他创建语言网络的方法,它们包含有意义的社区结构。
2014-06-27 cs.CL cs.LG cs.SI
Investigating Multilingual NMT Representations at Scale
Google AI(谷歌人工智能)
多语言神经机器翻译(NMT)模型在迁移学习环境中取得了巨大的经验成功。然而,人们对这些黑箱表示的理解很少,它们的传输模式仍然难以捉摸。在这项工作中,我们试图使用奇异值典型相关分析(SVCCA)来理解大规模多语言NMT表示(103种语言),SVCCA是一种表示相似性框架,允许我们比较不同语言,层和模型的表示。我们的分析验证了几个经验结果和长期的直觉,并揭示了关于表征如何在多语言翻译模型中演变的新观察。我们从分析中得出三个主要结论,并对跨语言迁移学习产生影响:(ii)由编码器学习的源语言的表示依赖于目标语言,反之亦然,以及(iii)当对任意语言对进行微调时,高资源和/或语言相似语言的表示更鲁棒,这对于确定在零或Few-Shot设置中可以预期多少跨语言迁移是关键的。我们进一步将我们的发现与多语言NMT和迁移学习中现有的经验观察相联系。
2019-09-11 cs.CL cs.LG
Cross-lingual Spoken Language Understanding with Regularized Representation Alignment
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心(CAiRE));Department of Electronic and Computer Engineering(电子与计算机工程系);The Hong Kong University of Science and Technology(香港科技大学)
尽管目前的口语语言理解系统的跨语言模型的有希望的结果,他们仍然遭受不完善的跨语言表示之间的源和目标语言,这使得性能次优的对齐。为了解决这个问题,我们提出了一种正则化方法来进一步调整跨语言的单词级和单词级表示,而无需任何外部资源。首先,我们规范化的表示用户话语的基础上,其相应的标签。其次,我们正则化潜变量模型(Liu et al.,2019)通过利用对抗性训练来解开潜在变量。跨语言语言理解任务的实验表明,我们的模型优于当前国家的最先进的方法在两个Few-Shot和zero-shot的情况下,我们的模型,训练在一个Few-Shot设置只有3\%的目标语言训练数据,达到相当的性能与所有训练数据的监督训练。
2020-09-30 cs.CL cs.LG
Zero-shot Reading Comprehension by Cross-lingual Transfer Learning with Multi-lingual Language Representation Model
National Taiwan University(台湾大学)
由于收集每种语言的训练数据是不可行的,因此人们对跨语言迁移学习越来越感兴趣。本文系统地研究了基于多语种语料库预训练语言表征模型的zero-shot跨语言迁移学习在阅读理解任务中的应用。实验结果表明,使用预先训练好的语言表示,零样本学习是可行的,不需要将源数据翻译成目标语言,甚至会降低性能。我们进一步探讨了模型在zero-shot设置中学习了什么。
2019-09-15 cs.CL cs.LG stat.ML
Factorial Hidden Markov Models for Learning Representations of Natural Language
Temple University(天普大学)
大多数用于语言和图像处理的表示学习算法都是局部的,因为它们基于周围的点来识别数据点的特征。然而,在语言处理中,一个词的正确含义往往取决于它的全局上下文。作为一个步骤,将全球范围内的表示学习,我们开发了一个表示学习算法,将联合预测到它的技术,为一个词的功能。我们开发了有效的变分方法,用于从大型文本中学习阶乘隐马尔可夫模型,并使用变分分布来产生对整个输入序列敏感的每个单词的特征,而不仅仅是局部上下文窗口。对词性标注和组块的实验表明,这些特征与现有的最先进的表示学习方法相比具有竞争力或更好。
2014-02-18 cs.CL cs.LG
Combining Pretrained High-Resource Embeddings and Subword Representations for Low-Resource Languages
The University of Tokyo(东京大学)
目前的自然语言处理(NLP)技术需要大量数据,而缺乏大量数据,这两者之间的对比在非洲语言的情况下更加突出,其中大多数被认为是低资源。为了帮助解决这个问题,我们探索了利用形态丰富语言(MRL)的质量的技术,同时利用资源丰富的语言中的预训练词向量。在我们的探索中,我们证明了一种结合预训练和形态信息的词嵌入的元嵌入方法在科萨语-英语翻译的下游任务中表现最好。
2020-04-21 cs.CL cs.LG
How agents see things: On visual representations in an emergent language game
Facebook AI Research(脸书人工智能研究院)
人们越来越感兴趣的语言开发的代理人在紧急通信环境中进行交互。早期的研究集中在代理的符号使用,而不是他们的视觉输入表示。在本文中,我们考虑了Lazaridou et al.(2017)的参考游戏,并研究了代理在其不断发展的交互过程中发展的表示。我们发现,代理建立成功的沟通,诱导视觉表示,几乎完美地相互对齐,但令人惊讶的是,不捕捉输入图像中所描绘的对象的概念属性。我们的结论是,如果我们有兴趣在开发类似语言的通信系统,我们必须更加关注的视觉语义代理相关联的符号,他们使用。
2018-09-13 cs.CL cs.LG
Encodings of Source Syntax: Similarities in NMT Representations Across Target Languages
Carleton College(卡尔顿学院)
我们训练神经机器翻译(NMT)模型从英语到六种目标语言,使用NMT编码器表示来预测源语言单词的祖先组成标签。我们发现,NMT编码器学习相似的源语法,而不管NMT目标语言,依赖于明确的形态句法线索,从源句子中提取的句法特征。此外,NMT编码器优于直接在几个组成标签预测任务上训练的RNN,这表明NMT编码器表示可以有效地用于涉及语法的自然语言任务。然而,NMT编码器和直接训练的RNN都从概率上下文无关文法(PCFG)解析器学习基本上不同的句法信息。尽管整体准确性得分较低,但PCFG通常在基于RNN的模型表现不佳的句子上表现良好,这表明RNN架构在它们可以学习的语法类型方面受到限制。
2020-05-17 cs.CL cs.LG
Multiverse: Language-Conditioned Multi-Game Level Blending via Shared Representation
Gwangju Institute of Science and Technology (GIST)(光州科学技术院);Dongguk University(东国大学)
本文提出多宇宙模型,通过共享表示实现跨游戏关卡融合,利用文本指令与关卡结构对齐的潜在空间,结合多正对比监督提升多游戏关卡生成的可控性和质量。
2026-03-31 cs.AI cs.LG
Sense representations for Portuguese: experiments with sense embeddings and deep neural language models
意义表征已经超越了Word2Vec、GloVe和FastText等单词表征,并在广泛的自然语言处理任务上实现了创新性能。虽然在许多应用中非常有用,但是用于生成词嵌入的传统方法具有严格的缺点:它们为给定的词生成单个向量表示,忽略了歧义词可以假定不同含义的事实。本文研究了一种非监督意义表示方法,它不同于传统的词嵌入,能够通过分析文本中的上下文语义来推断出词的不同意义。本文研究的无监督意义表示是:意义嵌入和深度神经语言模型。我们提出的第一个实验进行了葡萄牙语生成的意义嵌入。实验结果表明,意义嵌入模型(Sense2vec)在句法和语义类比任务中的表现优于传统的词嵌入,证明了本文生成的语言资源可以提高葡萄牙语自然语言处理任务的性能。我们还评估了预训练的深度神经语言模型(ELMo和BERT)在两种迁移学习方法中的性能:基于特征和微调,在语义文本相似性任务中。我们的实验表明,微调多语言和葡萄牙语BERT语言模型能够实现更好的准确性比ELMo模型和基线。
2021-08-31 cs.CL cs.LG