DP-Parse: Finding Word Boundaries from Raw Speech with an Instance Lexicon
Meta AI Research（Meta人工智能研究院）；ENS/PSL Paris（巴黎高等师范学院/巴黎文理研究大学）；EHESS Paris（巴黎高等社会科学研究院）；Inria Paris（巴黎法国国家信息与自动化研究所）
在连续语音中寻找单词边界是具有挑战性的，因为单词之间几乎没有或根本没有相当于“空间”的边界。流行的贝叶斯非参数文本分割模型使用Dirichlet过程来联合分割句子并构建词类型词典。我们介绍DP-Parse，它使用类似的原则，但只依赖于一个实例词汇的单词标记，避免了聚类错误，出现与词汇的单词类型。在2017年零资源语音基准测试中，我们的模型在5种语言中设置了新的语音分割技术。该算法随着更好的输入表示而单调改进，在输入弱监督输入时获得更高的分数。尽管缺乏类型词典，DP-Parse可以流水线到语言模型，并学习由新的口语词嵌入基准评估的语义和句法表示。
2022-06-22 cs.CL
On the robustness of modeling grounded word learning through a child's egocentric input
Center for Data Science, New York University（纽约大学数据科学中心）；Department of Psychology, New York University（纽约大学心理学系）
本文通过分析儿童自体输入数据，验证了多模态神经网络在 grounded 词学习中的鲁棒性，并揭示了不同儿童经验对学习模式的影响。
2026-01-08 cs.CL
Comparing Performance of Different Linguistically-Backed Word Embeddings for Cyberbullying Detection
在大多数情况下，词嵌入仅从原始标记或在某些情况下从词元学习。这包括预先训练的语言模型，如BERT。为了研究捕捉词项和结构之间更深层次关系的潜力，并过滤掉冗余信息，我们建议将形态，句法和其他类型的语言信息与原始标记或词元相结合。例如，这意味着在所使用的词汇特征中包括词性或依存关系信息。然后可以在组合上训练词嵌入，而不仅仅是原始标记。以后也可以将这种方法应用于大型语言模型的预训练，并可能提高它们的性能。这将有助于解决从语言表现的角度来看更为复杂的问题，如发现网络欺凌。
2022-06-04 cs.AI cs.CL cs.LG
Training Data Augmentation for Context-Sensitive Neural Lemmatization Using Inflection Tables and Raw Text
School of Informatics（信息学院）；University of Edinburgh（爱丁堡大学）
词形化的目的是通过将词的变形形式与其字典形式相关联来减少稀疏数据问题。使用上下文可以帮助，无论是看不见的和模棱两可的话。然而，大多数上下文敏感的方法需要完整的词元注释的句子进行训练，这在低资源语言中可能是稀缺的或不可用的。此外（如此处所示），在低资源设置中，词形化器可以从$n$标记的不同单词（类型）的示例中学习到比从$n$（连续）标记的标记中更多的信息，因为后者包含的不同类型要少得多。为了将基于类型的学习的效率与上下文的好处相结合，我们提出了一种训练上下文敏感的lemmatizer的方法，该方法使用很少或没有标记的语料库数据，使用UniMorph项目的变形表和维基百科的原始文本示例，为明确的UniMorph示例提供句子上下文。尽管这些都是明确的例子，但该模型成功地从它们中概括出来，与不使用上下文的基线相比，结果得到了改善（总体上，特别是在看不见的单词上）。
2019-07-01 cs.CL
Jointly Discovering Visual Objects and Spoken Words from Raw Sensory Input
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们探讨神经网络模型，学习相关联的语音字幕段与语义相关的自然图像，他们所指的部分。我们证明，这些视听关联定位出现从网络内部表示学习作为一个副产品的训练，以执行图像-音频检索任务。我们的模型直接对图像像素和语音波形进行操作，并且在训练期间不依赖于任何传统的标签，分割或模态之间对齐形式的监督。我们使用Places 205和ADE 20 k数据集进行分析，证明我们的模型隐式地学习语义耦合的对象和单词检测器。
2018-04-04 cs.CL cs.CV cs.SD
Cross-situational learning of large lexicons with finite memory
University of Edinburgh（爱丁堡大学）
跨情境单词学习，其中学习者在多次接触中结合关于单词的可能含义的信息，先前已被证明是在短时间内获得大量词汇的非常强大的策略。然而，这种成功可能来自于对单词学习过程建模时的理想化。特别是，早期的模型假设学习者可以完美地回忆起一个词的使用和推断，得出有关其含义的所有先前的情况。在这项工作中，我们放松了这一假设，并确定了一个模型的跨情境的学习者谁忘记随着时间的推移词义协会的表现。我们的主要发现是，它是可能的，这个学习者获得一个人类规模的词汇与词的曝光和记忆衰退率与儿童词汇学习的实证研究是一致的成年，只要参考的不确定性的程度不是太高，或学习者采用互斥约束。因此，我们的研究结果表明，成功的单词学习并不一定需要高度准确的长期跟踪单词和含义的统计数据或假设测试策略。
2018-09-28 cs.CL physics.soc-ph
Word2Pix: Word to Pixel Cross Attention Transformer in Visual Grounding
Institute of High Performance Computing, A*STAR（A*STAR高性能计算研究所）；Nanyang Technological University（南洋理工大学）
现有的一阶段视觉基础方法在融合视觉特征之前将语言查询编码为一个整体的句子嵌入。这样的公式化在对语言进行视觉注意建模时没有同等对待查询句子的每个单词，因此倾向于忽略对于句子嵌入不太重要但对于视觉基础至关重要的单词。在本文中，我们提出了Word 2 Pix：一个基于编码器-解码器Transformer架构的一级视觉接地网络，它可以通过单词到像素的注意力来学习文本到视觉特征的对应关系。通过单独关注视觉像素而不是单个整体句子嵌入，对来自查询句子的每个单词的嵌入进行同样的处理。以这种方式，每个单词被给予相等的机会来通过多个Transformer解码器层的堆栈将语言调整为朝向所指目标的视觉注意力。我们在RefCOCO，RefCOCO+和RefCOCOg数据集上进行了实验，所提出的Word 2 Pix方法明显优于现有的一阶段方法。所获得的结果还表明，Word 2 Pix超越了两阶段视觉基础模型，同时保持了一阶段范式的优点，即端到端训练和实时推理速度不变。
2021-07-31 cs.AI cs.CL cs.CV
Continual Visual and Verbal Learning Through a Child's Egocentric Input
Agentic Learning AI Lab, New York University（代理学习人工智能实验室，纽约大学）；Department of Psychology, Princeton University（心理学系，普林斯顿大学）
提出BabyCL持续多模态学习框架，在单一时间顺序处理SAYCam数据集，通过流式视觉表示学习和图像-文本对比目标，在SAYCam Labeled-S 4AFC基准上优于流式学习基线，缩小了与离线训练上限的差距。
2026-06-03 cs.AI cs.CL cs.CV
Coupling Distant Annotation and Adversarial Training for Cross-Domain Chinese Word Segmentation
Tsinghua University（清华大学）；Alibaba Group（阿里巴巴集团）
全监督神经网络方法在中文分词（CWS）领域取得了显著的进展。然而，当监督模型应用于域外数据时，其性能往往会急剧下降。性能下降是由跨域的分布差距和词汇表（OOV）问题引起的。为了同时缓解这两个问题，本文提出了跨领域CWS的远程注释和对抗训练的耦合。对于远距离标注，我们重新思考了“中文单词”的本质，设计了一个自动远距离标注机制，不需要任何监督或预定义的字典从目标领域。该方法可以有效地探索特定领域的词汇和远程注释的目标领域的原始文本。对于对抗性训练，我们开发了一个双级训练过程来进行降噪和最大限度地利用源域信息。在不同领域的多个真实世界数据集上的实验表明，我们的模型的优越性和鲁棒性，显着优于以前的最先进的跨域CWS方法。
2020-09-02 cs.CL cs.LG
BilBOWA: Fast Bilingual Distributed Representations without Word Alignments
Google Inc.（谷歌公司）；Université de Montréal（蒙特利尔大学）；Canadian Institute for Advanced Research（加拿大高等研究院）
我们介绍了BilBOWA（Bilingual Bag-of-Words without Alignments），这是一种简单且计算效率高的模型，用于学习单词的双语分布式表示，可以扩展到大型单语数据集，并且不需要单词对齐的并行训练数据。相反，它直接在单语数据上训练，并从较小的原始文本对齐数据集中提取双语信号。这是使用一种新的采样词袋跨语言目标来实现的，该目标用于正则化两个噪声对比语言模型，以实现高效的跨语言特征学习。我们表明，使用所提出的模型学习的双语嵌入在跨语言文档分类任务以及WMT 11数据的词汇翻译任务上优于最先进的方法。
2016-02-04 cs.CL cs.LG stat.ML
The Zero Resource Speech Challenge 2020: Discovering discrete subword and word units
CNRS（法国国家科学研究中心）；ENS（巴黎高等师范学院）；EHESS（法国高等社会科学研究院）；INRIA（法国国家信息与自动化研究所）；PSL Research University（巴黎文理研究大学）；Brno Univ. of Technology（布尔诺理工大学）；Nara Institute of Science and Technology（奈良科学技术研究所）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）；Facebook A.I. Research（脸书人工智能研究院）
我们提出了零资源语音挑战2020，其目的是从没有任何标签的原始音频信号中学习语音表示。它结合了之前两个基准测试（2017年和2019年）的数据集和指标，并具有两个任务，可以利用两个级别的语音表示。第一个任务是发现优化语音合成质量的低比特率子字表示;第二个任务是从未分割的原始语音中发现类字单元。我们提出了20个提交的模型的结果，并讨论了无监督语音学习的主要研究结果的影响。
2020-10-12 cs.AI cs.CL
World-to-Words: Grounded Open Vocabulary Acquisition through Fast Mapping in Vision-Language Models
University of Michigan（密歇根大学）；Computer Science and Engineering Division, University of Michigan（密歇根大学计算机科学与工程系）
本文提出GOVA框架和OctoBERT模型，通过在图像-文本对上以接地为目标的预训练，验证视觉-语言模型能更快速稳健地学习新词汇，揭示了接地能力对新词学习的自举作用。
2024-12-26 cs.AI cs.CL cs.CV
Understanding and Improving Lexical Choice in Non-Autoregressive Translation
The University of Sydney（悉尼大学）；Tencent AI Lab（腾讯人工智能实验室）；University of Macau（澳门大学）
知识蒸馏（KD）通过使用自回归教师模型降低原始数据的复杂性来训练非自回归翻译（NAT）模型。在这项研究中，我们的经验表明，作为这种培训的副作用，词汇选择错误的低频词传播到NAT模型从教师模型。为了缓解这个问题，我们建议将原始数据暴露给NAT模型，以恢复在蒸馏数据中丢失的低频词的有用信息。为此，我们引入了一个额外的Kullback-Leibler发散项，通过比较NAT模型的词汇选择和嵌入在原始数据中的词汇选择来获得。跨语言对和模型架构的实验结果证明了该方法的有效性和通用性。大量的分析证实了我们的说法，我们的方法通过减少低频词的词汇选择错误来提高性能。令人鼓舞的是，我们的方法将WMT 14英语-德语和WMT 16罗马尼亚语-英语数据集上的SOTA NAT性能分别提高到27.8和33.8 BLEU点。源代码将被释放。
2021-01-27 cs.CL
A computational model of early language acquisition from audiovisual experiences of young infants
Tampere University（坦佩雷大学）；Aalto University（阿尔托大学）
早期的研究表明，人类婴儿可能会使用语音和非语言多模态输入之间的统计依赖关系来引导他们的语言学习，然后才知道如何从连续语音中分割单词。然而，这一假设在现实世界的婴儿经验方面的可行性仍然不清楚。本文提出了一个更现实的测试多模态自举假设的一步，通过描述一个神经网络模型，可以学习单词段和它们的含义，从参考模糊的声音输入。该模型进行了测试记录的真实婴儿护理人员的互动，使用话语水平标签的具体视觉对象，由婴儿出席时，护理人员发言的话语包含的对象的名称，并使用随机的视觉标签的话语在没有注意。结果表明，词汇知识的开端确实可能出现在个别模糊的学习场景。此外，网络的隐藏层显示出逐渐增加的对语音类别的选择性，作为层深度的函数，类似于以监督方式训练用于电话识别的模型。
2019-06-24 cs.CL cs.LG cs.SD
To lemmatize or not to lemmatize: how word normalisation affects ELMo performance in word sense disambiguation
University of Oslo（奥斯陆大学）；University of Trento（特伦托大学）
我们批判性地评估了深度学习NLP模型不需要词元化输入的广泛假设。为了测试这一点，我们在原始标记化语料库和用词元替换词标记的语料库上训练了上下文化词嵌入ELMo模型的版本。然后，在词义消歧任务中对这些模型进行了评价。这是对英文和俄文所做的。实验表明，虽然词形还原对英语来说确实没有必要，但对俄语来说情况就不同了。看起来，对于富形态语言，使用词形化的训练和测试数据会产生小但一致的改进：至少在词义消歧方面。这意味着在训练ELMo之前，关于文本预处理的决定应该考虑所讨论语言的语言性质。
2019-09-06 cs.CL
Cross-Lingual Transfer of Semantic Roles: From Raw Text to Semantic Roles
The George Washington University（乔治华盛顿大学）；Facebook AI（脸书人工智能）
我们描述了一种基于注释投影的传输方法，开发了一个基于依赖的语义角色标注系统，用于没有监督的语言信息，而不是并行数据。不像以前的工作，假设的监督功能，如词元，词性标记，依赖分析树的可用性，我们只使用单词和字符的功能。我们的深度模型考虑使用基于字符的表示以及无监督的词干嵌入来减轻对监督特征的需求。我们的实验优于最先进的方法，该方法在通用命题库中的7种语言中使用了6种语言的监督词汇句法特征。
2019-04-05 cs.CL
Improving Cross-Domain Chinese Word Segmentation with Word Embeddings
Alibaba Group（阿里巴巴集团）；Peking University（北京大学）；Westlake University（西湖大学）
跨领域中文分词（CWS）仍然是一个挑战，尽管最近的进展，基于神经的CWS。目标域中有限数量的带注释数据一直是令人满意的性能的关键障碍。在本文中，我们提出了一个半监督的基于词的方法，以提高跨域CWS给定的基线分割。特别是，我们的模型只部署了在目标领域的原始文本上训练的词嵌入，丢弃了复杂的手工制作的特征和特定于领域的字典。创新的子采样和负采样方法，提出了获得词嵌入优化CWS。我们在五个特定领域的数据集上进行了实验，涵盖了小说，医学和专利领域。实验结果表明，该模型能明显提高跨领域的CWS，尤其是在领域专有名词实体的切分方面。在四个数据集上，单词F-度量增加了3.0%以上，远远优于最先进的半监督和无监督跨域CWS方法。我们在Github上提供代码和数据。
2019-03-29 cs.CL
Basic syntax from speech: Spontaneous concatenation in unsupervised deep neural networks
Department of Linguistics, University of California, Berkeley（加州大学伯克利分校语言学系）；Department of Computer Science, Iowa State University（爱荷华州立大学计算机科学系）
研究通过无监督深度神经网络发现，从原始语音中可自发生成多词拼接，揭示了语法演化的潜在机制。
2026-04-22 cs.AI cs.CL cs.SD
Multimodal Skip-gram Using Convolutional Pseudowords
Binghamton University, SUNY（纽约州立大学宾汉姆顿分校）；Zhejiang University（浙江大学）
这项工作研究了跨多模态数据的代表性映射，使得给定一个模态中的原始数据，立即获得另一个模态中的原始数据的相应语义描述。这种代表性映射可以在广泛的现实世界应用中找到，包括图像/视频检索，对象识别，动作/行为识别以及事件理解和预测。为此，我们引入了一个简化的训练目标，用于学习多模态嵌入使用的跳过语法架构，通过引入卷积“伪词“：嵌入组成的分布式单词表示和图像特征的添加剂组合从卷积神经网络投影到多模态空间。我们提出了广泛的结果，这些嵌入在各种单词相似性基准的代表性属性，以显示这种方法的承诺。
2015-11-29 cs.CL cs.CV
A Few Words Can Distort Graphs: Knowledge Poisoning Attacks on Graph-based Retrieval-Augmented Generation of Large Language Models
本文提出两种针对GraphRAG的知识投毒攻击（TKPA和UKPA），证明仅修改源文本中极少数词汇即可显著改变构建的知识图谱并严重误导下游问答推理，且现有防御方法无法有效检测此类攻击。
2025-08-12 cs.AI cs.CL
Word-Level Representation From Bytes For Language Modeling
Fudan University（复旦大学）；Amazon（亚马逊）
现代语言模型大多采用子词作为输入，这种设计平衡了词汇量、参数数量和性能之间的权衡。然而，子词标记化仍然存在缺点，如对噪声不鲁棒，难以推广到新的语言。此外，当前模型规模扩大的趋势表明，更大的模型需要更大的嵌入，但这使得并行化变得困难。先前关于图像分类的工作证明，将原始输入分割成一系列卡盘是一种强的、与模型无关的归纳偏差。基于这一观察，我们重新思考了现有的字符感知方法，该方法采用字符级输入，但进行单词级序列建模和预测。我们通过引入直接从字节构建单词级表示的交叉注意网络和基于单词级隐藏状态的子单词级预测来彻底改造这种方法，以避免单词级预测的时间和空间要求。结合这两个改进，我们有一个无令牌模型，用于下游任务的输入嵌入很小。我们将我们的方法命名为Byte2Word，并对语言建模和文本分类进行评估。实验表明，Byte2Word算法的嵌入量仅占强子词基线BERT的10%，与强子词基线算法相当。我们进一步测试我们的方法在合成噪声和跨语言迁移，并发现它的竞争力的基线方法在这两种设置。
2022-11-23 cs.CL
Learning to retrieve out-of-vocabulary words in speech recognition
Université de Lorraine（洛林大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；University of Avignon（阿维尼翁大学）
对于用于处理历时音频数据的语音识别系统，许多专有名称（PN）是词汇表外（OOV）词。为了帮助恢复系统错过的PN，可以通过利用说出的内容的语义上下文从许多OOV中检索相关的OOV PN。在本文中，我们提出了两个旨在检索与音频文档相关的OOV PN的神经网络模型：（a）文档级连续词袋（D-CBOW），（b）文档级连续加权词袋（D-CBOW 2）。这两个模型都将文档单词作为输入，并以最大化共现OOV PN的检索为目标进行学习。对于D-CBOW 2模型，我们提出了一种新的方法，其中输入嵌入层增加了上下文锚层。该层学习为输入单词分配重要性，并能够在词袋神经网络模型中捕获（特定于任务的）关键词。通过对法国广播新闻视频的实验，我们证明了这两种模型的性能优于基于LDA，Skip-gram和Paragraph Vectors的原始嵌入的基线方法。结合D-CBOW和D-CBOW 2模型可以在训练过程中实现更快的收敛。
2016-03-01 cs.CL
Can phones, syllables, and words emerge as side-products of cross-situational audiovisual learning? -- A computational investigation
Tampere University（坦佩雷大学）；Aalto University（阿尔托大学）
本研究提出潜在语言假说，通过视听跨情境学习的神经网络模拟，探究音位、音节和单词等语言单位能否作为跨模态语音理解的潜在表征自发涌现。
2024-03-06 cs.AI cs.CL cs.CV
Constructing Cross-lingual Consumer Health Vocabulary with Word-Embedding from Comparable User Generated Content
College of Computing and Informatics（计算与信息学院）；Drexel University（卓克索大学）
本文提出一种基于可比用户生成内容和词嵌入对齐的跨语言自动术语识别框架，仅需原始语料和少量医学翻译即可将英语消费者健康词汇表扩展至中文，并验证其优于大型语言模型。
2024-04-01 cs.CL cs.IR
