Unwritten Languages Demand Attention Too! Word Discovery with Encoder-Decoder Models
Laboratoire d'Informatique de Grenoble, Univ. Grenoble Alpes (UGA)(格勒诺布尔阿尔卑斯大学格勒诺布尔信息学实验室);Institute of Informatics, UFRGS(南里奥格兰德联邦大学信息学研究所)
单词发现是从未分割的文本中提取单词的任务。在本文中,我们研究在何种程度上神经网络可以应用到这个任务中的一个现实的非书面语言的情况下,只有小语料库和有限的注释。我们调查了两种情况:一种是没有监督,另一种是有限制的监督,可以访问最频繁的单词。获得的结果表明,通过仅用5,157个句子训练编码器-解码器神经机器翻译系统,可以检索至少27%的金标准词汇。这一结果与特定任务贝叶斯非参数模型的结果接近。此外,我们的方法具有生成翻译对齐的优点,可以用来创建双语词典。从未来的角度来看,这种方法也非常适合直接从语音中工作。
2017-09-19 cs.CL
Synonym Discovery with Etymology-based Word Embeddings
Seoul National University(首尔大学);Google Inc.(谷歌公司)
我们提出了一种新的方法来学习词嵌入的基础上扩展版本的分布假设。我们的模型使用单词的词源组成而不是它们出现的上下文来推导词嵌入向量。它的优点是不需要大型文本语料库,但它需要可靠地访问单词的词源,使其特别适合于具有语标书写系统的语言。该模型包括三个步骤:(1)建立词源图,它是一个由词和词根组成的二分网络;(2)获得词源图的双邻接矩阵并对其进行降维;(3)将所得矩阵的列/行作为嵌入向量。我们测试我们的模型在中国和中韩词汇。我们的图由一组117,000个中文单词和一组135,000个中韩单词组成。在这两种情况下,我们表明,我们的模型表现良好的同义词发现的任务。
2017-12-12 cs.AI cs.CL
Empirical Evaluation of Sequence-to-Sequence Models for Word Discovery in Low-resource Settings
Laboratoire d'Informatique de Grenoble, Univ. Grenoble Alpes (UGA)(格勒诺布尔阿尔卑斯大学格勒诺布尔信息学实验室);School of Computer Science and Electronic Engineering, University of Essex(埃塞克斯大学计算机科学与电子工程学院);Institute of Informatics, Federal University of Rio Grande do Sul(南里奥格兰德联邦大学信息学研究所)
自Bahdanau等人[1]首次引入神经机器翻译的注意力以来,大多数序列到序列模型都使用了注意力机制[2,3,4]。虽然它们产生的软对齐矩阵可以被解释为目标语言和源语言之间的对齐,但我们缺乏量化其质量的指标,不清楚哪种方法产生最佳对齐。本文提出了一个经验评估的3个主要的序列到序列模型(CNN,RNN和基于Transformer-based)的单词发现从未分割的音素序列。该任务包括将源语言中的单词序列与目标语言中的音素序列进行比对,并从中推断目标侧的分词[5]。评估分词质量可以被看作是对训练期间产生的软对齐矩阵的外部评估。我们在Mboshi和英语语言(都与法语对齐)的低资源场景中的实验表明,RNN在这项任务中的表现出人意料地优于CNN和Transformer。我们的研究结果证实了通过使用平均归一化熵(ANE)的内在评价对齐质量。最后,我们通过使用对齐熵置信度度量来改进我们的最佳单词发现模型,该度量在集合中给定对齐对的所有出现上累积ANE。
2019-09-11 cs.CL
Unsupervised word segmentation and lexicon discovery using acoustic word embeddings
University of Edinburgh(爱丁堡大学);Johns Hopkins University(约翰斯·霍普金斯大学)
在只有未标记语音数据可用的环境中,语音技术需要在没有翻译、发音词典或语言建模文本的情况下开发。模拟婴儿语言习得时也面临类似的问题。在这些情况下,需要直接从语音音频中发现类别语言结构。我们提出了一种新的无监督贝叶斯模型,分割未标记的语音和集群的段到假设的单词组。结果是根据发现的词类型对输入语音进行完全无监督的标记化。在我们的方法中,一个潜在的词段(任意长度)嵌入在一个固定维的声学向量空间。该模型作为Gibbs采样器实现,然后在该空间中构建全词声学模型,同时联合执行分割。我们报告的字出错率在一个小词汇量的连接数字识别任务,通过映射的无监督解码输出到地面真值transmittance。该模型实现了约20%的出错率,优于以前的HMM为基础的系统约10%的绝对。此外,与基线相比,我们的模型不需要预先指定的词汇量。
2016-03-09 cs.CL
A New Anchor Word Selection Method for the Separable Topic Discovery
Huazhong University of Science and Technology(华中科技大学);Cornell University(康奈尔大学)
可分离非负矩阵分解(SNMF)是一种重要的主题建模方法,其中“可分离”假设每个主题至少包含一个锚词,锚词定义为仅在该主题上具有非零概率的词。SNMF通过锚词选择和话题恢复两个步骤,利用词的共现模式来揭示话题。锚词的质量直接影响主题抽取的质量。现有的锚词选择算法是在高维词共现空间中寻找一个近似的凸包。在这项工作中,我们提出了一种新的方法,通过关联的词同现概率与词的相似性,并假设语义上最不同的词是锚词的潜在候选人的锚词的选择。因此,如果词对的相似度很低,那么这两个词很可能是锚词。根据文本语料库的统计信息,我们可以得到所有词对的相似度。我们建立了词相似度图,其中节点对应于词,边缘上的权重代表词对相似度。按照这种方式,我们设计了一个贪婪的方法来找到一个最小的边权重锚集团的锚字选择图中给定的大小。在真实语料库上的大量实验表明,该方法在主题质量方面优于常用的基于凸包的方法.同时,我们的方法是比典型的SNMF为基础的方法快得多。
2019-05-10 cs.CL cs.IR cs.LG
Towards Visually Grounded Sub-Word Speech Unit Discovery
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室)
在本文中,我们调查的方式,可解释的子字语音单元出现在一个卷积神经网络模型训练关联原始语音波形与语义相关的自然图像场景。我们展示了如何从模型中间层的激活模式中表面上提取双音子边界,这表明该模型可能会利用这些事件进行单词识别。我们提出了一系列的实验调查这些事件编码的信息。
2019-02-21 cs.CL cs.LG cs.SD
How Does Language Influence Documentation Workflow? Unsupervised Word Discovery Using Translations in Multiple Languages
Laboratoire d’Informatique de Grenoble (LIG)(格勒诺布尔计算机实验室);UGA(格勒诺布尔阿尔卑斯大学);G-INP(格勒诺布尔国立理工学院);CNRS(法国国家科学研究中心);INRIA(法国国家信息与自动化研究所);University of Sheffield(谢菲尔德大学);UFRGS(南里奥格兰德联邦大学)
对于语言文档举措,转录是一种昂贵的资源:一分钟的音频估计需要语言学家平均一个半小时的工作(Austin和Sallabank,2013年)。最近,在资源丰富的语言中收集对齐的翻译成为确保记录的事后可解释性的流行解决方案(Adda et al. 2016)。在本文中,我们调查语言相关的影响,在自动方法计算语言文档。我们将双语Mboshi-French平行语料库(Godard et al. 2017)翻译成其他四种语言,并执行双语根无监督单词发现。我们的研究结果暗示了资源丰富的语言对输出质量的影响。然而,通过结合不同双语模型学习到的信息,我们只能略微提高分割的质量。
2019-10-11 cs.CL
Parsimonious Topic Models with Salient Word Discovery
Pennsylvania State University(宾夕法尼亚州立大学)
我们提出了一个简约的主题模型的文本语料库。在相关的模型中,如潜在狄利克雷分配(LDA),所有的单词都是特定于主题的,即使许多单词在不同的主题中以相似的频率出现。我们的建模确定了每个主题的突出词,这些词具有特定主题的概率,其余的由通用共享模型解释。此外,在LDA中,所有主题原则上都存在于每个文档中。相比之下,我们的模型给出了稀疏的主题表示,确定每个文档的相关主题的(小)子集。我们推导出贝叶斯信息准则(BIC),平衡模型的复杂性和拟合优度。在这里,有趣的是,我们确定了有效的样本量和相应的惩罚特定于我们的模型中的每个参数类型。我们最小化BIC以完全无监督的方式共同确定整个模型-特定于主题的单词,特定于文档的主题,所有模型参数值,{ \it和}主题的总数。三个文本语料库和图像数据集的结果表明,我们的模型实现了更高的测试集的可能性和更好的协议与地面真相类标签,LDA和设计的模型,以纳入稀疏性。
2014-09-11 cs.CL cs.IR cs.LG
Unsupervised discovery of morphologically related words based on orthographic and semantic similarity
我们提出了一个算法,以一个未注释的语料库作为输入,并返回一个排名列表的可能形态相关的对作为其输出。该算法试图发现形态相关的对,通过寻找对都是正字法和语义相似,其中正字法的相似性是衡量的最小编辑距离,和语义相似性是衡量的互信息。该过程不依赖于词素连接模型,也不依赖于单词子串的分布特性(如词缀频率)。德语和英语输入的实验给出了令人鼓舞的结果,无论是在精度方面(在不同的截止点的排名列表中发现的好对的比例),并在定性分析的算法发现的形态模式的类型。
2002-05-08 cs.CL
Unsupervised Classification of English Words Based on Phonological Information: Discovery of Germanic and Latinate Clusters
Chubu University(中部大学);Nagoya University(名古屋大学);McGill University(麦吉尔大学);Mila(米拉);Mila — Quebec AI Institute(米拉——魁北克人工智能研究所)
本研究通过无监督聚类发现英语词源结构,表明语音学信息可帮助学习词源区分。
2026-02-06 cs.CL
A Constrained Coupled Matrix-Tensor Factorization for Learning Time-evolving and Emerging Topics
Boston University(波士顿大学);University of California Riverside(加州大学河滨分校)
主题发现作为数据采掘的一个重要领域,已经得到了广泛的应用。特别是,时间演变的主题发现,其中考虑到一个主题的演变已经在理解一个新兴的主题在动态语料库中的历史背景。传统上,随时间演化的主题发现集中在时间的概念上。然而,特别是在内容由社区或人群贡献的环境中,时间的正交概念与内容创建者的专业知识水平有关:创建者越有经验,主题越先进。在本文中,我们提出了一种新的时间演变的主题发现方法,除了提取的主题,是能够识别随着时间的推移,该主题的演变,以及该主题的难度水平,因为它是由其主要贡献者的专业知识水平推断。我们的方法是基于一种新的配方约束耦合矩阵张量分解,它采用的约束动机良好,并且,正如我们所证明的,是必不可少的高质量的主题发现。我们使用来自物理学和编程堆栈交换论坛的真实数据对我们的方法进行了定性评估,并且我们能够确定不同难度的主题,这些主题可以与外部事件联系起来,例如LIGO实验室在物理学论坛上宣布引力波。我们提供了一个定量评估我们的方法进行用户研究,专家被要求判断提取的主题的一致性和质量。最后,我们提出的方法具有自动课程设计使用提取的主题,其中的概念的难度水平是必要的先决条件和先进的概念进行适当的建模的影响。
2018-06-30 cs.CL cs.IR cs.LG
Unsupervised Multimodal Word Discovery based on Double Articulation Analysis with Co-occurrence cues
Ritsumeikan University(立命馆大学)
本文提出融合 NPB-DAA 与 MLDA 的全无监督多模态方法,利用音系分布及视觉、触觉、听觉共现线索从语音中发现词语和音素,实验证明其词汇发现与切分性能优于基线。
2023-08-21 cs.AI cs.CL cs.RO
Automatic Discovery of Non-Compositional Compounds in Parallel Data
将文本自动分割成最小的内容承载单元是一个尚未解决的问题,即使对于英语这样的语言也是如此。单词之间的空格提供了一个简单的第一近似,但这种近似对于机器翻译(MT)来说还不够好,因为许多单词序列不是逐字翻译的。本文提出了一种有效的自动方法来发现作为一个单位翻译的单词序列。该方法通过比较从两种语言的平行文本中导出的统计翻译模型对来进行。它可以在每次迭代中发现数百个非合成化合物,并从较短的化合物中构造出较长的化合物。对一个简单机械翻译任务的客观评价表明,该方法对提高机器翻译输出质量具有潜力。该方法对数据的假设很少,因此可以应用于并行文本以外的并行数据,如单词拼写和发音。
1997-06-24 cmp-lg cs.CL
Uncertainty-Aware Continual Learning for Open-World Intent Discovery Under an evolving Label Space
Politecnico di Milano(米兰理工大学)
针对开放世界下演化标签空间的持续意图发现,提出不确定性感知概率框架,结合多信号决策与密度聚类实现受控标签扩展,实验显示高精确率与低遗忘。
2026-09-17 cs.CL cs.LG
An Efficient, Probabilistically Sound Algorithm for Segmentation and Word Discovery
本文提出了一种基于模型的,无监督的算法恢复自然语言文本中的字边界,他们已被删除。该算法源自生成文本的源的概率模型。该模型的基本结构被抽象地指定,以便可以以模块化的方式替换语音,词序和词频的详细组件模型。该模型产生一个独立的语言,先验概率分布的所有可能的序列的所有可能的单词在一个给定的字母表,基于假设的输入是通过连接单词从一个固定的,但未知的词典。该模型是不寻常的,因为它把一个完整的语料库的生成,无论长度,作为一个单一的事件在概率空间。因此,该算法不会估计单词的概率分布;相反,它试图计算可能构成观察文本基础的各种单词序列的先验概率。实验表明,该算法比其他算法更有效,至少当话语边界给出和文本包括大量的短话语的音素成绩单的父母对幼儿的自发讲话。保留字:贝叶斯语法归纳,概率模型,最小描述长度(MDL),无监督学习,认知建模,语言习得,切分
1999-05-12 cs.CL cs.LG
Concept Discovery through Information Extraction in Restaurant Domain
University of Moratuwa(莫拉图瓦大学);CodeGen International(CodeGen国际公司)
概念识别是理解和构建任何特定领域知识库的关键步骤。然而,这不是一个简单的任务,在非常大的领域,如餐馆和酒店。本文提出了一种新的方法,识别概念层次结构和分类未见过的词到识别的概念相关的餐厅领域。人工对领域相关词进行排序、识别、分类是一项繁琐的工作,因此,本文提出的方法在很大程度上实现了自动化。词嵌入、层次聚类、分类算法被有效地用于获得与餐馆领域相关的概念。此外,这种方法也可以扩展到创建一个半自动的本体论的餐厅领域。
2019-06-12 cs.CL
MLEvolve: A Self-Evolving Framework for Automated Machine Learning Algorithm Discovery
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);East China Normal University(东华大学)
提出MLEvolve框架,通过渐进式MCGS、回溯记忆和分层控制解决LLM智能体在长期任务中的信息隔离、无记忆搜索和缺乏分层控制问题,在MLE-Bench和数学算法优化任务上取得最先进性能。
2026-10-23 cs.AI cs.CL
Unsupervised Word Discovery: Boundary Detection with Clustering vs. Dynamic Programming
Stellenbosch University(斯坦陵布什大学);Fab Inc.(Fab公司)
针对无监督语音词发现任务,提出基于相邻自监督特征差异预测边界再聚类构建词表的简单方法,在ZeroSpeech多语言基准上取得与优化后ES-KMeans+相近的最优效果且速度快近五倍。
2025-01-12 cs.CL cs.SD eess.AS
Hierarchies over Vector Space: Orienting Word and Graph Embeddings
Stony Brook University(石溪大学)
本文提出一种从向量嵌入中构建有向根树的数据结构,通过按实体影响力降序插入节点来捕获层级方向,在超词关系、LCA发现和维基链接恢复任务上显著优于基线。
2024-11-09 cs.CL
Lexical Semantic Change Discovery
University of Stuttgart(斯图加特大学);Leibniz Institute for the German Language(莱布尼茨德语研究所)
虽然在词汇语义变化检测领域有大量的研究,但只有少数方法超越了现有模型的标准基准评估。在本文中,我们提出了从变化检测到变化发现的焦点转移,即,随着时间的推移,从完整的语料库词汇中发现新的词义。通过对最近公布的德语数据进行大量微调,我们证明了这两种模型都可以成功地应用于发现正在发生意义变化的新词。此外,我们提供了一个几乎完全自动化的框架,用于评估和发现。
2021-06-06 cs.CL
Necessary and Sufficient Conditions and a Provably Efficient Algorithm for Separable Topic Discovery
我们开发的必要条件和充分条件和一种新的可证明一致的和有效的算法发现的主题(潜在因素)从观察(文件),实现从概率混合共享的潜在因素,具有一定的属性。我们的重点是一类主题模型,其中每个共享的潜在因素包含一个新的词,是唯一的因素,一个属性,已被称为可分性。我们的算法是基于一个关键的洞察力,即新的单词对应的凸包的极端点形成的行向量的适当规范的词同现矩阵。我们利用这种几何洞察力,建立多项式计算和样本的复杂性界限的基础上的几个各向同性的随机投影的行的规范化的词同现矩阵。我们提出的基于随机投影的算法是自然服从一个有效的分布式实现,是有吸引力的现代网络规模的分布式数据采掘应用。
2015-12-04 cs.CL cs.IR cs.LG
Spatial Concept Acquisition for a Mobile Robot that Integrates Self-Localization and Unsupervised Word Discovery from Spoken Sentences
Ritsumeikan University(立命馆大学);National Institute of Informatics(国立信息学研究所);The Graduate University for Advanced Studies(综合研究大学院大学)
在本文中,我们提出了一种新的无监督学习方法的词汇收购的机器人访问的地方,从人类连续语音信号。我们解决的问题,学习新的单词的机器人,除了一个原始的声学模型,这些话没有先验知识。此外,我们提出了一种方法,允许机器人有效地使用学习的单词及其含义的自我定位任务。该方法是一种非参数贝叶斯空间概念获取方法(SpCoA),该方法通过与空间概念相关的潜变量,将自定位生成模型和无监督分词方法相结合。我们实现了所提出的方法SpCoA上SIGVerse,这是一个仿真环境,和TurtleBot2,这是一个移动机器人在真实的环境。此外,我们进行了用于评估SpCoA性能的实验。实验结果表明,SpCoA使机器人能够从语音句子中获取地名。他们还表明,机器人可以有效地利用获得的空间概念,减少自我定位的不确定性。
2016-05-07 cs.AI cs.CL cs.RO
Double Articulation Analyzer with Prosody for Unsupervised Word and Phoneme Discovery
Ritsumeikan University(立命馆大学)
婴儿从未分段的语音信号中获得单词和音素,使用分段线索,例如分布线索、韵律线索和共现线索。许多预先存在的计算模型表示的过程往往集中在分布或韵律线索。提出了一种非参数贝叶斯概率生成模型--韵律层次狄利克雷过程隐藏语言模型(Prosodic HDP-HLM)。韵律HDP-HLM是HDP-HLM的扩展,它在一个单一的整合生成模型中考虑了韵律和分布线索。我们在不同类型的数据集上进行了三个实验,并证明了所提出的方法的有效性。结果表明,韵律DAA成功地使用韵律线索,并优于单独使用分布线索的方法。本研究的主要贡献如下:1)提出了一个包含韵律的时间序列数据的概率生成模型,该模型具有潜在的双构音结构:2)通过推导韵律HDP-HLM的推理过程,提出了韵律DAA,并证明了韵律DAA可以直接利用统计信息和韵律信息,以无监督的方式从连续的人类语音信号中发现单词; 3)我们发现韵律线索在自然分布的格词中对分词的贡献更大,即,遵循齐普夫定律。
2021-03-15 cs.AI cs.CL
Adapting predominant and novel sense discovery algorithms for identifying corpus-specific sense differences
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
词义不是静态的,可以有时间、空间或语料库特定的范围。确定这些范围可能会大大有利于现有的水务署系统。在本文中,在研究语料库特定的词义,我们采用现有的三个主要和新颖的意义发现算法来识别这些语料库特定的意义。我们利用数以百万计的数字化书籍和报纸档案作为语料库的两个不同来源的文本数据,并提出了自动化的方法来识别特定于语料库的词义在不同的时间点。我们进行了广泛而彻底的人类判断实验,以严格评估和比较这些方法的性能。在适应后,三种算法的输出格式相同,准确性结果也相当,大约45-60%的报告的语料库特定感官被判断为真实的。
2018-02-01 cs.CL
Revisiting Lexicon Evaluation in Unsupervised Word Discovery
Google Africa PhD Fellowship(谷歌非洲博士 fellowship);South African National Research Foundation(南非国家研究基金会)
针对无监督词汇发现中常用评估指标(归一化编辑距离)偏向大簇质量且忽略真实类别分布的问题,提出两种新指标:修正的簇内一致性指标和逆分布指标,通过实验证明其与真实分布更相关且更鲁棒。
2026-09-22 cs.CL eess.AS
EvoScientist: Towards Multi-Agent Evolving AI Scientists for End-to-End Scientific Discovery
Huawei Technologies Co., Ltd.(华为技术有限公司)
EvoScientist通过多智能体进化和持久记忆提升科学发现效率,实现端到端的科学发现任务。
2026-10-06 cs.CL
Effective Seed-Guided Topic Discovery by Integrating Multiple Types of Contexts
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
种子引导的主题发现方法不是以完全无监督的方式从给定的文本语料库中挖掘连贯的主题,而是利用用户提供的种子词来提取独特且连贯的主题,使得挖掘出的主题可以更好地迎合用户的兴趣。为了对单词和种子之间的语义相关性进行建模以发现主题指示性术语,现有的种子引导方法利用不同类型的上下文信号,诸如文档级单词共现、基于滑动窗口的局部上下文以及由预训练的语言模型带来的通用语言学知识。在这项工作中,我们分析并经验地表明,每种类型的上下文信息在种子指导下建模单词语义时都有其价值和局限性,但结合三种类型的上下文(即,从局部上下文学习的词嵌入、从通用域训练获得的预训练的语言模型表示、以及基于种子信息检索的主题指示语句)允许它们彼此互补以发现高质量的主题。我们提出了一个迭代框架SeedTopicMine,它联合学习三种类型的上下文,并通过集成排名过程逐渐融合它们的上下文信号。在不同的种子集和多个数据集上,SeedTopicMine始终比现有的种子引导主题发现方法产生更一致和准确的主题。
2023-01-11 cs.CL cs.IR
Semi-supervised Discovery of Informative Tweets During the Emerging Disasters
Temple University(天普大学)
在新出现的灾害期间,有效利用Twitter等微博客服务了解情况的第一个目标是发现与灾害有关的帖子。考虑到可能发生的灾难范围很广,使用预先选择的一组与灾难相关的关键字来进行发现是不理想的。我们在这项工作中关注的另一种选择是使用一小组标记的帖子来训练分类器,这些帖子在灾难出现时变得可用。我们的假设是,利用大量的历史微博可以提高分类的质量,相比只训练分类器的标记数据。我们建议使用未标记的微博聚类词到一个有限数量的集群,并使用词集群作为特征进行分类。为了评估所提出的半监督方法,我们使用了来自6种不同灾害的Twitter数据。我们的研究结果表明,当标记的推文的数量是100或更少,所提出的方法是优于基于袋或词的特征表示的标准分类。我们的研究结果还表明,未标记语料库的选择,词聚类算法的选择,以及超参数的选择可以有显着的分类精度的影响。
2016-10-12 cs.CL cs.SI
Unsupervised Discovery of Linguistic Structure Including Two-level Acoustic Patterns Using Three Cascaded Stages of Iterative Optimization
National Taiwan University(台湾大学)
声学模式的无监督发现技术正变得越来越有吸引力,因为大量的语音数据变得可用,但手动注释仍然很难获得。在本文中,我们提出了一种方法,无监督发现的语言结构的目标口语给定的原始语音数据。该语言结构包括两级声学模式(类子词和类词)、基于类子词模式的类词模式词典和基于类词模式的N-gram语言模型。所有的模式,模型和参数可以从未标记的语音语料库中自动学习。这是通过一个初始化步骤,其次是三个级联阶段的声学,语言和词汇迭代优化。类词模式的词典定义了类子词模式的允许的连续的HALTH序列。在每一次迭代中,模型训练和解码产生更新的标签,词典和障碍可以进一步更新。通过这种方式,在每次迭代中分别优化模型参数和解码标签,并且逐步逐层学习关于语言结构的知识。在普通话广播新闻语料库上进行了初步实验,对所提出的方法进行了测试,其中包括使用以监督方式训练的模型进行并行测试的口语术语检测任务。结果表明,该系统不仅产生合理的性能本身,但也是现有的大词汇量ASR系统的补充。
2015-09-07 cs.CL
SJTU-NLP at SemEval-2018 Task 9: Neural Hypernym Discovery with Term Embeddings
Shanghai Jiao Tong University(上海交通大学);Huazhong University of Science and Technology(华中科技大学)
本文描述了我们参与SemEval-2018任务9的上位词发现系统,该系统旨在发现输入概念或实体的最佳(一组)候选上位词,给定预定义词汇的搜索空间。我们介绍了一个神经网络架构的有关任务,并实证研究各种神经网络模型,以建立潜在空间的单词和短语的表示。评价模型包括卷积神经网络、长短期记忆网络、门控递归单元和递归卷积神经网络。我们还探索了不同的嵌入方法,包括词嵌入和意义嵌入,以获得更好的性能。
2018-05-26 cs.CL
Word Segmentation on Discovered Phone Units with Dynamic Programming and Self-Supervised Scoring
Stellenbosch University(斯泰伦博斯大学)
最近的无监督语音分割工作使用了自监督模型,其中包含联合训练的电话和分词模块。相反,本文重新审视了一个旧的方法,分词:自下而上的电话样单位的发现是第一次,符号分词,然后在发现的单位(不影响较低的水平)。为此,我提出了一个新的单元发现模型,一个新的符号分词模型,然后链接这两个模型来分割语音。这两种模型都使用动态规划来最小化来自自我监督网络的分段成本,并具有鼓励更长单位的额外持续时间惩罚。具体地,对于声学单元发现,使用持续时间惩罚动态规划(DPDP)与对比预测编码模型作为评分网络。对于分词,DPDP与作为评分网络的自编码递归神经一起应用。这两个模型被链接以分割语音。这种方法提供了可比的分词结果,以最先进的联合自监督分割模型的英语基准。在法语、普通话、德语和沃洛夫语数据上,它在ZeroSpeech基准测试中的表现优于以前的系统。分析表明,链式DPDP系统分割较短的填充字,但较长的字可能需要一些外部自顶向下的信号。
2023-01-09 cs.CL cs.SD eess.AS
When Search Becomes Memory: Accelerating Robot Design Discovery with Self-Evolving Skills
University of Michigan(密歇根大学)
提出Auto-Robotist,一种自进化LLM代理,通过将形态搜索轨迹提炼为自然语言技能库,实现可迁移的机器人设计知识,在EvoGym任务中提升冷启动搜索并跨设计空间迁移技能。
2026-09-25 cs.AI cs.CL cs.CV
Beyond Magic Words: Sharpness-Aware Prompt Evolving for Robust Large Language Models with TARE
University of California, Los Angeles(加州大学洛杉矶分校);Georgia Institute of Technology(佐治亚理工学院);University of Chicago(芝加哥大学);University of Oxford(牛津大学);Ludwig-Maximilians-Universität München(慕尼黑大学);Yale University(耶鲁大学)
本文提出TARE和ATARE方法,通过减少文本敏锐性差距,提升大语言模型在提示优化中的鲁棒性和准确性。
2025-12-15 cs.CL
From Automation to Autonomy: A Survey on Large Language Models in Scientific Discovery
Department of Computer Science and Engineering, HKUST, Hong Kong SAR, China(计算机科学与工程系,香港科技大学,香港特别行政区,中国)
本综述探讨了LLMs在科学发现中从自动化向自主性演变的角色,提出“工具-分析师-科学家”三级分类法,并指出了机器人自动化等关键挑战与未来研究方向。
2025-09-17 cs.CL
Dream-RSI: Recursive Self-Improvement through Evolving Worlds
University of Maryland, College Park(马里兰大学帕克分校);Google DeepMind(谷歌DeepMind);University of Virginia(弗吉尼亚大学)
Dream-RSI通过构建历史发现树的回放模拟器进行“梦境”操作,以低成本离策略反馈优化探索策略,实现递归自我改进,在多个工程领域提升发现质量并降低成本。
2026-10-07 cs.CL
How to Do Things without Words: Modeling Semantic Drift of Emoji
Ben Gurion University of the Negev(内盖夫本-古里安大学)
汉字已经成为我们非正式文本交流的重要组成部分。以前的工作解决表情符号的社会和语言功能忽略了符号的演变意义。这种演变可以通过语义漂移的框架来解决。本文对表情符号的语义漂移进行了建模和分析,并讨论了可能导致漂移的特征,其中一些是表情符号独有的,一些是更普遍的。
2022-10-13 cs.CL
The Paradigm Discovery Problem
Ohio State University(俄亥俄州立大学);New York University Abu Dhabi(纽约大学阿布扎比分校);Johns Hopkins University(约翰斯·霍普金斯大学);University of Cambridge(剑桥大学);ETH Zürich(苏黎世联邦理工学院)
这项工作对待范式发现问题(PDP),学习的曲折形态系统从未注释的句子的任务。我们形式化的PDP和判断系统开发的评估指标。使用当前可用的资源,我们为任务构建数据集。我们还设计了一个启发式的基准PDP和报告实证结果五种不同的语言。我们的基准测试系统首先利用词嵌入和字符串相似性来按单元格和范式聚类形式。然后,我们在集群数据之上引导神经传感器来预测单词,以实现空范式槽。对我们系统的错误分析表明,跨不同拐点类的细胞聚类是未来工作最紧迫的挑战。我们的代码和数据可供公众使用。
2020-05-04 cs.CL
Truly unsupervised acoustic word embeddings using weak top-down constraints in encoder-decoder models
Stellenbosch University(斯泰伦博斯大学)
我们调查的无监督模型,可以映射一个可变的持续时间的语音段到一个固定的维度表示。在未标记语音是唯一可用资源的设置中,这种声学词嵌入可以形成“零资源”语音搜索、发现和索引系统的基础。大多数现有的无监督嵌入方法仍然使用一些监督,如单词或音素边界。在这里,我们提出了编码器-解码器对应自动编码器(EncDec-CAE),它不是真正的单词段,而是使用自动发现的段:一个无监督的术语发现系统发现相同的未知类型的单词对,并训练EncDec-CAE以重建一个单词作为输入。我们将其与标准的编码器-解码器自动编码器(AE),具有潜在嵌入先验的变分AE和下采样进行比较。EncDec-CAE在两种语言的单词识别任务中的平均精度比其最接近的竞争对手高出24%。
2019-04-15 cs.CL cs.LG cs.SD
Monitoring Term Drift Based on Semantic Consistency in an Evolving Vector Field
ICFO-The Institute of Photonic Sciences(光子科学研究所);University of Borås(布罗斯大学);Information Technologies Institute, Centre for Research & Technology - Hellas(信息技术研究所,希腊研究与科技中心);Institute of Applied Biosciences, Centre for Research & Technology - Hellas(应用生物科学研究所,希腊研究与科技中心)
基于亚里士多德的潜在与现实的概念,允许在语言中的能量和动态的研究,我们提出了一个领域的词汇分析方法。回到分布假设统计建模词义,我们使用不断变化的字段作为一个隐喻,通过随机索引和不断变化的自组织映射(ESOM)的组合来表达向量空间模型中的时间依赖性变化。为了监测观察期内的语义漂移,对1280万条亚马逊书评的术语空间进行了实验。为了评估,ESOM术语簇的语义一致性进行了比较,在WordNet中的各自的邻域,并通过随机索引的术语向量之间的距离进行了对比。我们发现,在0.05的显着性水平,在集群中的术语表现出较高的语义一致性。跟踪漂移的分布模式在长期空间跨越时间段,我们发现,一致性下降,但不是在统计上显着的水平。我们的方法是高度可扩展的,在哲学的解释。
2015-02-05 cs.CL cs.LG cs.NE
LSCDiscovery: A shared task on semantic change discovery and detection in Spanish
University of Chile(智利大学);IMFD(千年数据基础研究所);CENIA(国家智能研究中心);University of Stuttgart(斯图加特大学)
我们提出了关于西班牙语语义变化发现和检测的第一个共享任务,并使用DURel框架创建了第一个手动注释语义变化的西班牙语单词数据集(Schlechtweg et al.,2018年)。该任务分为两个阶段:1)分级变化发现,和2)二进制变化检测。除了引入一种新的语言,与以前的任务相比,主要的新颖之处在于预测和评估语料库中所有词汇的变化。六个团队参加了第一阶段,七个团队参加了第二阶段的共享任务,最好的系统在第一阶段获得了0.735的斯皮尔曼等级相关性,在第二阶段获得了0.716的F1分数。我们描述了由竞争团队开发的系统,突出了特别有用的技术,并讨论了这些方法的局限性。
2022-05-13 cs.CL
Should Top-Down Clustering Affect Boundaries in Unsupervised Word Discovery?
Electrical and Electronic Engineering, Stellenbosch University, South Africa(电气与电子工程系,斯托滕博斯大学,南非)
本文比较无监督词汇发现中的自下而上与自上而下边界选择,发现简单自下而上方法在 ZeroSpeech 上性能相当且快近五倍,瓶颈主要在聚类。
2025-07-28 cs.CL cs.SD eess.AS
Learning to Discover, Ground and Use Words with Segmental Neural Language Models
DeepMind(深度思维);University of Oxford(牛津大学)
我们提出了一个分段神经语言模型,结合了神经网络的泛化能力与发现未分段字符序列中潜在的单词样单元的能力。与以前将分词视为一项孤立任务的分割模型相比,我们的模型统一了单词发现,学习单词如何组合在一起形成句子,以及通过调节视觉上下文模型,单词的含义如何在非语言模态的表示中扎根。实验表明,无条件模型比字符LSTM模型更好地学习预测分布,与非参数贝叶斯分词模型竞争性地发现单词,并且以视觉上下文为条件的语言建模提高了两者的性能。
2019-06-18 cs.CL
Non-Pharmaceutical Intervention Discovery with Topic Modeling
Layer 6 AI(第六层人工智能公司);Vector Institute(向量研究所);University of British Columbia(英属哥伦比亚大学);University of Toronto(多伦多大学)
我们考虑在不断演变的COVID-19大流行期间发现非药物干预措施类别的任务。我们探索主题建模的两个语料库与国内和国际范围内。与人工干预标签相比,这些模型发现了现有的类别,同时减少了所需的人力。
2020-09-10 cs.CL cs.LG
Discovery of Linguistic Relations Using Lexical Attraction
这项工作的动机是两个长期目标:了解人类如何学习语言和构建能够理解语言的程序。使用一种能使相关特征显式化的表征是成功学习和理解的先决条件。因此,我选择在我的模型中显式地表示单个单词之间的关系。词汇吸引被定义为这种关系的可能性。我介绍了一类新的概率语言模型命名为词汇吸引力模型,它可以表示长距离的话之间的关系,我正式使用信息论这类新的模型。在词汇吸引的框架内,我开发了一个无监督的语言习得程序,学习识别给定句子中的语言关系。程序中唯一明确表示的语言知识是词汇吸引。没有初始的语法或词汇内置,唯一的输入是原始文本。学习和处理是相互交错的。处理器使用由学习器检测到的结构来对输入施加结构。这种结构使学习者能够检测更高级别的干扰。使用这种自举程序,该程序在1亿字的美联社材料上进行了训练,并且能够在寻找内容词之间的关系时达到60%的准确率和50%的召回率。利用词汇吸引力的知识,该程序可以识别句法上模棱两可的句子中的正确关系,例如“我看到自由女神像飞过纽约”。''
1998-05-27 cmp-lg cs.CL
Bayesian Models for Unit Discovery on a Very Low Resource Language
Brno University of Technology(布尔诺理工大学);LIMSI(法国信息与自动化实验室);CNRS(法国国家科学研究中心);LIG(格勒诺布尔信息学实验室);University of Illinois(伊利诺伊大学);Centre for Language Studies, Radboud University(拉德堡德大学语言研究中心);CoML(计算语言学实验室);ENS(巴黎高等师范学院);EHESS(法国高等社会科学研究院);PSL Research University(巴黎文理研究大学);INRIA(法国国家信息与自动化研究所);Johns Hopkins University(约翰斯·霍普金斯大学)
在过去的十年里,为低资源语言开发语音技术已经成为一个非常活跃的研究领域。其中,贝叶斯模型在人工样本上显示出一些有希望的结果,但仍然缺乏现场实验。我们的工作适用于国家的最先进的贝叶斯模型,以无监督的声学单元发现(AUD)在一个真正的低资源的语言场景。我们还表明,贝叶斯模型可以自然地整合信息,从其他资源丰富的语言,通过信息的事先导致更一致的发现单位。最后,使用所发现的声学单元,作为1-最佳序列或作为网格,以执行分词。分词结果表明,这种贝叶斯方法明显优于Segmental-DTW基线相同的语料库。
2018-02-20 cs.CL
A Correspondence Variational Autoencoder for Unsupervised Acoustic Word Embeddings
University of Chicago(芝加哥大学);Stellenbosch University(斯泰伦博斯大学);Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
我们提出了一个新的无监督模型,用于将可变持续时间的语音段映射到固定维度的表示。由此产生的声学词嵌入可以形成低资源和零资源语言的搜索、发现和索引系统的基础。我们的模型,我们称之为最大采样对应变分自编码器(MCVAE),是一个递归神经网络(RNN),使用一种新的自监督对应丢失进行训练,鼓励同一单词的不同实例的嵌入之间的一致性。我们的训练方案通过使用和比较来自近似后验分布的多个样本来改进以前的对应训练方法。在零资源设置中,MCVAE可以通过使用经由无监督术语发现系统发现的类词片段以无监督方式训练,而不需要任何地面实况词对。在这种设置和半监督低资源设置(具有有限的地面实况词对)中,MCVAE的性能优于以前的最先进模型,例如基于Siamese,CAE和VAE的RNN。
2020-12-03 cs.CL cs.SD eess.AS
Multidimensional counting grids: Inferring word order from disordered bags of words
Microsoft Research(微软研究院)
词袋模型通常假设主题混合,使得单个词袋中的词来自有限数量的主题。我们在这里表明,许多套袋的话表现出非常不同的变化模式比有效地捕捉主题混合的模式。在许多情况下,从一个单词袋到下一个单词袋,单词消失,新的单词出现,好像主题在文档中缓慢而平稳地移动(假设文档以某种方式有序)。描述这种排序的潜在结构的例子很容易想象。例如,新闻故事日期的提前反映在当天主题的平稳变化中,因为某些不断发展的新闻故事不再受欢迎,新事件创造了新的故事。连续几天的故事之间的重叠可以通过使用在词上线性排列的紧密分布上的窗口来建模。我们在这里表明,这种策略可以扩展到多个维度和数据的顺序并不明显的情况下。我们证明,这种方式的建模在词出现的协变优于标准的主题模型在分类和预测任务中的应用在生物学,文本建模和计算机视觉。
2012-02-14 cs.CL cs.IR cs.LG
Beyond Bags of Words: Inferring Systemic Nets
Queen’s University(女王大学)
基于将文档表示为词袋的文本分析已经相当成功。但是,需要更深入地了解语言、作者属性或创建文档的上下文的分析需要更丰富的表示。系统网络就是这样一种代表。它们尚未被广泛使用,因为它们需要人力来建造。我们表明,系统的网络可以从语料库的算法推断,由此产生的网络是合理的,他们可以提供知识发现问题的实际利益。这为文本分析开辟了一类新的实用分析技术。
2018-06-13 cs.CL
Linguistic unit discovery from multi-modal inputs in unwritten languages: Summary of the "Speaking Rosetta" JSALT 2017 Workshop
JHU(约翰斯·霍普金斯大学);CMU(卡内基梅隆大学)
我们总结了一个多学科研讨会的成果,探讨了在没有正字法的语言中发现语言单位(子词和词)的计算和科学问题。我们研究了在资源丰富的语言中用图像和/或翻译文本替换正字法transmittance,以帮助从原始语音中进行无监督发现。
2018-02-14 cs.CL
Recovering the Zipfian Distribution in Unsupervised Term Discovery
Het Jan Marais Fonds(赫特·詹·马里茨基金会)
针对无监督术语发现中中心聚类导致分布不均匀的问题,提出图聚类方法,在三种语言上显著优于K-means等,恢复更接近齐夫分布的词汇分布。
2026-09-25 cs.CL eess.AS
Evolving linguistic divergence on polarizing social media
Tallinn University(塔林大学);Estonian Business School(爱沙尼亚商学院);Newcastle University(纽卡斯尔大学)
本研究利用社交媒体数据,通过关注新闻媒体账户界定用户政治偏好,量化美国左右派在话题、情感及词汇语义上的语言分歧,提出通用方法,可推广至其他语言和平台。
2023-09-04 cs.CL cs.SI
Fixing the Infix: Unsupervised Discovery of Root-and-Pattern Morphology
University of Illinois(伊利诺伊大学)
我们提出了一个无监督和语言无关的方法学习根和模式形态在闪族语言。这种形式的形态,丰富的闪米特语言,还没有处理在以前的无监督的方法。我们利用分布式单词表示的句法语义信息来解决闪米特语言中长期存在的根源和模式发现问题。此外,我们构造了一个无监督的根提取器的基础上学习的规则。我们证明了阿拉伯语,希伯来语和阿姆哈拉语中学习规则的有效性,同时表明我们的根提取器与广泛使用的精心设计的根提取器ISRI相比毫不逊色。
2017-02-11 cs.CL
Discovering topics with neural topic models built from PLSA assumptions
Dailymotion(Dailymotion公司)
本文提出了一个文本语料库中无监督主题发现的模型。该模型使用文档、单词和主题查找表嵌入作为神经网络模型参数,以构建单词给定主题的概率和主题给定文档的概率。这些概率用于通过边缘化来恢复给定文档的单词的概率。对于文档数量可能达到数十亿的非常大的语料库,使用基于神经自动编码器的文档嵌入比使用传统的查找表嵌入更具可扩展性。因此,我们将基于查找的文档嵌入模型扩展到基于连续自动编码器的模型。我们的模型使用概率潜在语义分析(PLSA)假设进行训练。我们在六个内容丰富的数据集上评估了我们的模型。实验结果表明,所提出的神经主题模型是非常有效的捕获相关的主题。此外,考虑到困惑度量,进行评估基准测试表明,我们的主题模型优于潜在的Dirichlet分配(LDA)模型,这是经典的用于解决主题发现任务。
2019-11-25 cs.CL cs.LG stat.ML
A small Griko-Italian speech translation corpus
Laboratoire d'Informatique de Grenoble, Univ. Grenoble Alpes (UGA)(格勒诺布尔阿尔卑斯大学格勒诺布尔信息学实验室);Univ. of Notre Dame(圣母大学);Univ. of Ioannina(约阿尼纳大学);UFRGS(南里奥格兰德联邦大学);University of Essex(埃塞克斯大学)
本文提出了一种扩展的资源非常低的并行语料库收集的濒危语言,Griko,使其有用的计算研究。该语料库由330话语(约20分钟的讲话),已被转录和翻译成意大利语,与注释字级语音转录和语音翻译对齐。语料库还包括形态句法标签和词级注释。应用自动单元发现方法,还生成了伪音素。我们详细介绍了语料库是如何收集,清理和处理的,我们说明了它在零资源任务的使用,提出了一些基线结果的语音翻译对齐和无监督单词发现的任务。该数据集可在线获得,旨在鼓励计算语言文档实验的可复制性和多样性。
2018-07-27 cs.CL