Automated Audio Captioning using Transfer Learning and Reconstruction Latent Space Similarity Regularization
Nanyang Technological University(南洋理工大学)
在本文中,我们研究了使用预训练音频神经网络(PANNs)的迁移学习的使用,并提出了一种架构,能够更好地利用PANNs提供的自动音频字幕任务的声学特征。我们还介绍了一种新的自监督目标,重建潜在空间相似正则化(RLSSR)。RLSSR模块通过最小化编码器和解码器嵌入之间的相似性来补充模型的训练。这两种方法的结合使我们能够在Clotho数据集上的几个指标和基准上超越最先进的结果。
2021-08-10 cs.CL cs.SD eess.AS
Measuring Semantic Similarity by Latent Relational Analysis
本文介绍了潜在关系分析(LRA),一种测量语义相似度的方法。LRA度量两对词之间语义关系的相似性。当两对具有高度的关系相似性时,它们是相似的。例如,对cat:meow类似于对dog:bark。认知科学有证据表明,关系相似性是许多认知和语言任务的基础(例如,类比推理)。在向量空间模型(VSM)方法来测量关系的相似性,两对之间的相似性是由代表两对向量之间的夹角的余弦计算。向量中的元素基于大型语料库中手动构建的模式的频率。LRA以三种方式扩展了VSM方法:(1)模式自动从语料库中导出,(2)奇异值分解用于平滑频率数据,以及(3)同义词用于重新表达单词对。本文介绍了LRA算法和实验比较LRA VSM两个任务,回答大学水平的多项选择词类比问题和分类名词修饰语表达的语义关系。LRA实现了最先进的结果,在类比问题上达到了人类水平的表现,并且在两项任务上都大大超过了VSM的表现。
2005-08-10 cs.CL cs.IR cs.LG
On Extending NLP Techniques from the Categorical to the Latent Space: KL Divergence, Zipf's Law, and Similarity Search
Zoomi, Inc(Zoomi公司);College of William & Mary(威廉与玛丽学院);Peking University(北京大学);Purdue University(普渡大学)
尽管深度学习最近在自然语言处理(NLP)中取得了成功,但仍然存在对不依赖于机器学习的技术的广泛使用和需求。这些技术的优点是它们的可解释性和低成本相比,经常不透明和昂贵的机器学习模型。虽然它们可能不是在所有情况下都具有同样的性能,但它们通常足以解决常见和相对简单的问题。在本文中,我们的目标是现代化这些旧的方法,同时保留其优势,从分类或袋的话表示的潜在空间中的词嵌入表示的方法。首先,我们表明,熵和Kullback-Leibler分歧可以有效地估计使用词嵌入,并使用这种估计比较文本在几个类别。接下来,我们将在分类空间中经常观察到的重尾分布(称为齐普夫定律)重新转换到潜在空间。最后,我们希望通过引入一种新的方法来识别相似的句子,基于集合覆盖问题,以提高Jaccard相似性度量的句子建议。我们比较了该算法的性能对几个基线,包括字移动器的距离和Levenshtein距离。
2020-12-02 cs.CL cs.LG
Human-Level Performance on Word Analogy Questions by Latent Relational Analysis
本文介绍了潜在关系分析(LRA),一种测量关系相似性的方法。LRA在信息抽取、词义消歧、机器翻译、信息检索等领域有着广泛的应用前景。关系相似性是关系之间的对应关系,而属性相似性是属性之间的对应关系。当两个词的属性相似度很高时,我们称之为同义词。当两对词具有高度的关系相似性时,我们说它们的关系是相似的。例如,mason/stone这个词对就类似于carpenter/wood这个词对。过去的工作语义相似性的措施,主要是关注属性相似性。最近的向量空间模型(VSM)的信息检索已被改编为测量关系相似性的任务,实现了47%的分数上收集的374个大学水平的多项选择词类比问题。在VSM方法中,一对词之间的关系由大型语料库中预定义模式的频率向量来表征。LRA以三种方式扩展了VSM方法:(1)模式是从语料库中自动导出的(它们不是预定义的),(2)奇异值分解(SVD)用于平滑频率数据(在潜在语义分析中也以这种方式使用),以及(3)自动生成的同义词用于探索词对的重新表达。LRA在374个类比问题上的得分为56%,在统计学上相当于人类的平均得分57%。在分类名词修饰语关系的相关问题上,LRA在使用较小的语料库的同时实现了与VSM相似的增益。
2004-12-06 cs.CL cs.IR cs.LG
Targeted Lexical Injection: Unlocking Latent Cross-Lingual Alignment in Lugha-Llama via Early-Layer LoRA Fine-Tuning
Stanley Ngugi(独立研究者)
针对低资源语言模型词汇对齐不足的问题,提出定向词汇注入(TLI)方法,利用早期层潜在对齐能力,通过LoRA和对比学习微调,显著提升斯瓦希里语-英语词对的对齐性能并泛化到未见词对。
2025-06-18 cs.CL
Arabic text summarization based on latent semantic analysis to enhance arabic documents clustering
University Sidi Mohamed Ben Abdellah (USMBA)(西迪·穆罕默德·本·阿卜杜拉大学);Faculty of Science Dhar EL Mahraz (FSDM)(达尔·马赫拉兹科学学院)
阿拉伯文文档聚类是一项重要的任务,以获得良好的效果与传统的信息检索(IR)系统,特别是与阿拉伯语在线文档的数量迅速增长。文档聚类的目标是使用不同的相似性/距离度量将相似的文档自动分组到一个聚类中。该任务往往受到文档长度的影响,文档上的有用信息往往伴随着大量的噪声,因此有必要在保留有用信息的同时消除这些噪声,以提高文档聚类的性能。在本文中,我们建议使用潜在语义分析模型对阿拉伯文文档聚类的文本摘要的影响进行评估,以解决上述问题,使用五个相似性/距离的措施:欧几里德距离,余弦相似性,Jaccard系数,皮尔逊相关系数和平均Kullback-Leibler发散,两次:没有和词干。实验结果表明,该方法有效地解决了噪声信息和文档长度的问题,从而显着提高聚类性能。
2013-02-06 cs.CL cs.IR
Improving Collaborative Filtering based Recommenders using Topic Modelling
Flytxt Mobile Solutions Pvt. Ltd.(Flytxt移动解决方案私人有限公司);Indian Institute of Technology, Delhi(德里印度理工学院)
标准的协同过滤(CF)算法利用用户和项目之间的交互,仅以隐式或显式评级的形式来生成推荐。在这种情况下,纯粹基于评级重叠来计算用户或项目之间的相似性,而不考虑所涉及的用户或项目的显式属性,从而限制了它们在具有非常稀疏的评级空间的域中的适用性。在许多领域,如电影,新闻或电子商务广告,大量的文本形式的上下文数据描述项目属性,以及评级数据,这可以用来提高推荐quality.In本文中,我们提出了一种新的方法,以改善标准的CF为基础的广告,利用潜在的Dirichlet分配(LDA)学习项目的潜在属性,表示在主题比例,源自其文字描述。我们推断用户的主题偏好或人物在同一潜在空间,根据她的历史评级。在计算用户之间的相似性时,我们使用了一种组合的相似性度量,包括评分重叠以及潜在主题空间中的相似性。这种方法解决了稀疏性问题,因为它允许计算用户之间的相似性,即使他们没有共同评价任何项目。我们在多个公共数据集上的实验表明,所提出的混合方法在分类精度指标(如精度,召回率和f-测量)方面显着优于标准的基于用户和基于项目的CF分类器。
2014-02-25 cs.CL cs.IR cs.LG
Parameter Efficient Audio Captioning With Faithful Guidance Using Audio-text Shared Latent Representation
Qualcomm Technologies(高通科技)
针对自动音频字幕生成中模型过度参数化导致的幻觉和内存问题,提出数据增强检测幻觉及参数高效的推理时忠实解码算法,利用音频-文本共享潜在表示实现语义对齐,使小模型性能媲美大模型。
2023-09-06 cs.CL cs.MM cs.SD
Beyond a Bag of Features: Set-Level Instability in Sparse Autoencoders
Heidelberg University(海德堡大学)
该研究以稀疏自编码器(SAE)隐集合重叠度为相似度度量,发现SAE特征不通过简单特征袋语义组合,其激活集合与人类概念判断存在显著不匹配。
2026-08-12 cs.CL cs.LG
Learning Multilingual Word Embeddings in Latent Metric Space: A Geometric Approach
Microsoft(微软);IIT Madras(印度理工学院马德拉斯分校)
我们提出了一种新的几何方法学习双语映射单语嵌入和双语字典。我们的方法将学习从源语言到目标语言的转换分为(a)学习特定语言嵌入的旋转以将它们对齐到公共空间,以及(b)学习公共空间中的相似性度量以模拟嵌入之间的相似性。我们将双语映射问题建模为光滑黎曼流形上的优化问题。我们表明,我们的方法优于以前的方法在双语词汇归纳和跨语言词相似性任务。我们还概括了我们的框架,以表示在一个共同的潜在空间的多种语言。特别是,几种语言的潜在空间表示联合学习,给出多语言对的双语词典。我们说明了联合学习的有效性,为多种语言在zero-shot单词翻译设置。我们的实现可以在https://github.com/anoopkunchukuttan/geomm上获得。
2018-12-18 cs.AI cs.CL cs.LG
Bridging the Gap: Incorporating a Semantic Similarity Measure for Effectively Mapping PubMed Queries to Documents
National Center for Biotechnology Information(国家生物技术信息中心);National Library of Medicine, National Institutes of Health(美国国家医学图书馆,美国国立卫生研究院)
传统的信息检索(IR)的主要方法是检查查询中有多少单词出现在文档中。然而,这种方法的一个缺点是,它可能无法检测到相关的文档中没有或只有少数单词从一个查询中被发现,语义分析方法,如LSA(潜在语义分析)和LDA(潜在Dirichlet分配)已被提出来解决这个问题,但他们的性能并不优于普通的IR方法相比。在这里,我们提出了一个查询文档的相似性措施的动机字移动器的距离。与其他相似性度量不同,所提出的方法依赖于神经词嵌入来计算词之间的距离。当在查询和文档之间没有找到直接匹配时,此过程有助于识别相关单词。我们的方法是有效的和简单的实现。在TREC Genomics数据上的实验结果表明,该方法的平均精度比BM 25排序函数平均高12%。此外,对于从PubMed搜索日志收集的真实数据集,我们使用学习排序方法将语义度量与BM 25相结合,从而将排名分数提高了25%。该实验表明,所提出的方法和BM 25很好地相互补充,并共同产生卓越的性能。
2017-10-17 cs.CL cs.IR
Extracting Latent Steering Vectors from Pretrained Language Models
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Arrive Bio(Arrive Bio(阿里夫生物))
关于可控文本生成的先前工作集中于学习如何通过可训练解码、智能提示设计或基于期望目标的微调来控制语言模型。我们假设引导模型生成目标句子所需的信息已经编码在模型中。因此,我们探索了一种完全不同的方法:直接从预训练的语言模型解码器中提取潜在向量,而无需微调。实验表明,存在导向向量,当将其添加到语言模型的隐藏状态时,为来自各种领域的英语句子几乎完美地(> 99 BLEU)生成目标句子。我们表明,向量算法可用于Yelp情感基准的无监督情感转移,其性能与针对此任务定制的模型相当。我们发现,导向向量之间的距离反映句子的相似性时,评估的文本相似性基准(STS-B),优于合并隐藏状态的模型。最后,我们提出了一个分析的内在属性的导向矢量。综上所述,我们的研究结果表明,冻结LM可以有效地控制通过其潜在的转向空间。
2022-05-10 cs.AI cs.CL cs.LG
MALA: Cross-Domain Dialogue Generation with Action Learning
The University of Melbourne(墨尔本大学);Twitter Inc.(推特公司)
面向任务的对话反应生成包括两个基本部分:对话规划和表面实现。然而,这两个组成部分在其目标上有差异,即,完成任务和语言质量。为了处理这种差异,已经引入了条件反应生成,其中生成过程被分解为动作决策和语言生成通过显式动作表征。为了获得动作表征,最近的研究学习潜在的动作在无监督的方式的基础上的话语词汇相似性。这种行动学习方法容易出现语言表面的混乱,从而影响任务的完成和语言质量。为了解决这个问题,我们提出了多阶段自适应潜在动作学习(MALA),通过区分话语对对话进程的影响来学习语义潜在动作。我们使用话语引起的对话状态的转换建模话语效果,并开发了一个语义相似性测量,估计话语是否有类似的效果。为了在没有对话状态的域上学习语义动作,MsALA逐步扩展跨域的语义相似性度量,即,从调整共享操作到学习特定领域的操作。使用多域数据集SMD和MultiWOZ的实验表明,我们提出的模型在任务完成和语言质量方面都比基线模型取得了一致的改进。
2020-10-13 cs.AI cs.CL cs.LG
Unsupervised Representation Disentanglement using Cross Domain Features and Adversarial Learning in Variational Autoencoder based Voice Conversion
Nagoya University(名古屋大学);Academia Sinica(中央研究院)
语音转换(VC)的一个有效方法是将语言内容从语音信号的其他成分中分离出来。例如,基于变分自动编码器(VAE)的VC(VAE-VC)的有效性强烈依赖于该原理。在我们之前的工作中,我们提出了一个跨域VAE-VC(CDVAE-VC)框架,它利用不同属性的声学特征,以提高VAE-VC的性能。我们相信,成功来自于更清晰的潜在表征。在本文中,我们通过引入对抗学习的概念来扩展CDVAE-VC框架,以进一步提高解纠缠的程度,从而提高转换语音的质量和相似性。更具体地说,我们首先研究了将生成对抗网络(GANs)与CDVAE-VC相结合的有效性。然后,我们考虑域对抗训练的概念,并添加一个显式约束的潜在表示,实现了一个扬声器分类器,明确消除扬声器的信息,驻留在潜在代码。实验结果表明,GANs和说话人分类器都可以提高学习到的潜在表征的解纠缠程度。同时,主观评价结果的质量和相似性分数证明了我们提出的方法的有效性。
2020-02-07 cs.CL cs.LG cs.SD