Continuous Melody Generation via Disentangled Short-Term Representations and Structural Conditions
UC San Diego（加州大学圣地亚哥分校）；NYU Shanghai（上海纽约大学）
自动音乐生成是一个跨学科的研究课题，它结合了计算创造力和音乐的语义分析来创建自动机器即兴创作。这种系统的重要特性是允许用户指定所生成的音乐的条件和期望的特性。在本文中，我们设计了一个模型，为用户指定的象征性的情况下，结合以前的音乐上下文组成的旋律。我们添加手动标记的矢量表示外部音乐质量的和弦功能，提供了一个低维的谐波张力和分辨率的表示。我们的模型能够以8拍音符序列为基本单位生成长旋律，并与另一首特定的歌曲共享一致的节奏模式结构。该模型包含两个阶段，需要单独的训练，其中第一阶段采用条件变分自编码器（C-VAE）来构建音符序列及其潜在表征之间的双射，第二阶段采用具有结构条件的长短期记忆网络（LSTM）来继续编写未来的旋律。我们进一步利用解开技术，通过C-VAE允许旋律生成的基础上，音高轮廓信息独立于调节节奏模式。最后，我们使用节奏的定量分析和主观听力研究评估所提出的模型。结果表明，我们的模型生成的音乐往往具有显着的重复结构，丰富的动机，和稳定的节奏模式。能够生成更长，更结构化的短语从解纠缠表示结合语义场景规范条件显示了我们的模型的广泛应用。
2020-02-05 cs.AI cs.LG cs.SD
How to Evaluate Word Representations of Informal Domain?
University of Edinburgh（爱丁堡大学）
在大多数最先进的自然语言处理（NLP）应用程序中，不同的单词表示方法激增。然而，如何有效地评估这种词嵌入在非正式领域，如Twitter或论坛，仍然是一个持续的挑战，由于缺乏足够的评估数据集。我们从UrbanDictionary中获得了大量的变体拼写对，并使用了弱监督的基于模式的自举和自训练线性链条件随机场（CRF）的自动方法。有了这些提取的关系对，我们可以省略传统NLP管道的文本规范化过程，并直接采用非正式领域中的非标准单词的表示。我们的代码可用。
2019-11-13 cs.CL cs.IR cs.LG
Deep Time-Frequency Representation and Progressive Decision Fusion for ECG Classification
Hangzhou Dianzi University（杭州电子科技大学）；University of Science and Technology of China（中国科学技术大学）
早期识别ECG信号中的异常节律对于监测和诊断患者的心脏状况，提高治疗的成功率至关重要。由于节律、噪声的广泛分类和缺乏大规模真实世界注释数据，将异常节律分类为精确类别非常具有挑战性。与以往利用手工特征或从原始信号域学习特征的方法不同，我们提出了一种新的ECG分类方法，通过端到端的方式在不同的时间尺度上学习深度时频表示和渐进决策融合。首先，通过使用短时傅立叶变换将ECG波信号变换到时频域。接下来，在特定长度的ECG样本上训练若干尺度特定的深度卷积神经网络。最后，提出了一种渐进式在线决策融合方法，将特定尺度模型的决策融合为更准确和稳定的决策。在人工和真实心电数据集上的实验证明了该方法的有效性。
2019-12-17 cs.LG eess.SP stat.ML
Zero-shot text-to-speech synthesis conditioned using self-supervised speech representation model
NTT Corporation（日本电信电话公司）
针对零样本 TTS 中未见说话人特征复现不足的问题，提出直接利用 SSL 语音表示并分离声学特征与时长条件，提升说话人相似度并实现语音节奏迁移。
2023-04-24 cs.LG cs.SD eess.AS
WordRep: A Benchmark for Research on Learning Word Representations
Microsoft Research（微软研究院）
WordRep是微软研究院发布的分布式词表示（或词嵌入）研究的基准集合。在本文中，我们描述了WordRep集合的细节，并展示了如何将其用于与词嵌入相关的不同类型的机器学习研究。具体来说，我们描述了如何选择WordRep中的评估任务，如何对数据进行采样，以及如何构建评估工具。然后，我们比较了几个国家的最先进的词表示WordRep，报告他们的评估性能，并对结果进行讨论。在此之后，我们讨论了新的潜在的研究课题，可以支持WordRep，除了算法比较。我们希望本文能够帮助人们更深入地了解WordRep，并使分布式单词表示学习及相关主题的研究更加有趣。
2014-07-07 cs.CL cs.LG
Contextual Skipgram: Training Word Representation Using Context Information
Korea University（高丽大学）
skip-gram（SG）模型通过从非结构化文本数据中预测中心词周围的词来学习词表示。然而，并非上下文窗口中的所有单词都有助于中心单词的含义。例如，不太相关的词可能在上下文窗口中，从而阻碍SG模型学习更好质量的表示。在本文中，我们提出了一个增强版本的SG，利用上下文信息来产生单词表示。提出的模型，上下文跳跃gram，旨在预测上下文的中心词和上下文信息的话。这个简单的想法有助于减少无关词对训练过程的影响，从而增强最终的表现
2021-02-17 cs.CL cs.LG
Musical Rhythm Transcription Based on Bayesian Piece-Specific Score Models Capturing Repetitions
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）；The Hakubi Center for Advanced Research, Kyoto University（京都大学白眉高级研究中心）；AIP Center for Advanced Intelligence Project, RIKEN（理化学研究所高级智能项目AIP中心）
大多数工作在乐谱模型（又名）。音乐语言模型）集中于描述乐谱中音符的局部顺序依赖性，而未能捕获它们的全局重复结构，而全局重复结构可以是用于转录音乐的有用指南。专注于节奏，我们制定了几个类的贝叶斯马尔可夫模型的乐谱，间接使用稀疏的转移概率的注意到或注意到的模式来描述重复。这使我们能够构建一个不固定的重复结构，看不见的分数，并推导出易于处理的推理算法的具体作品的模型。此外，为了描述近似的重复，我们明确地将修改重复的音符/音符模式的过程。我们将这些模型作为节奏转录的先验乐谱模型，其中特定于作品的乐谱模型是通过贝叶斯学习从执行的数据中推断出来的，与传统的乐谱模型的监督构建相反。使用流行音乐的声乐旋律的评估表明，贝叶斯模型提高了大多数测试模型类型的转录准确性，表明所提出的方法的普遍功效。此外，我们发现了一个有效的数据表示建模的节奏，最大限度地提高转录的准确性和计算效率。
2021-02-16 cs.AI cs.LG cs.SD
Quantum Inspired Word Representation and Computation
Beijing Normal University（北京师范大学）
词义具有不同的方面，而现有的词表示将这些方面“压缩”到单个向量中，并且需要进一步分析以恢复不同维度的信息。受量子概率的启发，我们将单词表示为密度矩阵，它本质上能够表示混合状态。实验表明，密度矩阵表示可以有效地捕捉不同方面的单词的含义，同时保持与向量表示相当的可靠性。此外，我们提出了一种新的方法，结合相干求和和非相干求和的矢量和密度矩阵的计算。在词汇类比任务上取得了持续的提高。
2020-04-08 cs.CL cs.LG
Morphological Skip-Gram: Using morphological knowledge to improve word representation
Federal University of Pernambuco（伯南布哥联邦大学）；Federal University of Sergipe（塞尔希培联邦大学）
自然语言处理模型在深度学习社区中引起了很大的兴趣。这一分支的研究是由一些应用，如机器翻译，情感分析，命名实体识别，问答，和其他。词嵌入是连续的词表示，它们是这些应用程序的基本模块，通常用作深度学习模型的输入词表示。Word 2 Vec和GloVe是学习词嵌入的两种流行方法。它们实现了很好的单词表示，但是，它们学习的表示信息有限，因为它们忽略了单词的形态信息，并且每个单词只考虑一个表示向量。这种方法意味着Word 2 Vec和GloVe不知道单词的内部结构。为了缓解这个问题，FastText模型将每个单词表示为一袋字符n-gram。因此，每个n-gram都有一个连续的向量表示，最终的单词表示是其字符n-gram向量的总和。然而，使用一个词的所有n-gram字符是一种糟糕的方法，因为一些n-gram与它们的词没有语义关系，并且增加了潜在无用信息的量。这种方法也增加了训练阶段的时间。在这项工作中，我们提出了一种新的方法来训练词嵌入，其目标是取代FastText袋字符n-gram袋词词素通过形态分析的话。因此，具有相似上下文和词素的词由彼此接近的向量表示。为了评估我们的新方法，我们考虑了15个不同的任务进行了内在评估，结果显示与FastText相比具有竞争力的性能。
2020-07-21 cs.CL cs.LG
Enriching Word Vectors with Subword Information
Facebook AI Research（Facebook人工智能研究院）
在大型未标记语料库上训练的连续单词表示对于许多自然语言处理任务都很有用。学习这种表示的流行模型通过为每个单词分配不同的向量来忽略单词的形态。这是一个限制，特别是对于词汇量大和有许多罕见单词的语言。在本文中，我们提出了一种新的方法的基础上skipgram模型，其中每个字表示为一袋字符$n$ -gram。矢量表示与每个字符$n$ -语法相关联;单词被表示为这些表示的和。我们的方法是快速的，允许在大型语料库上快速训练模型，并允许我们计算没有出现在训练数据中的单词的单词表示。我们评估我们的词表征九种不同的语言，无论是在词的相似性和类比任务。通过比较最近提出的形态字表示，我们表明，我们的矢量实现这些任务的最先进的性能。
2017-06-19 cs.CL cs.LG
Deep Music Analogy Via Latent Representation Disentanglement
NYU Shanghai（纽约大学上海分校）；Carnegie Mellon University（卡内基梅隆大学）
类比生成是计算机算法生成自然和创造性音乐作品的关键方法。通常，通过部分地转移音乐抽象来进行类比，即，从一个作品到另一个作品的高级表示及其关系;然而，该过程需要解开音乐表示，这对于音乐家来说通常花费很少的努力，但对于计算机来说却不是微不足道的。出现了三个子问题：从所述观察中提取潜在的表示，解开所述表示，使得每个部分具有唯一的语义解释，并且将所述潜在的表示映射回实际的音乐。在本文中，我们贡献了一个显式约束变分自编码器（EC $^2$ -VAE）作为一个统一的解决方案，所有三个子问题。我们专注于解开的音高和节奏表示的8拍音乐剪辑条件和弦。在制作音乐类比时，这个模型帮助我们实现“如果”一个作品是通过借用其他作品的表示来使用不同的音高轮廓、节奏模式或和弦进行来创作的想象情况。最后，我们使用客观的测量结果来验证所提出的解缠方法，并通过主观的研究来评估类比实例。
2019-10-20 cs.IR cs.LG cs.SD
The Impact of Temporal Context Length and Encoding Strategies on Self-Supervised ECG Representation Learning
University of Minnesota Twin Cities（明尼苏达大学双子城分校）
该研究在Icentia11k数据集上对比不同时间上下文长度与编码策略，发现扩展上下文、采用连续补丁嵌入的自监督ECG模型在心律检测与跨会话检索任务中性能更优，为临床ECG模型构建提供了指导。
2026-08-26 cs.LG eess.SP
CIRCE at SemEval-2020 Task 1: Ensembling Context-Free and Context-Dependent Word Representations
Osnabrück University（奥斯纳布吕克大学）；Cogent Labs Inc.（科进实验室公司）
本文描述了SemEval-2020任务1的获奖贡献：UG学生实习生团队提交的无监督词汇语义变化检测（子任务2）。我们提出了一个合奏模型，使预测的基础上上下文无关和上下文相关的词表示。主要发现是：（1）上下文无关的单词表示是一个强大而强大的基线，（2）句子分类目标可以用来获得有用的上下文相关的单词表示，（3）将这些表示结合起来可以提高某些数据集的性能，同时降低其他数据集的性能。
2020-10-06 cs.CL cs.LG
Don't Just Scratch the Surface: Enhancing Word Representations for Korean with Hanja
Seoul National University（首尔国立大学）
我们提出了一个简单而有效的方法来提高韩语单词表示使用额外的语言注释（即汉字）。我们利用汉字与汉语密切相关的事实，采用跨语言迁移学习来训练词汇表征。我们通过我们的方法使用词类比和相似性测试来评估表征的内在质量。此外，我们证明了他们的有效性，在几个下游任务，包括一个新的韩国新闻标题生成任务。
2019-10-31 cs.CL cs.LG
Interpretable Syntactic Representations Enable Hierarchical Word Vectors
针对稠密词向量不可解释的问题，提出将其转换为紧凑可解释的句法表示，并基于此利用增量学习构建层次化词向量，该方法计算高效且在基准测试中优于原始向量。
2024-11-13 cs.CL cs.LG
Learning Multilingual Word Representations using a Bag-of-Words Autoencoder
Université de Sherbrooke（舍布鲁克大学）
最近学习多语言单词表示的工作通常依赖于在翻译的句子之间使用单词级别的嵌入（例如，在GIZA++的帮助下推断），以便对齐不同语言中的词嵌入。在这篇研讨会论文中，我们研究了一个用于学习多语言单词表示的自动编码器模型，该模型不需要这样的单词级表示。自动编码器被训练为从从其翻译中提取的编码表示中重建给定句子的词袋表示。我们评估我们的方法上的多语言文档分类任务，标记的数据只适用于一种语言（如英语），而分类必须在不同的语言（如法语）。在我们的实验中，我们观察到，我们的方法与以前提出的利用单词级对齐来学习单词表示的方法相比是有利的。
2014-01-08 cs.CL cs.LG stat.ML
Word Representations via Gaussian Embedding
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
目前的工作在词汇分布式表示映射每个单词到一个点向量在低维空间。而映射到密度提供了许多有趣的优点，包括更好地捕捉关于表示及其关系的不确定性，比点积或余弦相似性更自然地表达不对称性，以及实现决策边界的更具表达力的参数化。本文提倡基于密度的分布式嵌入，并提出了一种在高斯分布空间中学习表示的方法。我们比较性能的各种词嵌入基准，调查这些嵌入模型的蕴涵和其他非对称关系的能力，并探索新的属性的表示。
2015-05-01 cs.CL cs.LG
Towards a Theoretical Understanding of Word and Relation Representation
University of Edinburgh（爱丁堡大学）
通过向量或嵌入表示单词，可以实现计算推理，并且是自动化自然语言任务的基础。例如，如果相似词的词嵌入包含相似值，则可以容易地评估词相似性，而从它们的拼写来判断通常是不可能的（例如cat /feline），并且预先确定和存储所有词之间的相似性是极其耗时、记忆密集和主观的。我们专注于从文本语料库和知识图谱中学习的词嵌入。几种众所周知的算法通过学习预测出现在每个单词周围的那些单词来在无监督的基础上从文本中学习词嵌入，例如word 2 vec和GloVe。已知这种词嵌入的参数反映词共现统计，但它们如何捕获语义含义一直不清楚。知识图谱表示模型学习实体（单词、人、地点等）的表示。以及它们之间的关系，通常通过训练模型以监督的方式预测已知事实。尽管事实上预测准确性稳步提高，但人们对实现这一点的潜在结构知之甚少。对潜在语义结构如何在词嵌入和知识图谱表示的几何结构中编码的有限理解使得改善其性能、可靠性或可解释性的原则性手段不清楚。为了解决这个问题：1.我们从理论上证明了经验观察，即通过诸如word 2 vec和GloVe的算法学习的词嵌入之间的特定几何关系对应于词之间的语义关系;以及2.我们将语义和几何之间的这种对应关系扩展到知识图谱的实体和关系，提供了与词嵌入相关联的知识图谱表示的潜在结构的模型。
2022-02-01 cs.AI cs.CL cs.IR
Bayesian Hierarchical Words Representation Learning
Microsoft（微软公司）；Tel Aviv University（特拉维夫大学）；Bar-Ilan University（巴伊兰大学）
本文提出了贝叶斯层次词表示（BHWR）学习算法。BHWR促进了变分贝叶斯词表示学习与通过分层先验的语义分类建模相结合。通过在相关词之间传播相关信息，BHWR利用分类法来提高这种表示的质量。几个语言数据集的评估表明，BHWR的优势，适当的替代品，促进贝叶斯建模或没有语义先验。最后，我们进一步表明，BHWR产生更好的表示罕见的话。
2020-04-12 cs.CL cs.LG stat.ML
From Token to Rhythm: A Multi-Scale Approach for ECG-Language Pretraining
School of Computing and Data Science, The University of Hong Kong, Hong Kong SAR, China（计算与数据科学学院，香港大学，香港特别行政区，中国）
本文提出多尺度ECG-语言预训练模型MELP，通过token、心跳和节律三个层级的跨模态监督对齐ECG信号与文本，有效学习泛化表征，在零样本分类等任务上优于现有自监督方法。
2025-06-11 cs.AI cs.LG eess.SP
Learning Word Representations with Hierarchical Sparse Coding
Language Technologies Institute（语言技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种新的方法来学习单词表示使用层次正则化稀疏编码的启发，语言学研究的单词含义。我们展示了一种基于随机邻近方法的高效学习算法，该算法比以前的方法快得多，使得在数十亿单词标记的语料库上执行分层稀疏编码成为可能。各种基准任务的实验-词相似度排名，类比，句子完成，和情感分析-表明该方法优于或具有竞争力的最先进的方法。我们的单词表示可在\url{http://www.ark.cs.cmu.edu/dyogatam/wordvecs/}上找到。
2014-11-06 cs.CL cs.LG stat.ML
Estimator Vectors: OOV Word Embeddings based on Subword and Context Clue Estimates
George Mason University（乔治梅森大学）
使用神经网络模型如word2vec，已经成功地从未标记的语料库中提取了词的语义表示。这些表示通常是高质量的，并且训练在计算上是便宜的，这使得它们很受欢迎。然而，这些方法通常无法近似出词汇（OOV）的话，人类可以很容易地完成任务，使用词根和上下文线索。本文提出了一种联合学习高质量词表示、子词表示和上下文线索表示的神经网络模型。一起学习所有三种类型的表示增强了对每种表示的学习，从而通过相应的上下文线索和子词嵌入的组合来丰富词向量，以及对OOV词的强估计。我们的模型，称为估计向量（EV），学习强大的词嵌入，并与最先进的方法进行OOV估计的竞争。
2019-10-18 cs.CL cs.LG stat.ML
Topic representation: finding more representative words in topic models
Jilin University（吉林大学）
顶部单词列表，即，在给定主题中具有最高边缘概率的前M个词是主题模型中的标准主题表示。目前的自动主题标注算法和流行的主题质量度量都是基于这一方法的，然而，我们发现，这类热门词汇表中的词汇并不总是具有代表性。本文的目的是找到更有代表性的热门词汇表的主题。为了实现这一点，我们通过进一步考虑每个其他主题的边缘概率来重新排列给定主题中的单词。top-M词的重排序列表被用来作为主题模型的一种新的主题表示。我们研究了三种重新排序方法，使用（1）标准差权重，（2）标准差权重与主题大小和（3）卡方\c{hi} 2统计选择。在真实世界集合上的实验结果表明，我们的表示方法可以提取出更多的主题代表词，符合人类的判断。
2018-10-23 cs.IR cs.LG stat.ML
Distributed Representations of Words and Phrases and their Compositionality
Google Inc.（谷歌公司）
最近引入的连续Skip-gram模型是一种有效的方法，用于学习高质量的分布式向量表示，捕获大量精确的语法和语义词的关系。在本文中，我们提出了几个扩展，提高了向量的质量和训练速度。通过对频繁单词进行子采样，我们获得了显着的加速，并且还学习了更多的规则单词表示。我们还描述了一个简单的替代分层softmax称为负采样。词表示的一个固有局限性是它们对词序的漠不关心，以及它们不能表示惯用短语。例如，“Canada”和“Air”的含义不能轻易组合成“Air Canada”。受这个例子的启发，我们提出了一种在文本中查找短语的简单方法，并表明学习数百万短语的良好矢量表示是可能的。
2013-10-16 cs.CL cs.LG stat.ML
Inducing Language Networks from Continuous Space Word Representations
Stony Brook University（石溪大学）
无监督特征学习的最新进展开发了强大的单词潜在表示。然而，我们仍然不清楚是什么让一种表示比另一种更好，以及我们如何学习理想的表示。理解潜在空间的结构是无监督学习未来发展的关键。在这项工作中，我们介绍了一个新的观点，连续空间词表示的语言网络。我们探索了两种技术来创建语言网络的学习功能，通过诱导他们两个流行的单词表示方法，并检查其产生的网络的属性。我们发现，诱导网络不同于其他创建语言网络的方法，它们包含有意义的社区结构。
2014-06-27 cs.CL cs.LG cs.SI
Enhancing Interpretable Clauses Semantically using Pretrained Word Representation
Centre for Artificial Intelligence Research（人工智能研究中心）；University of Agder（阿格德尔大学）
Tsetlin Machine（TM）是一种基于命题逻辑的可解释模式识别算法，它在自然语言处理（NLP）任务中表现出了很好的性能，包括情感分析、文本分类和词义消歧。为了获得人类级别的可解释性，传统TM采用布尔输入特征，例如词袋（BOW）。然而，BOW表示很难使用任何预先训练的信息，例如word2vec和GloVe单词表示。与NLP中的深度神经网络（DNN）相比，这种限制了TM的性能。为了减少性能差距，在本文中，我们提出了一种新的方法，使用预先训练的单词表示TM。该方法显着提高TM的性能和可解释性。我们通过从预先训练的单词表示中提取语义相关的单词作为TM的输入特征来实现这一点。实验结果表明，该方法的准确率明显高于基于BOW的TM，达到了基于DNN的模型的水平。
2021-09-10 cs.AI cs.CL cs.LG
Learning Taxonomies of Concepts and not Words using Contextualized Word Representations: A Position Paper
Institute for Web Science and Technologies (WeST), University of Koblenz-Landau（科布伦茨-兰道大学网络科学与技术研究所（WeST））；Web and Internet Science Group (WAIS), University of Southampton（南安普顿大学网络与互联网科学组（WAIS））
分类法是概念的语义层次。当前分类学学习系统的一个局限性是它们将概念定义为单个词。这份立场文件认为，语境化的词表示，最近取得了国家的最先进的成果，许多竞争性的NLP任务，是一个很有前途的方法来解决这一限制。我们概述了一种新的分类学学习方法，（1）将概念定义为同义词集，（2）学习基于密度的上下文单词表示近似，（3）可以测量它们之间的相似性和上位性。
2019-01-31 cs.AI cs.CL cs.LG
Speech Representation Disentanglement with Adversarial Mutual Information Learning for One-shot Voice Conversion
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；The Chinese University of Hong Kong（香港中文大学）
仅参考单个目标说话人语音的一次性语音转换（VC）已成为研究热点。现有的作品通常会将音色分解，而关于音高、节奏和内容的信息仍然混合在一起。为了有效地执行一次性VC，进一步解开这些语音分量，我们采用随机重定向的音高和内容编码器，并使用变分对比对数比互信息和基于梯度反转层的对抗性互信息学习的上限，以确保在训练过程中潜在空间的不同部分只包含所需的解开表示。在VCTK数据集上的实验表明，该模型在自然度和可重构性方面达到了一次性VC的最佳性能。此外，我们可以通过语音表示解纠缠来分别传递单次VC在音色、音高和节奏上的特征。我们的代码、预训练模型和演示可在https://im1eon.github.io/IS2022-SRDVC/上获得。
2022-08-18 cs.LG cs.SD eess.AS
Ruminating Word Representations with Random Noised Masker
Seoul National University（首尔国立大学）
我们引入了一种训练方法，以获得更好的单词表示和性能，我们称之为GROVER（带maskER的向量上的渐进反刍）。该方法是在训练模型的同时逐渐迭代地向词嵌入添加随机噪声。GROVER首先从传统的训练过程开始，然后提取微调表示。接下来，我们逐渐将随机噪声添加到单词表示中，并从头开始重复训练过程，但使用噪声单词表示进行初始化。通过重新训练过程，我们可以减轻一些要补偿的噪声，并利用其他噪声来学习更好的表示。因此，我们可以在任务中进一步微调和专业化单词表征。当我们在5个文本分类数据集上实验我们的方法时，我们的方法提高了大多数数据集上的模型性能。此外，我们表明，我们的方法可以与其他正则化技术相结合，进一步提高模型的性能。
2019-11-08 cs.LG stat.ML
