Bilevel Joint Unsupervised and Supervised Training for Automatic Speech Recognition
IBM Research（IBM研究院）；IBM T. J. Watson Research Center（IBM T. J. 沃森研究中心）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
该研究提出用于自动语音识别的BL-JUST双层联合训练框架，通过基于惩罚的双层梯度下降同时优化无监督与监督损失，使声学表示兼顾通用性与任务特异性，性能优于传统预训练微调及主流半监督方法。
2024-12-11 cs.CL
A Dual Reinforcement Learning Framework for Unsupervised Text Style Transfer
Peking University（北京大学）；Tencent Inc（腾讯公司）；Beijing Institute of Big Data Research（北京大数据研究院）；Peng Cheng Laboratory（鹏城实验室）
无监督文本风格迁移的目标是在不使用并行数据的情况下，迁移文本的底层风格，但保持其主要内容不变。大多数现有的方法通常遵循两个步骤：首先将内容与原始样式分离，然后将内容与所需样式融合。然而，第一步中的分离是具有挑战性的，因为内容和风格在自然语言中以微妙的方式相互作用。因此，在本文中，我们提出了一个双重强化学习框架，通过一步映射模型直接转移文本的风格，而没有任何内容和风格的分离。具体来说，我们认为学习的源到目标和目标到源的映射作为一个双重的任务，和两个奖励的设计基于这样的双重结构，以反映风格的准确性和内容保存，分别。以这种方式，可以通过强化学习来训练两个一步映射模型，而不使用任何并行数据。自动评估表明，我们的模型在很大程度上优于最先进的系统，特别是在两个基准数据集上平均有超过8个BLEU点的改进。人工评估也验证了我们的模型在风格准确性，内容保留和流畅性方面的有效性。我们的代码和数据，包括所有基线的输出和我们的模型都可以在https://github.com/luofuli/DualLanST上找到。
2019-05-24 cs.CL
Efficient and Interpretable Compressive Text Summarisation with Unsupervised Dual-Agent Reinforcement Learning
The University of Sydney（悉尼大学）；International Digital Economy Academy（国际数字经济研究院）
提出首个无监督压缩式文本摘要方法，通过extractor与compressor双智能体强化学习优化语义覆盖和流畅性，无需参考摘要，并在Newsroom、CNN/DM和XSum上验证有效。
2023-06-06 cs.CL
StructFormer: Joint Unsupervised Induction of Dependency and Constituency Structure from Masked Language Modeling
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；Google Research（谷歌研究院）
自然语言语法有两大类--依赖性语法（dependency grammar）和选区语法（constituency grammar），依赖性语法对单词之间的一对一对应关系进行建模，选区语法对一个或多个对应单词的组合进行建模。虽然以前的无监督解析方法主要集中在只诱导一类语法，我们引入了一种新的模型，StructFormer，可以同时诱导依赖和选区结构。为了实现这一点，我们提出了一个新的解析框架，可以联合生成一个选区树和依赖图。然后通过一种新的依赖约束的自注意力机制，以可微的方式将诱导的依赖关系集成到Transformer中。实验结果表明，该模型可以同时实现无监督选区句法分析、无监督依存句法分析和掩蔽语言建模。
2021-07-11 cs.AI cs.CL cs.LG
Unsupervised Dual Paraphrasing for Two-stage Semantic Parsing
MoE Key Lab of Artificial Intelligence（教育部人工智能重点实验室）；Department of Computer Science and Engineering（计算机科学与工程系）；AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院）
语义解析的一个令人生畏的问题是注释的缺乏。为了减少非平凡的人力劳动，我们提出了一个两阶段的语义解析框架，其中第一阶段利用一个无监督的释义模型，将一个未标记的自然语言话语转换为规范的话语。下游朴素语义解析器接受中间输出并返回目标逻辑形式。此外，整个训练过程分为两个阶段：预训练和循环学习。在整个训练过程中引入了三个定制的自监督任务来激活无监督释义模型。在基准测试Overnight和GeoGranno上的实验结果表明，我们的框架是有效的，并且与监督训练兼容。
2020-12-22 cs.CL cs.LG
Joint Unsupervised and Supervised Training for Automatic Speech Recognition via Bilevel Optimization
Rensselaer Polytechnic Institute（伦斯勒理工学院）；IBM Research AI, T. J. Watson Research Center（IBM研究院人工智能部门，T. J. Watson研究中心）
提出基于双层优化的 BL-JUST，将无监督损失与监督损失分别置于下层和上层进行联合训练，并在 LibriSpeech 与 TED-LIUM v2 上验证其优于预训练—微调策略。
2024-01-13 cs.CL cs.LG stat.ML
ESimCSE Unsupervised Contrastive Learning Jointly with UDA Semi-Supervised Learning for Large Label System Text Classification Mode
China Telecom Corporation Limited Chongqing Branch（中国电信集团有限公司重庆分公司）
针对大标签体系文本分类中标签多、分布不均和噪声高的问题，提出联合训练ESimCSE与UDA并引入FGM、PGD对抗训练，显著提升公开及业务数据集准确率。
2023-04-19 cs.CL cs.LG
Progressive Joint Modeling in Unsupervised Single-channel Overlapped Speech Recognition
Shanghai Jiao Tong University（上海交通大学）；Microsoft Research（微软研究院）；Microsoft AI and Research（微软人工智能与研究事业部）
无监督单通道重叠语音识别是自动语音识别（ASR）的难点之一。排列不变训练（Permutation Invariant Training，PIT）是一种基于模型的方法，它应用单个神经网络来解决这种单输入、多输出的建模问题。我们建议通过在神经网络上施加模块化结构，应用渐进的预训练方案，并使用迁移学习和判别训练标准改进目标函数来推进当前的技术水平。模块化结构将问题分为三个子任务：逐帧解释、话语级说话人跟踪和语音识别。预训练方案使用这些模块来解决越来越难的任务。迁移学习利用并行干净语音来改进网络的训练目标。我们的判别训练公式是标准公式的修改，也惩罚了系统的竞争输出。在人工重叠的Switchboard和hub 5e-swb数据集上进行了实验。与强大的联合训练系统（用于ASR的PIT）和单独优化的系统（用于使用干净语音ASR模型进行语音分离的PIT）相比，所提出的框架实现了WER 30%以上的相对改进。改进来自更好的模型泛化能力、训练效率和序列级语言知识集成。
2017-10-20 cs.AI cs.CL
Unsupervised Multimodal Representation Learning across Medical Images and Reports
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
医学成像模式和相关放射学报告之间的联合嵌入有可能为临床社区提供显著的益处，范围从跨域检索到报告的条件生成，再到多模态表示学习的更广泛目标。在这项工作中，我们建立了基线联合嵌入结果测量通过本地和全球检索方法即将发布的MIMIC-CXR数据集，包括胸部X射线图像和相关的放射学报告。我们研究了监督和无监督的方法在这个任务上，并表明，对于学习表示的文档检索任务，只需要有限的监督量产生的结果相比，完全监督的方法。
2018-11-21 cs.CL cs.LG
Joint Unsupervised and Supervised Training for Multilingual ASR
Google（谷歌）
自监督训练在预训练模型和促进语音识别的下游微调（如多语言ASR）方面显示出了有希望的收益。大多数现有的方法采用2阶段方案，其中在第一预训练阶段优化自监督损失，在第二阶段恢复标准监督微调。在本文中，我们提出了一种端到端（E2 E）联合无监督和监督训练（JUST）方法，将监督RNN-T损失和自监督对比和掩蔽语言建模（MLM）损失结合起来。我们在公共数据集多语言LibriSpeech（MLS）上验证了它的性能，该数据集包括8种语言，并且非常不平衡。在MLS上，我们探索（1）从头开始训练，（2）从预训练的检查点进行微调。实验表明，JUST可以始终优于其他现有的最先进的方法，并击败单语基线的显着保证金，展示了JUST的处理多语言ASR中的低资源语言的能力。我们所有语言的平均WER优于平均单语基线33.3%，最先进的2阶段XLSR 32%。在像波兰语这样的低资源语言上，我们的WER不到单语基线的一半，甚至超过了使用外部监督的监督迁移学习方法。
2021-11-15 cs.CL cs.LG cs.SD
From Semi-supervised to Almost-unsupervised Speech Recognition with Very-low Resource by Jointly Learning Phonetic Structures from Audio and Text Embeddings
National Taiwan University（台湾大学）
对于世界上95%以上的低资源语言来说，为训练ASR系统生成大量带注释的语音数据仍然很困难。然而，我们注意到人类婴儿开始通过少量范例词的声音（或语音结构）学习语言，并在没有听到大量数据的情况下将这些知识“概括”到其他单词。我们在这方面开展了一些初步工作。Audio Word2Vec用于从口语单词（信号段）中学习语音结构，而另一个自动编码器用于从文本单词中学习语音结构。两者之间的关系可以共同学习，也可以在训练好后单独学习。这种关系可以用在资源非常少的语音识别中。在TIMIT数据集上的初始实验中，仅2.1小时的语音数据（其中2500个口语单词被注释，其余未标记）给出了44.6%的单词出错率，并且如果给出4.1小时的语音数据（其中20000个口语单词被注释），则该数字可以降低到34.2%。这些结果并不令人满意，但却是一个很好的起点。
2019-04-10 cs.CL cs.SD eess.AS
Joint Masked CPC and CTC Training for ASR
Facebook AI Research（脸书人工智能研究院）
自监督学习（SSL）在学习对自动语音识别（ASR）有用的音频表示方面已经显示出前景。但是，像wav 2 vec ~2.0这样的SSL模型需要两个阶段的管道。在本文中，我们展示了一个可以利用未标记和标记数据的ASR模型的单阶段训练。在训练过程中，我们交替地最小化两个损失：无监督的掩蔽对比预测编码（CPC）损失和有监督的音频到文本对齐损失连接主义时间分类（CTC）。我们表明，这种联合训练方法使用无监督数据直接优化了下游ASR任务的性能，同时在Librispeech 100小时数据集上实现了与wav 2 vec ~2.0相似的单词出错率。最后，我们假设解决对比任务是对监督CTC损失的正则化。
2021-02-13 cs.CL cs.LG cs.SD
Two Way Adversarial Unsupervised Word Translation
单词翻译是机器翻译中的一个问题，机器翻译试图构建恢复语言之间的单词级别对应的模型。最近对这个问题的研究表明，单词翻译模型可以通过非常小的种子词典来学习，甚至没有任何启动监督。在本文中，我们提出了一种方法来共同寻找一对语言之间的翻译。我们的方法不仅在两个方向上学习翻译，而且与过去的方法相比，它提高了这些翻译的准确性。
2019-12-12 cs.CL cs.LG stat.ML
