Latent Retrieval for Weakly Supervised Open Domain Question Answering
Google Research（谷歌研究院）
最近的工作开放域问答（QA）假设强有力的监督的支持证据和/或假设一个黑盒信息检索（IR）系统来检索候选证据。我们认为，这两个都是次优的，因为黄金证据并不总是可用的，QA是从根本上不同于IR。我们第一次表明，它是可以共同学习的检索器和读者从问答字符串对，没有任何IR系统。在这种情况下，从维基百科的所有证据检索被视为一个潜在的变量。由于从头开始学习是不切实际的，我们用反向完形填空任务对检索器进行了预训练。我们评估五个QA数据集的开放版本。在提问者已经知道答案的数据集上，传统的IR系统（如BM 25）就足够了。在用户真正寻求答案的数据集上，我们证明了学习检索是至关重要的，在精确匹配方面超过BM 25高达19个点。
2019-06-27 cs.CL
Weakly-Supervised Visual-Retriever-Reader for Knowledge-based Question Answering
Arizona State University（亚利桑那州立大学）
基于知识的视觉问答（VQA）要求在回答问题时，除了图像的内容外，还需要使用外部知识。一个主要用于评估基于知识的VQA的数据集是OK-VQA，但它缺乏用于检索的金标准知识语料库。现有工作利用不同的知识库（例如，ConceptNet和Wikipedia）获取外部知识。由于不同的知识基础，很难公平地比较模型的性能。为了解决这个问题，我们收集了一个自然语言知识库，可用于任何VQA系统。此外，我们提出了一个可视化检索器阅读器管道，以接近基于知识的VQA。视觉检索器旨在检索相关知识，视觉阅读器试图根据给定的知识预测答案。我们介绍了使用文本和图像检索知识的各种方法以及两种阅读器风格：分类和提取。检索者和阅读者都在监督不力的情况下接受了培训。我们的实验结果表明，一个好的检索器可以显着提高读者的性能上的OK-VQA的挑战。代码和语料库在https：//github.com/luomancs/retriever\_reader\_for\_okvqa.git中提供
2021-09-09 cs.CL
Weakly Supervised Gaussian Contrastive Grounding with Large Multimodal Models for Video Question Answering
Fudan University（复旦大学）
针对视频问答中均匀采样忽略问题相关线索且缺乏关键时间戳标注的问题，提出弱监督高斯对比定位框架，利用CLIP生成伪标签并学习高斯函数采样关键帧作为LMMs输入，显著提升问答性能。
2024-07-23 cs.AI cs.CL cs.CV
Effective Search of Logical Forms for Weakly Supervised Knowledge-Based Question Answering
University of Technology Sydney（悉尼科技大学）；Microsoft（微软）
基于知识的问答（KBQA）的许多算法依赖于语义解析，语义解析将问题转换为其逻辑形式。当只提供弱监督时，通常需要搜索有效的逻辑形式进行模型训练。然而，复杂问题通常涉及巨大的搜索空间，这产生了两个主要问题：1）受计算时间和存储器限制的解决方案通常降低搜索的成功率，以及2）搜索结果中的伪逻辑形式降低了训练数据的质量。这两个问题导致训练不佳的语义解析模型。在这项工作中，我们提出了一个有效的搜索方法弱监督KBQA的基础上算子预测的问题。利用预测算子约束搜索空间，可以探索足够的搜索路径，可以导出更有效的逻辑形式，并且可以避免可能导致伪逻辑形式的算子。因此，在弱监督训练集中，更大比例的问题配备了逻辑形式，并且生成更少的虚假逻辑形式。这种高质量的训练数据直接有助于更好的语义解析模型。在最大的KBQA数据集之一（即，CSQA）验证了我们的方法的有效性：提高精度从67%到72%，召回率从67%到72%的总成绩。
2019-09-06 cs.CL
Distantly-Supervised Evidence Retrieval Enables Question Answering without Evidence Annotation
University of Maryland（马里兰大学）；Microsoft Research（微软研究院）
开放域问答基于从大型语料库检索的证据回答问题。最先进的神经方法需要中间证据注释进行训练。然而，这样的中间注释是昂贵的，并且依赖于它们的方法不能转移到更常见的设置中，在更常见的设置中，只有问题-答案对可用。本文研究了模型是否可以学习从大型语料库中找到证据，只需要对模型训练的答案标签进行远程监督，从而不会产生额外的注释成本。我们引入了一种新的方法（DistDR），通过交替从最新模型中找到证据并鼓励模型学习最可能的证据，迭代地改进弱检索器。在不使用任何证据标签的情况下，DistDR在多跳和单跳QA基准测试中与完全监督的最先进方法不相上下。我们的分析证实，DistDR在迭代过程中发现了更准确的证据，这导致了模型的改进。
2021-10-10 cs.CL
Supervised Transfer Learning for Product Information Question Answering
Purdue University（普渡大学）；Adobe Research（奥多比研究院）；University of Georgia（佐治亚大学）
流行的电子商务网站，如亚马逊提供社区问答系统，供用户提出与产品相关的问题，有经验的客户可以自愿提供答案。在本文中，我们表明，大量的现有社区问答数据可以是有益的，当建立一个系统，回答有关产品的事实和规格的问题。我们的实验结果表明，一个回答问题的模型的性能在家得宝网站上列出的产品可以通过一个简单的迁移学习技术从现有的大规模亚马逊社区问答数据集大幅提高。迁移学习可以在实验设置中提高大约10%的准确率，在实验设置中，我们限制了用于训练的目标任务的数据大小。作为这项工作的一个应用，我们将这项工作中训练的性能最好的模型集成到一个基于移动的购物助手中，并展示了它的实用性。
2019-01-08 cs.CL cs.LG
Self-supervised vision-language pretraining for Medical visual question answering
Harbin Engineering University（哈尔滨工程大学）；Monash University（莫纳什大学）
医学图像视觉问答（VQA）是在给定的射线图像下回答临床问题的任务，这是一个具有挑战性的问题，需要一个模型来集成视觉和语言信息。为了解决训练数据数量有限的医学VQA问题，预训练-微调范式被广泛用于提高模型的泛化能力。在本文中，我们提出了一种自监督的方法，应用掩码图像建模，屏蔽语言建模，图像文本匹配和图文对齐通过对比学习（M2 I2）的预训练的医学图像字幕数据集，并微调到下游的医学VQA任务。所提出的方法在所有三个公共医疗VQA数据集上实现了最先进的性能。我们的代码和型号可在https://github.com/pengfeiliHEU/M2I2上获得。
2022-11-24 cs.AI cs.CV
Probabilistic Assumptions Matter: Improved Models for Distantly-Supervised Document-Level Question Answering
Microsoft Research（微软研究院）；Google Research（谷歌研究院）
我们使用文档级的远程监督，将问题和相关文档与答案字符串配对，解决了抽取式问答问题。我们比较了以前使用的概率空间和遥远的超视假设（假设弱答案字符串标签和可能的答案提及跨度之间的对应关系）。我们表明这些假设相互作用，并且不同的配置提供了互补的好处。我们证明了多目标模型可以有效地结合多个假设的优势，并优于最佳的个人制定。我们的方法在TriviaQA-Wiki上的F1和NarrativeQA摘要上的Rouge-L中分别比以前的最先进模型高出4.3分和1.7分。
2020-05-05 cs.CL cs.LG
Textbook Question Answering with Multi-modal Context Graph Understanding and Self-supervised Open-set Comprehension
Seoul National University（首尔国立大学）；V.DO Inc.（V.DO公司）；Search&Clova, Naver Corp.（Naver公司Search&Clova部门）
在这项工作中，我们介绍了一种新的算法解决教科书问答（TQA）的任务，描述了更现实的QA问题相比，最近的其他任务。我们主要集中在两个相关的问题与TQA数据集的分析。首先，解决TQA问题需要理解复杂输入数据中的多模态上下文。为了解决从长文本课程中提取知识特征并将其与视觉特征融合的问题，我们从文本和图像中建立了上下文图，并提出了一种基于图卷积网络（GCN）的新模块f-GCN。其次，科学术语没有分布在章节中，主题在TQA数据集中被分开。为了克服这个所谓的“域外”问题，在学习QA问题之前，我们引入了一个新的无任何注释的自监督开集学习过程。实验结果表明，我们的模型显着优于现有的最先进的方法。此外，消融研究验证了这两种方法，将f-GCN提取知识的多模态上下文和我们新提出的自监督学习过程是有效的TQA问题。
2019-06-02 cs.CL
elBERto: Self-supervised Commonsense Learning for Question Answering
Sun Yat-sen University（中山大学）；University of California（加利福尼亚大学）；Duke University（杜克大学）；Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区）
常识性的问答需要对日常情况和上下文中隐含的因果关系进行推理。通常，现有的方法首先检索外部证据，然后使用这些证据执行常识推理。在本文中，我们提出了一个自我监督双向编码器表示学习的常识（elBERto）框架，这是兼容的现成的QA模型架构。该框架包括五个自监督任务，以迫使模型充分利用来自包含丰富常识的上下文的额外训练信号。这些任务包括一个新的对比关系学习任务，以鼓励模型区分逻辑对比的上下文，一个新的拼图任务，要求模型推断长上下文中的逻辑链，以及三个经典的SSL任务，以保持预训练模型的语言编码能力。在代表性的WIQA、CosmosQA和ReClor数据集上，elBERto优于所有其他方法，包括那些利用显式图推理和外部知识检索的方法。此外，elBERto在简单的词汇相似性比较没有帮助的段落外和无效果问题上取得了实质性的改进，这表明它成功地学习了常识，并能够在给定动态上下文时利用它。
2022-10-04 cs.CL
Supervised and Unsupervised Transfer Learning for Question Answering
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）；Department of Electrical Engineering, National Taiwan University（台湾大学电机工程学系）
虽然迁移学习已被证明是成功的任务，如对象和语音识别，其适用于问答（QA）还没有得到很好的研究。在本文中，我们进行了广泛的实验，研究知识的可转移性从源QA数据集到目标数据集使用两个QA模型。两种模型在托福听力理解测试中的表现（Tseng等人，2016）和MCTest（Richardson等人，2013）通过来自MovieQA的简单迁移学习技术（Tapaswi等人，2016年）。特别是，其中一个模型在所有目标数据集上都达到了最先进的水平;对于托福听力理解测试，它比以前的最佳模型高出7%。最后，我们表明，即使在无监督的情况下，当目标QA数据集示例的正确答案不可用时，迁移学习也是有用的。
2018-04-21 cs.CL
Open Question Answering with Weakly Supervised Embedding Models
Heudiasyc UMR 7253（HEUDIASYC混合研究单位7253）；Université de Technologie de Compiègne（贡比涅技术大学）；CNRS（法国国家科学研究中心）；Google（谷歌）
建造能够回答任何问题的计算机是人工智能的长期目标。通过学习将问题映射到逻辑形式或数据库查询的方法，最近取得了可喜的进展。这种方法可能是有效的，但代价是大量的人工标记数据或定义由从业者定制的词汇和语法。在本文中，我们采取了激进的方法，学习将问题映射到矢量特征表示。通过将答案映射到相同的空间中，可以独立于其模式查询任何知识库，而不需要任何语法或词典。我们的方法是用一种新的优化过程进行训练的，该过程结合了随机梯度下降，然后使用自动和协作生成的资源混合提供的弱监督进行微调。我们的经验表明，我们的模型可以从其嘈杂的监督中捕获有意义的信号，从而使我们的模型比现有的唯一能够在类似的弱标记数据上进行训练的方法--Spectroex有了重大改进。
2014-04-16 cs.CL cs.LG
Neural Retrieval for Question Answering with Cross-Attention Supervised Data Augmentation
Google Research（谷歌研究院）；Google Cloud AI（谷歌云人工智能）
独立地将问题和答案投影到共享嵌入空间中的神经模型允许从大型语料库中进行有效的连续空间检索。独立地计算问题和答案的嵌入导致与匹配问题到其答案相关的信息的后期融合。虽然对于有效检索至关重要，但后期融合的性能低于利用早期融合的模型（例如，基于BERT的分类器，在问题-答案对之间具有交叉关注）。我们提出了一种监督数据采掘方法，使用一个准确的早期融合模型，以提高一个有效的后期融合检索模型的训练。我们首先训练一个准确的分类模型，问题和答案之间的交叉注意。准确的交叉注意模型然后被用来注释附加的通道，以便生成用于神经检索模型的加权训练样本。由此产生的具有额外数据的检索模型显著优于直接使用黄金注释在$N$（P@N）和平均倒数秩（MRR）的精度上训练的检索模型。
2020-09-29 cs.CL
Medical visual question answering using joint self-supervised learning
IBM Research China（IBM中国研究院）；IBM Research, Almaden Research Center（IBM研究院阿尔马登研究中心）
视觉问答（VQA）是医学影像领域最活跃的研究课题之一。一个众所周知的VQA挑战是图像和文本模态之间的内在多样性，在医疗VQA任务中，还有另一个关键问题依赖于有限大小的标记图像-问题-答案数据。在这项研究中，我们提出了一个编码器-解码器框架，利用从大规模医学图像字幕数据中学习的图像-文本联合表示，并适应于小型医疗VQA任务。该编码器通过自注意力机制嵌入图像-文本双模态，并通过多个自监督学习任务在大规模医学图像-字幕数据集上独立地进行预训练。然后将解码器连接到编码器的顶部，并使用小型医疗VQA数据集进行微调。实验结果表明，我们提出的方法取得了更好的性能相比，基线和SOTA方法。
2023-02-25 cs.AI cs.CV
Unsupervised Open-Domain Question Answering
Shanghai JiaoTong University（上海交通大学）
开放领域问答（ODQA）在监督学习方面取得了显著的成果。然而，数据注释也不能因其在开放领域的巨大需求而不可抗拒。尽管人们已经或多或少地尝试了无监督的问答或无监督的机器阅读理解（MRC），但据我们所知，无监督的ODQA还没有被触及。因此，本文开创了无监督ODQA的工作，正式介绍了任务，并提出了一系列关键的数据构建方法。我们在这项工作中的探索鼓舞人心地表明，无监督ODQA可以达到有监督ODQA的86%的性能。
2021-08-31 cs.CL
Semi-Supervised QA with Generative Domain-Adaptive Nets
Carnegie Mellon University（卡内基梅隆大学）
研究了半监督问答问题-利用未标记文本来提高问答模型的性能。我们提出了一个新的训练框架，生成域自适应网络。在这个框架中，我们训练一个生成模型来生成基于未标记文本的问题，并结合模型生成的问题和人工生成的问题来训练问答模型。我们开发了新的领域自适应算法，基于强化学习，以减轻模型生成的数据分布和人类生成的数据分布之间的差异。实验表明，我们提出的框架获得了显着的改善，从未标记的文本。
2017-04-22 cs.CL cs.LG
Self-Teaching Machines to Read and Comprehend with Large-Scale Multi-Subject Question-Answering Data
Tencent AI Lab（腾讯AI实验室）；Cornell University（康奈尔大学）
尽管最近在该领域的研究很多，但仍然不清楚主题领域问答数据是否对机器阅读理解（MRC）任务有用。在本文中，我们调查这个问题。我们收集了一个大规模的多主题多项选择问答数据集ExamQA，并使用不完整和嘈杂的片段返回的Web搜索引擎作为相关的上下文为每个问答实例转换成一个弱标记的MRC实例。然后，我们提出了一个自我教学的范例，以更好地使用生成的弱标记的MRC实例，以改善目标MRC任务。实验结果表明，在最先进的MRC基线上，我们可以在多项选择MRC数据集C^3上获得+5.1%的准确率，在提取MRC数据集CMRC 2018上获得+3.8%的精确匹配，证明了我们框架的有效性以及大规模主题领域问答数据对不同类型的机器阅读理解任务的有用性。
2021-04-06 cs.CL
Simple and Effective Semi-Supervised Question Answering
School of Computer Science（计算机科学学院）；Carnegie Mellon University（卡内基梅隆大学）
最近深度学习模型在提取问答（QA）任务中的成功取决于大型注释语料库的可用性。然而，大型领域特定的注释语料库是有限的和昂贵的建设。在这项工作中，我们设想一个系统，最终用户指定一组基本文件，只有几个标记的例子。我们的系统利用文档结构从这些基本文档创建完形填空式的问题;预训练一个强大的神经网络上的完形填空式的问题;并进一步微调模型上的标记的例子。我们在来自不同领域的三个不同数据集上评估了我们提出的系统，发现它在很少的标记数据下非常有效。我们在SQuAD和TriviaQA上获得了超过50%的F1分数，标记的示例不到一千个。我们还发布了一组320万个完形填空式的问题，供从业者在构建QA系统时使用。
2018-04-02 cs.CL cs.LG
SC-ML: Self-supervised Counterfactual Metric Learning for Debiased Visual Question Answering
Nanjing University of Information Science and Technology（南京信息工程大学）；Inria（法国国家信息与自动化研究所）；Universite Paris-Saclay（巴黎萨克雷大学）；Southeast University（东南大学）
针对VQA中的语言偏置问题，提出自监督反事实度量学习方法SC-ML，通过自适应选择问题相关视觉特征并融入反事实训练方案，在VQA-CP数据集上有效提升了模型去偏性能与鲁棒性。
2023-04-04 cs.AI cs.CV
LIME: Weakly-Supervised Text Classification Without Seeds
ActionPower
在弱监督文本分类中，只有标签名称作为监督源。弱监督文本分类的主要方法利用两阶段框架，其中测试样本首先被分配伪标签，然后用于训练神经文本分类器。在大多数以前的工作中，伪标记步骤取决于获得最能捕捉每个类别标签相关性的种子词。我们提出了LIME，弱监督文本分类的框架，完全取代了脆弱的种子词生成过程与基于蕴涵的伪分类。我们发现，将弱监督分类和文本蕴涵相结合可以减轻两者的缺点，从而实现更精简和有效的分类管道。仅使用现成的文本蕴涵模型，LIME在弱监督文本分类中的表现优于最近的基线，并在4个基准测试中达到了最先进的水平。我们在https://github.com/seongminp/LIME上开源我们的代码。
2022-10-13 cs.AI cs.CL
Variational Weakly Supervised Sentiment Analysis with Posterior Regularization
HKUST（香港科技大学）
情感分析是自然语言处理中的一项重要任务。大多数现有的最先进的方法是在监督学习范式下。然而，人类注释可能是稀缺的。因此，我们应该利用更弱的监管进行情感分析。在本文中，我们提出了一个后验正则化框架的变分方法的弱监督情感分析，以更好地控制后验分布的标签分配。后验正则化背后的直觉是，如果从两个文档中提取的意见词在语义上相似，则两个文档的后验分布应该相似。我们的实验结果表明，后验正则化可以改善原来的变分方法的弱监督情感分析和性能更稳定，更小的预测方差。
2021-04-18 cs.AI cs.CL
Weakly Supervised Prototype Topic Model with Discriminative Seed Words: Modifying the Category Prior by Self-exploring Supervised Signals
Jilin University（吉林大学）；Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University（吉林大学符号计算与知识工程教育部重点实验室）
无数据文本分类，即，弱监督学习的新范例是指利用未标记的文档和一些预定义的类别代表词（称为种子词）进行学习的任务。最近的生成式无数据方法通过仅使用种子词出现来构造文档特定的类别先验，然而，这样的类别先验通常包含非常有限的甚至是有噪声的监督信号。为了解决这个问题，在本文中，我们提出了一种新的制定类别先验。首先，对于每个文件，我们认为它的标签隶属度，不仅计算种子词的出现，但也使用一种新的原型计划，它捕获伪最近邻类别。其次，对于每个标签，我们考虑其语料库的频率先验知识，这也是一个判别知识的分类。通过将所提出的类别先验引入到已有的生成式无数据方法中，我们提出了一种新的生成式无数据方法，即弱监督原型主题模型（WSPTM）。在真实数据集上的实验结果表明，WSPTM优于现有的基线方法。
2021-11-20 cs.AI cs.CL
Munsit at NADI 2025 Shared Task 2: Pushing the Boundaries of Multidialectal Arabic ASR with Weakly Supervised Pretraining and Continual Supervised Fine-tuning
CNTXT AI Abu Dhabi（CNTXT AI阿布扎比）
针对阿拉伯语低资源多方言ASR挑战，提出结合弱监督预训练与持续监督微调的可扩展流程，在多方言阿拉伯语ASR挑战赛中取得第一名。
2025-08-12 cs.AI cs.CL
Recognizing Explicit and Implicit Hate Speech Using a Weakly Supervised Two-path Bootstrapping Approach
Texas A&M University（得克萨斯农工大学）；Stanford University（斯坦福大学）
在两极分化的选举之后，社交媒体充斥着仇恨的内容。为了解决监督仇恨语音分类方法的各种局限性，包括语料库偏见和巨大的注释成本，我们提出了一种弱监督的双路径自举方法，利用大规模未标记数据的在线仇恨语音检测模型。该系统明显优于使用手动注释数据以监督方式训练的仇恨言论检测系统。将该模型应用于选举前、选举后和选举日收集的大量推文，揭示了煽动性语言的动机和模式。
2018-05-22 cs.CL
A weakly supervised sequence tagging and grammar induction approach to semantic frame slot filling
University of Antwerp（安特卫普大学）；TEXTGAIN
本文介绍了语义框架槽填充的命令和控制任务，使用弱监督的方法继续工作。我们研究了使用再训练技术的优点，该技术将分层隐马尔可夫模型的输出作为两种归纳方法的输入：（1）基于条件随机场和基于记忆的学习的判别序列标记器和（2）概率上下文无关文法归纳。实验结果表明，这种设置可以显着提高F分数，而不需要额外的信息源。此外，定性分析表明，弱监督技术是能够自动诱导一个易于解释和语法适当的领域和任务在手的语法。
2019-06-15 cs.CL
Improving Event Representation via Simultaneous Weakly Supervised Contrastive Learning and Clustering
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）；Tsinghua University（清华大学）；HKUST（香港科技大学）；Paradigm. Inc.（第四范式公司）
文本中描述的事件的表示对于各种任务都很重要。在这项工作中，我们提出了SWCC：同时弱监督对比学习和聚类框架的事件表示学习。SWCC通过更好地利用事件的共现信息来学习事件表示。具体来说，我们引入了一个弱监督的对比学习方法，使我们能够考虑多个积极和多个消极的，和一个基于原型的聚类方法，避免语义相关的事件被拉开。对于模型训练，SWCC通过同时执行弱监督对比学习和基于原型的聚类来学习表示。实验结果表明，SWCC在硬相似性和传递性句子相似性任务上优于其他基线。此外，对基于原型的聚类方法的深入分析表明，学习的原型向量能够隐式地捕获事件之间的各种关系。
2022-03-15 cs.CL
A Weakly Supervised Approach to Train Temporal Relation Classifiers and Acquire Regular Event Pairs Simultaneously
Texas A&M University（德克萨斯A&M大学）
检测两个事件之间的时间关系的能力可以使许多应用受益。大多数现有的时间关系分类器是在监督的方式进行训练。相反，我们探索的观察，规则事件对显示一致的时间关系，尽管他们的各种上下文，这些丰富的上下文可以用来训练上下文时间关系分类器，它可以进一步识别新的时间关系上下文，并确定新的规则事件对。我们专注于检测前后的时间关系，并设计了一个弱监督学习方法，提取数以千计的定期事件对，同时学习上下文的时间关系分类器。评价结果表明，获取的规则事件对质量较高，包含丰富的常识知识和领域知识。此外，弱监督训练的时间关系分类器实现了与最先进的监督系统相当的性能。
2017-07-28 cs.CL
A Weakly Supervised Classifier and Dataset of White Supremacist Language
Carnegie Mellon University（卡内基梅隆大学）；University of Pittsburgh（匹兹堡大学）
针对在线白人至上主义极端言论检测问题，提出弱监督分类器与数据集，利用白人至上主义文本与中立、反种族主义文本配对训练，提升跨领域泛化能力并缓解模型偏见。
2023-06-27 cs.CL
Weakly Supervised POS Taggers Perform Poorly on Truly Low-Resource Languages
New York University（纽约大学）；Siteimprove；University of Copenhagen（哥本哈根大学）
用于低资源语言的词性（POS）标记器，其完全基于各种形式的弱监督-例如，跨语言迁移、类型级监督或其组合-已经被报告执行得几乎与监督的一样好。然而，弱监督的POS标记器通常只在与真正的低资源语言非常不同的语言上进行评估，并且标记器使用信息源，如高覆盖率和几乎无错误的字典，这可能不适用于资源贫乏的语言。我们训练和评估国家的最先进的弱监督POS标记的类型多样的15个真正的低资源的语言。在这些语言上，给定现实的资源量，即使是我们最好的模型也只能正确识别不到一半的单词。我们的研究结果强调了需要新的和不同的方法来真正的低资源语言的词性标注。
2020-04-28 cs.CL
Weakly-supervised Neural Semantic Parsing with a Generative Ranker
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
弱监督语义解析器在话语-指称对上进行训练，将逻辑形式视为潜在的。由于搜索空间大和逻辑形式的虚假性，该任务具有挑战性。在本文中，我们介绍了一个神经分析器排名系统的弱监督语义解析。该分析器使用指称的线索从话语生成候选树结构逻辑形式。这些候选人，然后排名的基础上两个标准：他们的可能性执行正确的表示，和他们的协议与话语语义。我们提出了一个预定的培训程序，以平衡这两个目标的贡献。此外，我们建议使用一个神经编码的词典注入先验领域知识的模型。三个Freebase数据集上的实验证明了我们的语义解析器的有效性，达到了最先进的范围内的结果。
2018-08-23 cs.CL
AX-MABSA: A Framework for Extremely Weakly Supervised Multi-label Aspect Based Sentiment Analysis
University of Edinburgh（爱丁堡大学）；Huawei Research Centre（华为研究中心）
基于方面的情感分析是一个主要的研究领域，在社交媒体分析，商业，金融和健康方面具有潜在的应用。这方面的先前工作主要基于监督方法，少数技术使用弱监督，仅限于预测每个评论句子的单个方面类别。在本文中，我们提出了一个极弱监督的多标签方面类别情感分析框架，不使用任何标记的数据。我们只依赖于每个类的一个单词作为初始指示信息。我们进一步提出了一个自动选词技术来选择这些种子类别和情感词。我们探索了无监督的语言模型后训练，以提高整体性能，并提出了一个多标签生成器模型，以生成多个方面的类别，每个审查句子的情感对。在四个基准数据集上进行的实验显示，我们的方法明显优于其他弱监督基线。
2022-11-07 cs.CL
EBMs vs. CL: Exploring Self-Supervised Visual Pretraining for Visual Question Answering
University of Adelaide（阿德莱德大学）；Amazon（亚马逊）；Idiap Research Institute（Idiap研究所）
干净和多样的标记数据的可用性是训练模型进行复杂任务（如视觉问答（VQA））的主要障碍。对大型视觉和语言模型的大量研究表明，自监督学习对于预训练多模态交互是有效的。在这份技术报告中，我们专注于视觉表现。我们审查和评估自我监督方法，以利用未标记的图像并预训练模型，然后在自定义VQA任务上进行微调，以允许受控的评估和诊断。我们比较了基于能量的模型（EBM）和对比学习（CL）。虽然循证医学越来越受欢迎，但它们缺乏对下游任务的评估。我们发现EBM和CL都可以从未标记的图像中学习表示，从而能够在很少的注释数据上训练VQA模型。在一个类似于CLEVR的简单设置中，我们发现CL表示也提高了系统的泛化能力，甚至可以与来自更大的、有监督的、ImageNet预训练模型的表示的性能相匹配。然而，我们发现循证医学是难以训练，因为不稳定性和高变异性，在他们的结果。虽然EBM被证明对OOD检测有用，但基于监督的能量训练和不确定性校准的其他结果在很大程度上是负面的。总的来说，合作法目前似乎比循证医学更可取。
2022-06-29 cs.CL cs.CV cs.LG
Weakly Supervised Grammatical Error Correction using Iterative Decoding
Google AI（谷歌人工智能）
我们描述了一种语法错误纠正（GEC）方法，该方法可以有效地利用在大量弱监督双文本上训练的模型。我们训练的Transformer序列到序列模型的维基百科修订的4 B令牌，并采用迭代解码策略，是专为松散监督性质的维基百科训练语料库。在Lang-8语料库上进行微调和集成，在CoNLL'14基准测试中得到58.3的F0.5，在JFLEG上得到62.4的GLEU。弱监督训练和迭代解码的组合即使不使用任何标记的GEC数据也在CoNLL'14上获得48.2的F0.5。
2018-10-31 cs.CL cs.LG stat.ML
Towards Weakly-Supervised Text Spotting using a Multi-Task Transformer
AWS AI Labs（亚马逊云科技人工智能实验室）
由于联合优化文本检测和识别组件的好处，文本定位端到端方法最近在文献中获得了关注。现有的方法通常在检测和识别分支之间有明显的分离，这两个任务需要精确的注释。我们介绍TextTranSpotter（TTS），一种基于transformer的文本识别方法和第一个文本识别框架，它可以用完全和弱监督设置进行训练。通过学习每个单词检测的单个潜在表示，并使用基于匈牙利损失的新型损失函数，我们的方法消除了对昂贵的本地化注释的需求。在真实数据上仅使用文本转录注释进行训练，我们的弱监督方法与以前最先进的全监督方法相比具有竞争力的性能。当以完全监督的方式进行训练时，TextTranSpotter在多个基准测试中显示了最先进的结果。
2022-02-14 cs.CL cs.CV cs.LG
Improving Large-Scale Weakly Supervised ASR by Filtering and Selection
NTT Corporation（日本NTT公司）；Kyoto University（京都大学）；Graduate School of Informatics（信息学研究生院）
针对弱监督ASR中的噪声标签和领域不匹配问题，提出基于字符错误率过滤和声学相似性选择的训练方法，在9万小时日语数据上实现6.4%和4.0%的CER降低。
2026-06-27 cs.CL eess.AS
Weakly Supervised Relative Spatial Reasoning for Visual Question Answering
Arizona State University（亚利桑那州立大学）
视觉和语言推理需要感知视觉概念，如物体和动作，理解语义和语言基础，以及对两种形式之间相互作用的推理。视觉推理的一个重要方面是空间理解，它涉及理解物体的相对位置，即隐式地学习场景的几何形状。在这项工作中，我们评估V\&L模型的忠实性，这样的几何理解，制定成对的相对位置的对象作为一个分类以及回归任务的预测。我们的研究结果表明，最先进的基于变压器的V\&L模型缺乏足够的能力来胜任这项任务。出于这一动机，我们设计了两个目标作为代理的三维空间推理（SR）-对象质心估计，相对位置估计，和训练V\&L从现成的深度估计弱监督。这导致了“GQA”视觉问答挑战（在完全监督、Few-Shot和O.O.D设置中）的准确性的相当大的改进以及相对空间推理的改进。将发布代码和数据\href{https://github.com/pratyay-banerjee/weak_sup_vqa}{here}。
2021-09-04 cs.CL cs.CV cs.LG
WARM: A Weakly (+Semi) Supervised Model for Solving Math word Problems
Flipkart（Flipkart公司）；IIT Bombay（印度理工学院孟买分校）；Quadeye（Quadeye公司）；IBM India Research Lab（IBM印度研究实验室）
针对数学应用题求解需全量方程标注成本高的问题，提出仅用最终答案监督的弱监督模型WARM，先学生成方程再训练求解器，性能优于现有弱监督方法，还发布多语言数据集并拓展半监督版本。
2023-06-13 cs.CL cs.LG
MAF: Multimodal Alignment Framework for Weakly-Supervised Phrase Grounding
Shanghai Jiao Tong University（上海交通大学）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）；University of California, Berkeley（加州大学伯克利分校）
短语定位是研究从文本短语到图像区域的映射的任务。鉴于在大规模注释短语到对象数据集的困难，我们开发了一个多模态对齐框架（MAF），以利用更广泛可用的标题图像数据集，然后可以用作弱监督的形式。我们首先提出的算法，利用细粒度的视觉表示和视觉感知的语言表示模型短语对象的相关性。通过采用对比目标，我们的方法使用字幕图像对中的信息来提高弱监督场景下的性能。在广泛采用的Flickr30k数据集上进行的实验表明，与现有的弱监督方法相比，该方法有显着的改进。在视觉感知语言表示的帮助下，我们还可以将以前最好的无监督结果提高5.56%。我们进行消融研究，以表明我们的新模型和我们的弱监督策略都显着有助于我们的强大结果。
2020-10-12 cs.CL cs.CV cs.LG
Weakly Supervised Multi-Embeddings Learning of Acoustic Models
ENS（巴黎高等师范学院）；EHESS（社会科学高等研究院）；CNRS（法国国家科学研究中心）
我们用语音数据集上的多任务相同/不同信息训练了一个连体网络，发现可以在不损失性能的情况下为两个任务共享一个网络。第一个任务是区分两个相同或不同的单词，第二个任务是区分两个相同或不同的说话者。
2015-04-20 cs.CL cs.LG cs.SD
Large scale weakly and semi-supervised learning for low-resource video ASR
Facebook AI（Facebook人工智能实验室）
为了克服建立高质量语音识别系统的标记成本，已经研究了许多半监督和弱监督方法。在低资源条件下转录社交媒体视频的挑战性任务中，我们一方面对两种自标记方法进行了大规模的系统比较，另一方面使用上下文元数据进行了弱监督预训练。我们调查蒸馏方法在帧级和序列级的混合，编码器仅CTC为基础的，编码器-解码器语音识别系统的荷兰语和罗马尼亚语，分别使用27,000和58,000小时的未标记的音频。尽管所有方法都将各自的基线WER提高了8%以上，但与最强的数据增强监督基线相比，编码器-解码器模型的序列级蒸馏提供了20%的最大相对WER降低。
2020-08-07 cs.CL cs.SD eess.AS
Weakly-Supervised Deep Learning for Domain Invariant Sentiment Classification
Indian Institute of Technology Gandhinagar（甘地纳加尔印度理工学院）；Indian Institute of Technology Kharagpur（克勒格布尔印度理工学院）
学习一个能够很好地适应任何目标域（不同于源域）的情感分类模型的任务是一个具有挑战性的问题。大多数现有的方法都集中在通过在训练期间利用源数据和目标数据来学习公共表示。在本文中，我们介绍了一个两阶段的训练过程，该过程利用弱监督数据集来开发简单的基于提升和移位的预测模型，而无需在训练阶段暴露于目标域。实验结果表明，从源域到各种目标域的弱监督转移提供的性能非常接近于通过目标域本身的监督训练获得的性能。
2019-11-23 cs.CL cs.IR cs.LG
