Self-training with Few-shot Rationalization: Teacher Explanations Aid Student in Few-shot NLU
The Ohio State University(俄亥俄州立大学);Microsoft Research(微软研究院)
虽然预训练的语言模型在几个自然语言理解任务中获得了最先进的性能,但它们在决策过程中非常不透明。虽然最近的一些工作专注于通过突出文本中的突出概念作为理由或理由来合理化神经预测,但它们依赖于数千个标记的训练样本用于任务标签以及注释的每个实例的理由。对于许多任务来说,获得这种广泛的大规模注释是不可行的。为此,我们开发了一个多任务的教师-学生框架的基础上自我训练语言模型有限的任务特定的标签和理由,明智的样本选择,从信息丰富的伪标记的例子1。我们研究了构成良好理论基础的几个特征,并证明了神经模型的性能可以通过使其意识到其合理化预测来显着提高,特别是在低资源环境中。在多个基准数据集上的实验证明了该方法的有效性。
2021-09-17 cs.CL
Knowledge-Grounded Self-Rationalization via Extractive and Natural Language Explanations
UC San Diego(加州大学圣地亚哥分校);University of Oxford(牛津大学);TU Wien(维也纳工业大学)
生成提取依据的模型(即,特征的子集)或自然语言解释(NLE)来进行预测对于可解释的AI是重要的。虽然提取的基本原理提供了对预测最负责任的特征的快速视图,但NLE允许对预测背后的决策过程进行全面描述。然而,目前的模型,产生最好的提取原理或NLE往往落后于国家的最先进的(SOTA)的任务性能。在这项工作中,我们通过引入RExC来弥合这一差距,RExC是一个自我合理化的框架,它的预测和背景知识中的两种互补类型的解释(NLE和提取理性)。我们的框架通过以下方式改进了以前的方法:(i)在提供解释的同时达到SOTA任务性能,(ii)提供两种类型的解释,而现有模型通常只提供一种类型,以及(iii)在两种类型的解释质量方面大幅击败以前的SOTA。此外,在RExC的扰动分析表明,解释和预测之间的高度关联,忠实的解释的必要属性。
2022-09-16 cs.AI cs.CL cs.LG
You Only Forward Once: Prediction and Rationalization in A Single Forward Pass
Central South University(中南大学)
针对无监督理由抽取两阶段RNP框架假设过严、存在互锁与虚假关联问题,提出单阶段YOFO框架,通过预训练语言模型前向传播中逐步移除不重要token同步完成预测与理由抽取,在两个数据集上token级F1最高提升18.4%。
2023-11-04 cs.AI cs.CL
Prediction-Adaptation-Correction Recurrent Neural Networks for Low-Resource Language Speech Recognition
Microsoft Research(微软研究院)
在本文中,我们研究了使用预测-自适应-校正循环神经网络(PAC-RNN)的低资源语音识别。PAC-RNN由一对神经网络组成,其中{ \it校正}网络使用由{ \it预测}网络给出的辅助信息来帮助估计状态概率。来自校正网络的信息也由预测网络在循环回路中使用。我们的模型在IARPA-Babel任务上优于其他最先进的神经网络(DNN,LSTM)。此外,从与目标语言相似的语言进行迁移学习可以帮助进一步提高成绩。
2015-10-30 cs.CL cs.LG cs.NE
Neural Document Embeddings for Intensive Care Patient Mortality Prediction
ETH Zurich(苏黎世联邦理工学院)
我们提出了一个自动的死亡率预测方案的基础上,非结构化的文本内容的临床笔记。提出了一种卷积文档嵌入方法,我们使用MIMIC-III重症监护数据库进行的实证调查显示,与以前采用的方法(如潜在主题分布或通用doc 2 vec嵌入)相比,性能有了显着提高。这些改进对于出院后死亡率预测这一难题尤其明显。
2016-12-01 cs.CL
Future-Prediction-Based Model for Neural Machine Translation
Peking University(北京大学)
提出了一种新的神经机器翻译模型。与传统方法不同的是,我们的模型可以预测未来的文本长度和单词在每个解码时间步,使生成可以帮助与未来预测的信息。有了这些信息,模型不会在没有翻译足够内容的情况下停止生成。实验结果表明,我们的模型可以显着优于基线模型。此外,我们的分析表明,我们的模型是有效的预测的长度和未翻译的内容的单词。
2018-09-02 cs.CL
A Neural Network for Coordination Boundary Prediction
Bar-Ilan University(巴伊兰大学)
我们提出了一个基于神经网络的协调边界预测模型。该网络被设计为包含两个信号:连接词之间的相似性和观察结果,即用连接词替换整个协调短语往往会产生连贯的句子。建模使用了几个LSTM网络。该模型仅在Treebank中的连接注释上进行训练,而不使用外部资源。我们在PTB上预测协调边界的改进与两个最先进的解析器相比;以及在Genia语料库上对以前的协调边界预测系统的改进。
2016-10-13 cs.CL
ABI Neural Ensemble Model for Gender Prediction Adapt Bar-Ilan Submission for the CLIN29 Shared Task on Gender Prediction
ADAPT, School of Computing, Dublin City University(都柏林城市大学计算学院ADAPT);Computer Science Department, Bar-Ilan University(巴伊兰大学计算机科学系)
我们提出了我们的系统为2019年共享的跨流派的性别检测荷兰的任务。我们实验了多种神经模型(CNN、RNN、LSTM等),更“传统”的模型(SVM、RF、LogReg等),不同的特征集以及数据预处理。最终结果表明,使用标记化的非小写数据最适合大多数神经模型,而单词集群,字符三元组和单词列表的组合显示出对大多数更“传统”(即非神经)模型最有益,击败了先前任务中使用的特征,如n-gram,字符n-gram,词性标签及其组合。与之前类似的共享任务中描述的结果相反,我们的神经模型在最佳特征设置下的表现优于我们最好的传统方法。我们的最终模型由一个加权集成模型组成,该模型结合了前25个模型。我们的最终模型赢得了域内性别预测任务和跨类型挑战,在域内性别预测任务中的平均准确率为64.93%,在跨类型性别预测任务中的平均准确率为56.26%。
2019-02-23 cs.CL
ASR Performance Prediction on Unseen Broadcast Programs using Convolutional Neural Networks
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院)
在本文中,我们解决了一个相对较新的任务:预测看不见的广播节目的ASR性能。我们首先提出了一个异质法语语料库致力于这项任务。两种预测方法进行了比较:一个国家的最先进的性能预测的基础上回归(工程功能)和一个新的战略的基础上卷积神经网络(学习功能)。我们特别关注文本(ASR转录)和信号输入的组合。虽然文本和信号特征的联合使用对于回归基线不起作用,但CNN输入的组合会带来最佳的WER预测性能。我们还表明,我们的CNN预测显着预测的语音记录的集合上的WER分布。
2018-04-23 cs.CL
Neural Legal Judgment Prediction in English
Athens University of Economics and Business(雅典经济与商业大学);University of Sheffield(谢菲尔德大学)
法律判决预测是指在给定描述案件事实的文本的情况下,自动预测法院案件结果的任务。以前使用神经模型进行这项任务的工作主要集中在中文上;只有基于特征的模型(例如,使用词袋和主题)已经被考虑在英语中。我们发布了一个新的英国法律判决预测数据集,包含来自欧洲人权法院的案件。我们在新数据集上评估了各种各样的神经模型,在三个任务中建立了超越以前基于特征的模型的强大基线:(1)二进制违规分类;(2)多标签分类;(3)案例重要性预测。我们还探讨了模型是否通过数据匿名化偏向于人口统计信息。作为副产品,我们提出了一个分层版本的BERT,它绕过BERT的长度限制。
2019-06-05 cs.CL
Graph based Neural Networks for Event Factuality Prediction using Syntactic and Semantic Structures
University of Oregon(俄勒冈大学)
事件真实性预测(EFP)是对句子中所提到的事件发生的程度进行评估的任务。在这一任务中,句法和语义信息对于识别重要的上下文词至关重要。以前的工作EFP只结合这些信息在一个简单的方式,不能充分利用他们的协调。在这项工作中,我们介绍了一种新的基于图的神经网络的EFP,可以更有效地整合语义和句法信息。我们的实验证明了所提出的EFP模型的优势。
2019-07-07 cs.CL
A Hierarchical Location Prediction Neural Network for Twitter User Geolocation
Carnegie Mellon University(卡内基梅隆大学)
用户位置的准确估计对于许多在线服务是重要的。以前的基于神经网络的方法在很大程度上忽略了位置之间的层次结构。在本文中,我们提出了一个分层的位置预测神经网络的Twitter用户的地理定位。我们的模型首先为用户预测本国,然后使用国家结果来指导城市级别的预测。此外,我们采用了字符感知的词嵌入层,以克服噪声信息的推文。通过特征融合层,我们的模型可以适应各种特征组合,并在不同特征设置下通过三种常用基准测试获得最先进的结果。它不仅提高了预测精度,而且大大降低了平均误差距离。
2019-10-28 cs.CL cs.SI
Bandit Structured Prediction for Neural Sequence-to-Sequence Learning
Heidelberg University(海德堡大学)
Bandit结构化预测描述了一个随机最优化框架,其中从部分反馈执行学习。该反馈以对预测输出结构的任务损失评估的形式被接收,而无需访问黄金标准结构。我们通过使用基于注意力的递归神经网络将线性强盗学习提升到神经序列到序列学习问题来推进这个框架。此外,我们展示了如何将控制变量纳入我们的学习算法,以减少方差和提高泛化能力。我们提出了一个神经机器翻译任务的评估,显示了高达5.89 BLEU点的改进,从模拟的强盗反馈域适应。
2018-12-13 cs.CL cs.LG stat.ML
From Imitation to Prediction, Data Compression vs Recurrent Neural Networks for Natural Language Processing
Universidad de Buenos Aires(布宜诺斯艾利斯大学)
在最近的研究[1][13][14]中,循环神经网络被用于生成过程,其令人惊讶的性能可以通过其创建良好预测的能力来解释。另外,数据压缩也是基于预测的。问题归结为数据压缩器是否可以用于执行自然语言处理任务中的循环神经网络。如果这是可能的,那么问题就归结为确定在与人类语言相关的特定任务中,压缩算法是否比神经网络更智能。在我们的旅程中,我们发现了我们认为是数据压缩算法和递归神经网络之间的根本区别。
2017-05-01 cs.AI cs.CL cs.IT
Benchmarking neural embeddings for link prediction in knowledge graphs under semantic and structural changes
Medical University of Vienna(维也纳医科大学)
近年来,基于神经元嵌入的链接预测算法在语义Web领域得到了广泛的应用,并被广泛用于知识图谱的构建。虽然算法的进步主要集中在学习嵌入的有效方法上,但很少有人关注评估嵌入性能和鲁棒性的不同方法。在这项工作中,我们提出了一个开源的评估管道,基准神经嵌入的准确性的情况下,知识图谱可能会遇到语义和结构的变化。我们定义了以关系为中心的连接措施,使我们能够连接的链接预测能力的知识图谱的结构。这样的评估管道对于模拟预期频繁更新的知识图谱的嵌入精度尤其重要。
2020-05-28 cs.AI cs.CL stat.ML
From Credit Assignment to Entropy Regularization: Two New Algorithms for Neural Sequence Prediction
Language Technologies Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学)
研究了奖励增强最大似然(RAML)学习中的信用分配问题,建立了RAML的令牌级对应物与熵正则化强化学习之间的理论等价性.受这种联系的启发,我们提出了两种序列预测算法,一种是用细粒度信用分配扩展RAML,另一种是用系统熵正则化改进Actor-Critic。在两个基准数据集上,我们表明所提出的算法分别优于RAML和Actor-Critic,为序列预测提供了新的选择。
2018-04-29 cs.CL cs.LG stat.ML
Investigating Content-Aware Neural Text-To-Speech MOS Prediction Using Prosodic and Linguistic Features
Innoetics(伊诺提克斯公司);Samsung Electronics(三星电子);Mobile eXperience Business, Samsung Electronics(三星电子移动体验业务部门)
本研究提出在MOS预测系统中引入韵律和语言特征作为额外输入,并在SOMOS数据集上验证其有效性,结果表明该方法能提升预测分数与真实值的相关性。
2023-05-07 cs.CL cs.LG cs.SD