Text Simplification for Comprehension-based Question-Answering
IIIT Hyderabad（印度国际信息技术研究所海得拉巴分校）；NSIT Delhi（德里国立信息技术学院）；IBM（国际商业机器公司）；IIIT, Guwahati（印度国际信息技术研究所古瓦哈提分校）；Accenture Tech Labs（埃森哲技术实验室）；IBM Research India（印度IBM研究院）
文本简化是将一个句子拆分和重新措辞为一系列句子的过程，使其更容易阅读和理解，同时保留内容并近似原始含义。文本简化已在机器翻译、摘要、语义角色标注和信息抽取等自然语言处理应用中得到利用，为基于理解的问答下游任务的开发开辟了广阔的途径。在这项工作中，我们研究了文本简化在使用理解上下文的问答任务中的效果。我们发布了Simple-SQuAD，这是广泛使用的SQuAD数据集的简化版本。首先，我们概述了数据集创建管道中的每个步骤，包括风格转换，显示正确转换的句子的阈值处理，以及每个答案的偏移量查找。其次，我们通过涉及自动和人工评估的各种方法来验证转移句子的质量。第三，我们对新创建的语料库进行了基准测试，并进行了消融研究，以检验简化过程在基于SQuAD的问答任务中的效果。我们的实验表明，简化导致精确匹配和F1分别增加了2.04%和1.74%。最后，我们总结了传输过程的分析，研究了模型所做的编辑类型，以及句子长度对传输模型的影响。
2021-09-28 cs.CL cs.IR
The Causal News Corpus: Annotating Causal Relations in Event Sentences from News
National University of Singapore（新加坡国立大学）；Koc University（科奇大学）；Rijksuniversiteit Groningen（格罗宁根大学）；Radboud University（拉德堡德大学）；National Institute of Japanese Literature（日本文学研究所）；Birmingham City University（伯明翰城市大学）；Instituto Politécnico Nacional（国立理工学院）；Mersin University（梅尔辛大学）；University of East Anglia（东英吉利大学）；ETH Zürich（苏黎世联邦理工学院）
尽管理解因果关系的重要性，语料库处理因果关系是有限的。现有的事件因果关系标注准则与传统的因果关系语料库存在着差异。许多准则限制自己仅包括显式关系或基于条款的参数。因此，我们提出了一个事件因果关系的注释模式，解决这些问题。我们从抗议事件新闻中抽取了3,559个事件句子，并标注了它们是否包含因果关系。我们的语料库被称为因果新闻语料库（CNC）。建立在最先进的预训练语言模型上的神经网络在测试集上的F1得分为81.20%，在5倍交叉验证中的F1得分为83.46%。CNC可以在两个外部语料库之间转换：CauseTimeBank（CTB）和Penn Discourse Treebank（PDTB）。利用这些外部数据集进行训练，我们在CNC测试集上实现了高达约64%的F1，而无需额外的微调。CNC也是两个外部语料库的有效训练和预训练数据集。最后，我们展示了我们的任务的困难，在一个众包注释练习的外行。我们的注释语料库是公开的，因果文本挖掘研究人员提供了宝贵的资源。
2022-04-25 cs.CL
OpBerg: Discovering causal sentences using optimal alignments
UCLA（加州大学洛杉矶分校）；Mayo Clinic（梅奥诊所）
生物学文献中有很多描述因果关系的句子。自动提取这些句子的方法可以帮助生物学家综合文献，甚至发现尚未明确表达的潜在关系。当前用于提取因果语句的方法基于机器学习或因果术语的预定义数据库。机器学习方法需要大量标记的训练数据，并且容易受到噪声的影响。基于预定义数据库的方法受到其策展质量的限制，并且无法捕获输入中的新概念或错误。我们通过调整和改进一种为一个看似无关的问题设计的方法来解决这些挑战：寻找基因组序列之间的比对。本文提出了一种新颖的和优于文本的因果关系提取方法对齐的词性表示的输入集与已知的因果句子。我们的实验表明，当应用到生物文献中寻找因果句子的任务时，我们的方法以计算效率高的方式提高了其他方法的准确性。
2019-04-03 cs.CL cs.IR
Direct Network Transfer: Transfer Learning of Sentence Embeddings for Semantic Similarity
University of Michigan（密歇根大学）
句子编码器使用神经网络产生句子嵌入，通常通过它们如何很好地传输到下游任务来评估。这包括语义相似性，这是自然语言理解中的一项重要任务。尽管已经有很多工作致力于构建句子编码器，但伴随的迁移学习技术却相对较少受到关注。在本文中，我们提出了一个专门用于语义相似性的迁移学习设置，我们称之为直接网络迁移。通过在几个标准文本相似性数据集上的实验，我们表明，将直接网络传输应用于现有编码器可以获得最先进的性能。此外，我们比较了几种将句子编码器转移到语义相似性任务的方法，表明迁移学习设置的选择在许多情况下会极大地影响性能，并且因编码器和数据集而异。
2018-10-31 cs.CL
Naturalistic Causal Probing for Morpho-Syntax
ETH Zürich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）；University of Cambridge（剑桥大学）
探测已经成为解释和分析自然语言处理中深度神经模型的一种方法。但是，对各类探头的局限性和弱点仍缺乏了解。在这项工作中，我们提出了一个战略的输入级干预自然的句子。使用我们的方法，我们干预一个句子的形态句法特征，同时保持句子的其余部分不变。这样的干预使我们能够因果地探测预先训练的模型。我们应用我们的自然主义因果探测框架来分析语法性别和数字对从西班牙语的三个预训练模型中提取的上下文表示的影响：BERT，RoBERTa和GPT-2的多语言版本。我们的实验表明，自然主义的干预导致各种语言属性的因果关系的稳定估计。此外，我们的实验证明了在分析预训练模型时自然主义因果探测的重要性。
2022-11-14 cs.CL
ChatGPT Evaluation on Sentence Level Relations: A Focus on Temporal, Causal, and Discourse Relations
HKUST（香港科技大学）；HKUST (GZ)（香港科技大学（广州））
该研究通过三种提示模板在11个数据集上评估ChatGPT的句间关系识别能力，首次建立相关任务基线，发现其因果关系推理强、时序与隐式话语关系及对话话语解析表现较弱。
2024-01-26 cs.CL
Syntax-guided Neural Module Distillation to Probe Compositionality in Sentence Embeddings
Carnegie Mellon University（卡内基梅隆大学）
过去在句子嵌入模型中探索组合性的工作面临着确定隐式语法表示的因果影响的问题。给定一个句子，我们构造一个神经模块网络的基础上，其语法分析和训练它端到端近似句子的嵌入生成的Transformer模型。然后，Transformer到句法神经元模块网（SynNaMoN）的可转换性捕获句法是否是其组合能力的强因果模型。此外，我们通过指定各个SynNaMoN模块的内部架构和线性来解决语义组合的几何问题。我们发现各种句子嵌入模型的可扩展性与其性能广泛相关，但观察到可扩展性不会因模型大小而发生很大变化。我们还提出了初步的证据表明，在句子嵌入模型的语法指导的组成是线性的，非线性可能主要用于处理非成分短语。
2023-02-08 cs.CL
Causal Analysis of Syntactic Agreement Mechanisms in Neural Language Models
Harvard University（哈佛大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Google Research（谷歌研究院）；New York University（纽约大学）；Technion – IIT（以色列理工学院）
有针对性的句法评估已经证明了语言模型在困难的上下文中执行主谓一致的能力。为了阐明模型实现这种行为的机制，本研究将因果中介分析应用于预先训练的神经语言模型。我们研究了模型对语法变化的偏好程度，以及神经元是否在具有不同句法结构的句子中类似地处理主谓一致。我们揭示了不同架构和模型大小的相似性和差异-值得注意的是，较大的模型不一定会学习更强的偏好。我们还观察到两个不同的机制，根据输入句子的句法结构产生主谓一致。最后，我们发现，语言模型依赖于相似的神经元集时，给定的句子具有相似的句法结构。
2021-06-22 cs.CL
Scalable Cross-Lingual Transfer of Neural Sentence Embeddings
The George Washington University（乔治华盛顿大学）；AWS, Amazon AI（亚马逊云科技，亚马逊人工智能）
我们开发并研究了几种用于神经句子嵌入模型的跨语言对齐方法，例如监督推理分类器，Infersent和顺序编码器-解码器模型。我们评估了三个应用于这些模型的对齐框架：联合建模，表示迁移学习和句子映射，使用并行文本来指导对齐。我们的研究结果支持表示转移作为一种可扩展的方法，用于神经句子嵌入的模块化跨语言对齐，与内在和外在评估中的联合模型相比，我们观察到更好的性能，特别是较小的并行数据集。
2019-04-11 cs.CL
Language Style Transfer from Sentences with Arbitrary Unknown Styles
ShanghaiTech University（上海科技大学）；Tencent AI Lab（腾讯人工智能实验室）
语言风格迁移是将源语言的内容迁移到目标语言的问题。在它的许多应用中，并行训练数据不可用，并且要传输的源语句可能具有任意和未知的风格。首先，每个句子都被编码成其内容和风格的潜在表征。然后，通过将内容与目标风格重新组合，我们解码在目标域中对齐的句子。为了充分约束编码和解码函数，我们将它们与两个损失函数耦合。第一个是风格差异损失，强制风格表示准确地编码由句子风格和目标风格之间的差异引导的风格信息。第二种是循环一致性损失，这确保了被转移的句子应该保持与其风格分离的原始句子的内容。我们验证了我们的模型在三个任务的有效性：情感修改的餐厅评论，对话响应修改与浪漫的风格，句子重写与浪漫的风格。
2018-08-13 cs.CL
Shrome at Touché: Soft-Vote Ensembling and Counter-Causal Augmentation for Causality Extraction
University of Zurich（苏黎世大学）
针对Touché 2026反因果新闻声明任务，提出每子任务单模型方案：检测用微调分类器加跨任务规则，抽取用三个RoBERTa-large标注器软投票集成，极性用大模型生成反因果句增强，在CCNC测试集上抽取F1达0.728居首。
2026-10-05 cs.CL
Multi-task Learning for Universal Sentence Embeddings: A Thorough Evaluation using Transfer and Auxiliary Tasks
University of California, Los Angeles（加州大学洛杉矶分校）；University of Southern California（南加州大学）；Fudan University（复旦大学）；University of Virginia（弗吉尼亚大学）
学习分布式句子表示是自然语言处理的关键挑战之一。以前的工作表明，基于递归神经网络（RNN）的句子编码器在大量带注释的自然语言推理数据的集合上训练，在迁移学习中是有效的，以促进其他相关任务。在本文中，我们表明，多任务的联合学习结果更好地概括句子表示进行了广泛的实验和分析比较多任务和单任务学习的句子编码器。使用辅助任务的定量分析表明，多任务学习比单任务学习更有助于在句子表征中嵌入更好的语义信息。此外，我们将多任务句子编码器与上下文化单词表示进行了比较，并表明将两者结合可以进一步提高迁移学习的性能。
2018-08-16 cs.CL
Event Argument Extraction using Causal Knowledge Structures
Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）
事件参数提取是指从非结构化文本中提取感兴趣的特定事件的结构化信息的任务。现有的作品表现出穷人的能力，提取因果事件的论点，如原因和后效应。此外，大多数现有的作品在句子层面上模拟这一任务，将上下文限制在局部范围内。虽然它可能对短跨度的文本有效，但对于较长的文本（如新闻文章），经常观察到事件的参数不一定出现在包含事件触发器的同一个句子中。为了解决论点分散在句子中的问题，在这项任务中使用全局上下文变得至关重要。在我们的工作中，我们提出了一个外部知识辅助的方法来注入文档级的事件信息，以帮助提取复杂的事件参数。我们通过从ConceptNet和Wikipedia中提取相关的事件因果结构，为我们的事件注释数据集开发了一个因果网络。我们使用提取的事件因果特征的双向Transformer编码器，有效地捕捉长距离的句子间的依赖关系。我们报告的有效性，我们提出的方法，通过定性和定量分析。在这项任务中，我们建立了我们的研究结果的事件注释数据集在5种印度语言。该数据集通过标记实体类型（如时间，地点）以及更复杂的参数类型（如原因，After-Effect）的参数，进一步增加了任务的复杂性。我们的方法在所有五种语言中实现了最先进的性能。由于我们的工作不依赖于任何语言特定的功能，它可以很容易地扩展到其他语言。
2021-05-02 cs.CL
Universal Sentence Encoder
Google Research（谷歌研究院）
我们提出了将句子编码为嵌入向量的模型，这些嵌入向量专门针对迁移学习到其他NLP任务。该模型是有效的，并导致在不同的传输任务的准确性能。编码模型的两种变体允许在准确性和计算资源之间进行权衡。对于这两种变体，我们调查和报告模型复杂性，资源消耗，传输任务训练数据的可用性和任务性能之间的关系。与通过预训练的词嵌入使用词级迁移学习的基线以及不使用任何迁移学习的基线进行比较。我们发现使用句子嵌入的迁移学习往往优于单词水平的迁移。通过句子嵌入的迁移学习，我们观察到了令人惊讶的良好性能，并且对于迁移任务使用了最少量的监督训练数据。我们获得了令人鼓舞的结果词嵌入关联测试（WEAT）针对检测模型的偏见。我们的预训练句子编码模型可在TF Hub上免费下载。
2018-04-12 cs.CL
Measuring Cross-Lingual Transferability of Multilingual Transformers on Sentence Classification
Beijing Institute of Technology（北京理工大学）
提出IGap指标，用于测量多语言Transformer在句子分类上的跨语言迁移能力，实验证明其优于基线，并揭示三个相关发现。
2023-05-15 cs.CL
Event Causality Identification with Causal News Corpus -- Shared Task 3, CASE 2022
University of Groningen（格罗宁根大学）；Mersin University（梅尔辛大学）；University of East Anglia（东英吉利大学）；Radboud University（拉德堡德大学）
CASE 2022的事件因果关系识别共享任务涉及两个子任务，它们在因果新闻语料库上工作。子任务1要求参与者预测一个句子是否包含因果关系。这是一个有监督的二元分类任务。子任务2要求参与者识别每个因果句的原因、结果和信号跨度。这可以被看作是一个有监督的序列标记任务。对于这两个子任务，参与者上传了他们对一个测试集的预测，并分别根据子任务1和2的二进制F1和宏F1分数进行排名。本文总结了17个团队的工作，提交了他们的结果，我们的竞争和12个系统描述文件，收到。子任务1和2的最佳F1得分分别为86.19%和54.15%。所有表现最好的方法都涉及预先训练的语言模型，这些模型针对目标任务进行了微调。我们在本文中进一步讨论了这些方法，并分析了参与者系统中的错误。
2022-11-22 cs.CL
Beyond Fine-tuning: Few-Sample Sentence Embedding Transfer
Amazon Alexa AI Search（亚马逊Alexa人工智能搜索）；Microsoft（微软）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
在小数据集上微调（FT）预训练的句子嵌入模型已被证明具有局限性。在本文中，我们表明，将来自预训练模型的嵌入与来自仅在目标数据上训练的简单句子嵌入模型的嵌入相连接，可以提高FT在少样本任务中的性能。为此，通过冻结嵌入模型权重或端到端地训练分类器和嵌入模型，在组合的嵌入上训练线性分类器。我们对来自NLP任务的七个小数据集进行了评估，并表明我们的端到端训练方法在计算开销可以忽略不计的情况下优于FT。此外，我们还表明，复杂的组合技术，如CCA和KCCA不工作，以及在实践中串联。我们提供理论分析来解释这一经验观察结果。
2020-10-05 cs.CL
The Daunting Task of Real-World Textual Style Transfer Auto-Evaluation
New York University（纽约大学）；University of Chicago（芝加哥大学）
语篇风格转换的困难在于缺乏平行语料库。对于无监督生成，已经提出了许多进展。然而，风格转换任务的自动评估仍然存在重大问题。根据Pang and Gimpel（2018）和Mir et al.（2019）的总结，风格转移评估依赖于三个标准：转移句子的风格准确性，原始和转移句子之间的内容相似性，以及转移句子的流畅性。我们阐明了风格迁移研究的问题现状。鉴于当前的任务并不代表风格转换的真实用例，当前的自动评估方法是有缺陷的。本文的讨论旨在引起研究者对风格迁移和风格迁移评价研究未来的思考。
2019-10-10 cs.CL
StyleFlow: Disentangle Latent Representations via Normalizing Flow for Unsupervised Text Style Transfer
National University of Defense Technology（国防科技大学）
语篇风格转换的目的是在保持句子内容的同时改变句子的风格。由于缺乏平行语料库，最近的工作主要集中在无监督的方法，通常使用循环构造来训练模型。由于循环构造通过将转换后的句子重建回原始风格句子来提高模型的风格转换能力，因此在无监督的文本风格转换任务中会导致内容丢失。在本文中，我们提出了一种新的基于解纠缠的风格传输模型StyleFlow，以提高内容保存。与传统的编码器-解码器方案不同，StyleFlow不仅可以进行前向处理以获得输出，还可以通过输出推断输入。我们设计了一个注意力感知的耦合层来理清句子的内容表示和风格表示。此外，本文还提出了一种基于归一化流的数据增强方法来提高模型的鲁棒性。实验结果表明，我们的模型有效地保留了内容，并在大多数指标上达到了最先进的性能。
2022-12-19 cs.CL
Suffix Retrieval-Augmented Language Modeling
NYU Shanghai（上海纽约大学）
因果语言建模（LM）使用单词历史来预测下一个单词。另一方面，BERT利用句子中的双向单词信息来预测掩蔽位置处的单词。虽然BERT在序列编码中是有效的，但它本质上是非因果的，并且不是为序列生成而设计的。在本文中，我们提出了一种新的语言模型，SUffix REtrieval-Augmented LM（SUREALM），它模拟了一个双向的自回归方式的上下文效果。SUREALM采用嵌入检索器在序列生成期间在数据存储中搜索共享相似单词历史的训练句子。特别是，检索到的句子的后缀部分模仿“未来”的上下文。我们在DSTC 9口语对话语料库上评估了我们提出的模型，与竞争基线相比，验证和测试集上显示出有希望的单词困惑减少。
2023-03-14 cs.CL
MIMICause: Representation and automatic extraction of causal relation types from clinical notes
Accenture Labs（埃森哲实验室）；Indian Institute of Science（印度科学学院）；Arizona State University（亚利桑那州立大学）；Duke University（杜克大学）
理解临床笔记中传达的因果叙述可以帮助向个性化医疗保健迈进。从临床记录中提取的因果信息可以与结构化的EHR数据相结合，例如患者的人口统计学，诊断和药物。这将提高医疗保健提供者识别临床记录中传达的患者故事的各个方面的能力，并帮助做出更明智的决策。在这项工作中，我们提出了注释指南，开发一个注释语料库，并提供基线分数，以确定类型和方向之间的因果关系的一对生物医学概念的临床笔记;传达隐含或明确，确定在一个单一的句子或跨多个句子。我们注释了从2018年n2 c2共享任务数据集中采样的总共2714个去识别示例，并训练了四种不同的基于语言模型的架构。基于我们的指南的注释实现了较高的注释者间一致性，即Fleiss kappa（$κ$）评分为0.72，我们的因果关系识别模型在测试数据上实现了0.56的宏观F1评分。临床文本的高注释者间一致性显示了我们注释指南的质量，而提供的基线F1评分为未来研究理解临床文本中的叙述设定了方向。
2022-03-14 cs.CL
Knowledge-based Extraction of Cause-Effect Relations from Biomedical Text
TCS Research（塔塔咨询服务研究部）；IIT Bombay（印度理工学院孟买分校）；IIIT Hyderabad（印度信息技术研究所海得拉巴分校）
我们提出了一个基于知识的方法，从生物医学文本中提取因果关系（CE）。我们的方法是一个无监督的机器学习技术来发现因果触发器和一组高精度的语言规则，以确定这些因果触发器的原因/结果参数的组合。我们使用58，761篇白血病相关PubMed摘要（由568，528句句子组成）的语料库来评估我们的方法。我们可以从这个语料库中提取152，655个CE三元组，每个三元组由一个原因短语，一个结果短语和一个因果触发器组成。与现有的知识库- SemMedDB（Kilicoglu等人，2012年），提取的数量几乎是两倍。此外，所提出的方法优于现有的技术SemRep（Rindflesch和Fiszman，2003年）的500个句子的数据集。
2021-03-10 cs.CL
Persian Causality Corpus (PerCause) and the Causality Detection Benchmark
Shahid Beheshti University（沙希德·贝赫什提大学）
识别文本中的因果元素和因果关系是自然语言处理中具有挑战性的问题之一，特别是在波斯语等低资源语言中。在这项研究中，我们准备了一个因果人类注释语料库的波斯语，其中包括4446个句子和5128因果关系和三个标签的原因，效果和因果标记-如果可能的话-指定为每个关系。我们已经使用这个语料库训练系统检测因果元素的边界。此外，我们提出了一个因果关系检测基准的三个机器学习方法和两个深度学习系统基于这个语料库。性能评估表明，我们最好的总体结果是通过CRF分类器获得的，其F-测量值为0.76，通过Bi-LSTM-CRF深度学习方法获得的最佳准确度为91.4。
2021-06-27 cs.CL
Learning to Generate Multiple Style Transfer Outputs for an Input Sentence
University of Washington（华盛顿大学）；NVIDIA（英伟达）
文本风格转换是指将给定的文本改写为不同的风格。虽然已经提出了各种方法来推进现有技术，但它们通常假设传输输出遵循delta分布，因此它们的模型不能为给定的输入文本生成不同风格的传输结果。为了解决这个问题，我们提出了一个一对多的文本风格转换框架。与之前学习将输入句子转换为一个输出句子的一对一映射的作品相比，我们的方法学习了一个一对多映射，可以将输入句子转换为多个不同的输出句子，同时保留输入内容。这是通过使用潜在分解方案进行对抗训练来实现的。具体来说，我们将输入句子的潜在表示分解为捕获语言风格变化的风格代码和编码语言风格无关内容的内容代码。然后，我们将内容代码与样式代码结合起来，以生成样式转换输出。通过将相同的内容代码与不同的样式代码组合，我们生成了不同样式的传输输出。大量的实验结果与几个文本风格传输方法在多个公共数据集上使用不同的性能指标集的比较验证了所提出的方法的有效性。
2020-02-16 cs.CL cs.LG
Semi-Supervised Formality Style Transfer with Consistency Training
Tokyo Institute of Technology（东京工业大学）
正式风格转换是指在不改变句子意义的前提下，将非正式句子改写为正式句子。为了解决现有并行数据集的数据稀缺问题，以前的研究倾向于采用循环重构方案来利用额外的未标记数据，其中FST模型主要受益于目标端未标记句子。在这项工作中，我们提出了一个简单而有效的半监督框架，以更好地利用基于一致性训练的源端未标记句子。具体来说，我们的方法通过强制模型为其扰动版本生成类似的输出来增强从源端非正式句子获得的伪并行数据。此外，我们还实证研究了各种数据扰动方法的影响，并提出了有效的数据过滤策略来改进我们的框架。GYAFC基准测试的实验结果表明，我们的方法可以达到国家的最先进的结果，即使不到40%的并行数据。
2022-03-25 cs.CL
Bilingual alignment transfers to multilingual alignment for unsupervised parallel text mining
University of Chicago（芝加哥大学）；University of Washington（华盛顿大学）
这项工作提出了使用成对或不成对的双语文本学习跨语言句子表征的方法。我们假设跨语言对齐策略是可转移的，因此训练仅对齐两种语言的模型可以编码多语言对齐的表示。因此，我们引入了双支点迁移：在一个语言对上进行训练，在其他语言对上进行评估。为了研究这一理论，我们设计了在未配对句子上训练的无监督模型和在双文本上训练的单对监督模型，两者都基于无监督语言模型XLM-R，其参数被冻结。实验评估模型作为通用的句子编码器的任务上的无监督的双文本挖掘两个数据集，其中的无监督模型达到最先进的无监督检索，和替代的单对监督模型的性能接近多语言监督模型。结果表明，双语训练技术提出的可以应用到获得句子表示与多语言对齐。
2022-03-15 cs.CL
Towards Robust and Semantically Organised Latent Representations for Unsupervised Text Style Transfer
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
最近的研究表明，自动编码器为基础的方法成功地执行语言生成，平滑的句子插值，和风格转移看不见的属性使用未标记的数据集在一个zero-shot的方式。这种模型的潜在空间几何结构组织得足够好，可以在风格是“粗粒度”的数据集上执行，即句子中的一小部分单词足以确定整体风格标签。最近的一项研究使用了一种基于离散标记的扰动方法来映射潜在空间中的“相似”句子（由低Levenshtein距离/高单词重叠定义的“相似”）。这种“相似性”的定义在映射潜在空间邻域时没有考虑组成词的潜在细微差别，因此在映射潜在邻域时无法识别具有不同风格语义的句子。我们引入了EPAAE（嵌入扰动对抗自动编码器），它通过在连续嵌入空间上添加可微调的噪声分量来完成这个扰动模型。我们的经验表明，这（a）产生了一个组织更好的潜在空间，将风格相似的句子聚集在一起，（b）在一组不同的文本风格转移任务上表现最好，而不是类似的去噪启发基线，（c）能够细粒度控制风格转移强度。我们还将文本样式传输任务扩展到NLI数据集，并表明EPAAE可以最好地学习这些更复杂的样式定义。据我们所知，将风格迁移扩展到NLI任务之前还没有被探索过。
2022-05-04 cs.CL
Parsing Natural Language Sentences by Semi-supervised Methods
Charles University in Prague, Faculty of Mathematics and Physics（布拉格查理大学数学与物理学院）
我们提出了我们的工作，半监督分析的自然语言句子，侧重于多源跨语言迁移的非词汇化依赖分析器。我们首先评估了树库标注风格对句法分析性能的影响，重点是介词附加风格。然后，我们提出了KLcpos3，一个经验的语言相似性度量，设计和调整源解析器加权多源去词汇化解析器转移。最后，我们介绍了一种新的资源组合方法，基于训练的解析器模型的插值。
2015-06-16 cs.CL
Neurocomputational Mechanisms of Syntactic Transfer in Bilingual Sentence Production
Linguistic Research Infrastructure, University of Zurich（苏黎世大学语言研究基础设施）；University of Cambridge（剑桥大学）；University of Texas Health Science Center at Houston（德克萨斯大学休斯顿健康科学中心）
本文提出ROSE模型能解释双语生成中语法转移的神经机制，通过振荡失败模式揭示跨语言影响的神经计算基础。
2026-08-06 cs.CL
Multilingual Document-Level Translation Enables Zero-Shot Transfer From Sentences to Documents
University of Edinburgh（爱丁堡大学）；Google Research（谷歌研究院）
文档级神经机器翻译（DocNMT）通过结合跨句子上下文来实现连贯的翻译。然而，对于大多数语言对来说，尽管并行句子很容易获得，但并行文档还是很短缺。在本文中，我们研究是否以及如何在DocNMT上下文建模是通过多语言建模可转移。我们专注于zero-shot传输的情况下，从教师语言的文档级数据的学生语言没有文件，但句子级数据，并首次将文档级翻译作为一个迁移学习问题。使用简单的基于拼接的DocNMT，我们探讨了3个因素对迁移的影响：具有文档级数据的教师语言的数量，训练时文档和句子级数据之间的平衡，以及并行文档的数据条件（真实与回译）。我们的实验在Europarl-7和IWITOS-10上显示了DocNMT多语言传输的可行性，特别是在文档特定的指标上。我们观察到，更多的教师语言和足够的数据平衡都有助于更好的传输质量。令人惊讶的是，传输对数据条件不太敏感，多语言DocNMT在回译或真正的文档对中提供了不错的性能。
2022-05-17 cs.CL cs.LG
Counterfactual Interventions Reveal the Causal Effect of Relative Clause Representations on Agreement Prediction
Bar Ilan University（巴伊兰大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Johns Hopkins University（约翰斯·霍普金斯大学）；New York University（纽约大学）
当语言模型处理句法复杂的句子时，它们是否以与语言语法一致的方式使用它们的句法表示？我们提出了AlterRep，一种基于干预的方法来解决这个问题。对于给定句子的任何语言特征，AlterRep通过改变特征的编码方式来生成反事实表示，同时保持原始表示的所有其他方面不变。通过测量当这些反事实表征取代原始表征时模型的单词预测行为的变化，我们可以得出有关语言特征对模型行为的因果影响的结论。我们应用这种方法研究了不同规模的BERT模型如何处理关系从句。我们发现，BERT变体使用RC边界信息在单词预测的方式是一致的英语语法规则，这种RC边界信息概括到相当大的程度在不同的RC类型，这表明BERT代表RC作为一个抽象的语言类别。
2021-09-15 cs.CL
CR-COPEC: Causal Rationale of Corporate Performance Changes to Learn from Financial Reports
UNIST（蔚山国立科学技术院）；UMass Amherst（马萨诸塞大学阿默斯特分校）；KAIST（韩国科学技术院）；SNU（首尔大学）；Ajou University（亚洲大学）；Foresight Institute（远见研究所）；INEEJI
本文提出 CR-COPEC 数据集，通过从美国公司 10-K 报告中检测因果理据并考虑 12 个行业的不同特征，为企业财务绩效变化提供大规模领域适应的因果句子分类资源。
2023-10-24 cs.CE cs.CL
Politeness Transfer: A Tag and Generate Approach
Carnegie Mellon University（卡内基梅隆大学）
本文介绍了一个新的礼貌迁移任务，即把不礼貌的句子转换成礼貌的句子，同时保留意义。我们还提供了一个超过1.39个自动标记为礼貌的实例的数据集，以鼓励对这个新任务进行基准评估。我们设计了一个标签，并生成管道，识别风格属性，并随后生成一个句子的目标风格，同时保留大部分的源内容。对于礼貌以及其他五个传输任务，我们的模型在内容保存的自动度量方面优于最先进的方法，在风格传输准确性方面具有可比或更好的性能。此外，我们的模型超越了现有的方法对人类的评价语法，意义保存和转移的准确性在所有六个风格转移任务。数据和代码位于https://github.com/tag-and-generate。
2020-05-01 cs.CL
IDIAPers @ Causal News Corpus 2022: Extracting Cause-Effect-Signal Triplets via Pre-trained Autoregressive Language Model
Idiap Research Institute（Idiap研究所）；Brno University of Technology（布尔诺理工大学）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Universidad Autónoma Metropolitana Unidad Cuajimalpa（大都会自治大学夸希马尔帕校区）；Universidad Nacional de San Luis（圣路易斯国立大学）
在本文中，我们描述了我们在CASE-2022中的子任务2的共享任务提交，事件因果关系识别与休闲新闻语料库。挑战集中在自动检测新闻媒体中句子中存在的所有因果信号跨度。我们使用T5检测句子中的因果信号跨度-一种预先训练的自回归语言模型。我们迭代地识别所有因果信号跨度三元组，总是以先前预测的三元组为条件预测下一个三元组。为了预测三联体本身，我们考虑不同的因果关系，如原因$\rightarrow$效应$\rightarrow$信号。每个三元组成分是通过以句子、当前三元组的先前部分和先前预测的三元组为条件的语言模型生成的。尽管在160个样本的极小数据集上进行了训练，但我们的方法仍然取得了有竞争力的性能，在比赛中排名第二。此外，我们表明，假设原因$\rightarrow$效果或效果$\rightarrow$原因顺序实现类似的结果。
2022-10-20 cs.AI cs.CL
Bridging the Fairness Gap: Enhancing Pre-trained Models with LLM-Generated Sentences
University of Electronic Science and Technology of China（电子科技大学）
本文提出Fair-Gender方法，利用大语言模型生成属性平衡的句子，并通过因果分析筛选对齐句子以增强预训练语言模型，在保持语言表达能力的同时显著降低性别偏见。
2025-01-12 cs.AI cs.CL
From Solving a Problem Boldly to Cutting the Gordian Knot: Idiomatic Text Generation
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Facebook AI（脸书人工智能研究院）；Saint Francis High School（圣弗朗西斯高中）
我们研究了一种新的文本生成应用--成语生成，它旨在将句子中的字面短语转换成成语。受心理语言学理论的启发，在一个人的母语成语的使用，我们提出了一种新的方法来完成这项任务，检索适当的成语为一个给定的字面句子，提取句子的跨度被替换的成语，并生成成语句子使用神经模型相结合检索成语和句子的其余部分。在为此任务创建的一个新数据集上的实验表明，我们的模型能够有效地将字面句子转换为习语。此外，自动和人工评估表明，对于这项任务，所提出的模型优于一系列有竞争力的基线模型的文本生成。
2021-05-11 cs.CL
Mining Discourse Markers for Unsupervised Sentence Representation Learning
Synapse Développement（突触开发公司）；IRIT, University of Toulouse（图卢兹大学IRIT研究所）；IRIT, CNRS（法国国家科学研究中心IRIT研究所）
目前NLP中最先进的系统严重依赖于手动注释的数据集，这是昂贵的构建。很少有工作充分利用未注释的数据-如句子之间的话语标记-主要是因为数据稀疏和无效的提取方法。在目前的工作中，我们提出了一种方法来自动发现句子对相关的话语标记，并将其应用到大量的数据。我们得到的数据集包含174个话语标记，每个话语标记至少有10 k个例子，即使是罕见的标记，如巧合或令人惊讶的，我们使用得到的数据作为监督学习可转移的句子嵌入。此外，我们表明，即使句子表示学习通过预测的话语标记语在不同的迁移任务中产生最先进的结果，这是不清楚的，我们的模型利用句子之间的语义关系，从而留下进一步改进的空间。我们的数据集是公开的（https：//github.com/synapse-developpement/Discovery）
2019-03-28 cs.CL
NAST: A Non-Autoregressive Generator with Word Alignment for Unsupervised Text Style Transfer
Tsinghua University（清华大学）；Institute for Artificial Intelligence（人工智能研究院）；State Key Lab of Intelligent Technology and Systems（智能技术与系统国家重点实验室）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
自回归模型在无监督文本风格转换中得到了广泛的应用。尽管这些模型取得了成功，但它们仍然存在内容保存问题，即它们通常会忽略源句子的一部分，并生成一些具有强烈风格的无关词。在本文中，我们提出了一个非自回归生成器的无监督文本风格转移（NAST），它从两个方面来说明这个问题。首先，我们观察到，大多数单词在转移的句子可以与源句子中的相关词对齐，所以我们显式地建模词对齐，以抑制不相关的词。其次，使用循环损失训练的现有模型在两个风格文本空间中对齐句子，这在单词级别缺乏细粒度控制。所提出的非自回归生成器专注于对齐的单词之间的连接，学习风格之间的单词级迁移。对于实验，我们将建议的生成器集成到两个基本模型，并在两个风格转换任务上对其进行评估。结果表明，NAST可以显着提高整体性能，并提供可解释的词对齐。此外，非自回归生成器在推理时实现了超过10倍的加速。我们的代码可在https://github.com/thu-coai/NAST上获得。
2021-06-04 cs.CL
Revision in Continuous Space: Unsupervised Text Style Transfer without Adversarial Learning
Sichuan University（四川大学）；Québec Artificial Intelligence Institute (Mila)（魁北克人工智能研究所（Mila））；Polytechnique Montréal（蒙特利尔理工学院）
无监督文本风格转换的典型方法通常依赖于两个关键因素：1）寻求内容和属性的明确分离，以及2）麻烦的对抗学习。在本文中，我们表明，这两个组件是不可或缺的。我们提出了一个新的框架，利用梯度在推理过程中的连续空间中修改句子，以实现文本风格转移。我们的方法由三个关键组成部分：变分自动编码器（VAE），一些属性预测（每个属性一个），和内容预测。VAE和两种类型的预测器使我们能够在连续空间中执行基于梯度的优化，该空间从离散空间中的句子映射，以找到具有所需属性和保留内容的目标句子的表示。此外，所提出的方法自然有能力同时操纵多个细粒度的属性，如句子长度和特定单词的存在，当执行文本风格转换任务。与以往的基于对抗学习的方法相比，该方法具有更好的可解释性、可控性和更容易训练的特点。对三个流行的文本风格迁移任务的实验研究表明，该方法显着优于五个国家的最先进的方法。
2019-11-19 cs.CL
SNU_IDS at SemEval-2018 Task 12: Sentence Encoder with Contextualized Vectors for Argument Reasoning Comprehension
Seoul National University（首尔大学）
我们为SemEval 2018的论点推理理解任务提出了一种新的神经架构。它是一个简单的神经网络，由三个部分组成，共同判断建立在一组给定句子（主张、理由和保证）上的逻辑是否合理。该模型利用在大型机器翻译（MT）数据集上预训练的上下文化词向量作为迁移学习的一种形式，这可以帮助减轻训练数据的缺乏。定量分析表明，简单地利用在MT数据集上训练的LSTM的性能优于几个基线和非转移模型，在开发集上实现了约70%的准确率，在测试集上实现了约60%的准确率。
2018-05-18 cs.CL
Implementing Long Text Style Transfer with LLMs through Dual-Layered Sentence and Paragraph Structure Extraction and Mapping
School of Computer Science, Peking University（北京大学计算机学院）
本文提出 ZeroStylus 分层框架，通过句子与段落模板提取及多粒度匹配，在零样本、不微调条件下提升长文本风格迁移的连贯性与内容保留。
2025-05-11 cs.AI cs.CL
Stable Style Transformer: Delete and Generate Approach with Encoder-Decoder for Text Style Transfer
Kakao Enterprise Corp.（Kakao企业公司）
文本风格转换是指在保持输入句子内容的基础上，转换文本的风格，从而生成句子的任务。由于并行数据集的有限性和难以构建性，现有的研究大多是在非并行数据集上进行的。在这项工作中，我们介绍了一种方法，在非并行数据集的两个阶段。第一阶段是通过分类器直接删除句子的属性标记。第二阶段是通过组合内容令牌和目标样式来生成转移的句子。我们在两个基准数据集上进行实验，并评估上下文，风格，流畅性和语义。仅使用这些自动度量很难选择最佳系统，但可以选择稳定的系统。我们认为，在所有的自动评估指标中，只有鲁棒系统才是可以在实际应用中使用的最低条件。许多以前的系统很难在某些情况下使用，因为性能在几个评估指标中显着较低。然而，我们的系统在所有自动评估指标中都是稳定的，并且具有与其他模型相当的结果。此外，我们比较了我们的系统和不稳定的系统，通过人的评价的性能结果。我们的代码和数据可以在链接（https：//github.com/rungjoo/Stable-Style-Transformer）上找到。
2020-11-26 cs.CL
"Mask and Infill" : Applying Masked Language Model to Sentiment Transfer
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Baidu Inc.（百度公司）
本文重点研究了非平行文本上的情感转移任务，该任务修改情感属性（例如，肯定或否定），同时保持其属性独立的内容。由于基于RNN的编码器-解码器结构在捕获单词之间的深度和远程依赖关系方面的能力有限，以前的作品很难从头开始生成令人满意的句子。当人类转换句子的情感属性时，一种简单但有效的方法是只将句子中的原始情感标记替换为目标情感表达，而不是从头开始构建新的句子。这样的过程非常类似于文本填充或完形填空的任务，其可以由深度双向掩蔽语言模型（例如，BERT）来处理。因此，我们提出了两个步骤的方法“掩模和填充”。在屏蔽步骤中，我们通过屏蔽情感标记的位置来将风格与内容分离。在填充步骤中，我们将MLM改造为属性条件MLM，通过预测以context 1和目标情感为条件的单词或短语来填充掩蔽位置。我们在两个评论数据集上评估我们的模型，包括定量，定性和人工评估。实验结果表明，我们的模型提高了最先进的性能。
2019-08-21 cs.CL
Delete, Retrieve, Generate: A Simple Approach to Sentiment and Style Transfer
Tencent（腾讯）；Stanford University（斯坦福大学）
我们考虑文本属性转换的任务：转换句子以改变特定属性（例如，情感）同时保留其与属性无关的内容（例如，将“屏幕大小刚刚好”更改为“屏幕太小”）。我们的训练数据仅包括用其属性标记的句子（例如，肯定或否定），而不是仅在属性上不同的句子对，因此我们必须学会以无监督的方式将属性与属性无关的内容分开。以前使用对抗方法的工作一直难以产生高质量的输出。在本文中，我们提出了更简单的方法，其动机是观察到文本属性通常由独特的短语标记（例如，“太小”）。我们最强的方法通过删除与句子的原始属性值相关联的短语来提取内容词，检索与目标属性相关联的新短语，并使用神经模型将这些流畅地组合成最终输出。在人类评估方面，我们最好的方法比以前最好的系统多22%的输入生成语法和适当的响应，平均超过三个属性转移数据集：改变Yelp上评论的情绪，改变亚马逊上评论的情绪，改变图像标题，使其更浪漫或幽默。
2018-04-17 cs.CL
Formality Style Transfer with Hybrid Textual Annotations
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research Asia（微软亚洲研究院）
正式文体转换是指在不改变句子内容的前提下，对句子的正式形式进行修改。它的挑战是缺乏大规模的并行数据。在本文中，我们提出了一个杂食模型，采取并行数据和形式分类的数据联合，以减轻数据稀疏性问题。我们经验证明了我们的方法的有效性，实现了最先进的性能，最近提出的基准数据集的正式转让。此外，我们的模型可以很容易地适应其他无监督的文本风格传输任务，如无监督的情感传输，并在三个广泛认可的基准上取得有竞争力的结果。
2019-03-15 cs.CL
Identifying causal relations in tweets using deep learning: Use case on diabetes-related tweets from 2017-2021
Paris-Saclay University（巴黎-萨克雷大学）；UVSQ（凡尔赛大学）；Inserm（法国国家健康与医学研究院）；Gustave Roussy（古斯塔夫·鲁西研究所）；Epiconcept Company（Epiconcept公司）；Accenture Labs（埃森哲实验室）；Sorbonne University（索邦大学）；University Sorbonne Paris Nord（索邦巴黎北大学）；Indian Institute of Science（印度科学学院）；Luxembourg Institute of Health（卢森堡健康研究院）
目的：利用机器学习方法，我们的目标是从患者报告的糖尿病相关推文中提取明确和隐含的因果关系，并提供一种工具，从因果关系的角度更好地理解糖尿病在线社区中共享的意见，感受和观察。材料和方法：在2017年4月至2021年1月期间收集了超过3000万条与糖尿病相关的英文推文。深度学习和自然语言处理方法被应用于关注具有个人和情感内容的推文。手动标记因果推文数据集并用于训练1）微调的Bertweet模型以检测包含因果关联的因果句子2）具有基于BERT的特征的CRF模型以提取可能的因果关联。原因和影响在一个半监督的方法和可视化的互动因果网络中进行了聚类。结果：在不平衡数据集中，因果句的召回率为68%。一个CRF模型与BERT为基础的功能优于微调BERT模型的因果检测与宏观召回率为68%。这导致了96，676个带有因果关系的句子。“糖尿病”被确定为中心聚类，其次是“死亡”和“胰岛素”。胰岛素定价相关原因通常与“死亡”相关。结论：开发了一种新的方法来检测因果句子，并识别显式和隐式，单个和多个单词的原因和相应的效果，如在糖尿病相关的推文中表达的，利用基于BERT的架构和可视化的因果网络。在社交媒体数据中提取现实生活中的因果关系，患者报告的结果为糖尿病研究提供了有用的补充信息来源。
2022-02-24 cs.AI cs.CL cs.LG
QuaSE: Accurate Text Style Transfer under Quantifiable Guidance
Tencent AI Lab（腾讯人工智能实验室）；The Chinese University of Hong Kong（香港中文大学）；Noah’s Ark Lab, Huawei Technologies（华为诺亚方舟实验室）
我们提出了可量化序列编辑（Quantitatively Sequence Editing，简称QSE）的任务：编辑一个输入序列，生成一个输出序列，该序列满足一个给定的数值结果值，测量序列的某个属性，并要求保持输入序列的主要内容。例如，输入序列可以是单词序列，诸如评论句子和广告文本。对于评论句子，结果可以是评论评级;对于广告，结果可以是点击率。在执行的主要挑战是如何感知的结果相关的措辞，并只编辑它们来改变结果。在本文中，所提出的框架包含两个潜在的因素，即，结果因素和内容因素，从输入的句子，以方便编辑，以改变结果，并保持内容。我们的框架通过对伪平行句的内容相似性和结果差异进行建模来探索伪平行句，以更好地解开潜在因素，从而生成输出以更好地满足所需结果并保留内容。对偶重构结构通过利用伪并行语句的潜在因素的耦合，进一步增强了生成期望输出的能力。为了进行评估，我们准备了一个Yelp评论句子的数据集，并将评级作为结果。广泛的实验结果报告和讨论，阐述我们的框架的特点。
2019-01-30 cs.CL
Predicting Directionality in Causal Relations in Text
The George Washington University（乔治·华盛顿大学）
在这项工作中，我们测试了两个双向转换为基础的语言模型，BERT和斯潘BERT，预测文本内容中的因果对的方向性的性能。我们的初步研究结果表明，预测句子间的方向和隐含的因果关系是更具挑战性的。并且，Span BERT在跨度长度较长的因果样本上的性能优于BERT。我们还介绍了CREST，这是一个框架，用于统一收集分散的因果关系数据集。
2021-03-25 cs.AI cs.CL
ConSERT: A Contrastive Framework for Self-Supervised Sentence Representation Transfer
Beijing University of Posts and Telecommunications（北京邮电大学）；Meituan Inc.（美团公司）
学习高质量的句子表示有利于广泛的自然语言处理任务。虽然基于BERT的预训练语言模型在许多下游任务上取得了很高的性能，但本地派生的句子表示被证明是崩溃的，从而在语义文本相似性（STS）任务上产生较差的性能。在本文中，我们提出了ConSERT，一个自我监督的句子表征转移的对比框架，采用对比学习，以无监督和有效的方式微调BERT。通过使用未标记的文本，ConSERT解决了BERT派生的句子表示的崩溃问题，使它们更适用于下游任务。STS数据集上的实验表明，ConSERT实现了8%的相对改善，比以前的国家的最先进的，甚至相当于监督SBERT-NLI。当进一步结合NLI监督时，我们在STS任务上实现了新的最先进的性能。此外，ConSERT仅用1000个样本就获得了可比的结果，显示了其在数据稀缺情况下的鲁棒性。
2021-05-25 cs.AI cs.CL
Sentence-level Media Bias Analysis with Event Relation Graph
Texas A&M University（德克萨斯农工大学）
本文提出构建事件关系图以显式建模事件间的共指、时间、因果和子事件关系，并结合事件感知语言模型与关系感知图注意力网络，在句子级别提升媒体偏见句识别的精确率与召回率。
2024-04-02 cs.CL
Rethinking Text Attribute Transfer: A Lexical Analysis
Columbia University（哥伦比亚大学）；Bytedance AI Lab（字节跳动人工智能实验室）
文本属性迁移是指对某些语言属性（如情感、风格、作者等）的修改。并将它们从一种类型转换为另一种类型。在本文中，我们的目的是分析和解释在转移过程中发生了什么变化。我们首先观察到，在许多现有的模型和数据集中，句子中的某些单词在确定句子属性类方面发挥着重要作用。这些单词称为\textit{the Pivot Words}。基于这些主元词，我们提出了一个词汇分析框架\textit{the Pivot Analysis}，定量分析这些词在文本属性分类和迁移中的作用。我们将此框架应用于现有的数据集和模型，并表明：（1）主元词是句子属性分类的强特征;（2）要改变句子的属性，许多数据集只需要改变某些主元词;（3）因此，许多迁移模型只执行词汇级别的修改，而不改变更高级别的句子结构。我们的工作提供了一个深入的了解语言属性转移，并进一步确定了未来的要求和挑战，这项任务\footnote{Our code can be found at https://github.com/FranxYao/pivot_analysis}。
2019-09-26 cs.CL cs.LG
Language-agnostic BERT Sentence Embedding
Google AI（谷歌人工智能）
虽然BERT是学习单语句子嵌入以获得语义相似性和基于嵌入的迁移学习的有效方法（Reimers和Gurevych，2019），但基于BERT的跨语言句子嵌入还有待探索。我们通过结合学习单语和跨语言表示的最佳方法，系统地研究了学习多语言句子嵌入的方法，包括：掩蔽语言建模（MLM），翻译语言建模（TLM）（Conneau和Lample，2019），双编码器翻译排名（Guo等人，2018），以及附加边际softmax（Yang et al.，2019年a）。我们表明，引入一个预先训练的多语言语言模型显着减少了80%的并行训练数据，以实现良好的性能。组合这些方法中最好的一种方法产生了一个模型，在Tatoeba上的112种语言中实现了83.7%的双文本检索准确率，远高于Artetxe和Schwenk（2019 b）实现的65.5%，同时在单语迁移学习基准测试中仍然具有竞争力（Conneau和Kiela，2018）。使用我们最好的模型从CommonCrawl挖掘的并行数据可以训练en-zh和en-de的竞争性NMT模型。我们在https://tfhub.dev/google/LaBSE上公开发布了适用于109多种语言的最佳多语言句子嵌入模型。
2022-03-08 cs.CL
Style Transfer Through Back-Translation
Carnegie Mellon University（卡内基梅隆大学）
风格转换是指在不改变上下文意图或影响的情况下，对文本进行重新措辞，以包含特定的风格属性。本文介绍了一种新的风格自动转换方法。我们首先学习输入句子的潜在表示，该表示基于语言翻译模型，以便在减少文体属性的同时更好地保留句子的含义。然后使用对抗生成技术使输出与期望的风格相匹配。我们评估这种技术上的三种不同的风格转换：情绪，性别和政治倾向。两个国家的最先进的风格迁移建模技术相比，我们表现出改进的风格迁移的自动评估和手动评估的意义保存和流畅性。
2018-05-24 cs.CL
Predicate-Argument Structure Divergences in Chinese and English Parallel Sentences and their Impact on Language Transfer
Department of Environmental Sciences, Informatics and Statistics（环境科学、信息学与统计学系）；Department of Linguistic Sciences And Foreign Literatures（语言科学与外国文学系）
本文针对汉英平行句的谓词论元结构差异展开分析，通过双向标注投影实验验证了语言迁移的不对称性，为跨语言NLP的源语言选择及相关研究提供参考。
2025-11-12 cs.AI cs.CL
