EdaCSC: Two Easy Data Augmentation Methods for Chinese Spelling Correction
Automated institute, Wuhan University of Technology（武汉理工大学自动化学院）；School of Software, University of Science and Technology of China（中国科学技术大学软件学院）
针对中文拼写纠错在多错别字句子和过度纠正方面的不足，本文提出切分长句与减少错别字两种数据增强方法，并通过多训练流程选模，在 SIGHAN 尤其 SIGHAN15 上达到先进性能。
2024-09-08 cs.AI cs.CL
Embarrassingly Easy Document-Level MT Metrics: How to Convert Any Pretrained Metric Into a Document-Level Metric
EPFL（洛桑联邦理工学院）；HEIG-VD（沃州高等工程学院）；AWS AI Labs（亚马逊云服务人工智能实验室）
我们假设，现有的翻译级机器翻译（MT）指标变得不那么有效时，人类的参考包含歧义。为了验证这一假设，我们提出了一种非常简单的方法来扩展预训练的指标，以在文档级别上结合上下文。我们将我们的方法应用到三个流行的指标，BERTScore，棱镜，和彗星，并参考免费的指标彗星QE。我们使用提供的MQM注释评估WMT 2021度量共享任务上的扩展度量。我们的研究结果表明，扩展的指标优于他们在约85%的测试条件下，当排除低质量的人类参考的结果。此外，我们表明，我们的文档级扩展的COMET-QE显着提高了其准确性的话语现象的任务，优于一个专用的基线高达6.1%。我们的实验结果支持我们最初的假设，并表明，一个简单的扩展的度量允许他们利用上下文来解决歧义的参考。
2022-09-27 cs.CL
Do sequence-to-sequence VAEs learn global features of sentences?
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；CIFAR（加拿大高级研究院）
自回归语言模型功能强大，并且相对容易训练。然而，这些模型通常在没有显式条件标签的情况下进行训练，并且在生成过程中无法提供简单的方法来控制全局方面，例如情感或主题。Bowman & al.（2016）将变分自编码器（VAE）用于具有序列到序列架构的自然语言，并声称潜在向量能够以无监督的方式捕获这种全局特征。我们质疑这种说法。我们通过分解句子中每个位置的重建损失来衡量哪些词从潜在信息中受益最多。使用这种方法，我们发现，VAE是容易记忆的第一个单词和句子长度，产生有限的有用的本地功能。为了缓解这一问题，我们研究了基于词袋假设和语言模型预训练的替代架构。这些变体学习更全局的潜在变量，即，更能预测主题或情感标签。此外，使用重建，我们观察到，它们减少了记忆：第一个单词和句子长度的恢复不如基线准确，因此产生了更多样化的重建。
2021-03-28 cs.CL cs.LG
Quick and (not so) Dirty: Unsupervised Selection of Justification Sentences for Multi-hop Question Answering
University of Arizona（亚利桑那大学）
我们提出了一个无监督的策略，选择多跳问答（QA）的理由句子，（a）最大限度地提高所选句子的相关性，（b）最大限度地减少所选事实之间的重叠，（c）最大限度地提高问题和答案的覆盖范围。这种无监督的句子选择方法可以与任何有监督的QA方法相结合。我们表明，通过我们的方法选择的句子提高了两个多跳QA数据集上最先进的监督QA模型的性能：AI2的推理挑战（ARC）和多句阅读理解（MultiRC）。在不使用外部资源训练QA系统的方法中，我们在两个数据集上都获得了最新的性能：ARC上的F1为56.82%（Challenge为41.24%，Easy为64.49%），MultiRC上的EM0为26.1%。我们的理由句子比通过强信息检索基线选择的理由具有更高的质量，例如，5.4%的F1在MultiRC中。我们还表明，我们的无监督选择的理由句子是更稳定的跨域比一个国家的最先进的监督句子选择方法。
2020-05-03 cs.CL
Improving Contrastive Learning of Sentence Embeddings with Focal-InfoNCE
University of Alberta（阿尔伯塔大学）
针对 SimCSE 未充分利用难负样本的问题，提出结合难负样本挖掘的无监督对比学习框架，通过在对比目标中引入自定步长调制项的 focal-InfoNCE 函数，使模型聚焦于难负样本，在 STS 基准上有效提升了句子嵌入质量。
2023-10-20 cs.CL cs.LG
Sen2Pro: A Probabilistic Perspective to Sentence Embedding from Pre-trained Language Model
Tencent AI Lab（腾讯人工智能实验室）
本文提出Sen2Pro框架，将PLM生成的句子由点向量改为概率分布以建模模型与数据不确定性，无需重训且可即插即用，并从理论和多任务实验验证其优于Sen2Vec。
2023-06-04 cs.AI cs.CL
A Structured Self-attentive Sentence Embedding
IBM Watson（IBM 沃森）；Montreal Institute for Learning Algorithms (MILA)（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）
本文提出了一种新的模型，通过引入自注意提取一个可解释的句子嵌入。我们不使用向量，而是使用一个二维矩阵来表示嵌入，矩阵的每一行都代表句子的不同部分。我们还提出了一个自注意力机制和一个特殊的正则化项的模型。作为一个副作用，嵌入附带了一种简单的方法，可以可视化句子的哪些特定部分被编码到嵌入中。我们在3个不同的任务上评估我们的模型：作者分析，情感分类和文本蕴涵。结果表明，我们的模型产生了显着的性能增益相比，其他句子嵌入方法在所有的3个任务。
2017-03-09 cs.AI cs.CL cs.LG
Robust Unsupervised Neural Machine Translation with Adversarial Denoising Training
Harbin Institute of Technology（哈尔滨工业大学）；National Institute of Information and Communications Technology (NICT)（信息通信研究机构（NICT））
无监督神经机器翻译（UNMT）最近引起了机器翻译界的极大兴趣。UNMT的主要优势在于它可以轻松地收集所需的大型训练文本句子，而性能仅略差于监督神经机器翻译，后者在某些翻译任务中需要昂贵的注释翻译对。在大多数研究中，UMNT是用干净的数据训练的，而没有考虑它对噪声数据的鲁棒性。然而，在现实世界的场景中，通常存在噪声在收集的输入句子，这降低了翻译系统的性能，因为UNMT是敏感的输入句子的小扰动。在本文中，我们第一次明确地考虑到噪声数据，以提高基于UNMT系统的鲁棒性。首先，我们在训练句子中明确定义了两种类型的噪音，即，词噪声和词序噪声，并实证研究其在UNMT中的影响，然后我们提出了在UNMT中具有去噪过程的对抗训练方法。几个语言对的实验结果表明，我们提出的方法大大提高了传统的UNMT系统在嘈杂的情况下的鲁棒性。
2020-12-03 cs.CL
Team "better_call_claude": Style Change Detection using a Sequential Sentence Pair Classifier
Humanities Lab, Faculaty of Arts, Radboud University, Houtlaan 4, 6525 XZ, Nijmegen, Netherlands（人文实验室，艺术学院，拉德堡德大学）；Center for Artificial Intelligence, Technical University of Applied Sciences Würzburg-Schweinfurt, Münzstraße 12, 97070, Würzburg, Germany（人工智能中心，应用技术大学Würzburg-Schweinfurt）；LEYA Lab, School of Computer Science, Physics and Technology, HSE University, 6, 25th Liniya, Vasilievsky Ostrov, 199004, St Petersburg, Russia（LEYA实验室，计算机科学、物理与技术学院，俄罗斯高等经济大学）
本研究针对PAN 2025句子级风格变化检测任务，提出轻量的序列句子对分类器方法，结合预训练语言模型与BiLSTM建模上下文，在三个难度数据集上均取得优于随机基线和claude-3.7-sonnet零样本的宏F1表现。
2025-08-01 cs.CL
Towards Universal Paraphrastic Sentence Embeddings
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
我们考虑基于来自释义数据库的监督来学习通用的释义句子嵌入的问题（Ganitkevitch等人，2013年）的报告。我们比较了六个组成架构，评估他们的注释文本相似性数据集从相同的分布作为训练数据和广泛的其他领域。我们发现，最复杂的架构，如长短期记忆（LSTM）递归神经网络，在域内数据上表现最好。然而，在域外场景中，诸如字平均之类的简单架构大大优于LSTM。我们最简单的平均模型甚至可以与针对特定任务调整的系统竞争，同时也非常高效且易于使用。为了更好地理解这些架构的比较，我们对三个有监督的NLP任务进行了进一步的实验：句子相似性，蕴涵和情感分类。我们再次发现，单词平均模型在句子相似性和蕴涵方面表现良好，优于LSTM。然而，在情感分类方面，我们发现LSTM表现非常强劲，甚至在斯坦福情感树库上记录了最新的最先进的性能。然后，我们演示了如何将预训练的句子嵌入与这些监督任务相结合，将它们用作先验和黑盒特征提取器。这导致性能媲美的疾病相似性和蕴涵任务的最新技术水平。我们将所有的资源发布给研究社区，希望它们可以作为进一步研究通用句子嵌入的新基线。
2016-03-04 cs.CL cs.LG
Exploiting Curriculum Learning in Unsupervised Neural Machine Translation
National Laboratory of Pattern Recognition, Institute of Automation, CAS（中国科学院自动化研究所模式识别国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
反向翻译（Back-translation，BT）已经成为无监督神经机器翻译（unsupervised neural machine translation，UNMT）的一个事实上的组成部分，它明确地赋予了UNMT翻译能力。然而，BT生成的所有伪双文本在优化过程中都被视为干净数据，没有考虑质量差异，导致收敛速度慢，翻译性能有限。为了解决这个问题，我们提出了一个课程学习方法，逐步利用伪双文本的质量的基础上，从多个粒度。具体来说，我们首先应用跨语言词嵌入来计算单语句子的潜在翻译难度（质量）。然后，这些句子从易到难一批一批地输入联合国布隆迪特派团。此外，考虑到特定批次中的句子/令牌的质量也是不同的，我们进一步采用模型本身来计算细粒度的质量分数，这些分数作为学习因素，以平衡计算损失时不同部分的贡献，并鼓励UNMT模型专注于更高质量的伪数据。在WMT 14 En-Fr、WMT 16 En-De、WMT 16 En-Ro和LDC En-Zh翻译任务上的实验结果表明，该方法具有更快的收敛速度，并取得了一致的改进。
2021-09-23 cs.CL
MTEB-French: Resources for French Sentence Embedding Evaluation and Analysis
Wikit（维基特（法国））；Esker（艾斯克尔（法国））
本文扩展 MTEB 构建首个法语大规模句嵌入基准，整合并新建数据集，评估 51 个模型在 8 类任务上的表现并分析模型特征与性能的关系。
2024-06-17 cs.CL cs.IR cs.LG
SimpLex: a lexical text simplification architecture
Uppsala University（乌普萨拉大学）；University Politehnica of Bucharest（布加勒斯特理工大学）
本文提出 SimpLex 文本简化架构，结合词嵌入或句子 Transformer 生成简化英语句子，并在 SARI 和困惑度指标上验证其有效性，为后续研究提供模块化基线系统。
2023-04-14 cs.AI cs.CL
You Only Use Reactive Attention Slice For Long Context Retrieval
University of California, San Diego（加利福尼亚大学圣迭戈分校）；Meta AI (FAIR)（Meta AI（FAIR））
提出基于注意力的检索技术YOURA，利用反应分数排序句子相关性，在保持质量的同时提升长上下文查询的推理吞吐量。
2024-09-03 cs.AI cs.CL cs.IR
Context Mover's Distance & Barycenters: Optimal Transport of Contexts for Building Representations
EPFL（洛桑联邦理工学院）；École Polytechnique（巴黎综合理工学院）
我们提出了一个框架，用于构建实体及其组合的无监督表示，其中每个实体被视为概率分布，而不是向量嵌入。特别是，这种分布是支持的上下文，共同出现的实体，并嵌入在一个合适的低维空间。这使我们能够从最优运输的角度考虑表示学习，并利用其工具，如Wasserstein距离和重心。我们详细阐述了如何将该方法应用于获得文本的无监督表示，并说明了在测量句子相似性，词蕴涵和相似性等任务上的性能（定量和定性），其中我们根据经验观察到显着的收益（例如，相对于Sent2vec，GenSen的4.1%相对改善）。所提出的方法的主要优点包括：（a）通过将实体建模为分布来捕获不确定性和多义，（b）利用特定任务的底层几何结构（具有地面成本），（c）同时提供上下文之间的最佳传输概念的可解释性，以及（d）在现有点嵌入方法之上的简单适用性。该代码以及预构建的直方图可在https://github.com/context-mover/上获得。
2020-02-29 cs.CL cs.LG stat.ML
