Evaluating Semantic Rationality of a Sentence: A Sememe-Word-Matching Neural Network based on HowNet
Peking University(北京大学);Beijing Institute of Big Data Research(北京大数据研究院)
语义合理性的自动评价是一项重要而又具有挑战性的任务,现有的自动技术不能很好地识别句子的语义是否合理。基于语言模型的方法不是用合理性来衡量句子,而是用共性来衡量句子。基于与人类书面句子相似性的方法在没有人类书面参考文献的情况下会失效。本文提出了一种新的模型--义素词匹配神经网络(SWM-NN),利用义素知识库知网来解决语义合理性评价问题。其优点是,我们的模型可以利用一个适当的义位组合来表示一个词在特定的上下文中的细粒度的语义含义。我们使用细粒度的语义表示来帮助模型学习词之间的语义依赖。为了评估所提出的模型的有效性,我们建立了一个大规模的合理性评估数据集。在该数据集上的实验结果表明,该模型比竞争基线的准确率提高了5.4%。
2018-09-11 cs.CL
DoubleCCA: Improving Foundation Model Group Robustness with Random Sentence Embeddings
Osaka University(大阪大学);Sichuan University(四川大学)
本文提出 DoubleCCA 方法,通过随机句子增强和双重典型相关分析对齐文本嵌入,以简单有效的方式提升基础模型对群体偏见的鲁棒性,并在多个任务上优于现有方法。
2024-11-25 cs.CL cs.CV
Sentence Boundary Augmentation For Neural Machine Translation Robustness
Google Research(谷歌研究院)
神经机器翻译(NMT)模型在提供格式良好的训练和评估数据的翻译任务上表现出了强大的最先进的性能,但它们对包括各种类型错误的输入仍然敏感。具体而言,在长形式语音翻译系统的上下文中,其中输入转录来自自动语音识别(ASR),NMT模型必须处理包括音素替换、语法结构和句子边界的错误,所有这些都对NMT鲁棒性提出了挑战。通过深入的错误分析,我们表明,句子边界分割质量的影响最大,我们开发了一个简单的数据增强策略,以提高分割的鲁棒性。
2020-10-21 cs.CL cs.LG cs.SD
What comes next? Extractive summarization by next-sentence prediction
McGill University(麦吉尔大学);University of Edinburgh(爱丁堡大学)
现有的自动摘要方法假设摘要的长度限制是给定的,并将内容选择视为优化问题,以在此预算内最大化信息量并最小化冗余。这个框架忽略了这样一个事实,即人类编写的摘要具有丰富的内部结构,可以利用这些结构来训练摘要系统。我们提出了NEXTSUM,一种新的方法来总结的基础上的模型,预测下一个句子,包括在摘要不仅使用源文章,但也产生了迄今为止的摘要。我们表明,这样的模型成功地捕捉到摘要特定的话语动作,并导致更好的内容选择性能,除了自动预测多长时间的目标摘要应该。我们进行实验的纽约时报注释语料库的摘要,其中NEXTSUM优于铅和内容模型摘要基线的显着利润率。我们还表明,我们的系统产生的摘要的长度与人类书面黄金标准的长度相关。
2019-01-12 cs.CL
Robustness Evaluation of Two CCG, a PCFG and a Link Grammar Parsers
University of Joensuu(约恩苏大学)
解析器中的健壮性指的是处理异常现象的能力。如果解析器处理的是正常输入范围之外的现象,那么它就是健壮的。本文报告了一系列的鲁棒性评估的国家的最先进的解析器,我们集中在一个方面的鲁棒性:它的能力,分析句子包含拼写错误的单词。我们提出了两种措施的鲁棒性评估的基础上比较语法输入句子和他们的嘈杂的同行分析器的输出。在本文中,我们使用这些措施来比较四个评估的解析器的整体鲁棒性,我们提出了一个分析的解析器的性能下降,错误水平的增加。我们的研究结果表明,性能通常下降几十个百分点的单位时,解析器与文本包含拼写错误。当它在我们专门构建的443个句子的测试集上进行测试时,实验中最好的解析器(C&C解析器)能够分别为60.8%,34.0%和14.9%的语法和不语法句子返回完全相同的解析树,其中有一个,两个或三个拼写错误的单词。
2008-01-24 cs.CL
AliMark: Enhancing Robustness of Sentence-Level Watermarking Against Text Paraphrasing
National University of Singapore(新加坡国立大学)
提出AliMark框架,将句子级水印重构为比特序列编码与对齐问题,通过多候选对齐检测策略提升对句子拆分合并等结构扰动的鲁棒性。
2026-05-28 cs.AI cs.CL cs.CR
Using Punkt for Sentence Segmentation in non-Latin Scripts: Experiments on Kurdish (Sorani) Texts
University of Kurdistan Hewlêr(埃尔比勒库尔德斯坦大学)
切分是大多数自然语言处理任务的基本步骤。库尔德语是一种多方言,资源不足的语言,以不同的文字书写。缺乏各种切分语料库是库尔德语处理的主要瓶颈之一。我们使用Punkt,一种无监督的机器学习方法,对用波斯语-阿拉伯语书写的索拉尼方言的库尔德语语料库进行分割。根据文献,关于在非拉丁语数据上使用Punkt的研究很少。在我们的实验中,我们达到了91.10%的F1分数,出错率为16.32%。高出错率主要是由于库尔德语中的缩写情况,部分原因是序数词。这些数据可在https://github.com/KurdishBLARK/上公开获取,并根据CC BY-NC-SA 4.0许可证用于非商业用途。
2020-04-30 cs.CL
A Neural-Symbolic Approach Towards Identifying Grammatically Correct Sentences
Computational Cognition Lab, Cyprus(塞浦路斯计算认知实验室)
本文提出融合语法句法规则与语言模型的神经符号方法,用于判断英语句子是否语法正确,并在COLA任务上验证其有效性。
2023-07-16 cs.AI cs.CL
Perturbations and Subpopulations for Testing Robustness in Token-Based Argument Unit Recognition
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Eindhoven University of Technology(埃因霍温理工大学)
论元单元识别与分类的目的是从文本中识别出论元单元,并将其分类为赞成或反对。在开发用于此任务的系统时,需要做出的设计选择之一是分类单位应该是什么:标记片段或完整句子。先前的研究表明,与直接对句子进行训练相比,在标记级别上微调语言模型可以产生更强大的句子分类结果。我们重现了最初提出这一主张的研究,并进一步研究了与基于令牌的系统相比,基于令牌的系统究竟能更好地学习什么。我们开发了系统的测试,用于分析基于令牌和基于令牌的系统之间的行为差异。我们的研究结果表明,基于令牌的模型通常比基于令牌的模型更强大的手动扰动的例子和特定的子群体的数据。
2022-09-29 cs.CL
SemStamp: A Semantic Watermark with Paraphrastic Robustness for Text Generation
Johns Hopkins University(约翰斯·霍普金斯大学);University of Washington(华盛顿大学);Massachusetts Institute of Technology(麻省理工学院);Tencent AI Lab(腾讯AI实验室)
针对现有token级水印易受释义攻击的问题,提出基于LSH的句子级语义水印算法SemStamp,通过拒绝采样和边界约束提升鲁棒性,在抵御常见及二元释义攻击的同时保持生成质量。
2024-04-22 cs.CL
Punctuation effects in English and Esperanto texts
Université de Liège(列日大学)
本文用统计物理学方法研究了标点符号对句子长度的影响,并以书面语篇为例,分析了{ \it Alice in wonderland}和{ \it Through a looking glass}两个句子的标点符号对句子长度的影响。将第一个文本翻译成世界语也被认为是对标点符号在定义一种风格中的作用的测试,以及对自然语言和人工语言的对比。几个对数对数图的句子长度等级关系的主要标点符号。观察到不同的幂律与特征指数。根据句子的定义方式,指数可以取一个远小于1的值($ca.$ 0.50或0.30)。文本也被映射到基于词频的时间序列。原文与译文之间的数量差异非常微小,处于指数级。有人认为,句子似乎是更可靠的讨论作者的风格比字的分布。
2010-04-27 cs.CL physics.data-an
Evaluating In-Context Translation with Synchronous Context-Free Grammar Transduction
New York University(纽约大学)
本文研究LLM在低资源语言翻译中的挑战,通过构建形式文法模型评估翻译性能,发现语法规模、句子长度及语言差异显著影响翻译准确性。
2026-04-08 cs.AI cs.CL
Multifractal analysis of sentence lengths in English literary texts
Jagiellonian University(雅盖隆大学);Institute of Nuclear Physics, Polish Academy of Sciences(波兰科学院核物理研究所);Cracow University of Technology(克拉科夫理工大学)
本文分析了30篇不同作者的英语文学作品。对于每一个文本,有创建时间序列代表的句子长度的话,并分析其分形特性,使用两种方法的多重分形分析:MFDFA和WTMM。这两种方法都表明,有文本可以被认为是多重分形在这种表示,但大多数的文本不是多重分形,甚至没有分形。在30本书中,只有少数几本书具有如此相关的连续句子长度,以至于分析的信号可以被解释为真正的多重分形。未来研究的一个有趣方向是确定哪些特定特征导致某些文本是多重分形的,而其他文本是单分形的,甚至根本不是分形的。
2012-12-13 cs.CL physics.data-an physics.soc-ph
Assessing and Improving Punctuation Robustness in English-Marathi Machine Translation
Computation for Indian Language Technology (CFILT) Department of Computer Science and Engineering(印度语言技术计算(CFILT)部门计算机科学与工程系);Indian Institute of Technology Bombay(印度班加罗尔理工学院)
本研究通过英语到马拉雅尔语的翻译任务,评估并改进NMT系统在处理标点歧义时的鲁棒性,提出两种修复策略并发现任务特定方法优于大型语言模型。
2026-02-13 cs.CL
LEA: Improving Sentence Similarity Robustness to Typos Using Lexical Attention Bias
NielsenIQ Innovation(尼尔森IQ创新部)
本文提出词汇感知注意力模块 LEA,通过融合句子间词语的原始文本相似度来缓解拼写错误引起的词元分布偏移,从而提升交叉编码器在句子相似度任务中的鲁棒性,并在多个数据集上验证了其有效性。
2023-07-06 cs.AI cs.CL
KinyaMed: Seeds, Not Rows -- What a Corpus Requirement Written in the Wrong Unit Fails to Constrain
针对基尼亚卢旺达语分诊分类器,发现以行数计量的语料需求无法约束质量,提出以种子短语计数的门控及检测工具,并报告负面结果。
2026-09-29 cs.CL
Making Sentence Embeddings Robust to User-Generated Content
Inria(法国国家信息与自动化研究所)
针对句子嵌入模型LASER在用户生成内容上鲁棒性不足的问题,提出基于师生方法训练的鲁棒英语编码器RoLASER,在标准与合成UGC数据上训练后显著提升了对自然和人工UGC的鲁棒性及下游任务表现。
2024-03-25 cs.CL
Variation of sentence length across time and genre
University of Freiburg(弗赖堡大学)
本文利用COHA全文语料库检验书面英语句子长度随时间下降的假设,并以in order to频率下降为证据,揭示句子长度、体裁与句法用法变化之间的相互关联。
2025-02-06 cs.CL
Determination of referential property and number of nouns in Japanese sentences for machine translation into English
在日语名词的英译中,我们面临着日语中没有的、但英语写作中必不可少的冠词和数字的问题。为了解决这一难题,我们将名词的指称性和数量分别分为三类。本文证明,根据句中的词,可以比较可靠地估计句中名词的指称性和数量。许多用于估计的规则以类似于专家系统中重写规则的形式被编写。对用于构造规则的句子,在指称性和数目估计上的正确识别率分别为85.5%和89.0%。我们用这些规则对其他文本进行了测试,分别得到了68.9%和85.6%的分数。
1994-05-23 cmp-lg cs.CL
SeqXGPT: Sentence-Level AI-Generated Text Detection
Fudan University(复旦大学)
针对现有AI生成文本检测仅覆盖文档级的不足,研究构建了含人机混合句子的检测数据集,提出基于白盒LLM对数概率特征、结合卷积与自注意力网络的SeqXGPT方法,在句子和文档级检测任务上均优于基线且泛化性强。
2023-12-15 cs.CL
Evolution of the Modern Phase of Written Bangla: A Statistical Study
Indian Institute of Technology, Kanpur(印度理工学院坎普尔分校)
活跃的语言,如孟加拉语(或孟加拉语),由于各种社会,文化,经济和政治问题而随着时间的推移而演变。本文从文字层面、音节层面、语素层面和词汇层面对孟加拉语现代阶段书面形式的变化进行了定量分析。我们收集了三种不同类型的语料库-古典,报纸和博客-并测试其特征的差异是否具有统计学意义。结果表明,在汉字方面,一个词的长度有显著的变化,但在一个词中不同的字、音节和语素的用法以及在一个句子中不同的词的用法上没有太大的差异。据我们所知,这是第一部关于孟加拉语的此类作品。
2013-10-06 cs.CL
Robustness to Modification with Shared Words in Paraphrase Identification
Tsinghua University(清华大学)
揭示自然语言处理模型的鲁棒性问题,提高其鲁棒性,对于提高其在困难情况下的性能具有重要意义。在本文中,我们从一个新的角度研究的鲁棒性释义识别模型-通过修改与共享的话,我们表明,该模型有显着的鲁棒性问题时,面对这样的修改。要修改由句子对组成的示例,我们要么替换两个句子共享的一些单词,要么引入新的共享单词。我们的目标是构造一个有效的新例子,使得目标模型做出错误的预测。为了找到一个修改的解决方案,我们使用束搜索约束的启发式规则,我们利用一个BERT掩蔽语言模型生成替换词兼容的上下文。实验表明,目标模型的性能在修改后的例子上有明显的下降,从而揭示了鲁棒性问题。我们还表明,对抗性训练可以缓解这个问题。
2020-10-05 cs.CL
Sentence Boundary Detection for French with Subword-Level Information Vectors and Convolutional Neural Networks
在这项工作中,我们解决的问题,句子边界检测适用于法国作为一个二元分类任务(“句子边界”或“不是句子边界”)。我们将卷积神经网络与子词级信息向量相结合,子词级信息向量是从维基百科学习的词嵌入表示,它利用了词的形态学;因此每个词都表示为一袋字符n-gram。我们决定使用一个大的书面数据集(法语Gigaword)而不是标准大小的transmittance来训练和评估所提出的架构,目的是在现实生活中的ASR transmittance中使用经过训练的模型。三种不同的架构进行了测试,显示出类似的结果;所有模型的一般精度超过0.96。所有三个模型都具有良好的F1分数,关于“非句子边界”类,F1分数达到0.97以上。然而,“句子边界”类反映了较低的分数,将其中一个模型的F1度量降低到0.778。使用子字级信息向量似乎是非常有效的,从而得出结论,在嵌入表示中编码的字的形态表现得像图像中的像素,使得卷积神经网络架构的使用可行。
2018-02-13 cs.CL
Siamese CBOW: Optimizing Word Embeddings for Sentence Representations
University of Amsterdam(阿姆斯特丹大学);Yandex(扬德克斯)
我们提出了一种用于高质量句子嵌入的有效估计的神经网络--连体连续词袋(Siamese CBOW)模型。对句子中的单词嵌入求平均已被证明是获得句子嵌入的令人惊讶的成功和有效的方法。然而,用当前可用的方法训练的词嵌入对于句子表示的任务不是最优化的,并且因此可能是次优的。Siamese CBOW通过直接训练词嵌入来处理这个问题,以达到平均的目的。底层神经网络通过从句子表示预测其周围的句子来学习词嵌入。我们通过对来自各种来源的20个数据集进行评估,展示了Siamese CBOW模型的鲁棒性。
2016-06-15 cs.CL
ERAS: Evaluating the Robustness of Chinese NLP Models to Morphological Garden Path Errors
Tandon School of Engineering(坦登工程学院);New York University(纽约大学);Center for Data Science(数据科学中心)
本文提出基准ERAS,通过对比有无局部分割歧义的句子,揭示中文分词和情感分析模型因忽视形态句法上下文而易犯形态学花园路径错误。
2024-10-16 cs.AI cs.CL
SimMark: A Robust Sentence-Level Similarity-Based Watermarking Algorithm for Large Language Models
Department of ECE, University of British Columbia(电子工程系,不列颠哥伦比亚大学)
SimMark是一种无需访问模型内部的句级水印算法,利用语义相似性与拒绝采样嵌入统计模式,实现对释义攻击的鲁棒性,并在鲁棒性、效率和适用性上超越现有技术。
2025-09-11 cs.CL cs.CR cs.CY
Modular Adaptation of Multilingual Encoders to Written Swiss German Dialect
University of Zurich(苏黎世大学)
针对书面瑞士德语数据稀缺问题,本文通过持续预训练和模块化适配器适配多语言编码器,证明适配器可达到单体适配97.5%的性能,并发现字符级模型最适合跨方言句子检索。
2024-01-25 cs.CL
Align and Shine: Building High-Quality Sentence-Aligned Corpora for Multilingual Text Simplification
Centre for Translation, Localisation and Interpreting Studies(翻译、本地化与诠释研究中心);School of Languages, Cultures and Societies(语言、文化和社会学院);University of Leeds, UK(利兹大学)
本文通过收集和处理可比语料库中的众包简化数据,构建了多语言文本简化任务的高质量句子对语料库,解决了其他语言缺乏大规模高质量数据的问题。
2026-05-10 cs.AI cs.CL
Semi-supervised Thai Sentence Segmentation Using Local and Distant Word Representations
Chulalongkorn University(朱拉隆功大学);Kasikorn Business Technology Group (KBTG)(开泰商业科技集团(KBTG))
句子通常被视为用于从较长的文本中提取有价值的信息的最小句法单元。然而,在书面泰语中,没有明确的句子标记。我们提出了一个用于句子分割任务的深度学习模型,其中包括三个主要贡献。首先,我们将n-gram嵌入作为一种局部表示来捕获句子边界附近的单词组。第二,为了集中在依赖子句的关键字上,我们将该模型与从自我注意模块获得的距离表示相结合。最后,由于标记数据的稀缺性,注释是困难和耗时的,我们还研究和适应交叉视图训练(CVT)作为一种半监督学习技术,使我们能够利用未标记的数据来改善模型表示。在泰语句子分割实验中,与Orchid和UGWC数据集上的基线模型相比,我们的模型分别将相对误差降低了7.4%和10.5%。我们还将我们的模型应用于IWITONS英语数据集的发音恢复任务。我们的模型优于先前的序列标记模型,实现了2.5%的相对误差减少。消融研究表明,利用n-gram介绍是泰国的主要贡献因素,而半监督培训帮助最多的英语。
2019-08-25 cs.CL
BITS Pilani at HinglishEval: Quality Evaluation for Code-Mixed Hinglish Text Using Transformers
BITS Pilani(比尔拉科学技术学院皮拉尼分校)
代码混合文本数据由包含来自多种语言的单词或短语的句子组成。世界上大多数多语言社区使用多种语言进行交流,英语通常是其中之一。印度式英语是一种由印度语和英语组成的代码混合文本,但以罗马字母书写。本文的目的是确定影响由系统生成的代码混合文本数据的质量的因素。对于Hinglish Eval任务,该模型使用多语言BERT来找到合成生成的句子和人类生成的句子之间的相似性,以预测合成生成的Hinglish句子的质量。
2022-06-17 cs.CL cs.LG
Identifying Adversarial Sentences by Analyzing Text Complexity
KDDI Research, Inc.(KDDI综合研究所);The University of Tokyo(东京大学)
攻击者创建对抗性文本来欺骗人类感知和当前的人工智能系统,以执行恶意目的,例如垃圾邮件产品评论和虚假政治帖子。我们研究了对抗性文本与原文之间的差异,以防止风险。我们证明了由人类书写的文本更加连贯和流畅。此外,人类可以通过具有现代词汇的灵活文本来表达思想,而机器则专注于通过简单和常见的词汇优化生成的文本。我们还提出了一种方法,通过提取与我们的研究结果相关的特征来识别敌对文本。该方法的准确率为82.0%,等出错率为18.4%,优于现有方法的最佳准确率为77.0%,等出错率为22.8%。
2019-12-19 cs.CL
Sequence Mining and Pattern Analysis in Drilling Reports with Deep Natural Language Processing
Stanford University(斯坦福大学);Halliburton(哈里伯顿公司)
几十年来,石油和天然气工业中的钻井活动每天都有数千口井的报道,然而,对本文进行大规模的信息检索、序列挖掘和模式分析是非常具有挑战性的。钻井报告包含由钻井人员根据井下传感器和地面设备中的记录测量结果编写的解释,并可用于操作优化和事故缓解。在这个初步的工作中,提出了一种方法,用于自动分类的句子写在钻井报告中的三个相关的标签(事件,症状和行动)的数百口井在一个实际的领域。克服了文本语料库中的一些主要挑战,包括技术符号的高频率,技术术语的错误输入/缩写,以及钻井报告中存在不完整的句子。我们在这种技术语言中获得了最先进的分类精度,并说明了该工具支持的高级查询。
2017-12-05 cs.CL
Generating and Evaluating Tests for K-12 Students with Language Model Simulations: A Case Study on Sentence Reading Efficiency
Stanford University(斯坦福大学)
本研究通过微调大型语言模型模拟学生回答,结合GPT-4生成和筛选项目,并采用最优传输技术生成平行测试,在234名2至8年级学生中验证了生成测试与专家编写测试的高相关性(r=0.93)。
2023-10-10 cs.CL cs.LG
Robust Unsupervised Neural Machine Translation with Adversarial Denoising Training
Harbin Institute of Technology(哈尔滨工业大学);National Institute of Information and Communications Technology (NICT)(信息通信研究机构(NICT))
无监督神经机器翻译(UNMT)最近引起了机器翻译界的极大兴趣。UNMT的主要优势在于它可以轻松地收集所需的大型训练文本句子,而性能仅略差于监督神经机器翻译,后者在某些翻译任务中需要昂贵的注释翻译对。在大多数研究中,UMNT是用干净的数据训练的,而没有考虑它对噪声数据的鲁棒性。然而,在现实世界的场景中,通常存在噪声在收集的输入句子,这降低了翻译系统的性能,因为UNMT是敏感的输入句子的小扰动。在本文中,我们第一次明确地考虑到噪声数据,以提高基于UNMT系统的鲁棒性。首先,我们在训练句子中明确定义了两种类型的噪音,即,词噪声和词序噪声,并实证研究其在UNMT中的影响,然后我们提出了在UNMT中具有去噪过程的对抗训练方法。几个语言对的实验结果表明,我们提出的方法大大提高了传统的UNMT系统在嘈杂的情况下的鲁棒性。
2020-12-03 cs.CL
Complex-Text Robustness Evaluation and Failure Diagnosis for Low-Resource Multilingual Text-to-Speech
Northwestern Polytechnical University(西北工业大学);iFLYTEK Company Ltd.(科大讯飞股份有限公司)
本文提出针对低资源多语言TTS的复杂文本鲁棒性诊断框架,从内容、语言和生成稳定性三维度评估,并引入轻量级文本风险评分(TRS),在多个系统上验证了其有效性。
2026-09-11 cs.CL cs.SD
Parsing of part-of-speech tagged Assamese Texts
Sikkim Manipal Institute of Technology(锡金马尼帕尔理工学院);Tezpur University(特兹普尔大学)
自然语言(英语:Natural language)是一种由人类用于通用交流的语言,与形式语言(如计算机程序设计语言或用于形式逻辑研究的“语言”)不同。使计算机能够使用自然语言执行信息处理所需的计算活动被称为自然语言处理。我们采用阿萨姆语来检查输入句子的语法。我们的目标是产生一种技术来检查阿萨姆语文本中的句子的语法结构。通过对阿萨姆语句子结构的分析,我们制定了语法规则。我们的语法分析程序发现语法错误,如果有的话,在阿萨姆语句子。如果没有错误,程序将生成阿萨姆语句子的解析树
2009-12-09 cs.CL
Generating Multiple-Length Summaries via Reinforcement Learning for Unsupervised Sentence Summarization
Pohang University of Science and Technology(浦项科技大学);Microsoft Research Asia(微软亚洲研究院);Korea Advanced Institute of Science and Technology(韩国科学技术院)
句子摘要缩短了给定的文本,同时保持了文本的核心内容。已经研究了无监督的方法来总结没有人类书面摘要的文本。然而,最近的无监督模型是提取的,它从文本中删除单词,因此它们不如抽象摘要灵活。在这项工作中,我们设计了一个抽象模型的基础上强化学习没有地面实况摘要。我们制定的无监督摘要的马尔可夫决策过程的基础上,代表摘要质量的奖励。为了进一步提高摘要质量,我们开发了一种多摘要学习机制,该机制可以为给定的文本生成多个不同长度的摘要,同时使摘要相互增强。实验结果表明,该模型大大优于抽象和提取模型,但经常产生新的单词不包含在输入文本。
2022-12-21 cs.AI cs.CL
CoheMark: A Novel Sentence-Level Watermark for Enhanced Text Quality
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Tsinghua University(清华大学)
CoheMark利用句子间衔接关系,通过模糊c均值聚类选句和下一句选择标准,在保持文本质量的同时实现强鲁棒性的句子级水印。
2025-04-24 cs.CL
Joint Persian Word Segmentation Correction and Zero-Width Non-Joiner Recognition Using BERT
Sharif University of Technology(谢里夫理工大学);Dathena Science Pte. Ltd.(达特纳科学私人有限公司)
在波斯语书写系统中,单词被适当地分段;然而,在实践中,这些书写规则经常被忽视,导致单个单词被不连续地书写,而多个单词在它们之间没有任何空格。本文讨论了波斯语中的分词和零宽度非连接器(ZWNJ)识别问题,我们将其作为一个序列标记问题来处理。我们在仔细收集的500句高难度句子的语料库上获得了92.40%的宏观平均F1分数。
2020-10-28 cs.CL
DEPLAIN: A German Parallel Corpus with Intralingual Translations into Plain Language for Sentence and Document Simplification
Heinrich Heine University(海因里希·海涅大学)
本文提出德语简明语言平行语料库DEplain,包含新闻和网络领域的文档及句子对齐数据,并通过网络抓取与自动对齐动态扩展语料,实验证明其能有效训练基于transformer的文本简化模型。
2023-05-30 cs.CL
NEO-BENCH: Evaluating Robustness of Large Language Models with Neologisms
College of Computing(计算机学院);Georgia Institute of Technology(佐治亚理工学院)
针对训练数据与推理文本的时间漂移导致大语言模型性能下降的问题,该研究构建新词资源库与NEO-BENCH基准,发现新词会显著降低模型性能,且模型表现受知识截止时间、词源等因素影响。
2024-08-13 cs.CL
SAMark: A Self-Anchored Text Watermarking with Paragraph-Level Paraphrase Robustness
University of Science and Technology of China(中国科学技术大学)
提出SAMark自锚水印框架,通过建立语义空间中与句子顺序无关的逐步独立绿色区域,结合多通道双曲评分机制和多样性感知过滤策略,在段落级释义攻击下实现高检测率并打破鲁棒性-质量权衡。
2026-11-17 cs.AI cs.CL cs.CR
Unsupervised Learning of Sentence Embeddings using Compositional n-Gram Features
Iprova SA(Iprova股份公司);EPFL(洛桑联邦理工学院)
最近无监督词嵌入在众多应用中取得的巨大成功提出了一个明显的问题,即是否也可以导出类似的方法来改进词序列的嵌入(即语义表示)。我们提出了一个简单而有效的无监督目标训练分布式表示的句子。我们的方法在大多数基准任务上的表现优于最先进的无监督模型,突出了所产生的通用句子嵌入的鲁棒性。
2018-12-28 cs.AI cs.CL cs.IR
NoisyHate: Mining Online Human-Written Perturbations for Realistic Robustness Benchmarking of Content Moderation Models
The Pennsylvania State University(宾夕法尼亚州立大学);Indiana University(印第安纳大学)
本文提出人类编写扰动数据集 NoisyHate,通过真实数据弥补算法生成扰动的不足,并验证其在扰动规范化和理解任务上对 BERT、RoBERTa 和 Perspective API 等模型的挑战,助力提升有毒言论检测的鲁棒性。
2025-04-28 cs.AI cs.CL cs.CY
When Classical Chinese Meets Machine Learning: Explaining the Relative Performances of Word and Sentence Segmentation Tasks
National Chengchi University(国立政治大学);National Chiao Tung University(国立交通大学);University of California, Riverside(加州大学河滨分校)
在我们的实验中,我们考虑了三个主要的文本来源关于中国唐代,旨在分割文本的文言文。这些语料库包括《唐墓传》、《新唐书》和《旧唐书》。我们证明了使用深度学习方法可以获得令人满意的分割结果。更有趣的是,我们发现,我们在不同的实验设计中观察到的一些相对优势可能是可以解释的。训练语料库之间的相对相关性为我们采用不同的语料库组合来训练分类器时获得的分割结果中观察到的差异提供了提示/解释。
2020-07-22 cs.CL cs.LG
Improving Robustness of Neural Inverse Text Normalization via Data-Augmentation, Semi-Supervised Learning, and Post-Aligning Method
SK Telecom(SK电信)
本文针对ASR生成口语文本的域外问题,提出结合数据增强、大语言模型辅助的半监督学习及后对齐方法的直接训练策略,显著提升神经逆文本正则化在多种ASR场景下的鲁棒性。
2023-09-12 cs.CL
Fine-Grained Detection of AI-Generated Text Using Sentence-Level Segmentation
National Institute of Technology Silchar(西里char国立技术学院)
本文提出一种句级序列标注模型,结合预训练Transformer、神经网络与条件随机场,在词元级粒度上细粒度检测并分割混合文本中的人类与AI生成内容,实验证明其优于零样本检测器和现有最先进模型。
2025-09-23 cs.AI cs.CL
BERT Transformer model for Detecting Arabic GPT2 Auto-Generated Tweets
Ferhat Abbas University, Setif 1(费尔哈特·阿巴斯大学塞提夫第一大学);Qatar Computing Research Institute(卡塔尔计算研究所);Hamad Bin Khalifa University (HBKU)(哈马德·本·哈利法大学)
在过去的二十年里,我们逐渐转向互联网和社交媒体来寻找新闻,娱乐对话和分享意见。最近,OpenAI开发了一个名为GPT-2的机器学习系统,用于生成预训练的Transformer-2,它可以生成deepfake文本。它可以根据简短的写作提示生成文本块,看起来像是人类写的,从而促进虚假或自动生成的文本的传播。根据这一进展,并为了对抗潜在的危险,已经提出了几种方法来检测这些语言模型编写的文本。在本文中,我们提出了一个基于迁移学习的模型,该模型将能够检测阿拉伯语句子是由人类写的还是由机器人自动生成的。我们的数据集基于以前工作中的推文,我们使用Twitter API对其进行了抓取和扩展。我们使用GPT 2-Small-Arabic来生成假的阿拉伯语句子。为了进行评估,我们比较了基于不同递归神经网络(RNN)词嵌入的基线模型,即:LSTM,BI-LSTM,GRU和BI-GRU,以及基于transformer的模型。我们新的迁移学习模型获得了高达98%的准确率。据我们所知,这项工作是第一项将ARABERT和GPT 2结合起来检测和分类阿拉伯语自动生成文本的研究。
2021-01-22 cs.CL
Structure-Invariant Testing for Machine Translation
ETH Zurich(苏黎世联邦理工学院)
近年来,机器翻译软件越来越多地融入我们的日常生活。人们通常将机器翻译用于各种应用,例如向外国医生描述症状和阅读外语政治新闻。然而,支持现代机器翻译的神经机器翻译(NMT)模型的复杂性和棘手性使得这些系统的鲁棒性甚至难以评估,更不用说保证了。机器翻译系统可能返回劣质结果,导致误解、医疗误诊、人身安全威胁或政治冲突。尽管其明显的重要性,验证机器翻译系统的鲁棒性是非常困难的,因此,被大大低估了。为了应对这一挑战,我们引入了结构不变测试(SIT),一种新的变形测试方法来验证机器翻译软件。我们的主要观点是,“相似”的源语句的翻译结果通常应该表现出相似的句子结构。具体来说,SIT(1)通过用语义相似、句法等价的词替换给定句子中的一个词来生成相似的源句子;(2)通过句法分析树(通过选区或依存句法分析获得)来表示句子结构;(3)报告结构差异超过某个阈值的句子对。为了评估SIT,我们使用它来测试Google翻译和Bing Microsoft翻译,输入200个源句子,导致64个和70个错误问题,准确率分别为69.5%和70%。翻译错误是多种多样的,包括翻译不足,过度翻译,不正确的修改,单词/短语误译,和逻辑不清。
2020-07-14 cs.CL cs.SE
The syntax-lexicon tradeoff in writing
Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院)
当说话者把他们的想法变成句子时,他们在单词的复杂性和句法之间保持平衡。然而,目前还不清楚这种句法-词汇的权衡是否是在快速在线处理的压力下口语产生所特有的。另一种可能是,这种权衡是语言的一个基本属性,与产生的方式无关。这项工作评估了三个不同主题的书面语言的神经典型的个人的单词和句法规则的复杂性之间的关系。我们发现,类似于说,在写作中构建句子涉及词汇和句法项目的复杂性之间的权衡。我们还表明,在写作过程中减少在线处理的需求,允许检索更复杂的单词,在成本上纳入更简单的语法。这项工作进一步强调了句子成分的可及性作为句法-词汇权衡出现的驱动力的作用。
2022-06-24 cs.CL
Double Perturbation: On the Robustness of Robustness and Counterfactual Bias Evaluation
UCLA(加州大学洛杉矶分校)
稳健性和反事实偏差通常在测试数据集上进行评估。然而,这些评价是否可靠?如果测试数据集受到轻微扰动,评估结果是否保持不变?在本文中,我们提出了一个“双扰动”框架,以发现模型的弱点超出了测试数据集。该框架首先对测试数据集进行扰动,构造出大量与测试数据相似的自然句子,然后对单个词替换的预测变化进行诊断。我们应用这个框架来研究两种基于扰动的方法,用于分析模型的鲁棒性和反事实偏见的英语。(1)为了鲁棒性,我们专注于同义词替换,并确定易受攻击的例子,预测可以改变。我们提出的攻击在原始和经过鲁棒训练的CNN和Transformers上找到易受攻击的例子时,成功率很高(96.0%-99.8%)。(2)对于反事实偏见,我们专注于替换人口统计标记(例如,性别,种族),并测量预期预测在构建的句子中的偏移。我们的方法能够揭示隐藏的模型偏差,而不是直接显示在测试数据集中。我们的代码可在https://github.com/chong-z/nlp-second-order-attack上获得。
2021-04-12 cs.CL cs.CY cs.LG
Machine-Generated Text Localization
Boston University(波士顿大学)
针对文档中仅部分内容由机器生成的场景,本文提出MGT定位任务,并利用多句上下文同时预测以识别风格变化,在五个数据集上较以往方法提升4-13% mAP。
2024-06-10 cs.CL
Arabic Sentence Segmentation Across Genres and Punctuation Conditions
Mohamed bin Zayed University of Artificial Intelligence(莫扎德·本·泽德人工智能大学);New York University Abu Dhabi(纽约大学阿布扎比分校)
针对阿拉伯语标点歧义和不一致导致的句子分割难题,构建跨8种体裁的语料库AraSEG,评估LLM、轻量编码器和依存解析器,发现轻量模型在困难设置下优于LLM,且准确分割能显著提升下游依存解析。
2026-09-01 cs.CL
Multifractal hopscotch in "Hopscotch" by Julio Cortazar
Cracow University of Technology(克拉科夫理工大学);Polish Academy of Sciences(波兰科学院)
本研究通过多重分形分析科塔萨尔《跳房子》的句长变异性,发现其在不同语言版本中均呈现左侧不对称的丰富多重分形特征,揭示了作者赋予读者的阅读自由对文本统计结构的影响。
2025-01-22 cs.CL