ViLexNorm: A Lexical Normalization Corpus for Vietnamese Social Media Text
Faculty of Information Science and Engineering(信息科学与工程学院);University of Information Technology(信息技术大学);Vietnam National University(越南国家大学)
本研究构建了首个越南语社交媒体词汇规范化语料库ViLexNorm,含超10000对人工标注句,经评估最优系统ERR达57.74%,验证了该任务对下游NLP任务的增益,语料库供研究公开使用。
2024-01-31 cs.CL
Four-in-One: A Joint Approach to Inverse Text Normalization, Punctuation, Capitalization, and Disfluency for Automatic Speech Recognition
Microsoft Corporation(微软公司)
实体的标点、大写和格式等特征对于可读性、理解和自然语言处理任务都很重要。然而,自动语音识别(ASR)系统产生没有格式化的口语形式的文本,并且用于格式化的标记方法一次仅处理一个或两个特征。在本文中,我们统一口语到书面语的文本转换通过两个阶段的过程:首先,我们使用一个单一的Transformer标记模型,共同产生令牌级的标签,反向文本规范化(ITN),标点符号,大写,和不流利。然后,我们应用标签来生成书面形式的文本,并使用加权有限状态转换器(WFST)语法来格式化标记的ITN实体跨度。尽管将四个模型合并为一个,但我们的统一标记方法在多个领域的基准测试集上匹配或优于所有四个任务的特定任务模型。
2022-10-26 cs.CL
Lexical Normalization for Code-switched Data and its Effect on POS-tagging
IT University of Copenhagen(哥本哈根信息技术大学);University of Stuttgart(斯图加特大学)
词汇规范化,将非规范数据转换为标准语言,已被证明可以提高社交媒体上许多自然语言处理任务的性能。然而,在一个话语中使用多种语言,也称为代码转换(CS),经常被这些规范化系统所忽视,尽管它在社交媒体中很常见。在本文中,我们提出了三个规范化模型,专门设计用于处理代码转换的数据,我们评估两种语言对:土耳其语-英语(Id-En)和土耳其语-德语(Tr-De)。对于后者,我们为数据集引入了新的规范化层及其相应的语言ID和POS标签,并评估了规范化对POS标签的下游影响。结果表明,我们的CS定制的规范化模型优于Id-En国家的最先进的和Tr-De单语模型,并导致5.4%的相对性能提高的POS标记相比,非规范化的输入。
2021-01-31 cs.CL
Look Ma, Only 400 Samples! Revisiting the Effectiveness of Automatic N-Gram Rule Generation for Spelling Normalization in Filipino
Yale University(耶鲁大学)
由于有8475万菲律宾人在线,模型处理在线文本的能力对于开发菲律宾NLP应用程序至关重要。为此,拼写校正是下游处理的关键预处理步骤。然而,数据的缺乏阻止了语言模型用于该任务。本文提出了一种具有自动规则提取功能的N-Gram + Damerau Levenshtein距离模型。我们在300个样本上对模型进行了训练,结果表明,尽管训练数据有限,但它仍然取得了良好的性能,并且在准确性和编辑距离方面优于其他深度学习方法。此外,该模型(1)需要很少的计算能力,(2)在很短的时间内进行训练,从而允许重新训练,以及(3)易于解释,允许直接故障排除,突出了传统方法在数据不可用的设置中相对于更复杂的深度学习模型的成功。
2022-11-05 cs.CL
Reasoning-Guided Claim Normalization for Noisy Multilingual Social Media Posts
TIFIN
本文提出基于六何问题分解与推理引导的声明规范化方法,通过LoRA微调Qwen3-14B并结合检索增强少样本学习,在仅用英语训练的情况下实现20种语言的跨语言迁移,在多个排行榜上取得领先成绩。
2025-11-07 cs.CL
Automatic Textual Normalization for Hate Speech Detection
Faculty of Information Science and Engineering, University of Information Technology(信息科学与工程学院,信息技术大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学)
本文提出仅用Seq2Seq模型进行越南语文本规范化,构建了含2181条标注的数据集,虽规范化准确率略低于70%,但使仇恨言论检测准确率提升约2%。
2024-07-25 cs.CL
DS4DH at #SMM4H 2023: Zero-Shot Adverse Drug Events Normalization using Sentence Transformers and Reciprocal-Rank Fusion
University of Geneva(日内瓦大学)
本研究针对SMM4H 2023共享任务5的Twitter药物不良事件归一化需求,提出BERT微调实体识别结合Sentence Transformers与倒数排名融合的零样本归一化两阶段方法,取得任务最优性能,验证了该方法的有效性与应用潜力。
2023-11-06 cs.CL
ViSoLex: An Open-Source Repository for Vietnamese Social Media Lexical Normalization
University of Information Technology(信息科技大学);Vietnam National University(越南国立大学)
该研究提出开源系统ViSoLex,融合预训练语言模型与弱监督学习技术,提供越南语社交媒体非标准词查询与词汇规范化服务,可适配多场景,助力越南语NLP工具开发与相关研究。
2025-01-13 cs.AI cs.CL
Adapting Sequence to Sequence models for Text Normalization in Social Media
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
社交媒体提供了丰富的有价值的原始数据来源,但非正式的写作可能很快成为许多自然语言处理(NLP)任务的瓶颈。现成的工具通常是在正式文本上训练的,不能显式地处理简短的在线帖子中发现的噪音。此外,频繁出现的语言变体的多样性带来了一些挑战,即使对于可能无法理解这些帖子的含义的人来说,特别是当它们包含俚语和缩写时。文本规范化旨在将在线用户生成的文本转换为规范形式。目前的文本规范化系统依赖于字符串或语音相似性和分类模型,这些模型以本地方式工作。我们认为,处理上下文信息是至关重要的这项任务,并介绍了一个社交媒体文本规范化混合字字符注意力为基础的编码器-解码器模型,可以作为NLP应用程序的预处理步骤,以适应社会媒体中的嘈杂文本。我们基于字符的组件是在合成对抗性示例上训练的,这些示例旨在捕获在线用户生成文本中常见的错误。实验表明,我们的模型超越了为文本规范化设计的神经架构,并实现了与最先进的相关工作相当的性能。
2019-04-12 cs.AI cs.CL cs.LG
Exploiting Dialect Identification in Automatic Dialectal Text Normalization
Computational Approaches to Modeling Language Lab(语言建模计算方法实验室);New York University Abu Dhabi(纽约大学迪拜分校);Carnegie Mellon University in Qatar(卡内基梅隆大学多哈分校)
本文研究阿拉伯方言文本规范化(CODAfication)任务,通过在预训练序列到序列模型中利用方言识别信息,提升了五种城市方言的规范化性能,并公开了代码、数据和模型。
2024-07-03 cs.CL
Enhancements in statistical spoken language translation by de-normalization of ASR results
Military University of Technology(军事技术大学);Polish-Japanese Institute of Information Technology(波兰-日本信息技术学院)
口语翻译在日益全球化的世界中变得非常重要。用于自动语音识别(ASR)系统的机器翻译(MT)是一个具有极大兴趣的主要挑战。本研究探讨语音自动断句对于丰富语音识别输出及辅助后续语言处理的重要性。本文主要研究语音的自动断句和提高机器翻译效果。我们探讨的问题,在波兰语的自动语音识别系统所产生的transmittance确定句子的边界。我们还尝试了识别的语音样本的反向归一化。
2015-11-18 cs.CL stat.ML
Normalization of Transliterated Words in Code-Mixed Data Using Seq2Seq Model & Levenshtein Distance
SRM Institute of Science & Technology(SRM科技学院)
为代码混合数据构建工具在NLP研究社区中迅速流行,因为此类数据在社交媒体上呈指数级增长。处理代码混合数据包含几个挑战,特别是由于语法不一致和拼写变化,以及社交媒体场景中所有先前已知的挑战。在这篇文章中,我们提出了一种新的架构,专注于规范化语音类型的变化,这是常见的代码混合数据。我们的架构的主要特点之一是,除了规范化,它也可以用于回音译和单词识别在某些情况下。我们的模型在测试数据上达到了90.27%的准确率。
2018-05-22 cs.CL
Streaming, fast and accurate on-device Inverse Text Normalization for Automatic Speech Recognition
Microsoft Corp.(微软公司)
自动语音识别(ASR)系统通常以词汇形式产生输出。然而,人类更喜欢书面形式的输出。为了弥补这一差距,ASR系统通常采用反向文本规范化(ITN)。在以前的工作中,加权有限状态传感器(WFST)已被用来做ITN。WFST非常适合此任务,但它们的大小和运行时成本可能会使嵌入式应用程序的部署具有挑战性。在本文中,我们描述了一个设备上的ITN系统,是流,轻量级和准确的发展。我们系统的核心是一个流Transformer标记器,它标记来自ASR的词汇标记。标签告知可能应用哪个ITN类别(如果有的话)。在此之后,我们仅在标记的文本上应用ITN类别特定的WFST,以可靠地执行ITN转换。我们表明,建议的ITN解决方案的执行相当于强大的基线,同时在尺寸上显着较小,并保留定制功能。
2022-11-07 cs.AI cs.CL
A Weakly Supervised Data Labeling Framework for Machine Lexical Normalization in Vietnamese Social Media
University of Information Technology(信息科技大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学)
本文提出一种结合半监督学习与弱监督的自动标注框架,用于越南语社交媒体词汇规范化,在减少人工标注的同时取得82.72%的F1分数和高达99.22%的词汇完整性准确率,并使下游NLP任务平均准确率提升1-3%。
2024-09-30 cs.AI cs.CL
On (Commercial) Benefits of Automatic Text Summarization Systems in the News Domain: A Case of Media Monitoring and Media Response Analysis
pressrelations GmbH(pressrelations有限公司);Heinrich Heine University of Düsseldorf(海因里希·海涅杜塞尔多夫大学)
在这项工作中,我们提出了一个系统的研究结果,以调查(商业)的好处,自动文本摘要系统在现实世界中的情况。更具体地说,我们在媒体监控和媒体响应分析的背景下定义了一个用例,并声称即使使用简单的基于查询的提取方法也可以大大节省员工的处理时间,而不会显着降低他们的工作质量。
2017-01-03 cs.CL
Unsupervised Language agnostic WER Standardization
Microsoft(微软)
词出错率(WER)是用于评估自动语音识别(ASR)系统的标准度量。然而,WER未能提供一个公平的评价人类感知质量的拼写变化,缩写,或复合词所产生的凝集。基于区域/地理、替代缩写、借用词以及从外语到目标语言脚本的代码混合词的音译,多种拼写变体可能是可接受的。类似地,在凝集的情况下,通常凝集的以及分裂的形式是可接受的。以前的工作通过使用手动识别的归一化对来处理这个问题,并在计算WER之前将它们应用于转录和假设。在本文中,我们提出了一个自动WER规范化系统,包括两个模块:拼写规范化和分割规范化。所提出的系统是无监督和语言不可知的,因此可扩展。ASR在四种语言的35 K话语上的实验产生了13.28%的平均WER减少。这些自动识别的标准化对的人的判断表明,我们的WER标准化的评价是高度一致的ASR输出的感知质量。
2023-03-09 cs.CL
Sequence-to-Sequence Lexical Normalization with Multilingual Transformers
University of Bucharest(布加勒斯特大学);University Politehnica of Bucharest(布加勒斯特理工大学)
当前自然语言处理的基准测试任务包含的文本与日常非正式数字通信中使用的文本在质量上不同。这种差异导致最先进的NLP模型在对真实世界数据进行微调时性能严重下降。解决这个问题的一种方法是通过词汇规范化,这是将非标准文本(通常来自社交媒体)转换为更标准化形式的过程。在这项工作中,我们提出了一个基于mBART,框架的问题作为一个机器翻译问题的双层次序列到序列模型。由于嘈杂的文本是一个跨语言的普遍问题,不仅仅是英语,我们利用mBART的多语言预训练来微调它以适应我们的数据。虽然目前的方法主要是在字或子字的水平,我们认为,这种方法是直接从技术的角度来看,并建立在现有的预先训练的Transformer网络。我们的研究结果表明,虽然单词级别的,内在的,性能评估是落后于其他方法,我们的模型提高了外在的,下游任务的性能,通过规范化相比,模型操作的原始,未处理的,社交媒体文本。
2021-10-12 cs.CL
Shallow Fusion of Weighted Finite-State Transducer and Language Model for Text Normalization
NVIDIA(英伟达)
生产中的文本规范化(TN)系统在很大程度上是基于规则的,使用加权有限状态转换器(WFST)。然而,当规范化形式是上下文相关的时,基于WFST的系统与模糊输入作斗争。另一方面,神经文本规范化系统可以考虑上下文,但他们遭受不可恢复的错误,并需要标记的规范化数据集,这是很难收集。我们提出了一种新的混合方法,结合了基于规则和神经系统的好处。首先,非确定性WFST输出所有标准化候选,然后神经语言模型选择最佳候选-类似于自动语音识别的浅层融合。虽然WFST防止不可恢复的错误,但语言模型解决了上下文歧义。该方法很容易扩展,我们表明它是有效的。它实现了可比或更好的结果比现有的国家的最先进的TN模型。
2022-03-29 cs.CL
Improving Text Normalization by Optimizing Nearest Neighbor Matching
文本规范化是以非正式写作为主的社交媒体处理和分析中的一项重要任务。它旨在将非正式词汇映射到其预期的标准形式。以前提出的文本规范化方法通常需要手动选择参数以提高性能。本文提出了一种基于自动优化的最近邻匹配文本规范化方法。这种方法的动机是观察,文本规范化本质上是一个匹配问题和最近邻匹配的自适应相似性函数是最直接的procedure.We相似性函数结合了上下文,字符串和语音相似性的加权贡献,和最近邻匹配涉及最小的相似性阈值。这四个参数使用网格搜索进行有效调整。我们在两个基准数据集上评估了我们的方法的性能。结果表明,在小尺寸标记数据集上的参数调整产生了最先进的文本规范化性能。因此,这种方法允许实际上容易地构建不断发展的领域特定的规范化词典
2017-12-27 cs.CL
Historical German Text Normalization Using Type- and Token-Based Language Modeling
Julius-Maximilians-Universität Würzburg(维尔茨堡大学)
针对历史德语拼写变体问题,提出结合编码器-解码器与因果语言模型的Transformer规范化系统,在1700-1900年文学文本上达到最先进准确性,但泛化与数据仍具挑战。
2025-02-25 cs.CL
Investigating Transcription Normalization in the Faetar ASR Benchmark
Department of Linguistics(语言学系);Department of Computer Science(计算机科学系);Department of French(法语系)
针对低资源Faetar ASR基准,研究转录不一致的影响,发现其并非主要挑战;双词语言建模无额外益处,但有限词典解码有益,任务仍极具难度。
2025-08-20 cs.CL
Script Normalization for Unconventional Writing of Under-Resourced Languages in Bilingual Communities
George Mason University(乔治梅森大学)
本文研究双语社区中资源匮乏语言使用波斯-阿拉伯文字书写时的文字规范化问题,通过合成噪声数据和Transformer模型有效解决该问题,并证明其能提升机器翻译和语言识别等下游任务性能。
2023-05-25 cs.CL
MANorm: A Normalization Dictionary for Moroccan Arabic Dialect Written in Latin Script
社交媒体用户生成的文本实际上是许多NLP任务的主要资源。然而,这段文字并没有遵循写作的标准规则。此外,在书面交流中使用摩洛哥阿拉伯语等方言进一步增加了NLP任务的复杂性。方言是一种没有标准拼写的口头语言,这导致用户在写作时即兴拼写。因此,对于同一个词,我们可以找到多种形式的音译。随后,必须将这些不同的音译规范化为一个规范的词形。为了实现这一目标,我们利用了由YouTube评论语料库生成的词嵌入模型的强大功能。此外,使用提供规范形式的摩洛哥阿拉伯语方言字典,我们已经建立了一个规范化字典,我们称之为MANGORY。我们已经进行了几个实验,以证明效率的MANSTRUCTURE,这表明它的实用性方言规范化。
2022-06-18 cs.CL
The Effect of Normalization for Bi-directional Amharic-English Neural Machine Translation
Wollo University(沃洛大学);Instituto Politécnico Nacional(国立理工学院);Universität Hamburg(汉堡大学);Bahir Dar University(巴赫达尔大学);Assosa University(阿索萨大学)
机器翻译是自然语言处理的主要任务之一,其目标是将文本从一种自然语言自动翻译成另一种自然语言。目前,将深度神经网络用于机器翻译任务受到了极大的关注。这些网络需要大量的数据来学习输入的抽象表示并将其存储在连续向量中。本文介绍了第一个相对大规模的阿姆哈拉语-英语平行句子数据集。使用这些编译的数据,我们通过微调现有的Facebook M2 M100预训练模型来构建双向阿姆哈拉语-英语翻译模型,在阿姆哈拉语-英语中实现BLEU得分37.79,在英语-阿姆哈拉语翻译中实现32.74。此外,我们探讨了阿姆哈拉语同音字规范化对机器翻译任务的影响。结果表明,阿姆哈拉语同音字的规范化在两个方向上都提高了阿姆哈拉语-英语机器翻译的性能。
2022-10-27 cs.CL
Beyond Stemming and Lemmatization: Ultra-stemming to Improve Automatic Text Summarization
Laboratoire Informatique d’Avignon(阿维尼翁计算机实验室);École Polytechnique de Montréal(蒙特利尔综合理工学院)
在文本自动文摘中,预处理是压缩文本表示空间的重要环节。传统上,词干提取和词形还原被广泛用于规范化单词。然而,即使在大型文本上使用规范化,维度灾难也会干扰摘要器的性能。本文描述了一种新的方法规范化的话,以进一步减少空间的表示。我们建议将每个单词减少到其首字母,作为一种Ultra-stemming的形式。结果表明,超词干不仅保留了由这种表示产生的摘要的内容,而且通常可以显着提高系统的性能。使用Fresa自动评价三语语料库的摘要。结果证实,无论使用的汇总系统的性能增加。
2012-09-14 cs.CL cs.IR
Aggressive Language Detection with Joint Text Normalization via Adversarial Multi-task Learning
Wuhan University(武汉大学)
攻击性语言检测(ALD)是自然语言处理领域的重要应用之一。现有的研究大多将ALD视为神经模型的规则分类,而忽略了社交媒体文本的内在冲突,它们非常不规范和不规则。在这项工作中,我们的目标是通过对抗性多任务学习框架联合执行文本规范化(TN)来改进ALD。ALD和TN的私有编码器分别专注于特定于任务的特征检索,而共享编码器学习两个任务的底层公共特征。在对抗性训练中,任务学习区分ALD或TN的单独学习。在四个ALD数据集上的实验结果表明,我们的模型在不同设置下的性能优于所有基线,证明了联合学习TN与ALD的必要性。为了更好地理解我们的方法,进行了进一步的分析。
2020-09-19 cs.CL
From Chaos to Clarity: Claim Normalization to Empower Fact-Checking
Indraprastha Institute of Information Technology Delhi(因德拉普拉斯塔信息技术学院德里校区);Mohammed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Indian Institute of Technology Delhi(印度理工学院德里校区)
本文提出声明规范化任务,旨在将嘈杂的社交媒体帖子分解为易懂的规范化声明,并构建数据集 CLAN;提出基于思维链和大模型上下文学习的 CACN 方法,在多项指标上超越基线。
2024-02-12 cs.AI cs.CL
Minimally Supervised Written-to-Spoken Text Normalization
Google(谷歌)
在诸如文本到语音(TTS)或自动语音识别(ASR)的语音应用中,\emph{text normalization}指的是从\emph{written}表示转换成文本将如何是\emph{spoken}的表示的任务。在所有真实世界的语音应用程序中,文本规范化引擎都是手工开发的。例如,可以使用手工构建的语法来列举在给定语言中说出给定标记的可能方式,并且使用统计模型来选择上下文中最适当的发音。在这项研究中,我们研究了在文本规范化引擎中使用或多或少特定于语言的领域知识的权衡。在数据最丰富的场景中,我们可以访问精心构建的手工构建的规范化语法,对于任何给定的token,该语法都会为该token生成一组所有可能的动词化。我们还假设了一个语料库对齐的书面-口语话语,从中我们可以训练一个排名模型,选择适当的动词化为给定的上下文。作为精心构造的语法的替代品,我们还考虑了一种具有语言通用规范化\emph{covering grammar}的场景,其中开发人员只需要提供一组特定于该语言的词汇项。作为对齐语料库的替代,我们还考虑了一种情况,其中只有口语侧,并且通过用反向规范化语法组成口语侧来“幻觉化”相应的书面侧。我们调查的准确性的文本规范化引擎在这些情况下。我们报告的实验结果英语和俄语。
2016-09-21 cs.CL
Automatic Translation of Hate Speech to Non-hate Speech in Social Media Texts
Instituto Politécnico Nacional(国立理工学院)
本文提出将西班牙语仇恨言论在保留原意的前提下自动改写为非仇恨言论的新任务,并提供数据集与多个基线,采用 BLEU 等指标评估,以助力遏制在线仇恨言论传播。
2023-06-02 cs.CL
All that is English may be Hindi: Enhancing language identification through automatic ranking of likeliness of word borrowing in social media
Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校);Microsoft Research India(微软研究院印度分部)
本文提出基于社交媒体信号识别单词被借用可能性的计算方法,其预测表现优于基线两倍多,并发现88%的外来语标签应被替换为母语标签,揭示了自动语言识别系统的巨大改进空间。
2017-07-29 cs.CL
A Unified Transformer-based Framework for Duplex Text Normalization
NVIDIA(英伟达);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
文本规范化(TN)和逆文本规范化(ITN)分别是文本到语音合成和自动语音识别中必不可少的预处理和后处理步骤。对于TN或ITN,已经提出了许多方法,从加权有限状态传感器到神经网络。尽管它们的性能令人印象深刻,但这些方法的目标是只解决两个任务中的一个,而不是两个。因此,在一个完整的口语对话系统,两个独立的模型TN和ITN需要建立。这种异质性增加了系统的技术复杂性,这反过来又增加了生产环境中的维护成本。出于这一观察,我们提出了一个统一的框架,建立一个单一的神经双工系统,可以同时处理TN和ITN。结合一个简单但有效的数据增强方法,我们的系统实现了最先进的结果对谷歌TN数据集的英语和俄语。他们还可以在内部英语TN数据集上达到95%以上的精确度,而无需任何额外的微调。此外,我们还创建了一个清洁的数据集从口语维基百科语料库德语和报告的性能,我们的系统上的数据集。总体而言,实验结果表明,提出的双重文本规范化框架是非常有效的,适用于一系列领域和语言
2021-08-23 cs.CL
Towards Efficient Simultaneous Inverse Text Normalization with Pretrained Text-to-Text Language Model and Read-Tag-Write Policy
UNEY
该研究针对流式逆文本规范化的非流式问题,提出适配预训练文本到文本模型的流式端到端系统,经越南语数据集验证,其准确率优于混合方法且满足实时延迟要求。
2026-10-15 cs.CL
Improving Robustness of Neural Inverse Text Normalization via Data-Augmentation, Semi-Supervised Learning, and Post-Aligning Method
SK Telecom(SK电信)
本文针对ASR生成口语文本的域外问题,提出结合数据增强、大语言模型辅助的半监督学习及后对齐方法的直接训练策略,显著提升神经逆文本正则化在多种ASR场景下的鲁棒性。
2023-09-12 cs.CL
Automatic Identification and Classification of Bragging in Social Media
University of Sheffield(谢菲尔德大学);Bloomberg(彭博);Ghent University(根特大学)
吹牛是一种言语行为,其目的是通过对自己的积极陈述来构建良好的自我形象。它广泛存在于日常交流中,尤其是在社交媒体中,用户的目标是直接或间接地建立他们的角色的积极形象。本文在前人语言学和语用学研究的基础上,首次对计算语言学中的自夸现象进行了大规模的研究。为了促进这一点,我们引入了一个新的公开可用的数据集的推文注释吹嘘和他们的类型。我们经验性地评估了不同的基于transformer的模型,这些模型注入了(a)二进制吹牛分类中的语言信息,即,推文是否包含吹牛语句;以及(b)包括不吹牛的多类吹牛类型预测。我们的研究结果表明,我们的模型可以预测吹牛与宏F1高达72.42和35.95,在二进制和多类分类任务分别。最后,我们提出了一个广泛的语言和错误分析的吹牛预测,以指导未来的研究这一主题。
2022-03-11 cs.CL
The Hidden Cost of Digits: Number Normalization and WER in ASR Systems
AGH University of Krakow(克拉科夫AGH大学)
本研究以波兰语为例,分析数字归一化缺失对ASR系统词错误率评估的影响,发现其可造成超过2个百分点的显著差异,甚至超过多语言基准中系统间的差距。
2026-09-21 cs.CL eess.AS
NeMo Inverse Text Normalization: From Development To Production
NVIDIA(英伟达);Google(谷歌);The Graduate Center, City University of New York(纽约市立大学研究生中心)
反向文本规范化(ITN)将口语域自动语音识别(ASR)输出转换为书面域文本,以提高ASR输出的可读性。许多国家的最先进的ITN系统使用手写加权有限状态传感器(WFST)的语法,因为这项任务具有极低的容忍度不可恢复的错误。我们为ITN引入了一个基于开源Python WFST的库,它可以实现从开发到生产的无缝路径。我们描述了ITN语法规则的英语规范,但该库可以适用于其他语言。它也可以用于书面到口语的文本规范化。我们使用Google Text标准化数据集的修改版本来评估NeMo ITN库。
2021-05-17 cs.CL cs.SD eess.AS
Automatically Identifying Complaints in Social Media
Bloomberg LP(彭博有限合伙企业);Politehnica University of Bucharest(布加勒斯特理工大学);University of Sheffield(谢菲尔德大学)
抱怨是一种基本的言语行为,经常用于人类和计算机中介的沟通,以表达在特定情况下现实和期望之间的负面不匹配。自动识别社交媒体中的投诉对于组织或品牌改善客户体验或开发用于处理和响应投诉的对话系统至关重要。在本文中,我们介绍了第一个系统的分析抱怨在计算语言学。我们收集了一个新的注释数据集,在Twitter上用英语表达的书面投诉。\footnote{Data and code is available here: \url{https://github.com/danielpreotiuc/complaints-social-media}}我们提出了一个广泛的语言分析抱怨作为一种言语行为在社交媒体和训练强大的功能为基础的和神经模型的投诉在九个领域实现预测性能高达79 F1使用远程监督。
2019-06-10 cs.CL cs.SI
Deep Neural Models for Medical Concept Normalization in User-Generated Texts
Kazan Federal University(喀山联邦大学);Samsung-PDMI Joint AI Center(三星-PDMI联合人工智能中心);PDMI RAS(俄罗斯科学院PDMI研究所)
本研究针对用户生成文本中医学概念规范化问题,提出利用循环神经网络和上下文词表示模型进行序列学习,在三个基准上显著优于现有最先进模型。
2019-07-18 cs.CL cs.IR cs.LG
AKCIT-FN at CheckThat! 2025: Switching Fine-Tuned SLMs and LLM Prompting for Multilingual Claim Normalization
Institute of Informatics, Federal University of Goiás, Brazil(信息学院,戈亚斯联邦大学,巴西);Advanced Knowledge Center in Immersive Technology (AKCIT), Federal University of Goiás, Brazil(沉浸式技术高级知识中心(AKCIT),戈亚斯联邦大学,巴西)
本文提出结合微调小型语言模型和大语言模型提示的方法,在 CLEF-2025 CheckThat! 多语言主张规范化任务的二十种语言中十五种获得前三名,验证了零样本策略的有效性。
2025-09-15 cs.CL
A Clustering Framework for Lexical Normalization of Roman Urdu
Stevens Institute of Technology(史蒂文斯理工学院);City University of New York(纽约城市大学);Lahore University of Management Sciences(拉合尔管理科学大学);Qatar Computing Research Institute(卡塔尔计算研究所);Hamad Bin Khalifa University(哈马德·本·哈利法大学);Information Technology University(信息技术大学)
针对罗马乌尔都语缺乏标准拼写导致的规范化难题,本文提出一个基于特征的聚类框架,集成语音算法UrduPhone、字符串匹配和相似度函数及聚类算法Lex-Var,以处理字符级变体并实现词汇规范化。
2020-03-31 cs.CL cs.LG
Automatic Detection of Fake News
University of Michigan(密歇根大学);University of Amsterdam(阿姆斯特丹大学)
误导性信息在社交媒体、新闻博客和在线报纸等日常访问媒体渠道中的扩散,使得识别值得信赖的新闻来源变得具有挑战性,从而增加了对能够提供对在线内容可靠性的见解的计算工具的需求。本文主要研究网络新闻中虚假内容的自动识别问题。我们的贡献是双重的。首先,我们介绍了两个用于假新闻检测任务的新数据集,涵盖了七个不同的新闻领域。我们详细描述了收集,注释和验证过程,并提出了几个探索性的分析,在虚假和合法的新闻内容的语言差异的识别。其次,我们进行了一系列学习实验,以构建准确的假新闻检测器。此外,我们提供了自动和人工识别假新闻的比较分析。
2017-08-23 cs.CL
The 2015 Sheffield System for Transcription of Multi-Genre Broadcast Media
University of Sheffield(谢菲尔德大学)
我们描述了谢菲尔德大学系统参与2015年多流派广播(MGB)的挑战任务转录多流派广播节目。转录是MGB挑战中提出的四项任务之一,目的是推进自动语音识别、说话人日记和广播媒体字幕自动对齐的最新技术水平。在这项工作中,四个主题进行了研究:数据选择技术与不可靠的数据,自动语音分割的广播媒体节目,声学建模和适应在高度可变的环境中,和语言建模的多流派节目的培训。最终的系统在多个通道中操作,使用初始的非自适应解码阶段来细化分割,然后是三个自适应通道:混合DNN通道,其输入特征通过基于扬声器的倒谱归一化进行归一化,另一个混合阶段,其输入特征通过扬声器特征MLLR变换进行归一化,最后是基于降噪的串联阶段,其具有噪声和扬声器因子分解。这三个系统输出的组合提供了一个最终的出错率为27.5%的官方开发集,包括47个多类型的节目。
2015-12-21 cs.CL
Language Agnostic Data-Driven Inverse Text Normalization
Meta Platforms, Inc.(Meta平台公司)
随着自动语音识别(ASR)模型的出现,迫切需要将口语形式的文本(从ASR)转换为书面形式。这种逆文本规范化(ITN)问题吸引了来自各个领域的研究人员的关注。最近,一些工作表明,数据驱动的ITN方法可以输出高质量的书面形式的文本。由于标注的口语-书面语数据集的稀缺性,对非英语数据驱动的ITN的研究非常有限。在这项工作中,我们提出了一个语言无关的数据驱动的ITN框架,以填补这一空白。具体来说,我们将数据增强与神经机器翻译的数据结合起来用于低资源语言。此外,我们设计了一个评估方法,语言无关的ITN模型时,只有英文数据。我们的实证评估表明,这种语言无关的建模方法是有效的低资源的语言,同时保持高资源的语言的性能。
2023-01-24 cs.CL cs.LG
Garain at SemEval-2020 Task 12: Sequence based Deep Learning for Categorizing Offensive Language in Social Media
Jadavpur University(贾达夫普尔大学)
SemEval-2020任务12是OffenseEval:社交媒体中的多语言攻击性语言识别(Zampieri等人,2020年)。该任务被细分为多种语言,并为每种语言提供数据集。该任务进一步分为三个子任务:攻击性语言识别、攻击类型自动分类和攻击目标识别。我参加了任务C,即进攻目标识别。为了准备所提出的系统,我利用了像LSTM这样的深度学习网络和像Keras这样的框架,它们将词袋模型与自动生成的基于序列的特征相结合,并从给定的数据集中手动提取特征。我的系统在整个数据集的25%上进行训练,达到了47.763%的宏观平均f1分数。
2020-09-02 cs.CL
Automatic Detection of COVID-19 Vaccine Misinformation with Graph Link Prediction
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
最近,对疫苗效力的巨大希望在抗击COVID-19大流行中成为成功的现实。然而,社交媒体上有关COVID-19疫苗的错误信息引发的疫苗犹豫成为一个主要障碍。因此,必须自动检测社交媒体上关于COVID-19疫苗的错误信息在哪里传播,以及讨论了什么样的错误信息,以便除了旨在解决疫苗犹豫的干预措施外,还可以在正确的时间和正确的地点提供接种干预措施。本文旨在解决对COVID-19疫苗犹豫不决的第一步,即自动检测Twitter上有关疫苗的已知错误信息,Twitter是关于COVID-19及其疫苗的对话量最高的社交媒体平台。我们提出了CoVaxLies,这是一个新的推文数据集,被认为与COVID-19疫苗的几个错误信息目标相关,并开发了一种检测错误信息的新方法。我们的方法在错误信息知识图谱中组织CoVaxLies,因为它将错误信息检测作为图链接预测问题。本文详细介绍的错误信息检测方法利用了几种知识嵌入方法提供的链接评分函数。实验结果表明,与目前广泛使用的基于分类的方法相比,该方法具有明显的优越性。
2021-11-17 cs.CL
Automatically Infer Human Traits and Behavior from Social Media Data
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
鉴于人类思维的复杂性和行为的灵活性,它需要复杂的数据分析来筛选大量的人类行为证据,以模拟人类思维并预测人类行为。人们目前在Twitter和Facebook等社交媒体上花费大量时间。因此,他们生活和行为的许多方面都被数字化捕捉并持续存档在这些平台上。这使得社交媒体成为大量,丰富和多样化的人类行为证据的重要来源。在本文中,我们调查了最近的工作应用机器学习推断人类的特征和行为,从社会媒体数据。我们还将指出几个未来的研究方向。
2018-04-11 cs.CL cs.IR cs.SI
Detecting Inspiring Content on Social Media
University of Michigan(密歇根大学);Facebook AI(脸书人工智能研究院)
本文首次用机器学习方法研究社交媒体中的鼓舞内容,通过分析Reddit英文帖子并发布包含5800条鼓舞与5800条非鼓舞帖子的数据集,自动检测鼓舞性内容及其主题。
2023-05-29 cs.CL
NarrationDep: Narratives on Social Media For Automatic Depression Detection
University of Technology Sydney(悉尼科技大学);University of New South Wales(新南威尔士大学);University of Southampton(南安普顿大学)
针对社交媒体用户抑郁症自动检测问题,提出双层深度学习框架 NarrationDep,通过联合建模用户推文表示与推文聚类,分层学习聚类语义表示,在多种数据集上优于现有对比模型。
2024-07-24 cs.CL cs.LG
DS@GT at CheckThat! 2025: A Simple Retrieval-First, LLM-Backed Framework for Claim Normalization
Georgia Institute of Technology(佐治亚理工学院)
针对 CheckThat! 2025 任务 2 的多语言主张归一化问题,提出检索优先、LLM 支持的轻量框架,单语种赛道 13 种语言中 7 种获第一,零样本表现不佳,为相关任务提供参考。
2025-08-24 cs.CL cs.IR
PolyNorm: Few-Shot LLM-Based Text Normalization for Text-to-Speech
Apple(苹果公司)
PolyNorm利用少样本大语言模型和语言无关的自动数据构建评估流程,在八种语言上降低文本规范化词错误率,并发布多语言基准数据集PolyNorm-Benchmark。
2025-11-05 cs.CL cs.LG
NewsCLIPpings: Automatic Generation of Out-of-Context Multimodal Media
University of California, Berkeley(加州大学伯克利分校)
在线错误信息是一个普遍的社会问题,对手依赖从廉价假货到复杂的深度假货的各种工具。我们被威胁场景所激励,在这种场景中,一个图像被断章取义地用来支持某种叙述。虽然一些用于检测图像-文本不一致的先前数据集通过文本操作生成样本,但我们提出了一个图像和文本都未被操作但不匹配的数据集。我们介绍了几种策略,自动检索令人信服的图像为一个给定的标题,捕捉不一致的实体或语义上下文的情况下。我们的大规模自动生成的NewsCLIPpings数据集:(1)表明机器驱动的图像再利用现在是一个现实的威胁,(2)提供的样本代表了新闻中文本和图像之间不匹配的挑战性实例,这些实例能够误导人类。我们在我们的数据集上对几种最先进的多模态模型进行了基准测试,并分析了它们在不同预训练域和视觉骨干中的性能。
2021-09-21 cs.CL cs.CV
Automatic Genre and Show Identification of Broadcast Media
University of Sheffield(谢菲尔德大学)
每天都有大量的数字视频被制作和播放,导致了巨大的媒体档案。需要有效的技术来进一步提供这类数据。广播媒体的自动元数据标记是多媒体索引的一项基本任务,在多媒体索引中,使用多模态输入是标准的。本文描述了一种使用声学特征、文本特征或其组合来自动检测媒体类型和节目身份的新方法。此外,包括可用的元数据,如时间的广播,显示导致非常高的性能。潜在狄利克雷分配被用于对声学和文本两者进行建模,从而产生媒体记录的固定维度表示,然后可以将其用于基于支持向量机的分类。实验进行了超过1200小时的电视广播从英国广播公司(BBC),在那里的任务是将广播分为8个流派或133个节目的身份。在200小时的测试集上,使用声学和文本特征与元数据相结合,分别实现了98.6%和85.7%的准确性。
2016-06-10 cs.CL cs.IR cs.MM
Sequence Learning with RNNs for Medical Concept Normalization in User-Generated Texts
Kazan Federal University(喀山联邦大学);Neuromation OU;St. Petersburg Department of the Steklov Mathematical Institute(斯捷克洛夫数学研究所圣彼得堡分所);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
在这项工作中,我们考虑了医学概念规范化问题,即,将自由格式文本中提到的疾病映射到受控词汇表中的概念的问题,通常映射到统一医学语言系统(UMLS)中的标准词库。这项任务是具有挑战性的,因为医疗术语是非常不同的,当来自医疗保健专业人员或来自社会媒体文本形式的一般公众。我们将其视为一个序列学习问题,训练递归神经网络以获得单词和多词表达式的语义表示。我们开发了专门针对医学概念规范化的端到端神经架构,包括双向LSTM和GRU,以及基于UMLS的注意力机制和其他语义相似性特征。我们对标准基准的评估表明,我们的模型比基于CNN的分类的最新基线有所改进。
2018-11-29 cs.CL cs.IR
What is lost in Normalization? Exploring Pitfalls in Multilingual ASR Model Evaluations
Digital University Kerala(喀拉拉邦数字大学);Swathanthra Malayalam Computing(斯瓦坦特拉马拉雅拉姆计算机构);University of Kerala(喀拉拉邦大学)
本文揭示多语言ASR评估中文本归一化对印度语系脚本的缺陷,导致性能指标虚高,并提出利用本土语言学知识改进归一化流程。
2024-11-09 cs.AI cs.CL cs.HC