Automatic Textual Normalization for Hate Speech Detection
Faculty of Information Science and Engineering, University of Information Technology(信息科学与工程学院,信息技术大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学)
本文提出仅用Seq2Seq模型进行越南语文本规范化,构建了含2181条标注的数据集,虽规范化准确率略低于70%,但使仇恨言论检测准确率提升约2%。
2024-07-25 cs.CL
Automatic Normalization of Word Variations in Code-Mixed Social Media Text
Language Technologies Research Centre (LTRC)(语言技术研究中心);Kohli Center on Intelligent Systems (KCIS)(科利智能系统中心);International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院)
针对语码混合社交媒体文本的拼写变体问题,提出利用词分布式表示无监督捕捉同上下文词汇变体的归一化方法,可提升词性标注与情感分析任务性能。
2018-04-03 cs.CL
Exploiting Dialect Identification in Automatic Dialectal Text Normalization
Computational Approaches to Modeling Language Lab(语言建模计算方法实验室);New York University Abu Dhabi(纽约大学迪拜分校);Carnegie Mellon University in Qatar(卡内基梅隆大学多哈分校)
本文研究阿拉伯方言文本规范化(CODAfication)任务,通过在预训练序列到序列模型中利用方言识别信息,提升了五种城市方言的规范化性能,并公开了代码、数据和模型。
2024-07-03 cs.CL
Enhancements in statistical spoken language translation by de-normalization of ASR results
Military University of Technology(军事技术大学);Polish-Japanese Institute of Information Technology(波兰-日本信息技术学院)
口语翻译在日益全球化的世界中变得非常重要。用于自动语音识别(ASR)系统的机器翻译(MT)是一个具有极大兴趣的主要挑战。本研究探讨语音自动断句对于丰富语音识别输出及辅助后续语言处理的重要性。本文主要研究语音的自动断句和提高机器翻译效果。我们探讨的问题,在波兰语的自动语音识别系统所产生的transmittance确定句子的边界。我们还尝试了识别的语音样本的反向归一化。
2015-11-18 cs.CL stat.ML
On TimeML-Compliant Temporal Expression Extraction in Turkish
Gazi University(加齐大学)
普遍认为,时间表达提取器是诸如信息检索和问答系统的较大自然语言处理系统的重要组件。土耳其语时间表达式的提取和规范化一直没有得到重视,除了命名实体识别过程中的一些日期和时间表达式的提取。由于TimeML是当前自然语言文本中时间表达和事件注释的标准,本文基于相关的TimeML分类(即,date、time、duration和set表达式)。我们已经创建了一个土耳其语的时间表达的词汇,并设计了相当广泛的覆盖模式,使用的词法类作为积木。我们相信,所提出的模式,加上方便的规范化规则,可以很容易地使用土耳其语的预期时间表达提取工具。
2015-09-03 cs.CL
Streaming, fast and accurate on-device Inverse Text Normalization for Automatic Speech Recognition
Microsoft Corp.(微软公司)
自动语音识别(ASR)系统通常以词汇形式产生输出。然而,人类更喜欢书面形式的输出。为了弥补这一差距,ASR系统通常采用反向文本规范化(ITN)。在以前的工作中,加权有限状态传感器(WFST)已被用来做ITN。WFST非常适合此任务,但它们的大小和运行时成本可能会使嵌入式应用程序的部署具有挑战性。在本文中,我们描述了一个设备上的ITN系统,是流,轻量级和准确的发展。我们系统的核心是一个流Transformer标记器,它标记来自ASR的词汇标记。标签告知可能应用哪个ITN类别(如果有的话)。在此之后,我们仅在标记的文本上应用ITN类别特定的WFST,以可靠地执行ITN转换。我们表明,建议的ITN解决方案的执行相当于强大的基线,同时在尺寸上显着较小,并保留定制功能。
2022-11-07 cs.AI cs.CL
A Semantic Parsing Framework for End-to-End Time Normalization
Intel Labs(英特尔实验室);Thoughtworks;University of Arizona(亚利桑那大学)
本文提出将时间归一化视为基于SCATE框架的代码生成任务,利用LLM合成数据训练小型模型,实现高性能、可解释的时间归一化。
2025-07-08 cs.CL
Discourse-Aware In-Context Learning for Temporal Expression Normalization
Bosch Center for Artificial Intelligence(博世人工智能中心);Karlsruhe University of Applied Sciences(卡尔斯鲁厄应用技术大学);Saarland University(萨尔大学)
针对时间表达式归一化中规则系统场景受限、机器学习方法标注数据不足的问题,提出基于上下文学习的大语言模型方案,通过样本选择策略和窗口提示设计实现跨句子归一化,在非标准场景下取得显著性能提升。
2024-04-11 cs.AI cs.CL cs.LG
Dataset and Baseline System for Multi-lingual Extraction and Normalization of Temporal and Numerical Expressions
Duke University(杜克大学);Microsoft Research Asia(微软亚洲研究院)
本文针对时间与数值表达式理解中子类型覆盖少、仅重提取及语种局限的问题,提出了覆盖14种语言的多语言评估数据集NTX及基于规则的强基线系统,支持提取、规范化与解析任务。
2023-03-31 cs.AI cs.CL
Comprehensive Evaluation on Lexical Normalization: Boundary-Aware Approaches for Unsegmented Languages
National Institute of Information and Communications Technology(信息与通信技术国家研究所)
本文针对无分隔语言提出词汇规范化方法,构建大规模数据集并验证了编码器和解码器在多视角评估中的有效性。
2025-12-01 cs.CL
Shallow Fusion of Weighted Finite-State Transducer and Language Model for Text Normalization
NVIDIA(英伟达)
生产中的文本规范化(TN)系统在很大程度上是基于规则的,使用加权有限状态转换器(WFST)。然而,当规范化形式是上下文相关的时,基于WFST的系统与模糊输入作斗争。另一方面,神经文本规范化系统可以考虑上下文,但他们遭受不可恢复的错误,并需要标记的规范化数据集,这是很难收集。我们提出了一种新的混合方法,结合了基于规则和神经系统的好处。首先,非确定性WFST输出所有标准化候选,然后神经语言模型选择最佳候选-类似于自动语音识别的浅层融合。虽然WFST防止不可恢复的错误,但语言模型解决了上下文歧义。该方法很容易扩展,我们表明它是有效的。它实现了可比或更好的结果比现有的国家的最先进的TN模型。
2022-03-29 cs.CL
Translating a Math Word Problem to an Expression Tree
UESTC(电子科技大学);Tencent AI Lab(腾讯人工智能实验室);The Chinese University of Hong Kong(香港中文大学)
序列到序列(SEQ2SEQ)模型已成功地应用于自动数学应用题解决。尽管它很简单,但仍然存在一个缺点:一个数学应用题可以通过多个方程正确解决。这种非确定性的转换损害了最大似然估计的性能。本文考虑到表达式树的唯一性,提出了一种公式规范化方法,对重复公式进行规范化处理。此外,我们分析了三个流行的SEQ2SEQ模型的数学应用题解决的性能。我们发现每种模型在解决问题时都有其独特之处,因此提出了一种集成模型来结合它们的优点。在Math23K数据集上的实验表明,基于方程归一化的集成模型的性能明显优于现有的方法。
2018-11-15 cs.CL
Automatic Annotation of Locative and Directional Expressions in Arabic
Université Libanaise(黎巴嫩大学)
在本文中,我们介绍了一种基于规则的方法来注释阿拉伯语自然语言文本中的方位和方向表达式。该注释基于空间性域的构造的语义图。挑战是双重的:首先,我们需要研究这些文本中方位和趋向表达的语言表达方式; 2其次,我们需要相应地自动注释相关的文本片段。本文采用的研究方法是分析-描述法。我们将验证这种方法在特定的小说丰富的这些表达式,并表明它具有非常有前途的结果。我们将使用NOOJ作为一个软件工具来实现有限状态转换器,根据定位和方向表达式来注释语言元素。总之,NOOJ允许我们为阿拉伯语文本中的方位和方向表达式的自动注释编写语言规则。
2018-05-26 cs.CL
BERN2: an advanced neural biomedical named entity recognition and normalization tool
Korea University(高丽大学);AIRS Company, Hyundai Motor Group(现代汽车集团AIRS公司);AIGEN Sciences(AIGEN科学公司)
在生物医学自然语言处理中,命名实体识别(NER)和命名实体规范化(NEN)是从不断增长的生物医学文献中自动提取生物医学实体(如疾病和药物)的关键任务。在这篇文章中,我们提出了BERN2(高级生物医学实体识别和规范化),一个工具,通过采用多任务NER模型和基于神经网络的NEN模型来实现更快,更准确的推理,改进了以前的基于神经网络的NER工具。我们希望我们的工具可以帮助注释大规模的生物医学文本的各种任务,如生物医学知识图谱建设。
2022-10-06 cs.CL
Normalization of Relative and Incomplete Temporal Expressions in Clinical Narratives
University at Albany, SUNY(纽约州立大学奥尔巴尼分校);University of Massachusetts(马萨诸塞大学)
我们分析了RI-TIMEXes的时间注释语料库,并提出了两个假设RI-TIMEXes在临床叙事领域的规范化:锚点假设和锚关系假设。我们对三个语料库中的RI-TMEX进行了注释,以研究RI-TMEX在不同领域的特点。这通知我们的RI-TIMEX规范化系统的临床领域,它包括一个锚点分类器,锚关系分类器和基于规则的RI-TIMEX文本跨度解析器的设计。我们使用不同的功能集进行实验,并对每个系统组件进行错误分析。注释证实了我们可以使用两个多标签分类器简化RI-TIMEXes归一化任务的假设。在2012年i2 b2时态关系挑战赛的测试集上,我们的系统分别实现了74.68%,87.71%和57.2%的锚点分类,锚关系分类和基于规则的解析准确率(在宽松的匹配标准下为82.09%)。与功能集的实验揭示了一些有趣的发现,如动词时态功能不通知锚关系分类在临床叙事的令牌附近的RI-TIMEX。错误分析表明,代表性不足的锚点和锚关系类是难以检测。我们制定的RI-TIMEX规范化问题作为一对多标签分类问题。仅考虑RI-TIMEX提取和归一化,该系统在2012年i2 b2挑战赛中的最佳系统的RI-TIMEX结果上实现了统计上的显著改善。
2015-10-16 cs.AI cs.CL cs.IR
RadLex Normalization in Radiology Reports
放射学报告已被广泛用于提取关于患者的成像研究的各种临床重要信息。然而,有限的研究集中在将实体标准化为通用的放射学特定词汇。此外,迄今为止还没有研究试图利用RadLex进行标准化。在本文中,我们的目标是规范化的放射性实体的RadLex条款的多样性。我们手动构建一个规范化语料库,从三种类型的报告注释实体。共收录1706篇文章。我们提出了两种基于深度学习的NLP方法,它们基于预训练的语言模型(BERT)进行自动规范化。首先,我们使用BM 25检索候选概念,用于基于BERT的模型(重排序器和跨度检测器)来预测规范化概念。结果是有希望的,与最好的准确性(78.44%)所获得的跨度检测器。此外,我们还讨论了语料库建设所面临的挑战,并提出了新的RadLex术语。
2020-09-10 cs.CL
Investigating Transcription Normalization in the Faetar ASR Benchmark
Department of Linguistics(语言学系);Department of Computer Science(计算机科学系);Department of French(法语系)
针对低资源Faetar ASR基准,研究转录不一致的影响,发现其并非主要挑战;双词语言建模无额外益处,但有限词典解码有益,任务仍极具难度。
2025-08-20 cs.CL
SHOMA at Parseme Shared Task on Automatic Identification of VMWEs: Neural Multiword Expression Tagging with High Generalisation
University of Wolverhampton(伍尔弗汉普顿大学)
本文提出了一种与语言无关的深度学习架构,适用于多词表达式(MWE)识别任务。我们采用了一种神经架构,包括卷积层和递归层,并在顶部添加了一个可选的CRF层。由于使用了预训练的维基百科词嵌入,该系统参与了关于自动识别口头MWE的Parseme共享任务的开放跟踪。它在开放和封闭赛道上的表现都优于所有参与系统,所有语言的总体宏观平均MWE F1得分为58.09。该系统的一个特殊优势是其对不可见数据录入的卓越性能。
2018-09-09 cs.CL
Beyond Stemming and Lemmatization: Ultra-stemming to Improve Automatic Text Summarization
Laboratoire Informatique d’Avignon(阿维尼翁计算机实验室);École Polytechnique de Montréal(蒙特利尔综合理工学院)
在文本自动文摘中,预处理是压缩文本表示空间的重要环节。传统上,词干提取和词形还原被广泛用于规范化单词。然而,即使在大型文本上使用规范化,维度灾难也会干扰摘要器的性能。本文描述了一种新的方法规范化的话,以进一步减少空间的表示。我们建议将每个单词减少到其首字母,作为一种Ultra-stemming的形式。结果表明,超词干不仅保留了由这种表示产生的摘要的内容,而且通常可以显着提高系统的性能。使用Fresa自动评价三语语料库的摘要。结果证实,无论使用的汇总系统的性能增加。
2012-09-14 cs.CL cs.IR
Automatic Identification of Arabic expressions related to future events in Lebanon's economy
Lebanese University(黎巴嫩大学)
在本文中,我们提出了一种方法来自动识别未来的事件,在黎巴嫩的经济从阿拉伯语文本。挑战有三个方面:首先,我们需要建立一个涵盖黎巴嫩经济的阿拉伯语文本语料库;其次,我们需要研究未来事件如何在这些文本中以语言表达;第三,我们需要相应地自动识别相关的文本片段。我们将验证这种方法上构造的语料库形式的网络,并表明它有非常有前途的结果。为此,我们将使用SLCSAS,一个基于上下文浏览器方法的语义分析系统,以及“AlKhalil Morpho Sys”系统进行形态句法分析。
2018-05-29 cs.CL
Improving Automatic Hate Speech Detection with Multiword Expression Features
University of Lorraine(洛林大学);CNRS(法国国家科学研究中心);INRIA(法国国家信息与自动化研究所);Loria(洛林计算机科学及其应用实验室)
自动检测社交媒体中的仇恨言论的任务越来越受到关注。鉴于每天发布的内容数量巨大,对仇恨言论进行人为监测是不可行的。在这项工作中,我们提出了新的词级功能的自动仇恨语音检测(HSD):多词表达(MWE)。MWE是比单词更大的词汇单位,具有习语意义和组合意义。我们建议将MWE特征集成到基于深度神经网络的HSD框架中。我们的基线HSD系统依赖于通用句子编码器(USE)。为了整合MWE功能,我们创建了一个三分支深度神经网络:一个分支用于USE,一个用于MWE类别,一个用于MWE嵌入。我们进行实验的两个仇恨言论鸣叫语料库与不同的MWE类别和两种类型的MWE嵌入,word2vec和BERT。我们的实验表明,所提出的HSD系统与MWE功能显着优于基线系统的宏F1。
2021-06-01 cs.CL
Automatic Construction of a Large-Scale Corpus for Geoparsing Using Wikipedia Hyperlinks
Kyoto University(京都大学)
提出基于Wikipedia超链接的大规模地理解析语料库构建方法WHLL,利用超链接为位置表达式标注坐标,构建了包含1.3M篇文章的新语料库,解决了现有语料库规模小和覆盖不足的问题。
2024-03-25 cs.CL
Handling Numeric Expressions in Automatic Speech Recognition
Interactive Systems Lab(交互系统实验室);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Carnegie Mellon University(卡内基梅隆大学)
本文针对ASR转录中数字表达式格式化问题,比较级联与端到端方法,提出用LLM和TTS生成适配数据的端到端方案,在保持性能的同时降低延迟和推理成本。
2025-06-23 cs.AI cs.CL eess.AS
Dual-Form ASR: Semantics-Aware Inverse Text Normalization for Chinese Speech Recognition
本文提出DF-ASR框架,通过LLM驱动的双形式监督及ITN-MWER目标,实现语义感知的中文ASR-ITN,在SpeechIO中文子集上性能优于开源系统,可保留转录形式的提示级控制。
2026-09-04 cs.CL cs.SD
A Novel Data Augmentation Approach for Automatic Speaking Assessment on Opinion Expressions
National Taiwan Normal University(台湾国立台湾师范大学)
针对观点表达自动口语评估中标注数据稀缺的问题,提出利用大语言模型生成多样化回答、经语音合成并采用动态重要性损失训练多模态模型,在LTTC数据集上优于传统方法。
2025-09-11 cs.CL cs.SD eess.AS
A Conformer Based Acoustic Model for Robust Automatic Speech Recognition
The Ohio State University(俄亥俄州立大学)
本研究提出一种基于一致性的声学模型来解决鲁棒的自动语音识别(ASR)。该模型建立在宽残差双向长短期记忆网络(WRBN)的基础上,具有逐段丢弃和迭代说话人自适应功能,但采用了Conformer编码器代替递归网络。Conformer编码器使用卷积增强的注意力机制进行声学建模。该系统的CHiME-4语料库的单耳ASR任务进行评估。结合发音规范化和说话人自适应,我们的模型实现了$6.25\%$的词出错率,它比WRBN的$8.4\%$相对。此外,所提出的基于一致性的模型是$18.3\%$更小的模型大小和减少总的训练时间由$79.6\%$。
2022-10-20 cs.AI cs.CL cs.SD