Construction of a Quality Estimation Dataset for Automatic Evaluation of Japanese Grammatical Error Correction
Tokyo Metropolitan University(东京都立大学);RIKEN(理化学研究所)
在语法错误纠正中,自动评价是语法错误纠正系统研究和开发的一个重要因素。以往的自动评测研究表明,在不使用参考语句的情况下,基于人工评测的数据集构建的质量估计模型可以实现高性能的英语GEC自动评测。然而,质量估计模型尚未在日本进行研究,因为没有数据集用于构建质量估计模型。因此,在这项研究中,我们创建了一个质量估计数据集与手动评估,建立一个自动评估模型,为日本GEC。此外,我们进行了元评估,以验证数据集的有用性,在建立日本的质量估计模型。
2022-01-20 cs.CL
Teaching LLMs for Step-Level Automatic Math Correction via Reinforcement Learning
School of Computer Science and Technology, East China Normal University(华东师范大学计算机科学与技术学院);Lab of AI for Education, East China Normal University(华东师范大学教育人工智能实验室)
针对现有自动数学纠错忽略步骤级反馈的问题,提出基于强化学习的StepAMC方法,通过策略网络和奖励网络优化大语言模型,在两个基准数据集上表现优于11个强基线。
2025-03-24 cs.AI cs.CL cs.LG
From the Paft to the Fiiture: a Fully Automatic NMT and Word Embeddings Method for OCR Post-Correction
University of Helsinki(赫尔辛基大学)
大量的历史语料库在数字化过程中由于使用了光学字符识别(光学字符识别)方法而产生错误。手动纠正这些错误是一个耗时的过程,并且很大一部分自动方法一直依赖于规则或监督机器学习。我们提出了一种全自动无监督的方法来提取并行数据,用于训练基于字符的序列到序列NMT(神经机器翻译)模型来进行OCR纠错。
2019-10-12 cs.CL
Automatic Metric Validation for Grammatical Error Correction
The Hebrew University of Jerusalem(希伯来大学)
语法纠错(GEC)中的度量验证目前是通过观察人类和度量诱导的排名之间的相关性来完成的。然而,这种相关性研究是昂贵的,方法上的麻烦,并遭受低评分者之间的协议。我们提出了MAEGE,GEC指标验证的自动方法,克服了许多困难与现有的做法。使用\maege的实验为度量质量提供了新的线索,例如,标准$M^2$度量在语料库级别的排名中表现不佳。此外,我们使用MAEGE进行度量行为的详细分析,表明纠正某些类型的错误是一贯的惩罚现有的指标。
2018-05-07 cs.CL
Automatic Real-word Error Correction in Persian Text
本文提出一种多层次方法,结合语义分析、特征选择和分类器,用于波斯文本真词错误纠正,检测F值达96.6%,纠正准确率达99.1%,优于以往模型。
2024-07-20 cs.CL
Evaluation of large-scale synthetic data for Grammar Error Correction
ByteDance(字节跳动)
语法纠错主要依赖于大量高质量的语法正确和错误句子对的合成并行数据的可用性。合成数据的质量是根据GEC系统在使用它进行预训练时的表现来评估的。但这并没有提供对定义这些数据质量的必要因素的深入了解。因此,这项工作的目的是引入3个指标-可靠性,多样性和分布匹配,以提供更多的洞察大规模合成数据的质量生成的GEC任务,以及自动评估他们。自动评估这三个度量还可以帮助向数据生成系统提供反馈,从而提高动态生成的合成数据的质量
2022-10-31 cs.AI cs.CL
BART based semantic correction for Mandarin automatic speech recognition system
Cloudwalk Technology(云从科技)
虽然自动语音识别(ASR)系统近年来取得了显著的进步,但是口语识别错误仍然存在,并且很容易被人类发现。各种语言建模技术已经开发出后识别任务,如语义校正。在本文中,我们提出了一种基于Transformer的语义校正方法与预训练的BART初始化,在10000小时的汉语语音数据集上的实验表明,字符出错率(CER)可以有效地减少21.7%,相对于我们的基线ASR系统。专家评估表明,我们的模型的实际改善超过CER表明。
2021-03-26 cs.CL cs.SD eess.AS
Phrase-based Machine Translation is State-of-the-Art for Automatic Grammatical Error Correction
Adam Mickiewicz University(亚当·密茨凯维奇大学)
在这项工作中,我们研究参数调整到M^2度量,自动语法纠错(GEC)任务的标准度量。在Moses调优框架中实现M^2作为评分器后,我们研究了密集和稀疏特征的相互作用,不同的优化器以及CoNLL-2014共享任务的调优策略。我们注意到在使用M^2优化稀疏特征权重时的不稳定行为,并提供了部分解决方案。我们发现,在相同的公开数据上进行训练时,具有特定任务参数调整的基于短语的最基本SMT设置在很大程度上优于CoNLL-2014测试集的所有先前公布的结果(46.37%M^2超过先前的41.75%,由具有神经功能的SMT系统)。我们新引入的密集和稀疏特征扩大了这一差距,我们将最先进的M^2提高到49.49%。
2016-10-05 cs.CL
Automatic Correction of Human Translations
University of California, Berkeley(加州大学伯克利分校);Lilt(Lilt公司)
我们介绍了翻译纠错(TEC),自动纠正人类生成的翻译的任务。机器翻译(MT)中的不完美性长期以来一直激励着系统利用自动后期编辑来改进翻译。相比之下,很少有人关注自动纠正人类翻译的问题,尽管直觉认为人类会犯一些明显的错误,而机器很适合帮助解决这些错误,从错别字到翻译惯例的不一致。为了研究这一点,我们构建并发布了三个TEC数据集的Aced语料库。我们发现,TEC中的人为错误表现出更多样化的错误范围和更少的翻译流畅性错误比自动后期编辑数据集中的MT错误,这表明需要专门的TEC模型,专门纠正人为错误。我们发现,基于人为错误的合成错误的预训练将TEC F分数提高了5.1分。我们对9名专业翻译编辑进行了一项人机交互用户研究,发现在TEC系统的帮助下,他们的翻译质量显著提高。
2022-06-17 cs.CL cs.LG
Scaling BERT Models for Turkish Automatic Punctuation and Capitalization Correction
Yildiz Technical University(伊尔德兹理工大学)
本文评估五种规模的 BERT 模型在土耳其语标点与大小写自动纠正中的表现,发现 Base 模型精确率最高,并为按资源和需求选型提供框架。
2024-12-03 cs.AI cs.CL cs.LG
LipGER: Visually-Conditioned Generative Error Correction for Robust Automatic Speech Recognition
University of Maryland, College Park, USA(马里兰大学学院公园分校)
本文提出 LipGER 框架,通过让大语言模型在唇部运动视觉条件下对 ASR 的 N-best 假设进行生成式纠错,在 4 个数据集上将词错误率降低 1.1%–49.2%,并发布大规模数据集 LipHyp。
2024-06-06 cs.AI cs.CL eess.AS
Cross-Modal Transformer-Based Neural Correction Models for Automatic Speech Recognition
NTT Media Intelligence Laboratories, NTT Corporation(日本电信电话株式会社媒体智能研究所)
提出了一种基于跨模态变换的神经校正模型,该模型对自动语音识别(ASR)系统的输出进行改进,以排除ASR错误。一般来说,神经校正模型由编码器-解码器网络组成,可以直接模拟序列到序列的映射问题。最成功的方法是使用输入语音及其ASR输出文本作为编码器-解码器网络的输入上下文。然而,传统的方法不能考虑这两个不同的模态输入之间的关系,因为输入上下文被单独编码为每个模态。为了有效地利用两个不同模态输入之间的相关信息,我们提出的模型编码两个不同的上下文联合使用Transformer的跨模态自我注意的基础上。我们期望跨通道自我注意能有效地捕捉两个不同通道之间的关系,以完善ASR假设。我们还引入了一种浅层融合技术,有效地整合了第一遍ASR模型和我们提出的神经校正模型。日语自然语言ASR任务的实验表明,我们提出的模型实现了更好的ASR性能比传统的神经校正模型。
2021-07-04 cs.CL cs.LG
Improving Audio Caption Fluency with Automatic Error Correction
Shanghai Jiao Tong University(上海交通大学)
针对自动音频字幕生成中的虚假重复错误,提出AAC错误纠正任务,利用基于观察的规则生成伪错误句训练神经网络模型,后处理纠正输出,在两个基准上显著提升流畅度且保持语义。
2023-06-16 cs.AI cs.CL cs.SD
Error Correction by Paying Attention to Both Acoustic and Confidence References for Automatic Speech Recognition
Tianjin University(天津大学);Baidu, Inc.(百度公司);Kyoto University(京都大学);Huiyan Technology (Tianjin) Co., Ltd(汇研科技(天津)有限公司)
提出一种非自回归语音错误纠正方法,利用置信度模块和声学特征作为参考,通过交叉注意力融合信息,在ASR基础上降低21%错误率。
2024-06-29 cs.CL cs.SD eess.AS
Correction of Automatic Speech Recognition with Transformer Sequence-to-sequence Model
NVIDIA(英伟达)
在这项工作中,我们介绍了一个简单而有效的自动语音识别(ASR)后处理模型。我们的模型具有基于transformer的编码器-解码器架构,该架构将ASR模型输出“翻译”成语法和语义正确的文本。我们研究了正则化和优化模型的不同策略,并表明需要广泛的数据增强和预训练权重的初始化来实现良好的性能。在LibriSpeech基准测试中,我们的方法在单词出错率方面比使用贪心解码的基线声学模型有了显着的改善,特别是在评估数据集的噪声更大的dev-other和test-other部分。我们的模型也优于基线与6-gram语言模型重新评分和接近的性能与transformer-XL神经语言模型重新评分。
2019-10-23 cs.CL cs.SD eess.AS
Automatic Noisy Label Correction for Fine-Grained Entity Typing
Huazhong University of Science and Technology(华中科技大学);Pingan Property & Casualty Research(平安产险研究院);Singapore Management University(新加坡管理大学)
细粒度实体分类(FET)的目标是根据上下文为实体提及分配适当的语义类型,这是各种实体利用应用程序的基本任务。当前的FET系统通常建立在大规模弱监督/远距离注释数据上,这些数据可能包含大量噪声,从而严重阻碍FET任务的性能。虽然先前的研究在自动识别FET中的噪声标签方面取得了很大的成功,但它们通常依赖于一些在现实世界应用中可能不可用的辅助资源(例如预定义的层次类型结构,人类注释的子集)。在本文中,我们提出了一种新的方法来自动校正噪声标签的FET没有外部资源。具体而言,它首先通过根据模型输出的logits估计标签为正或负的后验概率来识别潜在的噪声标签,然后通过在剩余的干净标签上训练鲁棒模型来重新标记候选噪声标签。两个流行的基准测试的实验证明了我们的方法的有效性。我们的源代码可以从https://github.com/CCIIPLab/DenoiseFET获得。
2022-05-10 cs.CL
Fine-Grained Grounding for Multimodal Speech Recognition
Carnegie Mellon University(卡内基梅隆大学);University of Edinburgh(爱丁堡大学);University of Copenhagen(哥本哈根大学)
多模态自动语音识别系统通过将语音建立在视觉环境中来整合来自图像的信息以提高语音识别质量。虽然视觉信号已经被证明对于恢复在音频中被掩蔽的实体是有用的,但这些模型应该能够恢复更广泛的单词类型。现有的系统依赖于代表整个图像的全局视觉特征,但是定位图像的相关区域将使恢复更大的单词集成为可能,例如形容词和动词。在本文中,我们提出了一个模型,使用更细粒度的视觉信息,从图像的不同部分,使用自动对象的建议。在Flickr8K音频字幕语料库上的实验中,我们发现我们的模型比使用全局视觉特征的方法有所改进,这些建议使模型能够恢复实体和其他相关的词,如形容词,并且改进是由于模型能够本地化正确的建议。
2020-10-05 cs.CL
Automatic Correction of Syntactic Dependency Annotation Differences
University of Arizona(亚利桑那大学)
数据集之间的注释不一致可能会导致低资源NLP的问题,与资源丰富的语言相比,噪声或不一致的数据无法轻松替换。在本文中,我们提出了一种自动检测依存句法分析语料库之间的注释不匹配的方法,以及三个相关的自动转换不匹配的方法。所有这三种方法都依赖于将新语料库中的未见过示例与现有语料库中的类似示例进行比较。这三种方法包括使用现有语料库中最频繁的示例标签的简单词汇替换,考虑更广泛的示例池的基于GloVe嵌入的替换,以及基于BERT嵌入的替换,使用上下文化的嵌入来提供针对我们特定数据进行微调的示例。然后,我们通过重新训练两个依赖解析器来评估这些转换- Stanza(Qi et al. 2020)和Parsing as Tagging(PaT)(Vacareanu et al. 2020)-转换和未转换的数据。我们发现,在许多情况下,应用我们的转换会产生更好的性能。观察到的两个解析器之间的一些差异。Stanza有一个更复杂的架构,采用二次算法,因此训练的时间更长,但它可以用更少的数据更好地泛化。PaT解析器具有更简单的体系结构和线性算法,加快了训练时间,但需要更多的训练数据才能达到相当或更好的性能。
2022-01-15 cs.CL
Rethinking Evaluation Metrics for Grammatical Error Correction: Why Use a Different Evaluation Process than Human?
Nara Institute of Science and Technology(奈良科学技术大学)
本文针对语法纠错自动评估与人类评估流程不一致的问题,提出一种与人类评估方法对齐的聚合排名方法,实验表明该方法在SEEDA基准上提升了多数指标的表现,并已集成至gec-metrics。
2025-06-03 cs.CL
Pseudo2Real: Task Arithmetic for Pseudo-Label Correction in Automatic Speech Recognition
National Taiwan University(国立台湾大学);NTU Artificial Intelligence Center of Research Excellence(国立交通大学人工智能卓越研究中心)
本文提出通过参数空间修正方法纠正伪标签偏差,提升自动语音识别在域转移下的鲁棒性,实验表明在AfriSpeech-200数据集上,使用Whisper tiny模型可将词错误率降低35%。
2026-04-20 cs.CL eess.AS
Automatic Correction of Writing Anomalies in Hausa Texts
Human Language Technologies Research Center(人类语言技术研究中心);Faculty of Mathematics and Computer Science(数学与计算机科学学院);University of Bucharest(布加勒斯特大学)
本文提出通过微调变压器模型自动纠正 Hausa 文本中的书写异常,构建了大规模噪声-清洁句子对数据集,并展示了 M2M100 等模型在提升下游任务中的效果。
2026-05-02 cs.CL
Giving the Old a Fresh Spin: Quality Estimation-Assisted Constrained Decoding for Automatic Post-Editing
Indian Institute of Technology Bombay(印度理工学院孟买分校);University of Surrey(萨里大学);Institute for People-Centred AI(以人为本人工智能研究所)
本文提出一种架构无关的词级质量估计辅助约束解码方法,通过在解码时引入QE信息缓解自动后编辑系统的过度纠正问题,在多语言对上显著提升了TER指标。
2025-01-28 cs.CL
UCorrect: An Unsupervised Framework for Automatic Speech Recognition Error Correction
Huawei(华为)
本文提出无监督ASR纠错框架UCorrect,通过检测-生成-选择机制不依赖配对数据即可显著降低词错误率,并具有低延迟和跨模型通用性。
2024-01-11 cs.CL cs.SD eess.AS
FastCorrect 2: Fast Error Correction on Multiple Candidates for Automatic Speech Recognition
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院);Microsoft Azure Speech(微软Azure语音部门);Tsinghua University(清华大学)
纠错在自动语音识别(ASR)中被广泛用于对生成的句子进行后处理,并且可以进一步降低单词出错率(WER)。虽然ASR系统通过束搜索生成多个候选,但是当前的纠错方法一次只能纠正一个句子,无法利用来自多个候选的投票效应来更好地检测和纠正错误标记。在这项工作中,我们提出了FastCorrect 2,这是一种错误校正模型,它将多个ASR候选项作为输入,以获得更好的校正精度。FastCorrect 2采用非自回归生成进行快速推理,由处理多个源句子的编码器和从调整后的源句子并行生成目标句子的解码器组成,其中调整基于每个源令牌的预测时长。然而,在处理多个源语句时存在一些问题。首先,利用多个源句子的投票效果是不平凡的,因为它们通常在长度上不同。因此,我们提出了一种新的对齐算法,以最大限度地提高多个句子之间的令牌对齐的程度,在令牌和发音相似性。第二,解码器只能将一个调整后的源句子作为输入,而存在多个源句子。因此,我们开发了一个候选预测器来检测最合适的候选解码器。在我们的内部数据集和AISHELL-1上的实验表明,FastCorrect 2可以将WER进一步降低3.2%和2.6%,这表明在ASR错误校正中利用多个候选人的有效性。FastCorrect 2实现了比级联重新评分和校正流水线更好的性能,可以作为ASR的统一后处理模块。
2022-11-29 cs.CL cs.LG cs.SD
FastCorrect: Fast Error Correction with Edit Alignment for Automatic Speech Recognition
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院);Microsoft Azure Speech(微软Azure语音部门);Tsinghua University(清华大学)
纠错技术已经被用于改进来自自动语音识别(ASR)模型的输出句子,并且实现比原始ASR输出更低的单词出错率(WER)。以往的工作通常使用序列到序列模型来自回归地校正ASR输出句子,这导致大的延迟并且不能部署在在线ASR服务中。受非自回归(NAR)神经机器翻译启发,减少延迟的直接解决方案是使用NAR序列生成模型进行ASR纠错,然而,这是以显著增加的ASR出错率为代价的。在本文中,观察不同的错误模式和校正操作(即,插入、删除和替换),我们提出了一种新的基于编辑比对的NAR纠错模型FastCorrect。在训练中,FastCorrect基于源句子和目标句子之间的编辑距离将来自ASR输出句子的每个源标记与来自对应的地面实况句子的目标标记对齐,并在编辑/校正期间提取与每个源标记相对应的目标标记的数量,然后将其用于训练长度预测器并调整源标记以匹配用于并行生成的目标句子的长度。在推理中,由长度预测器预测的令牌数用于调整用于目标序列生成的源令牌。在公开的AISHELL-1数据集和内部工业规模的ASR数据集上的实验表明,FastCorrect用于ASR错误校正的有效性:1)与自回归校正模型相比,它将推理速度提高了6-9倍,并保持了准确性(WER降低了8-14%); 2)它大大优于神经机器翻译和文本编辑中采用的流行NAR模型。
2022-11-29 cs.CL cs.LG cs.SD
SoftCorrect: Error Correction with Soft Detection for Automatic Speech Recognition
Microsoft(微软)
SoftCorrect提出软错误检测机制,通过语言模型概率识别错误词元并设计受限CTC损失仅复制错误词,在AISHELL-1和Aidatatang上分别降低CER 26.1%和9.4%,优于以往方法。
2023-12-20 cs.CL cs.LG eess.AS
Hybrid phonetic-neural model for correction in speech recognition systems
SoldAI Research(SoldAI研究院)
自动语音识别(ASR)是多种设置中的相关领域,因为它提供了应用程序和用户之间的自然通信机制。在使用特定于特定应用程序域的语言的环境中,ASR通常会失败。已经探索了一些策略,通过后处理,特别是自动拼写检查和深度学习方法来减少关闭ASR中的错误。在这篇文章中,我们探索使用深度神经网络来改进应用于语音音频数据库的语音校正算法的结果。结果显示,无论是在原始转录还是在语音纠正中,单词错误率(WER)都有所降低,这表明深度学习模型与后处理纠正策略一起减少特定语言领域中封闭式ASR所犯错误的可行性。
2021-02-12 cs.CL eess.AS
The Open Review-Based (ORB) dataset: Towards Automatic Assessment of Scientific Papers and Experiment Proposals in High-Energy Physics
CERN(欧洲核子研究组织);Mines Paris, Université PSL(巴黎国立高等矿业学院,巴黎文理研究大学);Efrei Research Lab, Université Paris-Panthéon-Assas(Efrei研究实验室,巴黎先贤祠-阿萨斯大学)
本文构建包含 3.6 万余篇论文、8.9 万余条评审与决定的 ORB 数据集及自动更新基础设施,并通过基于文本嵌入的 NLP 初步实验验证论文录用与评分预测。
2023-11-29 cs.CL cs.DL cs.LG
DiaCorrect: Error Correction Back-end For Speaker Diarization
Brno University of Technology(布尔诺理工大学);Ximalaya Inc.(喜马拉雅公司)
本文提出DiaCorrect错误纠正框架,利用双卷积编码器与transform解码器交互输入录音与初始输出,自动修正说话人活动,在2说话人电话数据上有效降低了日志错误。
2023-09-15 cs.CL cs.SD eess.AS