Statistical Augmentation of a Chinese Machine-Readable Dictionary
本文描述了一种利用语料库中自动收集的汉字组来扩充汉语词典的方法。该方法是特别有用的提取领域特定的和区域的话不容易在机器可读的字典。使用人类评估者和先前可用的字典对输出进行评估。我们还评估了自动中文分词的性能改进。结果表明,我们的方法输出合法的单词,缩略语结构,成语,名称和标题,以及技术化合物,其中许多是缺乏从原来的字典。
1994-06-07 cmp-lg cs.CL
Back-Translation-Style Data Augmentation for Mandarin Chinese Polyphone Disambiguation
Kwai(快手)
汉语形音转换(G2 P)在汉语文语转换(TTS)系统中占有重要地位,其中最大的挑战之一就是多音字消歧。大多数以前的多音字消歧模型都是在手动标注的数据集上训练的,并且用于多音字消歧的公开数据集很少。本文提出了一种简单的回译式数据增强方法用于汉语多音字消歧。受机器翻译领域提出的回译技术的启发,本文分别建立了一个用于多音字发音预测的字-音(G2 P)模型和一个用于语音文本预测的音-字(P2 G)模型。同时,提出了基于窗口的匹配策略和多模型评分策略来判断伪标签的正确性。针对训练集分布不均衡或数据稀缺的情况,设计了一种数据均衡策略,以提高对一些典型多音字的识别准确率。实验结果表明了所提出的反平移式数据增强方法的有效性。
2022-11-17 cs.AI cs.CL cs.SD
Corpus Augmentation by Sentence Segmentation for Low-Resource Neural Machine Translation
Gifu University(岐阜大学)
神经机器翻译(NMT)已被证明可以取得令人印象深刻的结果。NMT系统的翻译结果很大程度上依赖于平行语料库的规模和质量。然而,对于许多语言对,没有丰富的资源平行语料库存在。如本文所述,我们提出了一种语料库增强方法,通过使用回译分割语料库中的长句并生成伪平行句对。利用日汉科技论文摘录语料库(ASPEC-JC)进行日汉、汉日翻译的实验结果表明,该方法提高了翻译性能。
2019-05-22 cs.CL
A multi-perspective combined recall and rank framework for Chinese procedure terminology normalization
East China University of Science and Technology(华东理工大学)
医学术语规范化旨在将临床提及映射到来自知识库的术语,这在分析电子健康记录(EHR)和许多下游任务中起着重要作用。本文主要研究汉语过程术语规范化问题。术语的表达是多种多样的,一个医学提及可能与多个术语相关联。以往的研究探索了多类分类和学习排序(LTR)等方法,根据文献和语义信息对术语进行分类。然而,这些信息不足以找到正确的术语,特别是在多重含义的情况下。在这项工作中,我们提出了一个结合召回和排名的框架来解决上述问题。该框架由多任务候选生成器(MTCG)、关键词关注排序器(KAR)和融合模块(FB)组成。MTCG被用来预测提及暗示数和具有语义相似度的召回候选项。KAR基于BERT,具有关键词关注机制,该机制关注手术部位和手术类型等关键词。FB融合了MTCG和KAR的相似性,从不同的角度对术语进行排序。详细的实验分析表明,我们提出的框架有显着的改善性能和效率。
2021-01-22 cs.CL cs.LG
Dual-Form ASR: Semantics-Aware Inverse Text Normalization for Chinese Speech Recognition
本文提出DF-ASR框架,通过LLM驱动的双形式监督及ITN-MWER目标,实现语义感知的中文ASR-ITN,在SpeechIO中文子集上性能优于开源系统,可保留转录形式的提示级控制。
2026-09-04 cs.CL cs.SD
Knowledge-injected Prompt Learning for Chinese Biomedical Entity Normalization
Zhengzhou University(郑州大学)
针对中文生物医学实体标准化任务在少样本场景下的性能短板及知识库利用不足问题,提出含五阶段的知识注入提示学习方法,在基准数据集的少样本和全量场景下均优于现有基线。
2023-08-23 cs.CL
Linguistic Knowledge in Data Augmentation for Natural Language Processing: An Example on Chinese Question Matching
Stony Brook University(石溪大学)
为了研究语言知识在自然语言处理(NLP)数据增强(DA)中的作用,我们设计了两个自适应DA程序,并将其应用于大规模汉语问句匹配语料库(LCQMC)中的二进制汉语问句匹配分类任务。这两个DA程序通过五个简单的文本编辑操作(或DA技术)生成增强文本,在很大程度上与语言生成规则无关,但其中一个程序通过预训练的n元语言模型进行增强,以将其与先前的语言知识融合。然后,我们在不同大小的LCQMC训练集以及由两个DA程序产生的相关增强训练集上训练了四个神经网络模型(BOW,CNN,LSTM和GRU)和一个预训练模型(ERNIE-Gram)。结果表明,有两种类型的增强训练集上训练的模型之间没有显着的性能差异,无论是当五个DA技术一起或单独应用。此外,由于五种DA技术无法制作严格的释义增强文本,结果表明需要足够数量的训练样本用于训练分类模型,以调解错误匹配增强文本对的负面影响并提高性能,这是随机文本编辑扰动用作DA方法的限制。英语也得到了类似的结果。
2022-09-05 cs.CL
Improving Data Driven Inverse Text Normalization using Data Augmentation
University of California Merced(加州大学默塞德分校);Meta Inc.(Meta公司)
反向文本规范化(ITN)用于将自动语音识别(ASR)系统的口语形式输出转换为书面形式。传统的手工ITN规则可能很复杂,难以转录和维护。同时,神经建模方法需要在与ASR系统相同或相似的域中的高质量的大规模讲写对示例(域内数据)来进行训练。这两种方法都需要昂贵且复杂的注释。在本文中,我们提出了一个数据增强技术,有效地产生丰富的口语,书面数字对从域外的文本数据与最少的人的注释。我们的经验表明,使用我们的数据增强技术训练的ITN模型在所有数字表面(如基数,货币和分数)上始终优于仅使用域内数据训练的ITN模型,总体准确率为14.44%。
2022-07-20 cs.CL cs.LG cs.SD
Improving Robustness of Neural Inverse Text Normalization via Data-Augmentation, Semi-Supervised Learning, and Post-Aligning Method
SK Telecom(SK电信)
本文针对ASR生成口语文本的域外问题,提出结合数据增强、大语言模型辅助的半监督学习及后对齐方法的直接训练策略,显著提升神经逆文本正则化在多种ASR场景下的鲁棒性。
2023-09-12 cs.CL
On Feature Normalization and Data Augmentation
Cornell University(康奈尔大学);Cornell Tech(康奈尔科技校区);ASAPP(ASAPP公司);Facebook AI(Facebook人工智能实验室)
时刻(A.K.A.,平均值和标准偏差)在训练图像识别模型时通常作为噪声被去除,以增加稳定性并减少训练时间。然而,在图像生成领域,矩扮演着更加核心的角色。研究表明,实例归一化和位置归一化提取的矩可以粗略地捕捉图像的风格和形状信息。而不是被丢弃,这些时刻是工具的生成过程。在本文中,我们提出了矩交换,一个隐式的数据增强方法,鼓励模型利用矩信息也识别模型。具体来说,我们将一个训练图像的学习特征的矩替换为另一个训练图像的学习特征的矩,并对目标标签进行插值--迫使模型除了从归一化特征中提取训练信号外,还从矩中提取训练信号。由于我们的方法速度快,完全在特征空间中操作,并且混合了与现有方法不同的信号,因此可以将其与现有的增强方法有效地结合起来。我们在几个识别基准数据集上证明了它的有效性,它提高了高度竞争的基线网络的泛化能力,具有显着的一致性。
2021-03-30 cs.CL cs.CV cs.LG
Data Augmentation for Neural Online Chat Response Selection
Carnegie Mellon University(卡内基梅隆大学)
数据增强试图操纵可用的数据进行训练,以提高模型的泛化能力。我们研究了两个数据增强代理,置换和翻转,神经对话反应选择任务的各种模型上的多个数据集,包括中文和英文。不同于标准的数据增强技术,我们的方法结合了原始和合成数据进行预测。实证结果表明,我们的方法可以获得1到3召回在1点基线模型在全规模和小规模的设置。
2018-09-03 cs.CL
Data Augmentation Methods for Anaphoric Zero Pronouns
Queen Mary University of London(伦敦玛丽女王大学);Qassim University(卡西姆大学)
在阿拉伯语、汉语、意大利语、日语、西班牙语等亲降语言中,某些句法位置的未实现(空)论元可以指代先前引入的实体,因此被称为回指零代词。然而,现有的研究回指零代词解释的资源仍然有限。本文使用五种数据增强方法自动生成和检测回指零代词。我们使用增强的数据作为额外的训练材料的两个照应零代词系统阿拉伯语。我们的实验结果表明,数据增强提高了两个系统的性能,超过了最先进的结果。
2021-09-20 cs.AI cs.CL cs.LG
Approaching Neural Chinese Word Segmentation as a Low-Resource Machine Translation Task
University of Edinburgh(爱丁堡大学)
中文分词已经进入了深度学习时代,大大减少了特征工程的麻烦。近年来,一些研究者尝试将其作为字符级翻译,进一步简化了模型的设计,但基于字符级翻译的方法与其他方法在性能上存在一定差距。这激发了我们的工作,我们将低资源神经机器翻译的最佳实践应用于有监督的中文分割。我们研究了一系列的技术,包括正则化,数据增强,客观加权,迁移学习和集成。与以前的作品相比,我们的低资源的基于简化的方法保持了轻松的模型设计,但在不使用额外的数据的情况下,在约束评估中达到了与最先进的方法相同的结果。
2022-10-11 cs.CL
Ancient Chinese Word Segmentation and Part-of-Speech Tagging Using Distant Supervision
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
古汉语分词和词性标注是古汉语研究的重要内容,但古汉语分词和词性标注的数据量还很少。本文提出了一种基于远程监督的平行语料库古汉语WSG和词性标注数据扩充方法。然而,在远程监督中,仍不可避免地存在着误标和未标的古汉语词语。针对这一问题,利用深度神经网络的记忆效应和少量标注数据,得到知识量大、噪声小的模型,并利用该模型对平行语料库中的古汉语句子进行重新标注。实验表明,在重新标记的数据上训练的模型优于在远程监督生成的数据和注释数据上训练的模型。我们的代码可在https://github.com/farlit/ACDS上获得。
2023-03-06 cs.CL
Evaluating Low-Resource Machine Translation between Chinese and Vietnamese with Back-Translation
School of Computer Science, Beijing Institute of Technology(北京理工大学计算机学院)
回译(Back translation,BT)已被广泛应用并成为神经机器翻译(Neural Machine Translation,NMT)中数据增强的标准技术之一,BT已被证明有助于有效提高翻译性能,特别是在低资源场景下。虽然大多数与BT相关的作品主要集中在欧洲语言上,但很少有人研究世界其他地区的语言。本文探讨了BT对亚洲语言之间的翻译资源极其匮乏的汉语和越南语对的影响。我们评估和比较了不同大小的合成数据对NMT和统计机器翻译(SMT)模型的影响,用于中文到越南语和越南语到中文,基于字符和基于单词的设置。部分地证实了前人工作中的一些结论,并得出了一些有趣的发现和结论,这些发现和结论有助于进一步理解BT。
2020-03-06 cs.CL
A Hierarchical Location Normalization System for Text
Tencent(腾讯)
如今人们从大量的文献中了解当地的事件是很自然的。许多文本包含位置信息,例如城市名称或道路名称,这些信息通常是不完整或潜在的。提取文本的行政区域并组织区域的层次结构,称为位置归一化,具有重要意义。现有的检测定位系统要么排除了层次归一化,要么只呈现少数特定区域。我们提出了一个名为ROIBase的系统,规范化的中国分层行政区划的文本。ROIBase采用共现约束作为基本框架对行政区域的命中率进行评分,通过特殊的嵌入实现推理,通过ROI(regionofinterest)扩展召回率。它主要建立在确定性知识的基础上,逻辑复杂度低于监督模型,因此具有较高的效率和可解释性。我们证明,ROIBase实现了更好的性能对可行的解决方案,是有用的位置归一化的强有力的支持系统。
2020-01-21 cs.CL
Improved Data Augmentation for Translation Suggestion
Beijing Jiaotong University(北京交通大学);Harbin Institute of Technology(哈尔滨工业大学)
翻译建议(TS)模型用于自动地为由机器翻译生成的句子中的不正确跨度提供替代建议。本文介绍了我们在提交WMT'22翻译建议共享任务时所使用的系统。我们的系统是基于不同的翻译架构,包括Transformer,SA-Transformer,和DynamicConv的合奏。我们使用三种策略从平行语料库中构造合成数据,以弥补监督数据的不足。此外,我们还引入了一个多阶段预训练策略,增加了一个额外的预训练阶段与域内数据。我们在英德和英汉双向任务中分别排名第二和第三。
2022-10-12 cs.CL
Digestion Algorithm in Hierarchical Symbolic Forests: A Fast Text Normalization Algorithm and Semantic Parsing Framework for Specific Scenarios and Lightweight Deployment
本文提出分层符号森林消化算法(DAHSF),一种结合文本规范化与语义解析的多层框架,旨在解决深度学习模型可解释性差、数据标注成本高及本地部署困难等问题,实现特定场景下的轻量级高效应用。
2024-12-18 cs.AI cs.CL
SOS-1K: A Fine-grained Suicide Risk Classification Dataset for Chinese Social Media Analysis
School of Software Engineering, Beijing University of Technology(北京工业大学软件学院);School of Nursing, Wuhan University(武汉大学护理学院);Sorbonne Université(索邦大学);Institut du Cerveau - Paris Brain Institute - ICM(大脑研究所-巴黎脑研究所-ICM);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Inserm(法国国家健康与医学研究院);AP-HP(巴黎公共医疗集团);Hôpital de la Pitié Salpêtrière(皮蒂-萨尔皮特里医院)
本研究构建了中文社交媒体细粒度自杀风险分类数据集SOS-1K,评估七个预训练模型,发现高/低风险分类表现良好(F1达88.39%),但细粒度分类效果欠佳(F1为50.89%),数据增强可提升性能,Chinese MentalBERT表现最优。
2024-04-19 cs.CL
Data Augmentation for BERT Fine-Tuning in Open-Domain Question Answering
University of Waterloo(滑铁卢大学)
最近,使用现成的IR技术和BERT阅读器的段落检索的简单组合被发现对于直接在维基百科上的问答是非常有效的,在标准基准数据集上产生了比先前的最新技术水平大的改进。在本文中,我们提出了一个数据增强技术,利用积极的和消极的例子,利用远程监督。我们应用分阶段的方法在多个数据集上微调BERT,从距离测试数据“最远”的数据开始,以“最接近”的数据结束。实验结果表明,在英语QA数据集上的有效性比以前的方法有很大的提高,我们在最近的两个中文QA数据集上建立了新的基线。
2019-04-14 cs.CL cs.IR
Using Data Augmentations and VTLN to Reduce Bias in Dutch End-to-End Speech Recognition Systems
Delft University of Technology(代尔夫特理工大学)
本文针对荷兰语端到端语音识别中不同年龄群体和非母语者的偏差问题,结合速度扰动、频谱增强与VTLN,使平均WER和偏差分别降低6.9%和3.9%,并验证了VTLN跨语言泛化能力。
2023-07-05 cs.CL
PlurVA-LLM-2026 Shared Task Track-1: Pluralistic Value Alignment in LLMs via Multilingual Fine-Tuning and Threshold Calibration
本文提出一种多语言微调与阈值校准方法,用于多元价值对齐,在三个国家数据集上取得宏平均准确率0.805。
2026-10-09 cs.CL
MixEdit: Revisiting Data Augmentation and Beyond for Grammatical Error Correction
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Peng Cheng Laboratory(鹏城实验室)
本文针对语法错误纠正(GEC)任务中数据增强机制不清晰的问题,引入Affinity和Diversity两种度量指标,并提出动态增强真实数据的MixEdit方法,实验证明其能显著提升模型性能且与传统方法互补。
2023-10-18 cs.CL
READIN: A Chinese Multi-Task Benchmark with Realistic and Diverse Input Noises
Tsinghua University(清华大学);University of Maryland, College Park(马里兰大学帕克分校);International Innovation Center of Tsinghua University(清华大学国际创新中心)
本文构建了中文多任务基准 READIN,通过拼音和语音输入引入真实多样的输入噪声,实验表明现有预训练模型即使使用鲁棒训练方法仍会显著性能下降。
2023-05-25 cs.CL
Learning to Generalize to More: Continuous Semantic Augmentation for Neural Machine Translation
Alibaba DAMO Academy(阿里巴巴达摩院);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学)
有监督神经机器翻译(NMT)的主要任务是学习从一组平行句子对中生成以源输入为条件的目标句子,从而产生能够推广到未见过实例的模型。然而,通常观察到模型的泛化性能受到训练中使用的并行数据量的高度影响。虽然数据增强被广泛用于丰富训练数据,但传统的离散操作方法无法生成多样化和忠实的训练样本。在本文中,我们提出了一种新的数据增强范例,称为连续语义增强(CsaNMT),它增加了每个训练实例与相邻的语义区域,可以覆盖足够的变体下相同的含义的字面表达。我们在丰富资源和低资源环境下进行了广泛的实验,涉及各种语言对,包括WMT 14英语-{德语,法语},NIST中文-英语和多个低资源的IWITOS翻译任务。所提供的经验证据表明,CsaNMT在现有增强技术中设置了新的性能水平,大大提高了最先进的水平。核心代码见附录E。
2022-04-14 cs.CL
Towards Generalizable SER: Soft Labeling and Data Augmentation for Modeling Temporal Emotion Shifts in Large-Scale Multilingual Speech
Virginia Commonwealth University(弗吉尼亚联邦大学);Nile University(尼罗大学)
本研究通过整合16个数据集、提出软标签系统及利用Whisper编码器和对比学习增强,实现了多语言语音情感时间动态建模,并在四个数据集上验证了零样本泛化能力。
2023-11-15 cs.CL cs.LG eess.AS
A Semantic Parsing Framework for End-to-End Time Normalization
Intel Labs(英特尔实验室);Thoughtworks;University of Arizona(亚利桑那大学)
本文提出将时间归一化视为基于SCATE框架的代码生成任务,利用LLM合成数据训练小型模型,实现高性能、可解释的时间归一化。
2025-07-08 cs.CL
Refining Corpora from a Model Calibration Perspective for Chinese Spelling Correction
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院)
针对中文拼写纠错语料噪声导致过度纠正的问题,提出基于模型校准的语料精炼策略,利用校准模型过滤OCR/ASR生成数据,显著提升性能并减少假阳性。
2024-07-22 cs.CL
Data Augmentation with Hierarchical SQL-to-Question Generation for Cross-domain Text-to-SQL Parsing
Soochow University(苏州大学);Baidu Inc.(百度公司)
数据增强在深度学习时代因其缓解数据稀疏性的能力而引起了大量的研究关注。对于看不见的评估数据库来说,缺乏标记数据正是跨域文本到SQL解析的主要挑战。以前的工作要么需要人工干预来保证生成数据的质量,要么无法处理复杂的SQL查询。本文提出了一个简单而有效的数据增强框架。首先,给定一个数据库,我们自动产生大量的SQL查询的基础上,一个抽象的语法树语法。为了更好的分布匹配,我们要求训练数据中至少80%的SQL模式被生成的查询覆盖。其次,我们提出了一个分层SQL到问题生成模型,以获得高质量的自然语言的问题,这是这项工作的主要贡献。最后,我们设计了一个简单的采样策略,可以在生成大量数据的情况下大大提高训练效率。在三个跨域数据集上的实验,即,英文的WikiSQL和Spider以及中文的DuSQL表明,我们提出的数据增强框架可以在强基线上持续提高性能,而分层生成组件是改进的关键。
2022-11-15 cs.CL
Cost-efficient Crowdsourcing for Span-based Sequence Labeling: Worker Selection and Data Augmentation
School of Computer and Information Technology, Beijing Jiaotong University(北京交通大学计算机与信息技术学院);Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院);School of Information Science, Beijing Language and Culture University(北京语言大学信息科学学院);Department of Computer Science, The University of California, Davis(加州大学戴维斯分校计算机科学系)
本文提出一种基于CMAB的众包工作者选择算法及SES数据增强方法,有效应对序列标注中的标签依赖问题,在提升F1分数的同时大幅降低成本,并可无缝集成至RLHF系统。
2024-07-27 cs.AI cs.CL
HanjaBridge: Resolving Semantic Ambiguity in Korean LLMs via Hanja-Augmented Pre-Training
Wisenut(Wisenut公司)
提出HanjaBridge技术,通过在持续预训练中注入汉字候选以解决韩语同音词语义歧义,结合知识蒸馏防止遗忘,显著提升韩语理解并实现跨语言正向迁移。
2025-07-15 cs.AI cs.CL
CNN+LSTM Architecture for Speech Emotion Recognition with Data Augmentation
LIMSI(LIMSI实验室);CNRS(法国国家科学研究中心);Paris-Sud University(巴黎南大学);Paris-Saclay University(巴黎萨克雷大学);DreamQuark(DreamQuark公司)
在这项工作中,我们设计了一个神经网络识别语音中的情绪,使用IEMOCAP数据集。根据音频分析的最新进展,我们使用了一种涉及两个卷积层的架构,用于从原始频谱图中提取高级特征,以及用于聚合长期依赖关系的递归特征。我们研究的技术,数据增强与声乐音轨长度扰动,逐层优化调整,批量归一化的递归层,并获得高度竞争力的结果为64.5%的加权准确度和61.7%的未加权准确度的四种情绪。
2018-09-11 cs.CL cs.LG cs.SD
Language Agnostic Data-Driven Inverse Text Normalization
Meta Platforms, Inc.(Meta平台公司)
随着自动语音识别(ASR)模型的出现,迫切需要将口语形式的文本(从ASR)转换为书面形式。这种逆文本规范化(ITN)问题吸引了来自各个领域的研究人员的关注。最近,一些工作表明,数据驱动的ITN方法可以输出高质量的书面形式的文本。由于标注的口语-书面语数据集的稀缺性,对非英语数据驱动的ITN的研究非常有限。在这项工作中,我们提出了一个语言无关的数据驱动的ITN框架,以填补这一空白。具体来说,我们将数据增强与神经机器翻译的数据结合起来用于低资源语言。此外,我们设计了一个评估方法,语言无关的ITN模型时,只有英文数据。我们的实证评估表明,这种语言无关的建模方法是有效的低资源的语言,同时保持高资源的语言的性能。
2023-01-24 cs.CL cs.LG
Maximum Bayes Smatch Ensemble Distillation for AMR Parsing
IBM Research AI(IBM研究院人工智能部门);IBM Research - Ireland(IBM研究院爱尔兰分院)
AMR解析在过去三年中经历了前所未有的性能增长,这是由于包括架构改进和迁移学习在内的多种影响。自学技巧也在推动业绩方面发挥了作用。然而,对于大多数最近的高性能解析器,自学习和银数据增强的效果似乎正在消失。在本文中,我们建议克服这种收益递减银数据相结合的Smatch集成技术与合奏蒸馏。在一个广泛的实验设置中,我们将单一模型英语解析器的性能推到了最先进的水平,85.9(AMR2.0)和84.3(AMR3.0),并从银数据增强中恢复到了实质性的收益。我们还实现了针对中文、德语、意大利语和西班牙语的跨语言AMR解析的最新技术水平。最后,我们探讨了所提出的技术对领域自适应的影响,并表明它可以产生与QALD-9的人类注释数据相媲美的收益,并实现了BioAMR的新的最先进水平。
2022-05-02 cs.AI cs.CL
Data Augmentation for Fake Reviews Detection in Multiple Languages and Multiple Domains
Queen Mary University of London(伦敦玛丽女王大学)
本文利用大型语言模型生成多领域、多语言虚假评论数据,通过数据增强有效提升了虚假评论检测模型在多个基准数据集上的准确率。
2025-04-09 cs.CL
Disease Entity Recognition and Normalization is Improved with Large Language Model Derived Synthetic Normalized Mentions
University of Alabama at Birmingham(阿拉巴马大学伯明翰分校)
该研究通过微调LLaMa-2 13B生成合成规范化疾病提及数据,显著提升了疾病实体规范化(DEN)的总体和分布外性能,对疾病实体识别(DER)改进有限。
2024-10-10 cs.CL cs.LG
GrammarGPT: Exploring Open-Source LLMs for Native Chinese Grammatical Error Correction with Supervised Fine-Tuning
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Soochow University(苏州大学);Shenzhen Research Institute of Big Data(深圳大数据研究院);University of Science and Technology of China(中国科学技术大学)
本文提出 GrammarGPT,利用 ChatGPT 合成与人工标注的约千条混合数据及错误不变增强,对开源 LLM 进行指令微调,在中文语法纠错任务上以少 1200 倍数据显著超越 SOTA。
2023-08-17 cs.CL
TSMind: Alibaba and Soochow University's Submission to the WMT22 Translation Suggestion Task
Alibaba Group Inc.(阿里巴巴集团);Soochow University(苏州大学)
本文介绍了阿里巴巴和苏州大学TSMind联合提交的WMT 2022翻译建议(TS)共享任务。我们参加英语-德语和英语-汉语的任务。基本上,我们利用基于大规模预训练模型的下游任务的模型范式微调,最近取得了巨大的成功。我们选择FAIR的WMT 19英德新闻翻译系统和MBART 50英汉翻译系统作为我们的预训练模型。考虑到训练数据使用有限的任务条件,我们遵循WeTS提出的数据增强策略来提高TS模型的性能。不同的是,我们进一步涉及双重条件交叉熵模型和GPT-2语言模型过滤增强数据。排行榜最终显示,我们的提交在WMT 22翻译建议任务的Naive TS任务中的四个语言方向中的三个中排名第一。
2022-11-16 cs.CL
WeSinger: Data-augmented Singing Voice Synthesis with Auxiliary Losses
Tencent Inc(腾讯公司)
在本文中,我们开发了一个新的多歌手中文神经歌唱声合成(SVS)系统命名为WeSinger。为了提高歌唱声合成的准确性和自然度,我们设计了几个具体的模块和技术:1)基于深度双向LSTM的多尺度节奏损失和后处理的时长模型; 2)具有渐进音高加权解码器损失的类transformer声学模型; 3)24 kHz音高感知LPCNet神经声码器,以产生高质量的歌唱波形; 4)提出了一种新的数据增强方法,该方法采用多歌手预训练,增强了鲁棒性和自然度。据我们所知,WeSinger是第一个同时采用24 kHz LPCNet和多歌手预训练的SVS系统。定量和定性的评价结果均证明了WeSinger在准确性和自然度方面的有效性,WeSinger在最近公开的中文歌唱语料库Opencpop \footnote{https://wenet.org.cn/opencpop/}上的表现达到了最先进的水平。一些合成的歌唱样本可以在\footnote{https://zzw922cn.github.io/wesinger/}上找到。
2022-06-25 cs.CL cs.SD eess.AS
The YiTrans End-to-End Speech Translation System for IWSLT 2022 Offline Shared Task
University of Science and Technology of China(中国科学技术大学);Microsoft(微软);The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳))
本文介绍了我们的端到端YiTrans语音翻译系统的提交,该系统用于IWIT 2022离线任务,将英语音频翻译为德语,中文和日语。YiTrans系统建立在大规模预训练的编码器-解码器模型上。更具体地说,我们首先设计了一个多阶段的预训练策略来构建一个包含大量标记和未标记数据的多模态模型。然后,我们针对下游语音翻译任务微调模型的相应组件。实验结果表明,YiTrans系统在三个翻译方向上都比强基线有了显著的提高,在tst 2021英-德上比去年的最优端到端系统BLEU提高了+5.2。我们最终提交的产品在自动评估指标方面在英德和英汉端到端系统中排名第一。我们公开我们的代码和模型。
2022-06-14 cs.CL eess.AS