What BERT Based Language Models Learn in Spoken Transcripts: An Empirical Study
语言模型（LM）已经普遍地用于包括口语语言理解（SLU）的各种任务中。口语需要仔细理解说话人的交互，对话状态和语音诱导的多模态行为，以生成有意义的会话表示。在这项工作中，我们建议解剖SLU分为三个代表性的属性：会话（不流利，停顿，overtalk），通道（扬声器类型，轮任务）和ASR（插入，删除，替换）。我们探测基于BERT的语言模型（BERT，RoBERTa）训练的口语成绩单，以调查其能力，理解多种属性，在没有任何语音提示。实验结果表明，LM是令人惊讶的好捕捉会话属性，如暂停预测和overtalk检测词汇标记。在缺点方面，LM在回合任务和ASR错误预测方面得分较低。此外，对LM进行口头成绩单的预训练抑制了其语言理解。最后，我们在两个基准数据集上建立了上述属性的有效性和可移植性：Switchboard Dialog Act和Disfluency数据集。
2021-09-21 cs.AI cs.CL cs.LG
Leveraging BERT Language Model for Arabic Long Document Classification
Elm Company（埃尔姆公司）
针对阿拉伯语长文档传统分类方法计算需求过高的问题，提出两种简单有效的分类模型，经两个数据集验证，效果优于微调后的Longformer和RoBERT模型。
2023-05-04 cs.CL
Language Identification of Hindi-English tweets using code-mixed BERT
Jamia Millia Islamia（贾米亚·米利亚伊斯兰大学）；Aligarh Muslim University（阿里加尔穆斯林大学）
社交媒体文本的语言识别近年来一直是一个有趣的研究问题。社交媒体信息主要是在非英语国家混合的代码。通过预训练上下文嵌入的现有知识已经显示了一系列下游任务的最新结果。最近，诸如BERT之类的模型已经表明，使用大量未标记的数据，预训练的语言模型对于学习公共语言表示更加有益。本文提出了利用迁移学习和微调BERT模型来识别Twitter上的语言的广泛实验。这项工作利用了一个数据汇集的印地语-英语-乌尔都语代码混合文本的语言预训练和印地语-英语代码混合为随后的词级语言分类。结果表明，在混合数据上预训练的表示产生更好的结果，由他们的单语对应。
2021-07-02 cs.CL cs.LG
BERT Meets CTC: New Formulation of End-to-End Speech Recognition with Pre-trained Masked Language Model
Waseda University（早稻田大学）
提出 BERT-CTC，将 BERT 融入 CTC 端到端语音识别，通过自注意力建模音频与 token 的上下文依赖，并结合 mask-predict 迭代解码，在多风格、多语言识别及下游口语理解上取得提升。
2023-04-20 cs.CL eess.AS
TookaBERT: A Step Forward for Persian NLU
Artificial Intelligence Research Center（人工智能研究中心）
本研究使用波斯语数据训练并引入了两个新的BERT模型，在14项波斯语NLU任务上与7个现有模型比较，较大模型取得了至少+2.8分的平均提升，展现了其在波斯语NLU任务中的有效性和潜力。
2024-07-23 cs.CL
BERT-based Ensembles for Modeling Disclosure and Support in Conversational Social Media Text
Netaji Subhas Institute of Technology（内塔吉·苏巴斯理工学院）；International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）
人们越来越有兴趣了解人类如何发起和进行对话。会话的情感理解关注的是说话者如何利用情感对情景和彼此做出反应的问题。在CL-Aff共享任务中，组织者发布了Get it #OffMyChest数据集，其中包含来自休闲和忏悔对话的Reddit评论，标记为披露和保密特征。在本文中，我们介绍了一个预测集成模型，利用微调的上下文词嵌入，罗伯特和阿尔伯特。我们表明，我们的模型在所有考虑的指标优于基础模型，实现了$3\%$的F1分数的改善。我们进一步进行统计分析，并概述对给定数据集的更深入见解，同时为数据集提供新的影响特征。
2020-06-01 cs.CL cs.SI
Cross-Dialect Text-To-Speech in Pitch-Accent Language Incorporating Multi-Dialect Phoneme-Level BERT
The University of Tokyo（东京大学）
针对音高重音语言的跨方言文本转语音任务，提出融合多方言音素级BERT、含重音潜变量预测模块的三模块TTS模型，实验证明其提升了合成语音的方言自然度。
2024-09-11 cs.CL cs.SD eess.AS
On the Robustness of Language Encoders against Grammatical Errors
Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
我们进行了一项深入的研究，以诊断预先训练的语言编码器（ELMo，BERT和RoBERTa）在遇到自然语法错误时的行为。具体来说，我们从非母语人士那里收集真实的语法错误，并进行对抗攻击，在干净的文本数据上模拟这些错误。我们使用这种方法来促进下游应用程序的调试模型。结果证实，所有测试模型的性能受到影响，但影响的程度不同。为了解释模型行为，我们进一步设计了一个语言可接受性任务，以揭示他们识别不符合语法的句子和错误的位置的能力。我们发现，固定的上下文编码器与一个简单的分类训练的预测句子的正确性能够定位错误的位置。我们还为BERT设计了一个完形填空测试，发现BERT捕捉了错误和特定标记在上下文中的相互作用。我们的研究结果有助于理解语言编码器对语法错误的鲁棒性和行为。
2020-05-12 cs.CL
BERTuit: Understanding Spanish language in Twitter through a native transformer
Universidad Politécnica de Madrid（马德里理工大学）
复杂的基于注意力的语言模型（如BERT、Roberta或GPT-3）的出现允许在大量场景中处理高度复杂的任务。然而，当应用于特定领域时，这些模型遇到了相当大的困难。Twitter等社交网络就是这种情况，它是一种不断变化的信息流，使用非正式和复杂的语言编写，其中每条消息都需要仔细评估才能理解，即使是考虑到上下文所起的重要作用的人类。通过自然语言处理来解决这一领域的任务面临着严峻的挑战。当强大的最先进的多语言语言模型应用于此场景时，语言特定的细微差别会在翻译中丢失。为了面对这些挑战，我们提出了\textbf{BERTuit}，这是迄今为止为西班牙语提出的更大的Transformer，使用RoBERTa优化在2.3亿西班牙语tweet的大规模数据集上进行了预训练。我们的动机是提供一个强大的资源，以更好地了解西班牙语Twitter，并用于专注于这个社交网络的应用程序，特别强调解决方案，致力于解决这个平台上的错误信息的传播。BERTuit在几个任务上进行了评估，并与M-BERT，XLM-RoBERTA和XLM-T进行了比较，这些都是非常有竞争力的多语言Transformers。我们的方法的实用性与应用程序，在这种情况下：一个zero-shot的方法来可视化组的恶作剧和剖析作者传播虚假信息。错误信息在Twitter等平台上以英语以外的语言广泛传播，这意味着Transformers的性能在传输到…
2022-06-13 cs.CL cs.LG
BERT meets LIWC: Exploring State-of-the-Art Language Models for Predicting Communication Behavior in Couples' Conflict Interactions
University of Surrey（萨里大学）；ETH Zurich（苏黎世联邦理工学院）；University of Lausanne（洛桑大学）；University of Zurich（苏黎世大学）；University of Konstanz（康斯坦茨大学）；University of St. Gallen（圣加仑大学）
心理学中的许多过程是复杂的，例如两个相互作用的伙伴（例如患者治疗师，亲密关系伙伴）之间的二元互动。然而，许多关于互动的基本问题很难调查，因为二元过程可以在一个人和合作伙伴之间，它们基于行为的多模态方面，并迅速展开。目前的分析主要基于行为编码方法，人类编码人员根据编码模式对行为进行注释。但编码是劳动密集型的，昂贵的，缓慢的，集中在几个模态。目前心理学的方法使用LIWC来分析夫妻的互动。然而，自然语言处理的进步，如BERT，可以使系统的发展，以潜在的自动化行为编码，这反过来又可以大大改善心理学研究。在这项工作中，我们训练机器学习模型，以自动预测积极和消极的沟通行为代码的368德语瑞士夫妇在8分钟的冲突互动的细粒度规模（10秒序列）使用语言特征和语言特征与openSMILE派生。我们的研究结果表明，无论是简单的TF-IDF功能，以及更复杂的BERT功能比LIWC的表现更好，并添加非语言功能并没有提高性能。这些结果表明，现在可能是时候考虑现代替代LIWC，心理学中事实上的语言特征，用于夫妇研究中的预测任务。这项工作是朝着夫妇行为的自动编码迈出的又一步，这可以加强夫妇的研究和治疗，并用于其他二元互动。
2021-09-18 cs.CL
Natural Language Understanding for Argumentative Dialogue Systems in the Opinion Building Domain
Southeast University（东南大学）；Ulm University（乌尔姆大学）；Mercedes-Benz Research & Development（梅赛德斯-奔驰研发中心）
本文介绍了一个自然语言理解（NLU）框架，在信息寻求和意见建设领域的辩论对话系统。该框架包括两个子模型，即意图分类器和论点相似度。意图分类器模型将BiLSTM与注意力机制堆叠在预训练的BERT模型之上，并微调模型以识别用户意图，而论点相似性模型使用BERT + BiLSTM来识别用户在他或她的自然语言话语中引用的系统论点。我们的模型是在一个争论性的对话系统，从事用户通知他/她自己的一个有争议的话题，通过探索赞成和反对的论点，并建立他/她对这个话题的意见。为了评估所提出的方法，我们收集用户话语的互动与各自的系统标签的意图和参考参数在一个广泛的在线研究。数据汇集包括多个主题和两种不同的用户类型（来自英国的英语母语者和来自中国的非英语母语者）。此外，我们分别在公开的Banking77和STS基准数据集上评估了所提出的意图分类器和参数相似性模型。评估表明，在几个数据集的基线方法，以及对新的主题和不同的语言能力，以及用户的文化背景所提出的方法的鲁棒性所使用的技术的明显优势。此外，结果表明，我们的意图分类器模型在Few-Shot设置中优于DIET、DistillBERT和BERT微调模型（即，每个意图具有10、20或30个标记的示例）和完整的数据设置。
2022-02-19 cs.CL cs.LG
Offensive Hebrew Corpus and Detection using BERT
Birzeit University（比尔宰特大学）；amleh Center（7amleh中心）
本文针对希伯来语攻击性语言检测资源匮乏的问题，构建了包含15,881条推文的标注语料库，并通过微调HeBERT和AlephBERT模型验证了数据集对提升模型性能和泛化能力的有效性。
2023-09-06 cs.AI cs.CL cs.LG
Marathi To English Neural Machine Translation With Near Perfect Corpus And Transformers
Dailyhunt
很少有人尝试对印度语言的神经机器翻译任务的最先进算法的性能进行基准测试。Google、Bing、Facebook和Yandex是少数几家为少数几种印度语言建立翻译系统的公司。其中，谷歌的翻译结果应该更好，基于一般检查。Bing-Translator甚至不支持马拉地语，马拉地语拥有约9500万使用者，在主要和次要使用者中排名世界第15位。在这个练习中，我们训练和比较了各种神经机器Marathi到英语翻译器，这些翻译器使用huggingface和各种基于Transformer的架构，使用Facebook的Fairseq平台，使用有限但几乎正确的并行语料库，在Tatoeba和Wikimedia开放数据集上获得比Google更好的BLEU分数。
2020-02-26 cs.CL
On Importance of Code-Mixed Embeddings for Hate Speech Identification
Pune Institute of Computer Technology（浦那计算机技术学院）；L3Cube Labs（L3Cube实验室）；Indian Institute of Technology Madras（印度马德拉斯理工学院）
针对经典NLP工具处理代码混合数据（如印地语-英语混合）时的困难，分析代码混合嵌入的重要性，评估BERT和HingBERT等模型性能，发现HingBERT及Hing-FastText在仇恨言论检测中表现更优。
2024-11-27 cs.CL cs.LG
SLABERT Talk Pretty One Day: Modeling Second Language Acquisition with BERT
Karya Inc.（Karya公司）；Case Western Reserve University（凯斯西储大学）
本文利用BERT建模第二语言习得，构建多语言MAO-CHILDES数据集，发现语系距离越大负迁移越明显，且对话式语音比脚本式语音更促进语言习得。
2023-05-31 cs.CL
Enhancing Semantic Understanding with Self-supervised Methods for Abstractive Dialogue Summarization
Samsung SDS（三星数据系统）
语境化的词嵌入可以在自然语言理解中产生最先进的性能。最近，预训练的深度上下文文本编码器（如BERT）在改进包括抽象摘要在内的自然语言任务方面显示出了潜力。现有的对话摘要方法集中于将大语言模型结合到由新闻文章而不是多个说话人的对话组成的大规模语料库上训练的摘要任务中。在本文中，我们引入自监督的方法来弥补不足，训练的对话摘要模型。我们的原则是检测不连贯的信息流使用借口对话文本，以提高BERT的能力，语境化的对话文本表示。我们使用增强的BERT在共享的编码器-解码器架构上构建并微调抽象对话摘要模型。我们经验评估我们的抽象对话摘要与SAMSum语料库，最近推出的数据集与抽象对话摘要。我们所有的方法都有助于改善ROUGE评分的抽象总结。通过广泛的消融研究，我们还提出了一个敏感性分析的关键模型超参数，切换话语和掩蔽对话者的概率。
2022-09-01 cs.AI cs.CL
DONDO: Open w2v-BERT Speech-Recognition Base Models for African Languages
Khaya AI（Khaya人工智能公司）
该研究提出DONDO一族非洲语言语音识别基础模型，基于w2v-BERT 2.0构建，含单语和多语模型。介绍了两步微调及语言调节机制，多语模型平均字错误率10 - 13%，缩小与单语差距，模型开源可自由微调，覆盖众多非洲语言使用者。
2026-07-28 cs.CL
The NTNU System at the S&I Challenge 2025 SLA Open Track
National Taiwan Normal University（国立台湾师范大学）；Department of Computer Science and Information Engineering（计算机科学与信息工程系）；Institute of AI Interdisciplinary Applied Technology（人工智能跨学科应用技术研究所）
本文提出整合W2V与Phi-4多模态大语言模型的系统，通过分数融合策略提升SLA评估性能，在Speak & Improve Challenge 2025中取得第二名，RMSE为0.375。
2026-06-27 cs.CL cs.SD eess.AS
WaBERT: A Low-resource End-to-end Model for Spoken Language Understanding and Speech-to-BERT Alignment
Institute of Artificial Intelligence Research, Qihoo of Beijing Science and Technology Co. Ltd.（北京奇虎科技有限公司人工智能研究院）
历史上，诸如自动语音识别（ASR）和说话人辨识之类的较低级别的任务是语音领域中的主要焦点。最近，人们对高级口语语言理解（SLU）任务的兴趣越来越大，比如情感分析（SA）。然而，提高SLU任务的性能仍然是一个巨大的挑战。基本上，SLU任务有两种主要方法：（1）两阶段方法，使用语音模型将语音转换为文本，然后使用语言模型获得下游任务的结果;（2）一阶段方法，仅微调预训练的语音模型以适应下游任务。第一种方法丢失了语调等情感线索，导致识别错误;第二种方法缺乏必要的语言知识。在本文中，我们提出了波BERT（WaBERT），一种新的端到端模型结合语音模型和语言模型SLU任务。WaBERT基于预训练的语音和语言模型，因此不需要从头开始训练。我们还在训练期间冻结了WaBERT的大多数参数。通过引入WaBERT，在短时间和低资源的训练过程中整合了音频特定信息和语言知识，以提高SLUE SA任务的开发数据集上的结果，召回分数提高了1.15%，F1分数提高了0.82%。此外，我们修改了串行连续整合激发（CIF）机制，以实现语音和文本模态之间的单调对齐。
2022-04-22 cs.CL cs.SD eess.AS
Speak or Chat with Me: End-to-End Spoken Language Understanding System with Flexible Inputs
New York University（纽约大学）；IBM Research AI（IBM研究院人工智能实验室）
口语语言理解（SLU）中最近的研究的主要焦点是端到端方法，其中单个模型可以直接从语音输入预测意图，而无需中间转录。然而，这一方法带来了一些挑战。首先，由于语音可被视为个人可识别信息，因此在某些情况下，只能访问自动语音识别（ASR）转录。其次，意图标记的语音数据是稀缺的。为了解决第一个挑战，我们提出了一个新的系统，可以从灵活的输入类型预测意图：语音，ASR成绩单，或两者兼而有之。我们表现出强大的性能，无论是模态单独，当语音和ASR成绩单，通过系统组合，我们实现了更好的结果比使用一个单一的输入方式。为了解决第二个挑战，我们利用一个语义健壮的预训练BERT模型，并采用一个跨模态系统，在共享的潜在空间中共同训练文本嵌入和声学嵌入。我们通过利用在LibriSpeech上预训练的声学模块和在我们的目标数据集上对文本模块进行域适应来进一步增强该系统。我们的实验显示了这些预训练和微调策略的显著优势，从而使系统在Snips SLU和Fluent Speech Commands数据集上实现了具有竞争力的意图分类性能。
2021-06-14 cs.CL cs.LG cs.SD
Automatic Proficiency Assessment in L2 English Learners
École de Technologie Supérieure, Université du Québec（École de Technologie Supérieure，Université du Québec）；Johns Hopkins University（约翰霍普金斯大学）
本文利用深度学习技术，结合语音和文本模态，通过CNN、ResNet、wav2vec 2.0和BERT等模型实现英语二语学习者水平的自动评估，并在多个数据集上验证了预训练wav2vec 2.0模型的稳健性。
2025-05-05 cs.CL cs.SD eess.AS
IndicSQuAD: A Comprehensive Multilingual Question Answering Dataset for Indic Languages
First Author Affiliation（第一作者机构）；Second Author Affiliation（第二作者机构）
本文构建涵盖九种印度语言的多语言抽取式问答数据集 IndicSQuAD，并通过单语 BERT 与 MuRIL-BERT 基线评估揭示低资源挑战。
2025-05-13 cs.CL cs.LG
ChrEn: Cherokee-English Machine Translation for Endangered Language Revitalization
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
切罗基语是切罗基人使用的一种高度濒危的美洲土著语言。切罗基文化深深地嵌入其语言中。然而，世界上大约只有2,000名流利的第一语言切罗基人，而且这个数字每年都在下降。为了拯救这一濒危语言，我们引入了Cherokee-English并行数据集ChrEn，以促进Cherokee和English之间的机器翻译研究。与一些流行的机器翻译语言对相比，ChrEn的资源非常少，总共只包含14 k个句子对。我们以便于域内和域外评估的方式拆分并行数据。我们还收集了5 k Cherokee单语数据，以实现半监督学习。除了这些数据集，我们提出了几个切罗基语-英语和英语-切罗基语机器翻译系统。我们比较了SMT（基于短语）与NMT（基于RNN和基于Transformer）系统;监督与半监督（通过语言模型，反向翻译和BERT/多语言BERT）方法;以及迁移学习与其他4种语言的多语言联合训练。我们最好的结果是15.8/12.7 BLEU的域内和6.5/5.0 BLEU的域外Chr-En/EnChr翻译，分别，我们希望我们的数据集和系统将鼓励社区未来的工作，为切罗基语的复兴。我们的数据、代码和演示将在https://github.com/ZhangShiyue/ChrEn上公开提供
2020-10-09 cs.AI cs.CL
Relationship of the language distance to English ability of a country
Northwestern Polytechnical University（西北工业大学）
语言差异是阻碍二语习得的因素之一。在这篇文章中，我们介绍了一种新的解决方案，该解决方案利用深度神经网络的优势，基于多语言预训练语言模型（例如，BERT）。然后，我们实证研究的有效性，建议的语义语言距离（SLD）在解释一致的变化，在英语能力的国家，这是代理他们的表现在基于互联网的测试英语作为外语（托福网考）。实验结果表明，语言距离对一个国家的平均英语能力有负面影响。有趣的是，这种影响在口语和写作技能上更显着，这与语言学习的生产性方面有关。此外，我们还为未来的研究方向提供了具体建议。
2022-11-15 cs.CL stat.AP
Artificially Fluent: Swahili AI Performance Benchmarks Between English-Trained and Natively-Trained Datasets
Phillips Exeter Academy（菲利普斯埃克塞特学院）；Harvard University（哈佛大学）
本研究通过对比原生斯瓦希里语训练与翻译后英语评测的BERT模型，证明语言一致性优于跨语言翻译抽象，凸显低资源语言原生数据集建设的重要性。
2025-09-28 cs.CL cs.CY
Evaluating Large Language Models for Hausa and Fongbe Machine Translation: Benchmarks, Failures, and Metric Reliability
Carnegie Mellon University Africa（卡内基梅隆大学非洲校区）；North-West University（西北大学）
本研究评估了四种大语言模型在英语到豪萨语和丰贝语（两种西非低资源语言）的翻译质量，发现质量因语言而异，模型排名不一致，且自动指标与人类判断的相关性波动大，建议采用多指标评估并注意神经指标的局限性。
2026-06-23 cs.AI cs.CL cs.LG
LLMs Silently Correct African American English: Auditing and Mitigating Dialect Bias via Activation Steering
York University（约克大学）；Vector Institute（向量研究所）；Connected Minds（连接思维公司）；Emory University（埃默里大学）；Wilfrid Laurier University（威尔弗里德·劳里埃大学）；University of Toronto（多伦多大学）；University of Guelph（圭尔夫大学）；Monark Health（莫纳克健康公司）；CIFAR Solution Network（加拿大高级研究院解决方案网络）
研究发现大语言模型会将非裔美国英语重写为标准美国英语，提出端到端框架审计和减轻偏见，审计用cDGI等方法，减轻偏见用激活引导，该方法比提示更有效，还发布了真实AAE平行语料库。
2026-10-14 cs.CL
