A Simple but Effective BERT Model for Dialog State Tracking on Resource-Limited Systems
Purdue University（普渡大学）；Adobe Research（奥多比研究院）
在面向任务的对话系统中，对话状态跟踪（DST）的目标是从对话历史中监视会话的状态。最近，许多基于深度学习的方法已经被提出用于该任务。尽管它们的性能令人印象深刻，但目前用于DST的神经架构通常是经过严格设计的，并且在概念上很复杂，因此很难在生产环境中实现，调试和维护它们。在这项工作中，我们提出了一个简单而有效的DST模型的基础上BERT。除了它的简单性，我们的方法也有一些其他的优点：（a）参数的数量不会随着本体的大小增长（b）模型可以在领域本体可能动态变化的情况下运行。实验结果表明，我们的基于BERT的模型比以前的方法有很大的优势，在标准WoZ 2.0数据集上获得了新的最先进的结果。最后，为了使模型足够小和快速的资源受限的系统，我们应用知识蒸馏方法来压缩我们的模型。最终的压缩模型实现了与原始模型相当的结果，同时小8倍，快7倍。
2020-02-09 cs.CL cs.LG
Clickbait Headline Detection in Indonesian News Sites using Multilingual Bidirectional Encoder Representations from Transformers (M-BERT)
Universitas Airlangga（艾尔朗加大学）
点击次数与在线广告商支付给新闻网站的金额有关。这种商业模式迫使一些新闻网站采用了一种肮脏的点击诱饵伎俩，即，在标题中使用夸张而有趣的词语，有时甚至是未完成的句子来故意戏弄读者。一些印尼在线新闻网站也加入了点击诱饵的行列，这间接降低了其他知名新闻网站的可信度。一个神经网络与预先训练的语言模型M-BERT，作为嵌入层，然后与100个节点的隐藏层相结合，并与一个sigmoid分类器顶部进行训练，以检测点击诱饵标题。在总共6632个标题作为训练数据集的情况下，分类器表现得非常好。通过5倍交叉验证进行评估，其准确度评分为0.914，f1评分为0.914，精密度评分为0.916，ROC-AUC为0.92。在印度尼西亚文本分类任务中使用多语言BERT进行了测试，并有可能进一步增强。未来的可能性，社会影响，和clickbait检测的局限性进行了讨论。
2021-02-02 cs.CL
Can bidirectional encoder become the ultimate winner for downstream applications of foundation models?
BNU-HKBU United International College（北京师范大学-香港浸会大学联合国际学院）
针对基础模型下游应用的模型选择问题，本文分析BERT类双向编码器与GPT类模型的差异及改进，对比其在SQuAD和GLUE上的性能，揭示双向编码器在下游任务中的价值。
2024-11-27 cs.CL
Interpretable and Robust Dialogue State Tracking via Natural Language Summarization with LLMs
Technological University of Peru（秘鲁理工大学）
针对传统槽位—值 DST 难处理开放域与噪声问题，提出 NL-DST，用 LLM 生成自然语言状态描述，并在两个数据集上显著提升准确率、鲁棒性与可解释性。
2025-03-11 cs.CL
Bidirectional Encoder Representations from Transformers (BERT): A sentiment analysis odyssey
CenturyLink（世纪互联公司）；International Management Institute Bhubaneswar（布巴内斯瓦尔国际管理学院）
该研究的目的是调查四种不同的情感分析技术的相对有效性：（1）使用Sent WordNet的无监督的基于词典的模型;（2）使用逻辑回归的传统监督机器学习模型;（3）使用长短期记忆（LSTM）的监督深度学习模型;（4）使用LSTM的监督深度学习模型。以及（4）使用来自Transformers的双向编码器表示（BERT）的高级监督深度学习模型。我们使用最初发布在互联网电影数据库（IMDB）上的50，000个电影评论的公开标记语料库，使用Sent WordNet词典，逻辑回归，LSTM和BERT进行分析。前三个模型运行在基于CPU的系统上，而BERT运行在基于GPU的系统上。基于准确度、精确度、召回率和F1得分来评估情感分类性能。该研究提出了两个关键见解：（1）四种高度先进和广泛使用的情感分析技术的相对功效;（2）预训练的高级监督深度学习BERT模型在文本数据的情感分析中具有无可争议的优势。这项研究为分析行业的专业人士和从事文本分析的学者提供了关于关键情感分析技术（包括最近开发的BERT）的比较分类性能评估的关键见解。这是第一次将BERT的高级预训练监督深度学习模型与LSTM、逻辑回归和Sent WordNet的其他情感分析模型进行比较的研究。
2020-07-02 cs.CL stat.ML
BERT for Joint Intent Classification and Slot Filling
Speech Lab, DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团，语音实验室）
意图分类和槽填充是自然语言理解的两个基本任务。它们通常受到小规模人类标记的训练数据的影响，导致泛化能力差，特别是对于稀有词。最近，一种新的语言表示模型，BERT（来自Transformers的双向编码器表示），有助于在大规模未标记语料库上预训练深度双向表示，并在简单的微调后为各种各样的自然语言处理任务创建了最先进的模型。然而，还没有太多的努力，探索BERT的自然语言的理解。本文提出了一种基于BERT的联合意图分类和时隙填充模型。实验结果表明，与基于注意力的递归神经网络模型和槽门模型相比，该模型在多个公共基准数据集上的意图分类准确率、槽填充F1和句子级语义框架准确率都有显著提高.
2019-02-28 cs.CL
Do BERT-Like Bidirectional Models Still Perform Better on Text Classification in the Era of LLMs?
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
本研究系统比较类BERT模型与LLM在六个高难度文本分类数据集上的表现，发现类BERT模型常优于LLM，并提出任务驱动的细粒度选择策略TaMAS。
2025-05-23 cs.AI cs.CL
Multi-Task Bidirectional Transformer Representations for Irony Detection
The University of British Columbia（不列颠哥伦比亚大学）
监督式深度学习需要大量的训练数据。在FIRE2019阿拉伯语反讽检测共享任务（IDAT@FIRE2019）的背景下，我们展示了如何通过在多任务设置中对黄金数据进行Transformers（BERT）的预训练双向编码器进行微调来缓解这种需求。我们进一步改进我们的模型，通过进一步预训练BERT的“域内”数据，从而减轻了方言不匹配的问题，在谷歌发布的BERT模型。我们最好的模型获得了82.4的宏F1分数，并且具有无特征工程的独特优势（即，完全基于深度学习）。
2019-10-31 cs.CL cs.LG
COVID-19 Fake News Detection Using Bidirectional Encoder Representations from Transformers Based Models
如今，社交媒体的发展使人们可以轻松地获取最新消息。在COVID-19大流行期间，人们获取新闻非常重要，以便他们能够采取相应的保护措施。然而，假新闻泛滥，特别是在全球大流行的情况下，这是一个严重的问题。误导性的假新闻会给个人和社会造成重大损失。COVID-19假新闻检测已成为NLP领域的一项新颖而重要的任务。然而，假新闻总是包含正确的部分和不正确的部分。这一事实增加了分类任务的难度。在本文中，我们微调预训练的双向编码器表示从Transformers（BERT）模型作为我们的基础模型。我们分别在具有冻结参数或未冻结参数方法的微调BERT模型顶部添加BiLSTM层和CNN层。模型性能评估结果表明，我们的最佳模型（BERT微调模型，冻结参数加上BiLSTM层）在COVID-19假新闻检测任务中取得了最先进的结果。我们还探讨了使用我们最好的模型的关键字评估方法，并评估模型的性能后，删除关键字。
2021-10-01 cs.CL
Machine Translation Evaluation with BERT Regressor
Tokyo Metropolitan University（东京都立大学）；Osaka University（大阪大学）
我们使用BERT（来自Transformers的双向编码器表示）（Devlin等人，2019）进行自动机器翻译评估。在WMT-2017 CSTR共享任务数据集上的实验结果表明，我们的度量在所有英语语言对的分段级度量任务中达到了最先进的性能。
2019-07-29 cs.CL
Candidate Attended Dialogue State Tracking Using BERT
本文针对多领域对话状态跟踪问题，提出利用预训练BERT模型的可扩展框架，实现零样本泛化，能快速适应新领域，在基于模式的对话（SGD）数据集上评估，性能相比基线有显著提升。
2026-07-20 cs.AI cs.CL
Jointly Optimizing State Operation Prediction and Value Generation for Dialogue State Tracking
Université de Montréal（蒙特利尔大学）
本文研究了开放词汇表下的多领域对话状态跟踪问题。现有的方法利用BERT编码器和基于复制的RNN解码器，其中编码器预测状态操作，并且解码器生成新的时隙值。然而，在这种堆叠的编码器-解码器结构中，操作预测目标仅影响BERT编码器，而值生成目标主要影响RNN解码器。在本文中，我们提出了一个纯粹的基于transformer的框架，其中一个单一的BERT工程作为编码器和解码器。这样做，操作预测目标和价值生成目标可以联合优化用于DST的该BERT。在解码阶段，我们重新使用编码器的隐藏状态在相应的解码器层的自注意力机制，以构建一个扁平的编码器-解码器架构，有效的参数更新。实验结果表明，我们的方法大大优于现有的国家的最先进的框架，它也取得了非常有竞争力的性能最好的基于本体的方法。
2021-04-08 cs.AI cs.CL
Syntactic Structure Distillation Pretraining For Bidirectional Encoders
University of California, Berkeley（加州大学伯克利分校）；DeepMind（深度思维）；University of Oxford（牛津大学）
接受大量数据训练的文本表征学习者在下游任务中取得了显着的成功;有趣的是，他们在具有挑战性的句法能力测试中也表现出色。鉴于这一成功，像BERT这样的可扩展学习者是否可以仅仅凭借数据规模就完全精通自然语言的语法，或者他们是否仍然受益于更明确的语法偏见，这仍然是一个悬而未决的问题。为了回答这个问题，我们引入了一种知识蒸馏策略，通过蒸馏层次结构的语法信息预测-尽管更难扩展-语法语言模型，将语法偏见注入BERT预训练。由于BERT模型屏蔽词在双向上下文中，我们建议提取近似的边缘分布在上下文中的词从句法LM。我们的方法在一组不同的结构化预测任务上将相对误差降低了2-21%，尽管我们在GLUE基准测试中获得了混合的结果。我们的研究结果表明，句法偏见的好处，即使在代表性的学习者，利用大量的数据，并有助于更好地了解句法偏见是最有帮助的基准自然语言理解。
2020-05-27 cs.CL
Goal-Oriented Multi-Task BERT-Based Dialogue State Tracker
Neural Networks and Deep Learning Lab（神经网络与深度学习实验室）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
对话状态跟踪（DST）是Alexa或Siri等虚拟助手的核心组件。为了完成各种任务，这些助手需要支持越来越多的服务和API。第八届对话系统技术挑战赛的模式引导状态跟踪轨道强调了不可见服务的DST问题。组织者引入了具有多域对话的模式引导对话（SGD）数据集，并发布了zero-shot对话状态跟踪模型。在这项工作中，我们提出了一个面向GOaL的多任务基于BERT的对话状态跟踪器（GOLOMB）的启发架构的阅读理解问答系统。该模型“查询”对话历史与插槽和服务的描述以及插槽的可能值。这允许在多域对话中传输槽值，并具有扩展到看不见的槽类型的能力。我们的模型在SGD数据集上实现了53.97%的联合目标准确率，优于基线模型。
2020-02-05 cs.CL cs.LG stat.ML
DSC IIT-ISM at SemEval-2020 Task 6: Boosting BERT with Dependencies for Definition Extraction
Indian Institute of Technology (Indian School of Mines) Dhanbad（印度理工学院（印度矿业学院）丹巴德分校）
我们探讨的性能双向编码器表示从Transformers（BERT）在定义提取。我们进一步提出了一个BERT和文本级图卷积网络的联合模型，以便将依赖关系纳入模型。我们提出的模型产生了比BERT更好的结果，并在DeftEval（SemEval 2020的任务6）中使用微调的语言模型实现了与BERT相当的结果，DeftEval是一个对句子是否包含定义进行分类的共享任务（子任务1）。
2020-09-17 cs.CL
How to Fine-Tune BERT for Text Classification?
Fudan University（复旦大学）
语言模型预训练已被证明是有用的学习通用语言表示。BERT（Bidirectional Encoder Representations from Transformers）作为一种最先进的语言模型预训练模型，在许多语言理解任务中取得了令人惊叹的成绩。本文针对文本分类任务，对BERT的不同微调方法进行了详尽的实验研究，并给出了BERT微调的一般解决方案。最后，提出的解决方案在八个广泛研究的文本分类数据集上获得了新的最先进的结果。
2020-02-05 cs.CL
Astro-HEP-BERT: A bidirectional language model for studying the meanings of concepts in astrophysics and high energy physics
History and Philosophy of Modern Science（现代科学史与哲学系）；Technische Universität Berlin（柏林工业大学）
本文提出 Astro-HEP-BERT，通过在自建大规模天体物理与高能物理语料上微调通用 BERT，以低成本实现领域概念语义分析，并证明其对科学史与科学哲学研究的有效性。
2024-11-22 cs.CL physics.hist-ph
A Sequence-to-Sequence Approach to Dialogue State Tracking
University College London（伦敦大学学院）；ByteDance AI Lab（字节跳动人工智能实验室）
研究了面向任务的对话系统中的对话状态跟踪问题。构建高效的DST模块仍然是一个具有挑战性的问题，尽管最近已经取得了重大进展。本文提出了一种新的对话状态跟踪方法，称为Seq 2Seq-DU，它将DST形式化为一个序列到序列的问题。Seq 2Seq-DU采用两个基于BERT的编码器分别对对话中的话语和模式描述进行编码，一个参与者计算话语嵌入和模式嵌入之间的注意力，一个解码器生成指针来表示对话的当前状态。Seq 2Seq-DU具有以下优点。它可以联合建模意图、槽和槽值;它可以利用基于BERT的话语和模式的丰富表示;它可以有效地处理分类和非分类槽以及看不见的模式。此外，Seq 2Seq-DU还可以用于对话系统的NLU（自然语言理解）模块中。在不同设置的基准数据集（SGD、MultiWOZ2.2、MultiWOZ2.1、WOZ2.0、DSTC 2、M2M、SNIPS和ATIS）上的实验结果表明，Seq 2Seq-DU优于现有方法。
2021-05-29 cs.AI cs.CL cs.IR
Traditional Machine Learning Models and Bidirectional Encoder Representations From Transformer (BERT)-Based Automatic Classification of Tweets About Eating Disorders: Algorithm Development and Validation Study
University of León（莱昂大学）；Leibniz University of Hannover（汉诺威莱布尼茨大学）；Spanish National University for Distance Education（西班牙国家远程教育大学）
本研究收集三个月内105万条饮食失调推文，用传统机器学习与BERT等深度学习模型分类，发现基于变换器的模型F1分数最高（71.1%-86.4%），但计算资源消耗更大。
2024-02-08 cs.CL cs.LG
A Financial Service Chatbot based on Deep Bidirectional Transformers
The Vanguard Group（先锋集团）
我们开发了一个使用深度双向Transformer模型（BERT）的聊天机器人来处理金融投资客户服务中的客户问题。机器人可以识别381个意图，并决定何时说“我不知道”，并将不相关/不确定的问题升级到人类操作员。我们的主要创新贡献是讨论了BERT的不确定性度量，其中三种不同的方法在实际问题上进行了系统的比较。我们研究了BERT中的两个不确定性度量，信息熵和方差，然后通过混合整数规划来优化决策阈值。另一个新的贡献是使用BERT作为自动拼写校正中的语言模型。带有意外拼写错误的输入会显著降低意图分类性能。所提出的方法结合了掩蔽语言模型和单词编辑距离的概率，以找到拼写错误的单词的最佳更正。聊天机器人和整个对话式AI系统是使用开源工具开发的，并部署在我们公司的内部网中。所提出的方法可以是有用的行业寻求类似的内部解决方案，在其特定的业务领域。我们在Github上分享了我们所有的代码和一个基于公共数据集构建的聊天机器人示例。
2020-02-17 cs.CL cs.LG stat.ML
Adapting GPT, GPT-2 and BERT Language Models for Speech Recognition
Cambridge University Engineering Dept.（剑桥大学工程系）
在大量文本上预训练的语言模型（LM），特别是来自Transformers（BERT）、生成预训练（GPT）和GPT-2的双向编码器表示，已经成为许多自然语言处理任务的关键技术。在本文中，我们提出了使用微调GPT，GPT-2，以及它们的组合自动语音识别（ASR）的结果。与单向LM GPT和GPT-2不同，BERT是双向的，其输出概率的直积不再是有效的语言先验概率。提出了一种基于双向LM输出的转换方法，以数学上精确的方式计算正确的语言先验概率。在广泛使用的AMI和Switchboard ASR任务上的实验结果表明，微调的GPT和GPT-2的组合优于三种具有不同架构的神经LM的组合，这些神经LM在域内文本上从头开始训练，相对单词出错率降低高达12%。此外，在AMI语料库上，所提出的语言先验概率转换方法使BERT获得了额外的3%的相对WERR，而BERT、GPT和GPT-2的结合则进一步提高了WERR。
2021-10-01 cs.CL cs.SD eess.AS
The SPPD System for Schema Guided Dialogue State Tracking Challenge
Tencent Inc（腾讯公司）
本文介绍了我们小组在对话系统技术挑战8（DSTC 8）中的一项工作，即用于模式引导对话状态跟踪挑战的SPPD系统。这个挑战在DSTC 8中被命名为Track 4，为开发用于现实世界对话系统的可扩展的多域对话状态跟踪算法提供了一个全新的和具有挑战性的数据集。我们提出了一个zero-shot的对话状态跟踪系统，这个任务。该系统的关键组件是一些基于BERT的zero-shot自然语言理解模型，这些模型可以有效地捕获服务模式的自然语言描述与对话轮中的话语之间的语义关系。我们还提出了一些策略，使系统更好地利用信息从较长的对话历史，并克服槽结转问题的多域对话。实验结果表明，该系统与基线系统相比，取得了显着的改善。
2020-06-16 cs.CL
Jointly Encoding Word Confusion Network and Dialogue Context with BERT for Spoken Language Understanding
Shanghai Jiao Tong University（上海交通大学）
口语语言理解（SLU）是将自动语音识别器（ASR）中的假设转换为结构化的语义表示。ASR识别错误会严重降低后续SLU模块的性能。为了解决这个问题，单词混淆网络（WCN）已被用来编码的输入SLU，它包含比1-最好或n-最好的假设列表更丰富的信息。为了进一步消除歧义，对话上下文的最后一个系统动作也被用作附加输入。本文提出了一种基于BERT的SLU模型（WCN-BERT SLU），用于对WCN和对话上下文进行联合编码。它可以在BERT架构中集成WCN的结构信息和ASR后验概率。在DSTC 2上的实验结果表明，该方法是有效的，可以显着优于以前的最先进的模型。
2020-09-08 cs.CL cs.LG
Hybrid Dialogue State Tracking for Persian Chatbots: A Language Model-Based Approach
Computer Engineering Department, Amirkabir University of Technology（阿米尔卡比尔技术大学计算机工程系）
针对传统基于规则的波斯语对话状态跟踪适配性不足的问题，提出融合规则与BERT、XGBoost、GPT及在线智能体的混合DST模型，在波斯语多轮对话数据集上实现准确率和连贯性的显著提升。
2025-10-01 cs.AI cs.CL
Sentiment analysis in Tourism: Fine-tuning BERT or sentence embeddings concatenation?
LASTIMI Laboratory, EST Salé（LASTIMI实验室，萨累高等技术学院）；Mohammed V University in Rabat（拉巴特穆罕默德五世大学）
该研究针对摩洛哥购物场所情感分析任务，对比了微调BERT与拼接两种句子嵌入提升堆叠BiLSTM-BiGRU模型性能的方法，还开展了最优学习率搜索及不同嵌入组合的最优优化器对比。
2023-12-12 cs.AI cs.CL
Enhanced Arabic-language cyberbullying detection: deep embedding and transformer (BERT) approaches
Taibah University（塔伊巴大学）
针对阿拉伯语网络欺凌检测方法稀缺的问题，构建含10662条X帖子的数据集，测试多种深度学习模型，发现搭配FastText词嵌入的Bi-LSTM准确率达98%，提升了阿拉伯语网络欺凌检测效果。
2025-10-02 cs.CL
Deploying a BERT-based Query-Title Relevance Classifier in a Production System: a View from the Trenches
eBay Inc.（易趣公司）
Transformers的双向编码器表示（BERT）模型已经从根本上提高了许多自然语言处理（NLP）任务的性能，例如文本分类和命名实体识别（NER）应用。然而，由于BERT的巨大尺寸，因此针对低延迟和高吞吐量的工业用例对其进行扩展具有挑战性。我们成功地优化了查询标题相关性（QTR）分类器，通过一个紧凑的模型，我们命名为BERT双向长短期记忆（BertBiLSTM）部署。该模型能够在CPU上最多0.2ms内推断输入。BertBiLSTM在上述现实生产任务的准确性和效率方面超过了现成的BERT模型的性能。我们分两个阶段实现这一结果。首先，我们创建一个预训练的模型，称为eBERT，它是使用我们独特的项目标题语料库训练的原始BERT架构。然后，我们针对QTR任务对eBERT进行微调。其次，我们通过知识蒸馏（KD）过程对BertBiLSTM模型进行训练，以模仿eBERT模型的性能，并显示数据增强的效果，以达到相似的目标。实验结果表明，该模型优于其他紧凑和生产准备模型。
2021-08-23 cs.CL stat.CO
Fine-tuning BERT with Bidirectional LSTM for Fine-grained Movie Reviews Sentiment Analysis
University of Arkansas（阿肯色大学）；University of Cincinnati（辛辛那提大学）
本文提出用BiLSTM微调BERT模型，在电影评论二元和细粒度情感分类上达到SOTA水平，IMDb准确率97.67%，SST-5准确率59.48%。
2025-02-28 cs.AI cs.CL
TRANS-BLSTM: Transformer with Bidirectional LSTM for Language Understanding
Amazon AWS AI（亚马逊AWS人工智能）
来自Transformers的双向编码器表示（BERT）最近在广泛的NLP任务上实现了最先进的性能，包括句子分类，机器翻译和问答。BERT模型架构主要源自Transformer。在Transformer时代之前，双向长短期记忆（BLSTM）一直是神经机器翻译和问答的主要建模架构。在本文中，我们将研究如何将这两种建模技术相结合，以创建一个更强大的模型架构。我们提出了一个新的架构表示为Transformer与BLSTM（TranSmart. tag_BLSTM），其中有一个BLSTM层集成到每个Transformer块，导致一个联合建模框架Transformer和BLSTM。我们表明，在GLUE和SQuAD 1.1实验中，与BERT基线相比，TRANS-BLSTM模型始终导致准确性的提高。我们的TRANS-BLSTM模型在SQuAD 1.1开发数据集上获得了94.01%的F1分数，这与最先进的结果相当。
2020-03-16 cs.CL cs.LG cs.SD
Find or Classify? Dual Strategy for Slot-Value Predictions on Multi-Domain Dialog State Tracking
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Salesforce Research（Salesforce研究院）；Huazhong University of Science and Technology（华中科技大学）
对话状态跟踪（DST）是面向任务的对话系统中的一个核心组件。现有的DST方法主要分为两大类，即基于本体和无本体的方法。基于本体的方法为每个目标槽从候选值列表中选择值，而无本体的方法从对话上下文中提取跨度。最近的工作引入了一个基于BERT的模型，通过预先定义分类和非分类槽来平衡这两种方法。然而，目前还不清楚这两种插槽类型中的哪一种更好地处理插槽，并且使用预训练模型的方式也没有得到很好的研究。在本文中，我们提出了一个简单而有效的双策略模型DST，通过调整一个单一的BERT风格的阅读理解模型，共同处理的类别和非类别插槽。我们在MultiWOZ数据集上的实验表明，我们的方法明显优于基于BERT的方法，发现关键是域槽和上下文信息之间的深层交互。当在嘈杂（MultiWOZ 2.0）和清洁（MultiWOZ 2.1）设置上进行评估时，我们的方法在两种不同的设置上都具有竞争力和鲁棒性。我们的方法在嘈杂的环境中设置了新的艺术状态，同时在更干净的环境中比最好的模型表现得更鲁棒。我们还对数据集进行了全面的误差分析，包括每个插槽的双重策略的影响，以方便未来的研究。
2020-10-28 cs.AI cs.CL
MosaicBERT: A Bidirectional Encoder Optimized for Fast Pretraining
MosaicML；Databricks
MosaicBERT通过融合FlashAttention、ALiBi、GLU等高效模块并优化训练方案，在保持GLUE得分79.6的同时将BERT预训练成本降至约20美元，实现快速且帕累托最优的预训练。
2024-01-16 cs.CL cs.LG
A Hierarchical and Attentional Analysis of Argument Structure Constructions in BERT Using Naturalistic Corpora
Sichuan International Studies University（四川外国语大学）
本文通过分析BERT处理论证结构构建的方式，揭示了模型在不同层次中对信息的层次化表示和注意力机制的作用。
2026-01-31 cs.CL
Design of intelligent proofreading system for English translation based on CNN and BERT
General Hospital of Tisco（太钢总医院）；Sixth Hospital of Shanxi Medical University（山西医科大学第六医院）；China University of Mining and Technology（中国矿业大学）
本文提出一种融合CNN局部n-gram特征与BERT上下文表示的英德翻译智能校对系统，通过错误检测与GRU校正模块实现端到端训练，在WMT和OpenSubtitles上取得90%准确率、89.37% F1和16.24% MSE，整体性能超过近期方法10%以上。
2025-06-05 cs.CL
N-Shot Learning for Augmenting Task-Oriented Dialogue State Tracking
National University of Singapore（新加坡国立大学）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）
任务导向对话的扩充遵循了用于纯文本的标准方法，如回译、词级操作和释义，尽管其结构有丰富的注释。在这项工作中，我们引入了一个增强框架，利用信念状态注释，以匹配从各种对话轮，并形成新的合成对话中自下而上的方式。与其他增强策略不同，它只使用五个示例。我们的增强策略产生显着的改善时，既适应DST模型到一个新的领域，当适应一个语言模型的DST任务，评估与贸易和TOD-BERT模型。进一步的分析表明，我们的模型在训练过程中对可见值的表现更好，并且对不可见值也更鲁棒。我们的结论是，利用信念状态注释增强对话增强，并导致改进的模型在n杆训练方案。
2022-03-22 cs.CL
A Combination of BERT and Transformer for Vietnamese Spelling Correction
The Saigon International University（西贡国际大学）
本文提出将Transformer架构与BERT结合用于越南语拼写纠正，实验表明其性能优于其他方法及Google Docs拼写检查工具，BLEU分数达到86.24。
2024-05-04 cs.CL
A Syntax Aware BERT for Identifying Well-Formed Queries in a Curriculum Framework
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
格式良好的查询被定义为以查询的方式制定的查询，并且具有正确的疑问词、拼写和语法。在本文中，我们提出了基于Transformer的语言模型--来自Transformers的双向编码器表示（BERT）。我们进一步吸收BERT与部分的语音信息的灵感来自早期的作品。此外，我们还在多个课程设置中对模型进行训练，以提高性能。课程学习的任务是实验与婴儿步骤和一遍技术。建议的架构执行非常好的任务。最佳方法的准确率为83.93%，优于之前最先进的75.0%，并接近人类的大约上限88.4%。
2022-08-21 cs.CL
Learning affective meanings that derives the social behavior using Bidirectional Encoder Representations from Transformers
University of Virginia（弗吉尼亚大学）；University of Georgia（佐治亚大学）
预测过程的结果需要对系统进行动态建模并观察状态。在社会行为的背景下，情绪表征系统的状态。情感控制理论（ACT）使用情感来表现潜在的互动。ACT是一种基于三维情感词典的文化和行为生成理论。传统上，情绪是使用调查数据量化的，这些数据被输入回归模型来解释社会行为。由于费用过高，调查中使用的词汇有限。本文使用一个微调双向编码器表示从Transformers（BERT）模型开发这些调查的替代品。该模型在估计情感含义、扩展情感词典和允许解释更多行为方面达到了最先进的精度。
2022-09-13 cs.CL
Acquiring Bidirectionality via Large and Small Language Models
Research & Development Group, Hitachi, Ltd.（日立公司研发集团）；NARA Institute of Science and Technology（奈良科学技术研究所）
针对大型单向语言模型缺乏双向性的问题，本文提出训练小型反向 LM 并拼接其表示，在命名实体识别中提升逾 10 分，且适用于稀有领域与少样本场景。
2024-12-10 cs.CL
BERT-based Ranking for Biomedical Entity Normalization
School of Biomedical Informatics, The University of Texas Health Science Center at Houston（德克萨斯大学休斯顿健康科学中心生物医学信息学院）
开发高性能的实体规范化算法，可以减轻长期变化的问题是生物医学界的极大兴趣。尽管基于深度学习的方法已成功应用于生物医学实体规范化，但它们通常依赖于传统的上下文无关的词嵌入。最近引入了来自Transformers的双向编码器表示（BERT）、用于生物医学文本挖掘的BERT（BioBERT）和用于临床文本挖掘的BERT（ClinicalBERT），以使用双向Transformers来预训练上下文化的单词表示模型，从而推进了许多自然语言处理任务的最新技术水平。在这项研究中，我们提出了一个实体规范化架构，通过微调预训练的BERT / BioBERT / ClinicalBERT模型，并进行了广泛的实验，以评估使用三种不同类型的数据集的生物医学实体规范化的预训练模型的有效性。我们的实验结果表明，最好的微调模型始终优于以前的方法，并推进了生物医学实体标准化的最新技术，准确性提高了1.17%。
2019-08-09 cs.CL cs.IR cs.LG
Utilizing Bidirectional Encoder Representations from Transformers for Answer Selection
York University（约克大学）
近年来，人们发现，在大型数据集中为语言建模任务预训练基于transformer的模型，然后为下游任务对其进行微调非常有用。这种预先训练的语言模型的一个主要优点是，它们可以有效地吸收句子中每个单词的上下文。然而，对于诸如答案选择任务之类的任务，预训练的语言模型尚未被广泛使用。为了研究它们在此类任务中的有效性，本文采用预训练的来自Transformer（BERT）语言模型的双向编码器表示，并在两个问答（QA）数据集和三个社区问答（CQA）数据集上对其进行微调以用于答案选择任务。我们发现，微调BERT模型的答案选择任务是非常有效的，并观察到最大的改善13.1%的QA数据集和18.7%的CQA数据集相比，以前的最先进的。
2020-11-14 cs.CL cs.IR
Investigating the Successes and Failures of BERT for Passage Re-Ranking
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
双向编码器表示的Transformers（BERT）模型最近提出了国家的最先进的通道重新排序。在本文中，我们分析了微调后的BERT模型产生的结果，以更好地理解这种实质性改进背后的原因。为此，我们专注于MS MARCO通道重新排序数据集，并提供潜在的原因，成功和失败的BERT检索。更详细地说，我们实证研究了一组假设，并提供额外的分析，以解释成功的性能BERT。
2019-05-05 cs.CL cs.IR
Sentence-Level BERT and Multi-Task Learning of Age and Gender in Social Media
University of British Columbia（不列颠哥伦比亚大学）；University of Pennsylvania（宾夕法尼亚大学）
社交媒体目前为我们的生活提供了一个窗口，使我们能够了解来自不同地方，不同背景，年龄和性别的人如何使用语言。在这项工作中，我们利用一个新创建的阿拉伯语数据集与地面真相年龄和性别标签学习这些属性都单独和在句子级别的多任务设置。我们的模型基于深度双向神经网络的变体。更具体地说，我们建立模型与门控经常性单位和双向编码器表示从Transformers（BERT）。我们的效用多任务学习（MTL）的两个任务，并确定特定任务的注意力作为一个更好的选择，在这种情况下。我们还发现，一个单一的任务BERT模型优于我们最好的MTL模型上的两个任务。我们报告年龄任务（三向）的推文准确率为51.43%，性别任务（二进制）为65.30%，这两个都大大超过了我们的基线。我们的模型与语言无关，因此可以应用于其他语言。
2019-11-02 cs.CL cs.LG
ThisIsCompetition at SemEval-2019 Task 9: BERT is unstable for out-of-domain samples
Kangwon National University（江原国立大学）；Sogang University（西江大学）；University of Edinburgh（爱丁堡大学）
本文介绍了我们的系统，稳定建议推理联合编码器（JESSI），用于SemEval 2019任务9：从在线评论和论坛中挖掘建议。JESSI是两个句子编码器的组合：（a）一个使用从对数双线性回归（GloVe）和翻译（CoVe）模型学习的多个预训练词嵌入，以及（b）一个来自预训练深度双向Transformer（BERT）的单词编码。在训练域外样本时，我们包含了一个域对抗训练模块。我们的实验表明，虽然BERT在域内样本中表现得非常好，但模型的几次运行表明，它对域外样本是不稳定的。通过（1）将BERT与非BERT编码器相结合，以及（2）在BERT之上使用基于RNN的分类器，可以极大地缓解该问题。我们的最终模型在子任务A（即域内）上以77.78%的F分数获得第二名，在子任务B（即域外）上获得了79.59%的F分数，即使没有使用任何额外的外部数据。
2019-04-06 cs.CL
Domain-Aware Dialogue State Tracker for Multi-Domain Dialogue Systems
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；ICT Doctoral School, University of Trento（特伦托大学ICT博士学校）；University of Trento（特伦托大学）；University of Trento, Italy（特伦托大学（意大利））；Fondazione Bruno Kessler, Trento, Italy（布鲁诺·凯斯勒基金会，特伦托，意大利）；ICT Doctoral School, University of Trento, Italy（特伦托大学ICT博士学校，意大利）
在面向任务的对话系统中，对话状态跟踪器（DST）组件负责基于对话历史来预测对话的状态。目前的DST方法依赖于预定义的领域本体，这限制了它们在大规模会话代理中的有效使用，其中DST不断需要与不断增加的服务和API进行接口。为了克服这个缺点，我们提出了一个领域感知的对话状态跟踪器，这是完全数据驱动的，它是建模预测动态服务模式。该模型利用域和槽信息提取域和槽特定的表示为一个给定的对话，然后使用这样的表示来预测相应的槽的值。将此机制与预训练的语言模型（即BERT）相结合，我们的方法可以有效地学习语义关系。
2020-01-21 cs.AI cs.CL
XLNet: Generalized Autoregressive Pretraining for Language Understanding
Carnegie Mellon University（卡内基梅隆大学）；Google AI Brain Team（谷歌人工智能大脑团队）
由于具有双向上下文建模的能力，基于去噪自编码的预训练（如BERT）比基于自回归语言建模的预训练方法具有更好的性能。然而，依赖于用掩码破坏输入，BERT忽略了掩码位置之间的依赖性，并且遭受预训练微调差异。鉴于这些优点和缺点，我们提出了XLNet，这是一种广义自回归预训练方法，它（1）通过最大化因子分解顺序的所有排列的预期似然来学习双向上下文，（2）克服了BERT的自回归公式的局限性。此外，XLNet将最先进的自回归模型Transformer-XL的思想集成到预训练中。根据经验，在可比的实验设置下，XLNet在20个任务上的表现优于BERT，通常是大幅度的，包括问答、自然语言推理、情感分析和文档排序。
2020-01-02 cs.CL cs.LG
A text autoencoder from transformer for fast encoding language representation
Nanyang Technological University（南洋理工大学）
近年来，BERT在自然语言处理任务中显示出明显的优势和巨大的潜力。然而，无论是训练还是应用BERT都需要大量的时间和资源来计算上下文语言表示，这阻碍了它的通用性和适用性。为了克服这一瓶颈，我们提出了一个深度双向语言模型，在注意层使用窗口掩蔽机制。这项工作计算上下文语言表示没有随机掩蔽在BERT，并保持像BERT深双向架构。为了计算相同的句子表示，我们的方法显示O（n）的复杂度低于其他基于转换器的模型O（$n^2$）。为了进一步证明其优越性，在CPU环境下进行计算上下文语言表示，通过使用所提出的方法的嵌入，逻辑回归在SMS分类方面显示出更高的准确性。此外，所提出的方法在语义相似性任务中也取得了显着的更高性能。
2021-11-04 cs.AI cs.CL
Leveraging Affective Bidirectional Transformers for Offensive Language Detection
University of British Columbia（不列颠哥伦比亚大学）
社交媒体在我们的生活中无处不在，因此有必要通过检测和删除攻击性和仇恨言论来确保安全的在线体验。在这项工作中，我们报告了我们提交的攻击性语言和仇恨言论检测共享任务，该任务与第四届开源阿拉伯语语料库和处理工具阿拉伯语研讨会（OSACT4）一起组织。我们专注于开发纯粹的深度学习系统，而不需要特征工程。为此，我们开发了一种有效的自动数据增强方法，并展示了训练攻击性和仇恨性语音模型的实用性（即，通过微调）先前训练的情感模型（即，情绪和情感）。我们最好的模型明显优于普通的BERT模型，仇恨言论的acc为89.60%（宏F1为82.31%），官方测试数据的acc为95.20%（宏F1为70.51%）。
2020-05-16 cs.CL
An Audio-enriched BERT-based Framework for Spoken Multiple-choice Question Answering
National Taiwan University of Science and Technology（台湾科技大学）
在一个口语多项选择问答（SMCQA）任务中，给定一个段落、一个问题和多个选择都是以语音的形式，机器需要选择正确的选择来回答问题。虽然音频可能包含SMCQA的有用线索，但通常只有自动转录的文本才用于系统开发。得益于大规模的预训练语言表示模型，例如Transformers（BERT）的双向编码器表示，仅具有自动转录文本的系统仍然可以实现一定的性能水平。然而，先前的研究已经证明，声学水平的统计可以抵消由自动语音识别系统或潜伏在词嵌入生成器中的表示不足引起的文本不准确性，从而使SMCQA系统鲁棒。沿着这一研究思路，本研究致力于设计一个基于BERT的SMCQA框架，该框架继承了BERT学习语境化语言表征的优点，并将从音频中提取的声学级信息与文本级信息相结合。因此，提出了一种基于音频丰富BERT的SMCQA框架。一系列的实验表明，在选定的基线和SOTA系统上的中国SMCQA数据集的准确性显着提高。
2020-05-25 cs.CL
HeBERT & HebEMO: a Hebrew BERT Model and a Tool for Polarity Analysis and Emotion Recognition
本文介绍了HeBERT和HebEMO。HeBERT是一个基于transformer的现代希伯来语文本模型，它依赖于BERT（Transformers的双向编码器表示）架构。BERT已被证明在情感分析中优于替代架构，并且被建议特别适合于MRL。分析多个BERT规范，我们发现，虽然模型复杂度与语言任务的高性能相关，旨在理解句子中的术语，更简约的模型更好地捕捉整个句子的情感。无论哪种方式，基于BERT的语言模型在所有公共语言任务上都优于所有现有的希伯来语替代品。HebEMO是一个使用HeBERT检测极性并从希伯来语UGC中提取情感的工具。HebEMO是在我们为这项研究收集和注释的独特的Covid-19相关UGC数据集上训练的。数据汇集和注释遵循旨在最大化可预测性的主动学习程序。我们表明，HebEMO产生了很高的F1分数为0.96极性分类。对于各种目标情绪，情绪检测达到F1-分数0.78-0.97，除了模型未能捕获的惊喜（F1 = 0.41）。这些结果优于最好的报告的性能，即使在英语语言模型的情绪检测。
2021-02-25 cs.CL
An Accurate Model for Predicting the (Graded) Effect of Context in Word Similarity Based on Bert
Southeast University（东南大学）
近年来，自然语言处理（NLP）在语义分析中得到了广泛的应用。本文主要讨论了一种方法来分析上下文对人类感知相似词的影响，这是SemEval 2020的第三个任务。我们采用了几种方法来计算两个嵌入向量之间的距离产生的双向编码器表示从Transformer（BERT）。我们的团队will_go获得了subtask1芬兰语赛道第一名，subtask1英语赛道第二名。
2020-07-22 cs.CL cs.LG
What the [MASK]? Making Sense of Language-Specific BERT Models
Bocconi University（博科尼大学）
近年来，自然语言处理（NLP）在许多领域都取得了令人瞩目的进展，这是由于新的、预先训练的上下文表示模型的出现。特别是，Devlin等人（2019）提出了一种称为BERT（来自Transformers的双向编码器表示）的模型，该模型使研究人员能够通过微调其数据集和任务的表示来获得众多NLP任务的最先进性能，而无需开发和训练高度特定的架构。作者还发布了多语言BERT（mBERT），这是一个在104种语言的语料库上训练的模型，可以作为一个通用的语言模型。该模型在一个zero-shot跨语言自然推理任务上取得了令人印象深刻的结果。在BERT模型潜力的推动下，NLP社区已经开始研究和生成大量的BERT模型，这些模型在特定的语言上进行训练，并在特定的数据域和任务上进行测试。这使我们能够通过将mBERT与这些更具体的模型的性能进行比较来评估mBERT作为通用语言模型的真正潜力。本文介绍了语言特定的BERT模型的最新技术水平，提供了一个关于不同维度（即架构，数据域和任务）的整体画面。我们的目标是提供一个直接和直接的概述特定于语言的BERT模型和mBERT之间的共性和差异。我们还提供了一个互动和不断更新的网站，可用于探索我们收集的信息，在https://bertlang.unibocconi.it。
2020-03-05 cs.CL
Augmenting BERT Carefully with Underrepresented Linguistic Features
Winterlight Labs；University of Toronto（多伦多大学）；Vector Institute（向量研究所）
基于Transformers的微调双向编码器表示（BERT）序列分类模型已被证明可有效地从人类语音的转录本中检测阿尔茨海默病（AD）。然而，先前的研究表明，通过使用额外的信息来增强模型，可以提高BERT在各种任务上的性能。在这项工作中，我们使用探测任务作为内省技术，以确定语言信息没有很好地表示在各层的BERT，但重要的AD检测任务。我们补充这些语言功能，其中表示从BERT被发现是不够的手工制作的功能外部，并表明，联合微调BERT与这些功能相结合，提高了高达5\%的AD分类的性能比单独微调BERT。
2020-11-12 cs.CL cs.LG
BERT, mBERT, or BiBERT? A Study on Contextualized Embeddings for Neural Machine Translation
Johns Hopkins University（约翰斯·霍普金斯大学）
双向编码器在许多自然语言处理任务中使用掩蔽语言模型（例如BERT）的成功促使研究人员尝试将这些预先训练的模型纳入神经机器翻译（NMT）系统。然而，所提出的用于合并预训练模型的方法是不平凡的，并且主要集中在BERT上，其缺乏对其他预训练模型可能对翻译性能的影响的比较。在本文中，我们证明了简单地使用定制和合适的双语预训练语言模型（称为BiBERT）的输出（上下文嵌入）作为NMT编码器的输入，可以实现最先进的翻译性能。此外，我们还提出了一个随机层选择方法和双向翻译模型的概念，以确保充分利用上下文嵌入。在不使用反向翻译的情况下，我们的最佳模型在IWITOS '14数据集上实现了30.45的BLEU分数，对于En-> De和38.61的De->En，以及WMT'14数据集上的31.26的En->De和34.94的De->En，这超过了所有公布的数字。
2021-09-09 cs.CL
Transformer-based approaches to Sentiment Detection
本文比较了BERT、RoBERTa、DistilBERT和XLNet四种Transformer模型在情感检测任务中的表现，发现RoBERTa以82.6%的准确率最优，并指出预处理、词汇性质、标签不平衡和模型参数会影响性能。
2023-03-13 cs.CL
