Phrase-BERT: Improved Phrase Embeddings from BERT with an Application to Corpus Exploration
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
源自BERT的短语表示通常不表现出复杂的短语组合性，因为该模型依赖于词汇相似性来确定语义相关性。在本文中，我们提出了一个对比微调目标，使BERT产生更强大的短语嵌入。我们的方法（Phrase-BERT）依赖于一个不同短语释义的数据集，该数据集是使用释义生成模型自动生成的，以及从Books 3语料库中挖掘的上下文中的短语的大规模数据集。Phrase-BERT在各种短语级相似性任务中的表现优于基线，同时也证明了向量空间中最近邻居之间的词汇多样性增加。最后，作为一个案例研究，我们证明了Phrase-BERT嵌入可以很容易地与一个简单的自动编码器集成，以构建一个基于短语的神经主题模型，该模型通过在嵌入空间中执行最近邻搜索来将主题解释为单词和短语的混合物。众包的评价表明，这种基于短语的主题模型比基线单词和短语级别的主题模型产生更连贯和有意义的主题，进一步验证了Phrase-BERT的效用。
2021-10-13 cs.CL
Domain-oriented Language Pre-training with Adaptive Hybrid Masking and Optimal Transport Alignment
Rutgers, The State University of New Jersey（罗格斯大学）；NEC Labs America（NEC 美国实验室）；Beihang University（北京航空航天大学）；The Hong Kong University of Science and Technology（香港科技大学）
受诸如BERT的预先训练的语言模型在广泛的自然语言处理（NLP）任务中的成功的激励，最近的研究努力已经使这些模型适应于不同的应用领域。沿着这条路线，现有的面向领域的模型主要遵循香草BERT架构，并直接使用领域语料库。然而，面向领域的任务通常需要准确的理解领域短语，这种细粒度的短语级知识是很难被捕获的现有的预训练方案。此外，词同现引导的预训练模型的语义学习可以通过实体级关联知识在很大程度上增强。但与此同时，这样做有引入噪音的风险，因为缺乏地面实况词级对齐。针对上述问题，本文提出了一种广义的面向领域的方法，该方法利用辅助领域知识从两个方面改进现有的预训练框架。首先，为了有效地保存短语知识，我们建立了一个领域短语池作为辅助训练工具，同时我们引入了自适应混合掩蔽模型来合并这些知识。它集成了两种学习模式，单词学习和短语学习，并允许它们相互切换。其次，我们引入了交叉实体对齐，以利用实体关联作为弱监督来增强预训练模型的语义学习。为了减轻这个过程中的潜在噪声，我们引入了一个可解释的基于最优传输的方法来指导对齐学习。四个面向领域的任务的实验证明了我们的框架的优越性。
2021-12-01 cs.CL
Conceptualized Representation Learning for Chinese Biomedical Text Mining
Alibaba Group（阿里巴巴集团）
随着生物医学文档和Web数据数量的快速增长，生物医学文本挖掘变得越来越重要。近年来，单词表征模型如BERT在研究者中越来越受欢迎。然而，这是很难估计的数据集包含生物医学文本的一般和生物医学语料库的词分布是完全不同的。此外，医学领域具有难以通过语言模型学习的长尾概念和术语。对于中文生物医学文本，由于其结构复杂，短语组合的多样性，其识别难度更大。在本文中，我们研究了最近推出的预训练语言模型BERT可以适应中国生物医学语料库，并提出了一种新的概念化的表示学习方法。我们还发布了一个新的中文生物医学语言理解评估基准（\textbf{ChineseBLUE}）。我们研究了中国预训练模型的有效性：BERT，BERT-wwm，RoBERTa和我们的方法。在基准测试上的实验结果表明，我们的方法可以带来显着的增益。我们在GitHub上发布了预训练的模型：https://github.com/alibaba-research/ChineseBLUE。
2020-08-25 cs.AI cs.CL cs.IR
LLM Based Sentiment Classification From Bangladesh E-Commerce Reviews
Dhaka International University（达卡国际大学）
针对孟加拉国多语言电商评论情感分析的难点，研究用4000条孟英双语评论微调多种LLM，发现Llama-3.1-8B性能最优，且LoRA等参数高效微调法可降低算力需求，适配资源受限场景。
2025-09-30 cs.AI cs.CL
TaoSR1: The Thinking Model for E-commerce Relevance Search
Taobao & Tmall Group of Alibaba（淘宝与天猫集团）
本文提出TaoSR1框架，通过CoT引导的监督微调、离线采样与DPO优化，解决电商搜索中相关性预测的推理误差与幻觉问题，实现高效部署。
2026-03-10 cs.AI cs.CL cs.IR
Language Model as an Annotator: Unsupervised Context-aware Quality Phrase Generation
College of Economics and Management, Beijing University of Technology（北京工业大学经济与管理学院）；School of Economics and Management, Beihang University（北京航空航天大学经济与管理学院）；Department of Computer Science, University of Manchester（曼彻斯特大学计算机科学系）
提出LMPhrase框架，利用预训练语言模型BERT作为标注器生成银标签，并用BART作为生成器进行序列生成，合并两者结果实现无监督上下文感知的质量短语挖掘，在两个粒度任务上超越现有方法。
2023-12-28 cs.CL
OA-Mine: Open-World Attribute Mining for E-Commerce Products with Weak Supervision
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amazon.com, Inc.（亚马逊公司）；Meta (Facebook)（Meta（原Facebook））；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Carnegie Mellon University（卡内基梅隆大学）
从文本描述中自动提取产品属性对于在线购物者的体验至关重要。这项任务的一个固有挑战是电子商业产品的新兴性质--我们不断看到具有独特的一套新属性的新类型的产品。大多数以前的作品在这件事上挖掘一组已知属性的新值，但不能处理不断变化的数据所产生的新属性。在这项工作中，我们研究了属性挖掘问题，在一个开放的世界设置提取新的属性和它们的值。用户只需要提供几个已知属性类型的几个示例作为弱监督，而不是提供全面的训练数据。我们提出了一个原则性的框架，首先生成属性值的候选人，然后将它们分组到集群的属性。候选生成步骤探测预训练的语言模型以从产品标题中提取短语。然后，属性感知微调方法优化多任务目标和形状的语言模型表示属性歧视。最后，我们通过我们框架的自我集成发现新的属性和价值，这将应对开放世界的挑战。我们在一个大型的远程注释开发集和我们收集的黄金标准人类注释测试集上进行了广泛的实验。我们的模型显著优于强基线，并且可以推广到看不见的属性和产品类型。
2022-04-29 cs.CL
Hierarchical Neural Network Approaches for Long Document Classification
Pune Institute of Computer Technology（浦那计算机技术学院）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
文本分类算法研究单词或短语之间的复杂关系，并试图推断文档的解释。在过去的几年里，这些算法取得了巨大的进步。Transformer体系结构和句子编码器已被证明在自然语言处理任务上提供了优越的结果。但是这些架构的一个主要限制是它们对于不超过几百个单词的文本的适用性。在本文中，我们探讨了分层迁移学习方法的长文档分类。我们采用预先训练的通用句子编码器（USE）和双向编码器表示从Transformers（BERT）在一个层次化的设置，以捕捉更好的表示有效。我们提出的模型在概念上很简单，我们将输入数据分成块，然后将其传递给BERT和USE的基础模型。然后，通过由LSTM或CNN组成的浅层神经网络传播每个块的输出表示，以对文本数据进行分类。这些扩展在6个基准数据集上进行了评估。我们证明了USE + CNN/LSTM的性能优于其独立基线。而BERT + CNN/LSTM的性能与其独立的对应物相当。然而，分层BERT模型仍然是可取的，因为它避免了BERT中的注意力机制的二次复杂性。除了分层方法，这项工作还提供了不同深度学习算法的比较，如USE，BERT，HAN，Longformer和BigBird用于长文档分类。Longformer方法在大多数数据集上都表现良好。
2022-01-18 cs.CL cs.LG
LREF: A Novel LLM-based Relevance Framework for E-commerce
本文提出LREF框架，通过数据选择监督微调、多重思维链调优和直接偏好优化去偏三个阶段，解决大语言模型用于电商搜索相关性预测时的数据质量、推理优化和过度召回问题，并在离线与在线实验中验证了显著效果。
2025-03-12 cs.AI cs.IR
Deep Bag-of-Words Model: An Efficient and Interpretable Relevance Architecture for Chinese E-Commerce
Alibaba Group（阿里巴巴集团）
针对电商搜索中预训练模型延迟高、双塔模型黑盒不可解释的问题，提出深度词袋模型，通过稀疏词袋表示计算相关性，兼具高效性与可解释性，适配中文电商在线搜索部署。
2024-07-12 cs.AI cs.CL cs.IR
A Sequence to Sequence Model for Extracting Multiple Product Name Entities from Dialog
Walmart Global Tech（沃尔玛全球科技）
电子商务语音订购系统需要从订购话语中识别多个产品名称实体。现有的语音订购系统（如Amazon Alexa）只能捕获单个产品名称实体。这限制了用户用一个话语订购多个项目。近年来，预训练的语言模型，例如，BERT和GPT-2在Super-GLUE等NLP基准测试中表现出了令人鼓舞的结果。然而，他们不能完美地推广到这个多产品名称实体识别（MPNER）的任务，由于在语音订购话语的模糊性。为了填补这一研究空白，我们提出了实体Transformer（ET）神经网络架构，识别多达10个项目的话语。在我们的评估中，与非神经模型相比，最好的ET模型（ERT + ngram + ET）在我们的测试集上的性能提高了12%，并且也优于使用ET的BERT。这有助于客户通过语音对话完成购物车，从而提高购物效率和体验。
2021-10-28 cs.CL cs.LG
Span Modeling for Idiomaticity and Figurative Language Detection with Span Contrastive Loss
Japan Advanced Institute of Science and Technology（日本科学技术先进研究院）
本文提出结合槽损失和跨度对比损失的BERT和RoBERTa模型，提升隐喻性检测性能，在现有数据集上取得最佳序列准确率。通过消融研究验证了SCL的有效性及泛化能力，并提出几何均值F1和序列准确率的综合评估方法。
2026-03-24 cs.CL
Intent-based Product Collections for E-commerce using Pretrained Language Models
NAVER CLOVA；NAVER AI LAB；LBox Co., Ltd.（LBox有限公司）
建立购物产品系列主要是人类的工作。通过手工制作的努力，专家们收集了具有共同购物意图的相关但不同的产品，这些产品在一起展示时是有效的，例如，背包，笔记本电脑包，和信使袋新生袋礼物。自动构建集合需要ML系统学习客户意图和产品属性之间的复杂关系。但也出现了挑战点，比如1）长而复杂的意图语句，2）丰富多样的产品属性，3）它们之间存在巨大的语义鸿沟，使问题变得困难。在本文中，我们使用预训练的语言模型（PLM），利用Web规模的产品的文本属性，使基于意图的产品集合。具体来说，我们通过将意图句子设置为锚并将相应的产品设置为正例来训练具有三重损失的BERT。此外，我们还通过基于搜索的负采样和分类正对增强来提高模型的性能。我们的模型显着优于基于搜索的基线模型，在离线评估的基于意图的产品匹配。此外，在我们的电子商业平台上的在线实验结果表明，基于PLM的方法可以构建产品的集合，与专家精心制作的集合相比，具有更高的CTR，CVR和订单多样性。
2021-10-15 cs.CL cs.IR
PAE: LLM-based Product Attribute Extraction for E-Commerce Fashion Trends
Walmart Global Technology（沃尔玛全球技术部门）
针对电子商务时尚趋势报告中的产品属性提取问题，提出PAE框架，利用多模态信息从PDF中提取属性，并通过BERT匹配目录，平均F1达92.5%。
2024-05-27 cs.AI cs.CV cs.LG
StanceMoE: Mixture-of-Experts Architecture for Stance Detection
Department of Computer Science
本文提出StanceMoE，一种基于微调BERT编码器的专家混合架构，通过六个专家模块捕捉互补的语义信号，提升立场检测的宏F1得分为94.26%。
2026-07-14 cs.AI cs.CL cs.LG
A BERT based Ensemble Approach for Sentiment Classification of Customer Reviews and its Application to Nudge Marketing in e-Commerce
Walmart Global Tech（沃尔玛全球技术部门）
本文提出一种基于BERT的集成方法用于电商客户评论情感分类，并探讨其在助推营销中的应用，以提升顾客购买决策与平台互动。
2023-11-16 cs.CL cs.IR cs.LG
Fine-tune BERT for E-commerce Non-Default Search Ranking
电子商业平台上的非默认排名的质量，例如基于物品价格上升或历史销售量下降，通常遭受严重的相关性问题，因为不相关的物品更容易暴露在排名结果的顶部。在这项工作中，我们提出了一个两阶段的排名方案，首先通过精确的查询/标题关键字匹配来召回广泛的候选项，然后使用对人类标签数据进行微调的BERT-Large对召回的项进行分类。我们还在多个GPU主机和Tensorflow的C++标记化自定义操作上实现了并行预测。在这个数据挑战中，我们的模型在监督阶段获得了第一名（基于整体F1得分），在最终阶段获得了第二名（基于每个查询的平均F1得分）。
2020-08-21 cs.CL cs.IR
Generating clickbait spoilers with an ensemble of large language models
Poznan University of Technology（波兹南理工大学）；Charles University（查理大学）
提出一种微调大型语言模型集成方法，用于生成点击诱饵剧透，支持多部分剧透，并在BLEU、METEOR和BERTScore指标上优于基线。
2024-05-25 cs.CL cs.IR
Using Large Pretrained Language Models for Answering User Queries from Product Specifications
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）；Flipkart（Flipkart公司）
在从电子商务网站购买产品时，客户通常会有很多问题。从电子商务服务提供商和客户的角度来看，必须有一个有效的问答系统，以提供即时的答案，用户的查询。虽然某些问题只能在使用产品后才能回答，但有许多问题可以从产品说明书本身回答。我们的工作在这个方向上迈出了第一步，找到了相关的产品规格，这可以帮助回答用户的问题。我们提出了一种方法来自动创建这个问题的训练数据集。我们利用最近提出的XLNet和BERT架构，这个问题，发现他们提供了更好的性能比暹罗模型，以前应用于这个问题。我们的模型即使在一个垂直领域进行训练并在不同的垂直领域进行测试，也能提供良好的性能。
2020-05-29 cs.CL cs.IR
A Cross-Domain Evaluation of Approaches for Causal Knowledge Extraction
Rensselaer Polytechnic Inst.（伦斯勒理工学院）；IBM Research（IBM研究院）
本文系统评估了因果知识抽取方法，发现预训练语言模型嵌入显著提升性能，且基于跨度的模型在4个跨领域数据集上优于简单序列标注模型。
2023-08-07 cs.CL
LegalNLP -- Natural Language Processing methods for the Brazilian Legal Language
University of Michigan（密歇根大学）；University of São Paulo（圣保罗大学）；Tikal Tech（蒂卡尔科技公司）；Latam Datalab Serasa Experian（Serasa Experian拉美数据实验室）
我们提出并提供巴西法律语言的预训练语言模型（Phraser，Word 2 Vec，Doc 2 Vec，FastText和BERT），一个Python包，其中包含方便使用的函数，以及一组包含一些涉及它们的应用程序的演示/教程。鉴于我们的材料是建立在来自几个巴西法院的法律文本之上的，这一举措对巴西法律领域非常有帮助，因为巴西法律领域缺乏其他开放和具体的工具和语言模型。我们的主要目标是促进巴西工业、政府和学术界使用自然语言处理工具进行法律文本分析，提供必要的工具和可访问的材料。
2021-10-05 cs.CL cs.LG
Detecting Deceptive Dark Patterns in E-commerce Platforms
BRACT’s Vishwakarma Institute of Information Technology（BRACT的维什瓦卡玛信息技术学院）
本研究提出结合网络抓取技术与微调BERT语言模型及生成能力，检测电商平台中操纵用户的欺骗性暗模式（含离群值），旨在提升消费者保护意识。
2024-05-27 cs.AI cs.CL cs.HC
From Reasoning LLMs to BERT: A Two-Stage Distillation Framework for Search Relevance
Researcher（研究者）
本文提出一种两阶段蒸馏框架，通过领域适应教师模型和对比推理自蒸馏方法，提升搜索相关性预测的效率和效果。
2026-01-24 cs.AI cs.IR
Sentiment analysis and opinion mining on E-commerce site
本文针对电子商务场景下的情感极性分类问题，提出一种广泛的情感对立分类技术，并同时开展句子级和评论级分类实验，为后续情感分析研究提供方向。
2023-07-04 cs.CL cs.LG
BURT: BERT-inspired Universal Representation from Twin Structure
Shanghai Jiao Tong University（上海交通大学）
预先训练的上下文化语言模型，如BERT，在广泛的下游自然语言处理（NLP）任务中表现出极大的有效性。然而，由模型提供的有效表示针对序列内的每个令牌而不是每个序列，并且微调步骤涉及同时输入两个序列，导致具有不同粒度的各种序列的不令人满意的表示。特别是，由于在这些模型中，作为完整的训练上下文的语义级表示，在较低级别的语言单元（短语和单词）上的性能较差。在这项工作中，我们提出了BURT（BERT inspired Universal Representation from Twin Structure），它能够为任何粒度的输入序列生成通用的，固定大小的表示，即，单词、短语和句子，使用具有多个训练目标的大规模自然语言推理和释义数据。我们提出的BURT采用Siamese网络，分别从自然语言推理数据集和释义数据集学习句子级表示和单词/短语级表示。我们在不同粒度的文本相似性任务中评估了BURT，包括STS任务，SemEval 2013任务5（a）和一些常用的单词相似性任务，其中BURT在文本级数据集上的表现大大优于其他表示模型，并在单词/短语级表示方面取得了显着改进。
2020-08-03 cs.CL
Detection of Illicit Content on Online Marketplaces using Large Language Models
AiLECS Lab Monash University（AiLECS实验室 莫纳什大学）
本文研究了利用大语言模型检测在线市场非法内容的有效性，发现LLM在复杂分类任务中表现优于传统方法。
2026-03-05 cs.AI cs.CL
Beheshti-NER: Persian Named Entity Recognition Using BERT
NLP Research Laboratory（自然语言处理研究实验室）；Shahid Beheshti University（沙希德贝赫什提大学）
命名实体识别是一项自然语言处理任务，用于识别和提取与命名实体相关联的文本跨度，并将其分类为语义类别。Google BERT是一个深度双向语言模型，在大型语料库上进行了预训练，可以进行微调以解决许多NLP任务，如问答，命名实体识别，词性标注等。在本文中，我们使用预训练的深度双向网络BERT，为波斯语中的命名实体识别建立模型。我们还比较了我们的模型的结果与以前的状态的最先进的结果实现波斯语NER。我们的评估指标是CONLL 2003分数在两个层次的词和短语。该模型在NSURL-2019任务7竞赛中获得第二名，该竞赛与波斯语的NER相关。我们在这次比赛中的成绩是83.5和88.4 f1 CONLL分数分别在短语和单词水平的评价。
2020-03-19 cs.CL cs.LG
Semantic Similarity Matching for Patent Documents Using Ensemble BERT-related Model and Novel Text Processing Method
The University of Chicago（芝加哥大学）；Zhejiang University（浙江大学）；Trine University（特里恩大学）；The George Washington University（乔治·华盛顿大学）
本文针对专利文献语义相似度匹配问题，提出融合四个BERT相关模型的集成方法和面向专利文本的新型预处理方法，并在美国专利短语匹配数据集上验证了其有效性。
2024-01-06 cs.AI cs.CL
Cross-Lingual Low-Resource Set-to-Description Retrieval for Global E-Commerce
Peking University（北京大学）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Indiana University（印第安纳大学）
随着跨境电子商业的蓬勃发展，迫切需要设计智能化的方法来帮助电子商业卖家为来自世界各地的消费者提供当地产品。本文探讨了跨语言信息检索的一个新任务，即，跨境电子商业中的跨语言集合到描述检索，其涉及将源语言中的产品属性集合与目标语言中的有说服力的产品描述进行匹配。我们手动收集一个新的和高质量的配对数据集，其中每对包含一个无序的产品属性集的源语言和信息丰富的产品描述的目标语言。由于数据集构建过程既耗时又昂贵，新数据集仅包含13.5k对，这是一个低资源设置，可以被视为跨境电子商业模型开发和评估的具有挑战性的测试平台。为了解决这种跨语言集到描述检索任务，我们提出了一种新的跨语言匹配网络（CLMN）与增强的上下文相关的跨语言映射的预训练单语BERT表示。实验结果表明，我们提出的CLMN在具有挑战性的任务上产生了令人印象深刻的结果，并且与预训练的多语言BERT模型相比，BERT上的上下文相关的跨语言映射产生了显着的改进。
2020-05-17 cs.CL
Meronymic Ontology Extraction via Large Language Models
Imperial College London（帝国理工学院伦敦分校）；Sapienza University of Rome（罗马大学萨皮恩扎分校）；King’s College London（伦敦国王学院）
本文提出利用大语言模型从评论文本中全自动抽取商品整体-部分本体，并通过LLM评判证明其效果优于基于BERT的基线方法，为LLMs在本体抽取中的广泛应用奠定基础。
2025-11-09 cs.AI cs.CL
Insight Agents: An LLM-Based Multi-Agent System for Data Insights
Amazon（亚马逊）
本文提出基于LLM的洞察代理系统，通过多智能体架构实现高效的数据洞察与商业决策支持，准确率达90%且延迟低于15秒。
2026-02-02 cs.AI cs.CL
Do We Still Need Fine Tuning? Turkish Sentiment Analysis in the Era of Large Language Model
University of Chicago（芝加哥大学）；Fırat University（费拉特大学）
研究大语言模型时代土耳其语情感分析是否需要监督微调，通过对比经典机器学习、微调预训练语言模型和提示大语言模型，发现微调BERTurk在三分类任务中表现最佳，而大语言模型在中性类别上表现不佳。
2026-06-28 cs.AI cs.CL
A BERT-based Hierarchical Classification Model with Applications in Chinese Commodity Classification
School of Statistics and Mathematics, Central University of Finance and Economics（中央财经大学统计与数学学院）；Reigning Capital Co., Ltd.（Reigning Capital有限公司）；Center for Applied Statistics and School of Statistics, Renmin University of China（中国人民大学应用统计中心与统计学院）
针对电商平台人工商品分类低效且现有层次分类研究未充分利用层次信息的问题，提出基于BERT的层次微调模型HFT-BERT，并公开京东电商平台的大规模三级层次商品数据集，为商品分类研究提供资源并提升分类性能。
2025-08-13 cs.CL cs.LG
LICHEE: Improving Language Model Pre-training with Multi-grained Tokenization
Tencent（腾讯）；University of Alberta（阿尔伯塔大学）
基于大型语料库的语言模型预训练在构建丰富的上下文表示方面取得了巨大的成功，并在各种自然语言理解（NLU）任务上取得了显着的性能提升。尽管取得了成功，但大多数当前的预训练语言模型，如BERT，都是基于单粒度标记化进行训练的，通常使用细粒度字符或子词，这使得它们很难学习粗粒度单词和短语的精确含义。在本文中，我们提出了一种简单而有效的预训练方法LICHEE，以有效地整合输入文本的多粒度信息。我们的方法可以应用于各种预训练的语言模型，并提高其表示能力。在CLUE和SuperGLUE上进行的大量实验表明，我们的方法在中文和英文的各种NLU任务上实现了全面的改进，而产生的额外推理成本很小，并且我们最好的集成模型在CLUE基准竞赛中达到了最先进的性能。
2021-08-03 cs.AI cs.CL
IKDSumm: Incorporating Key-phrases into BERT for extractive Disaster Tweet Summarization
Indian Institute of Technology Patna（印度理工学院巴特那分校）；University of Tartu（塔尔图大学）
本文提出灾难推文摘要框架IKDSumm，通过利用灾难领域本体知识自动提取关键短语并融入BERT，在无人工干预下提升摘要质量，在12个数据集上ROUGE-N F1分数较8种先进方法提升约2-79%。
2023-05-19 cs.CL cs.SI
Hypothesis-only Biases in Large Language Model-Elicited Natural Language Inference
研究测试用LLM替代众包工人编写NLI假设是否产生标注伪影，发现LLM生成数据中存在严重的仅基于假设的偏差，证明NLI的已知偏差在LLM生成数据中依然持续存在。
2024-10-11 cs.CL
CoCoLM: COmplex COmmonsense Enhanced Language Model with Discourse Relations
HKUST（香港科技大学）；Tencent AI Lab（腾讯人工智能实验室）
大规模的预训练语言模型已经表现出强大的知识表示能力。然而，最近的研究表明，即使这些巨大的模型包含丰富的简单常识知识（例如，鸟会飞，鱼会游。他们经常与涉及多种可能性的复杂常识知识（以动词为中心的短语，例如，识别"Jim yells at Bob“和" Bob is upset”之间的关系）。为了解决这个问题，在本文中，我们提出帮助预训练的语言模型更好地结合复杂的常识知识。不同于现有的微调方法，我们不专注于一个特定的任务，并提出了一个通用的语言模型命名为CoCoLM。通过对大规模可能性知识图谱ASER的仔细训练，我们成功地教授了预先训练的语言模型（即，BERT和ROBERTa）在可能性中丰富了复杂的常识性知识。在多个下游常识任务上的实验表明了CoCoLM的有效性。
2022-05-26 cs.CL
Large Pre-trained Language Models Contain Human-like Biases of What is Right and Wrong to Do
Technical University of Darmstadt（达姆施塔特工业大学）；Leibniz Institute for Research and Information in Education（莱布尼茨教育研究与信息研究所）；Hessian Center for Artificial Intelligence (hessian.ai)（黑森州人工智能中心）
由于最近大规模的基于transformer的语言模型（LM）的进步，人工书写正在渗透我们的生活，例如BERT及其变体，GPT-2/3等。使用它们作为预先训练的模型并针对特定任务进行微调，研究人员已经扩展了许多NLP任务的最新技术水平，并表明它们不仅捕获语言知识，而且还保留了数据中隐含的一般知识。不幸的是，在未经过滤的文本语料库上训练的LM遭受退化和有偏见的行为。虽然这是公认的，但我们发现，最近的LM也包含了类似人类的偏见，即什么是对的，什么是错的，某种形式的社会伦理和道德规范-它们使“道德方向”浮出水面。也就是说，我们表明，这些规范可以捕捉几何方向，这可以计算，例如，通过PCA，在嵌入空间中，很好地反映了短语与训练文本中隐含表达的社会规范的一致性，并提供了减弱甚至防止LM中毒性退化的路径。能够评价任意短语的（非）规范性，而无需为此任务明确训练LM，我们展示了“道德方向”的能力，用于指导（甚至其他）LM产生规范性文本，并在RealToxicityTests测试平台上展示它，防止GPT-2中的神经毒性退化。
2022-02-14 cs.CL cs.CY
Using Paraphrases to Study Properties of Contextual Embeddings
University of Michigan（密歇根大学）
我们使用释义作为一个独特的数据源来分析上下文嵌入，特别关注BERT。由于释义自然地编码一致的单词和短语语义，它们为研究嵌入的属性提供了独特的镜头。使用释义数据库的路线，我们研究的释义以及短语表示的话。我们发现，上下文嵌入有效地处理多义词，但在许多情况下，给同义词令人惊讶的不同表示。我们证实了以前的研究结果，BERT是敏感的词序，但发现略有不同的模式比以前的工作在跨BERT的层的语境化的水平。
2022-07-12 cs.CL
Continuous Prompt Tuning Based Textual Entailment Model for E-commerce Entity Typing
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Saleforce Research（赛富时研究院）；Huski Inc（哈士奇公司）
电子商业的爆炸式增长导致了对产品标题的处理和分析的需求，如产品标题中的实体键入。然而，电子商业中的快速活跃导致了新实体的快速涌现，这是一般实体分型难以解决的问题。此外，电子商业中的产品标题与一般领域的文本数据具有很大的语言风格。为了处理产品标题中的新实体，解决电子商务领域产品标题的特殊语言风格问题，提出了基于连续提示微调的假设融合嵌入文本蕴涵模型，用于电子商业实体分类。首先，我们将实体键入任务重新表述为文本蕴涵问题，以处理训练过程中不存在的新实体。其次，我们设计了一个自动生成文本蕴涵假设的模型，该模型采用连续提示微调的方法，可以在不需要人工设计的情况下生成更好的文本蕴涵假设。第三，利用BERT嵌入和二阶BERT嵌入与两层MLP分类器的融合嵌入，解决了电子商业中产品标题语言风格与一般领域不同的问题。为了分析每个贡献的效果，我们比较了实体类型和文本蕴涵模型的性能，并对连续提示微调和融合嵌入进行了消融研究。我们还评估了不同提示模板初始化对连续提示微调的影响。我们表明，我们提出的模型提高了约2%的平均F1分数相比，基线BERT实体分型模型。
2022-11-04 cs.CL
Exploiting prompt learning with pre-trained language models for Alzheimer's Disease detection
The Chinese University of Hong Kong（香港中文大学）；Nanyang Technological University（南洋理工大学）
本文提出基于提示的预训练语言模型微调方法，将AD分类误差作为训练目标并融合不流利特征，结合多模型与多范式决策投票，在ADReSS20测试集上取得84.20%和82.64%的平均检测准确率。
2023-03-31 cs.CL cs.LG cs.SD
MultiTok: Variable-Length Tokenization for Efficient LLMs Adapted from LZW Compression
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Nokia Bell Labs（诺基亚贝尔实验室）；Boğaziçi University（博雅大学）；Georgia Institute of Technology（佐治亚理工学院）；Massachusetts Institute of Technology (MIT)（麻省理工学院（MIT））
本文提出基于LZW压缩的MultiTok分词方法，通过压缩重复短语提升LLM训练效率，实现更高效训练与相似准确率。
2026-04-24 cs.CL cs.IT cs.LG
Why KDAC? A general activation function for knowledge discovery
Beijing University of Chemical Technology（北京化工大学）；Southwest Jiaotong University（西南交通大学）
面向深度学习的命名实体识别（DNER）逐渐成为知识发现的范式，极大地促进了领域智能化。然而，DNER现有的激活函数未能处理梯度消失、无负输出或不可微存在等问题，潜在语义的遗漏和不完整表示可能会阻碍知识的探索。为了突破这一困境，我们提出了一种新的激活函数KDAC。详细地说，KDAC是一个具有多种转换模式的聚合函数。激活区的主干是指数和线性的相互作用，两端通过自适应线性发散延伸，克服了梯度消失和无负输出的障碍。关键的是，不可微的点被警告，并通过近似平滑算法消除。KDAC具有非线性、稳定的近线性变换和导数以及动态风格等一系列优异特性。本文基于BERT-BiLSTM-CNN-CRF模型，在微博、临床、电子商务、简历、HAZOP和人民日报等6个包含不同领域知识的基准数据集上进行了实验。实验结果表明，KDAC是一种先进有效的方法，能够提供更广泛的激活来刺激DNER的性能。我们希望KDAC能作为一个有前途的激活函数，致力于知识的建构。
2022-05-24 cs.CL cs.LG cs.NE
ExtractGPT: Exploring the Potential of Large Language Models for Product Attribute Value Extraction
University of Mannheim（曼海姆大学）；Worcester Polytechnic Institute（伍斯特理工学院）
本文提出ExtractGPT，利用大语言模型通过提示模板从非结构化产品描述中提取属性值，GPT-4达到85%的F1分数，优于BERT基线和开源模型，但微调会降低泛化能力。
2024-09-20 cs.CL
CLIP also Understands Text: Prompting CLIP for Phrase Understanding
UC San Diego（加州大学圣地亚哥分校）；UC Santa Barbara（加州大学圣巴巴拉分校）
对比图像预训练（CLIP）通过自然语言监督的预训练有效地学习视觉概念。CLIP及其视觉编码器已经在各种视觉和语言任务上进行了探索，并实现了强大的zero-shot或迁移学习性能。然而，它的文本编码器的应用，仅用于文本理解已经较少探索。在本文中，我们发现，CLIP的文本编码器实际上表现出强大的短语理解能力，甚至可以显着优于流行的语言模型，如BERT与适当设计的提示。大量的实验验证了我们的方法在不同数据集和领域的实体聚类和实体集扩展任务的有效性。
2022-10-11 cs.CL
Compositional and Lexical Semantics in RoBERTa, BERT and DistilBERT: A Case Study on CoQA
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
许多NLP任务都受益于从上下文化的词嵌入中转移知识，然而，转移的知识类型的图片是不完整的。本文研究了会话问答任务中语言模型所解释的语言现象类型。我们通过系统的错误分析-基本的算术（计数短语），成分语义（否定和语义角色标注），词汇语义（反义词和反义），确定了微调的RoBERTa，BERT和DistilBERT模型的问题领域。当通过多任务学习增强相关的语言知识时，模型的性能会提高。增强模型的集合在F1整体得分上提高了2.2到2.7分，在最难的问题类上提高了42.1分。结果表明，RoBERTa、BERT和DistilBERT在表征成分和词汇信息的能力上存在差异。
2020-09-17 cs.CL cs.LG
Product Title Generation for Conversational Systems using BERT
Walmart Labs（沃尔玛实验室）
通过语音技术的最新进步和智能设备的引入，例如Amazon Alexa和Google Home，越来越多的用户通过语音与应用程序进行交互。电子商务公司通常在其网页上显示简短的产品标题，无论是人工策划还是算法生成，当需要简洁时，但这些标题与自然口语不同。例如，“Lucky Charms Gluten Free Break-fast Cereal，20.5盎司一盒Lucky Charms Gluten Free”可以在网页上显示，但“20.5盎司一盒Lucky Charms Gluten Free Cereal”在对话系统上更容易理解。与可以向用户呈现图像和详细产品信息的显示器相比，当与语音助理交互时，产品的简短标题是必要的。我们提出了一个序列到序列的方法，使用BERT生成短，自然，口语标题从输入的Web标题。我们在真实世界的行业数据集上进行的大量实验和对模型输出的人工评估表明，BERT摘要优于可比的基线模型。
2020-07-23 cs.CL cs.LG
DEFTri: A Few-Shot Label Fused Contextual Representation Learning For Product Defect Triage in e-Commerce
Walmart Global Tech（沃尔玛全球技术）
针对电商缺陷分诊效率低的问题，提出基于微调BERT的DEFTri框架，通过标签融合嵌入优化上下文表示，并结合弱监督与对抗学习在沃尔玛专有少样本缺陷数据集上实现多标签分诊。
2023-07-21 cs.CL cs.SE
Multimodal Detection of Fake Reviews using BERT and ResNet-50
College of Business Administration Kansas State University Manhattan, USA（商学院学院 华盛顿州立大学 曼哈顿 美国）；Department of Computer Science Kansas State University Manhattan, USA（计算机科学系 华盛顿州立大学 曼哈顿 美国）
针对单模态检测无法捕捉跨模态语义不一致的问题，提出集成 BERT 文本与 ResNet-50 图像特征的多模态虚假评论检测框架，在 21,142 张图像数据集上 F1 达 0.934，有效识别图文不一致的虚假评论。
2025-10-24 cs.AI cs.CL cs.CV
UIUC_BioNLP at SemEval-2021 Task 11: A Cascade of Neural Models for Structuring Scholarly NLP Contributions
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了一个级联的神经模型，执行句子分类，短语识别和三重提取，以自动构建NLP出版物的学术贡献。为了识别论文中最重要的贡献句子，我们使用了一个基于BERT的位置特征分类器（子任务1）。使用BERT-CRF模型识别和表征投稿句中的相关短语（子任务2）。我们根据它们的元素是否以及如何在文本中表达将三元组分为几种类型，并使用单独的基于BERT的分类器和规则来处理每种类型（子任务3）。我们的系统在第一阶段评估中正式排名第二，在第二阶段评估的两个部分中排名第一。在修复了Pharse 1中的提交错误后，我们的方法总体上产生了最好的结果。在本文中，除了系统描述，我们还提供了我们的结果进一步分析，突出其优势和局限性。我们在https://github.com/Liu-Hy/nlp-contrib-graph上公开发布我们的代码。
2021-05-12 cs.CL cs.IR
Generating Rich Product Descriptions for Conversational E-commerce Systems
Walmart Global Tech（沃尔玛全球科技）
通过语音技术的最新进步和智能助手的引入，如亚马逊Alexa，苹果Siri和谷歌Home，越来越多的用户通过语音命令与各种应用程序进行交互。电子商业公司通常在其网页上显示简短的产品标题，无论是人工策划还是算法生成，当需要简洁时。然而，这些标题与自然口语不同。例如，“Lucky Charms Gluten Free Break-fast Cereal，20.5 oz a box Lucky Charms Gluten Free”可以在网页上显示，而类似的标题不能在基于语音的文本到语音应用程序中使用。在这样的会话系统中，容易理解的句子，例如“一盒20.5盎司的幸运符无麸质麦片”是优选的。与可以向用户呈现图像和详细产品信息的显示器相比，当与语音助理交互时，传达最重要信息的产品的简短标题是必要的。我们提出了电子BERT，序列到序列的方法，进一步预训练的BERT嵌入的电子商业产品描述语料库，然后微调产生的模型，以产生短，自然，口语标题从输入的Web标题。我们在真实世界的行业数据集上进行了广泛的实验，以及对模型输出的人工评估，结果表明，eBERT摘要的性能优于可比的基线模型。由于该模型的有效性，该模型的一个版本已部署在现实世界的设置。
2021-11-30 cs.CL cs.LG
Detecting Spells in Fantasy Literature with a Transformer Based Artificial Intelligence
Hochschule Darmstadt（达姆施塔特应用技术大学）；University of Applied Sciences（应用科学大学）
本文利用预训练BERT模型对《哈利·波特》系列中的咒语进行上下文短语识别，通过序列分类与词元分类方法验证了咒语上下文可被识别，并初步探索了模型向其他奇幻宇宙迁移的可行性。
2023-08-07 cs.AI cs.CL
Adapt or Get Left Behind: Domain Adaptation through BERT Language Model Finetuning for Aspect-Target Sentiment Classification
广告目标情感分类（ATSC）是基于广告的情感分析（ABSA）的子任务，ABSA具有许多应用，例如在电子商务中，可以利用来自评论的数据和见解为企业和客户创造价值。最近，深度迁移学习方法已成功应用于无数的自然语言处理（NLP）任务，包括ATSC。在突出的BERT语言模型的基础上，我们使用两步过程来实现ATSC：自监督特定领域的BERT语言模型微调，然后是监督特定任务的微调。我们关于如何最好地利用特定领域语言模型微调的研究结果使我们能够在SemEval 2014任务4餐馆数据集上产生新的最先进的性能。此外，为了探索我们的模型在现实世界中的鲁棒性，我们进行了跨域评估。我们表明，跨域适应BERT语言模型的性能显着优于强大的基线模型，如香草BERT-base和XLNet-base。最后，我们进行了一个案例研究来解释模型的预测误差。
2019-11-19 cs.CL
Offensive Language Detection with BERT-based models, By Customizing Attention Probabilities
NLP Research Laboratory（自然语言处理研究实验室）；Shahid Beheshti University（沙希德·贝赫什提大学）
本文介绍了一种新的研究使用“注意力掩码”输入Transformers，并使用这种方法来检测英语和波斯语的攻击性内容。本文的主要重点是提出一种方法，以提高性能的BERT为基础的模型上的“攻击性语言检测”的任务。因此，我们通过改变“Attention Mask”输入来定制注意概率，以创建更有效的词嵌入。为此，我们首先对利用的数据集的训练集进行标记化（通过BERT tokenizer）。然后，我们应用多项式朴素贝叶斯将这些令牌映射到两个概率。这些概率表示使文本不具有攻击性或具有攻击性的可能性，前提是它包含该标记。然后，我们使用这些概率来定义一个新的术语，即进攻得分。接下来，我们基于每种语言的攻击性得分创建两个单独的（由于所采用的数据集类型的差异）方程，以重新分配“注意力掩码”输入，以便更多地关注更具攻击性的短语。最终，我们将F1-macro得分作为我们的评估指标，并对BERT与ANN，CNN和RNN的几种组合进行微调，以检查使用这种方法对各种组合的影响。结果表明，所有的模型将增强与这种方法。英语和波斯语的进步最大，分别为2%和10%。
2021-10-11 cs.AI cs.CL
