Improving Contextual ASR via Multi-grained Fusion with Large Language Models
School of Computer Science and Technology, Soochow University（计算机科学与技术学院，苏州大学）
针对端到端ASR模型难以识别上下文关键词的问题，提出一种结合大型语言模型的多粒度融合方法，联合词元级与短语级融合并采用后期融合策略，在中英文数据集上实现了关键词识别的最先进性能并保持了非关键词文本的高准确率。
2025-07-16 cs.AI cs.CL
Thematic context vector association based on event uncertainty for Twitter
College of Engineering, Pune（浦那工程学院）
针对Twitter非正式语言下关键词提取的挑战，提出基于事件不确定性和数据关联的主题上下文向量提取方法，在COVID-19数据集上聚类轮廓系数较TF和TF-IDF提升0.5%。
2023-04-04 cs.CL
WCTC-Biasing: Retraining-free Contextual Biasing ASR with Wildcard CTC-based Keyword Spotting and Inter-layer Biasing
LINE WORKS Corporation（LINE WORKS公司）；NAVER Cloud Corporation（NAVER Cloud公司）
本文提出WCTC-Biasing方法，通过通配符CTC在中间层进行关键词检测并对后续层施加偏置，在不重训练的情况下提升CTC模型对稀有词的识别准确率，日语实验中未知词F1分数提升29%。
2025-06-02 cs.CL cs.SD eess.AS
Contextual Clarity: Generating Sentences with Transformer Models using Context-Reverso Data
本文提出利用Context-Reverso数据训练T5模型，为关键词生成无歧义且简短的上下文句子，以提升信息检索与生成应用的效率。
2024-03-14 cs.AI cs.CL
Contextualized Keyword Representations for Multi-modal Retinal Image Captioning
University of Amsterdam（阿姆斯特丹大学）；Georgia Institute of Technology（佐治亚理工学院）
医学图像描述自动生成医学描述以描述给定医学图像的内容。传统的医学图像描述模型仅基于单个医学图像输入来创建医学描述。因此，基于传统方法难以生成抽象的医学描述或概念。这种方法限制了医学图像描述的有效性。多模态医学图像描述是用于解决该问题的方法之一。在多模态医学图像描述中，文本输入，例如，专家定义的关键字被认为是医学描述生成的主要驱动力之一。因此，有效地编码文本输入和医学图像对于多模态医学图像描述的任务都是重要的。在这项工作中，提出了一种新的端到端深度多模态医学图像描述模型。语境化的关键字表示，文本特征强化，和掩蔽的自我注意力被用来开发所提出的方法。在现有多模态医学图像描述数据集上的实验结果表明，与现有方法相比，该模型的BLEU-avg和CIDEr分别提高了+53.2%和18.6%。
2021-04-26 cs.AI cs.CL cs.CV
Enhancing Large Language Model-based Speech Recognition by Contextualization for Rare and Ambiguous Words
Preferred Elements, Inc.（Preferred Elements公司）
本文提出一种基于LLM的ASR系统，通过在文本提示中提供关键词作为先验信息进行上下文化，利用Whisper编码器和PLaMo-100B解码器，在不修改架构的情况下显著提升了稀有和歧义词的识别性能。
2024-10-11 cs.CL cs.SD eess.AS
Contextual Earnings-22: A Speech Recognition Benchmark with Custom Vocabulary in the Wild
Argmax, Inc.（Argmax公司）；University of California, Los Angeles（加州大学洛杉矶分校）
本文提出Contextual Earnings-22基准测试，通过真实自定义词汇场景推动研究，揭示潜在进展。关键词提示和增强方法在扩展到大规模系统时表现出色。
2026-03-28 cs.AI cs.CL cs.SD
Improving Table Understanding with LLMs and Entity-Oriented Search
Monash University（莫纳什大学）；Qualcomm AI Research（高通人工智能研究）
针对现有方法依赖预处理、缺乏上下文的问题，提出面向实体的搜索方法，利用语义相似性和实体绑定提升LLMs表格理解能力，首次引入图查询语言，在两个基准上获最优性能。
2025-08-23 cs.CL
N-gram Boosting: Improving Contextual Biasing with Normalized N-gram Targets
Dialpad Inc.（Dialpad公司）
针对语音转文本中专有名词和技术术语识别困难的问题，提出一种基于归一化 n-gram 的两步关键词增强机制，通过优化权重逻辑避免过度增强，在专有数据集和 LibriSpeech 上分别实现 26% 和 2% 的相对提升。
2023-08-04 cs.AI cs.CL cs.SD
Documents Are People and Words Are Items: A Psychometric Approach to Textual Data with Contextual Embeddings
Faculty of Education, University of Hong Kong（香港大学教育学院）
本文提出一种基于上下文嵌入的心理测量方法，用于分析文本数据，通过将文档视为个体和词语视为项目，揭示文本中的潜在知识维度。
2025-09-10 cs.CL stat.AP stat.ME
Using virtual edges to extract keywords from texts modeled as complex networks
Institute of Mathematics and Computer Science, University of São Paulo（圣保罗大学数学与计算机科学研究所）；Universidade Católica de Brasília（巴西利亚天主教大学）
文本中关键词的检测对于文本挖掘的许多应用都是非常重要的。基于图的方法已被广泛用于自动发现文本中的关键概念，然而，嵌入提供的相关信息还没有被广泛用于丰富图结构。在这里，我们建立了文本共现网络模型，其中节点是单词，边是通过上下文或语义相似性建立的。我们比较了两种嵌入方法--Word 2 vec和BERT --以检查通过词嵌入创建的边缘是否可以提高关键字提取方法的质量。我们发现，实际上，虚拟边的使用可以提高共现网络的可分辨性。当我们考虑添加虚拟（嵌入）边缘的百分比较低时，获得了最佳性能。结构和动态网络指标的比较分析表明，度，PageRank和可访问性是在虚拟边缘丰富的模型中显示最佳性能的指标。
2022-05-04 cs.CL cs.SI
PIEClass: Weakly-Supervised Text Classification with Prompting and Noise-Robust Iterative Ensemble Training
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出 PIEClass，通过预训练语言模型零样本提示获取伪标签，并采用抗噪迭代集成训练模块相互正则化以优化伪标签和分类器，在七个数据集上超越强基线，性能接近全监督方法。
2023-10-20 cs.CL
MEGATRON-CNTRL: Controllable Story Generation with External Knowledge Using Large-Scale Language Models
NVIDIA（英伟达）
现有的预训练大语言模型已经显示出无与伦比的生成能力。然而，它们是不可控制的。在本文中，我们提出了MEGATRON-CNTRL，一个新的框架，使用大规模的语言模型，并增加了控制文本生成，将外部知识库。我们的框架包括一个关键字预测器，知识检索器，上下文知识排名，和一个条件文本生成器。由于我们无法获得知识排名器的地面真相监督，因此我们利用了来自句子嵌入的弱监督。实证结果表明，我们的模型生成更流畅，一致和连贯的故事，重复较少，更高的多样性相比，以前的工作ROC故事数据集。我们通过替换用于生成故事的关键字并重新运行生成过程来展示我们模型的可控性。人工评估结果显示，这些故事中有77.5%被新关键字成功控制。此外，通过将我们的模型从1.24亿参数扩展到83亿参数，我们证明了更大的模型可以提高生成质量（从74.5%到93.0%的一致性）和可控性（从77.5%到91.5%）。
2020-10-02 cs.CL
Plan ahead: Self-Supervised Text Planning for Paragraph Completion Task
UC Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
尽管上下文化语言模型最近在各种NLP任务上取得了成功，但语言模型本身无法捕获长的多句子文档的文本连贯性（例如，a段）。人类在说话之前，经常会做出关于说什么和如何说的结构性决定。用这种高层决策指导表面实现并以连贯的方式构造文本，本质上称为规划过程。模型在哪里可以学习这种高层次的一致性？文章提出了一个新的段落补全任务PARCOM，即预测段落中的隐藏句。然而，任务遭受预测和选择适当的主题内容相对于给定的上下文。为了解决这个问题，我们提出了一个自我监督的文本规划器SSPlanner，它首先预测要说什么（内容预测），然后使用预测的内容指导预训练的语言模型（表面实现）。SSPlanner在自动和人工评估中的段落完成任务上优于基线生成模型。我们还发现，名词和动词类型的关键字的组合是最有效的内容选择。随着提供更多数量的内容关键字，总体生成质量也提高。
2020-10-11 cs.CL
Klasifikasi Komponen Argumen Secara Otomatis pada Dokumen Teks berbentuk Esai Argumentatif
Universitas Indonesia（印度尼西亚大学）
通过自动识别论证成分，论文作者可以对他们所写的文章进行检查。这将有助于论文评分过程客观和准确，因为论文评分员能够看到如何以及论点组成部分的建设。一些研究者尝试着对论元进行检测和分类，并在一些领域中实现了它。常用的方法是对文本进行特征提取。一般来说，这些特征包括结构特征、词汇特征、句法特征、指示特征和语境特征。在这项研究中，我们添加新的功能到现有的功能。它采用Knott和Dale（1993）的关键词列表。实验结果表明，该方法的论元分类准确率达到72.45%。此外，即使没有关键字列表，我们仍然可以获得相同的准确性。这表明关键字列表对特征没有显著影响。所有的特征在区分主论点和主论点方面仍然是薄弱的，因此我们需要其他的特征来区分这两种论点成分。
2015-12-02 cs.CL cs.IR
Unsupervised Key-phrase Extraction and Clustering for Classification Scheme in Scientific Publications
Ericsson AB（爱立信公司）；Uppsala University（乌普萨拉大学）
已经探索了几种方法来自动化系统映射（SM）和系统评价（SR）方法的一部分。挑战通常围绕文本语义理解的差距以及缺乏弥合这一差距所需的领域和背景知识而演变。在本文中，我们研究可能的方法自动化部分SM/SR过程，即提取关键字和关键短语从科学文献中使用无监督的方法，然后使用语义关键短语聚类技术作为基础，构建相应的分类方案。具体而言，我们探讨了集成分数测量在关键短语提取中的作用，我们探讨了基于语义网络的词嵌入在短语语义的嵌入表示中的作用，最后我们还探讨了如何使用聚类来对相关的关键短语进行分组。评估是在与“可解释的人工智能”领域有关的出版物数据集上进行的，我们使用标准的公开数字图书馆和索引术语（关键词）集构建了该数据集。实验结果表明：集成排序得分确实提高了关键词提取的性能。基于ConceptNet语义网络的基于语义网络的词嵌入与上下文化的词嵌入具有相似的性能，但是前者的计算效率更高。最后，在术语级进行语义关键词聚类，可以将相似的术语聚集在一起，从而适合于分类方案。
2021-02-08 cs.CL
SMILE: A Composite Lexical-Semantic Metric for Question-Answering Evaluation
Salesforce AI Research（Salesforce人工智能研究）
SMILE是一种结合句子级和关键词级语义理解的新型问答评估度量标准，通过平衡词法精确性与语义相关性，提供全面且高效的评估方法。
2025-11-21 cs.AI cs.CL cs.CV
Tracking Interaction States for Multi-Turn Text-to-SQL Semantic Parsing
University of Science and Technology of China（中国科学技术大学）；Baidu Research（百度研究院）；iFLYTEK Research（讯飞研究院）
多轮文本到SQL语义解析的任务旨在将交互中的自然语言话语翻译成SQL查询，以便使用通常包含多个表模式的数据库来回答它们。以往的研究通常利用语境信息来丰富话语表征并进一步影响解码过程。而忽略了对由历史SQL查询确定的、与当前话语意图相关的交互状态进行描述和跟踪。本文分别基于模式项和SQL关键字定义了两种交互状态。设计了一个关系型图神经网络和一个非线性层来分别更新这两种状态的表示。然后利用动态模式状态和SQL状态表示来解码与当前话语相对应的SQL查询。在具有挑战性的CoSQL数据集上的实验结果证明了该方法的有效性，该方法在任务排行榜上取得了比其他已发表方法更好的性能。
2020-12-09 cs.CL
Clusters are All You Need: Pre-Training the Tsetlin Machine with Semantic Clusters from Language Models for Interpretability
Independent Researcher（独立研究员）；University of California, Irvine（加州大学尔湾分校）；University of the Chinese Academy of Sciences（中国科学院大学）
提出一种语义预训练框架，通过K-means或Top2Vec将文本聚类，用聚类-样本对预训练Tsetlin Machine，使其学习可解释的语义关键词，在五个数据集上性能优于传统方法且与BERT竞争。
2026-06-19 cs.CL
Pragya: An AI-Based Semantic Recommendation System for Sanskrit Subhasitas
Department of Computer Engineering Don Bosco Institute of Technology Mumbai, India（计算机工程系 内华大学技术学院 孟买 印度）；Department of Mechanical Engineering Don Bosco Institute of Technology Mumbai, India（机械工程系 内华大学技术学院 孟买 印度）
Pragya通过结合检索与生成技术，为印地语Subhasitas提供语义推荐，提升其在数字时代的可访问性和应用价值。
2026-01-10 cs.AI cs.CL cs.LG
AWARE, Beyond Sentence Boundaries: A Contextual Transformer Framework for Identifying Cultural Capital in STEM Narratives
本文提出AWARE框架，通过引入领域意识、上下文意识和类别重叠意识提升Transformer模型识别学生叙事中文化资本主题的能力，在Macro-F1上超越基线2.1个百分点。
2025-11-03 cs.AI cs.CL cs.CY
Utility of Multimodal Large Language Models in Analyzing Chest X-ray with Incomplete Contextual Information
Korea Advanced Institute of Science & Technology (KAIST)（韩国科学技术院）；University of Pittsburgh（匹兹堡大学）
针对放射报告不完整时大语言模型性能下降的问题，本研究基于MIMIC-CXR数据库测试三款多模态LLM，发现补充胸部X线影像可显著提升不完整文本下的模型性能，增强临床决策支持的可靠性。
2024-09-20 cs.CL cs.CV eess.IV
Algorithmic Detection of Computer Generated Text
Rensselaer Center for Open Source Software (RCOS)（伦斯勒开源软件中心）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
计算机生成的学术论文已经被用来在几个计算机科学会议上暴露缺乏彻底的人类审查。我们评估这类文件的分类问题。在识别和评估学术论文的几个可量化的特征之后，我们应用机器学习的方法来构建一个二元分类器。在对200篇论文的测试中，所得到的分类器正确地将论文标记为人类撰写的或计算机生成的，没有将计算机生成的论文错误分类为人类，并且将人类论文错误分类为计算机生成的错误分类率为2%。我们相信这些特征的推广适用于类似的分类问题。虽然目前大多数基于文本的垃圾邮件检测技术都集中在基于关键字的电子邮件信息分类上，但新一代未经请求的计算机生成的广告伪装成在线群组、留言板和社交新闻网站中的合法帖子。我们的研究结果表明，考虑到这些环境提供的格式和上下文线索可能是至关重要的选择功能时，以确定这些不需要的帖子。
2010-08-04 cs.CL stat.ML
Sentiment Classification of Gaza War Headlines: A Comparative Analysis of Large Language Models and Arabic Fine-Tuned BERT Models
Anmat Media
本文通过加沙战争头条数据，比较大型语言模型与阿拉伯语微调BERT模型在情感分类中的表现，揭示模型架构对情感解读的影响及系统性差异。
2026-03-18 cs.CL cs.LG
Reliable News or Propagandist News? A Neurosymbolic Model Using Genre, Topic, and Persuasion Techniques to Improve Robustness in Classification
Airbus Defence and Space, France（空中客车防务与航天公司，法国）；Université Paris-Saclay, CentraleSupélec, MICS, France（巴黎-萨克雷大学，中央理工-高等电力学院，MICS，法国）；LIP6, Sorbonne Université, CNRS, France（LIP6，索邦大学，法国国家科学研究中心，法国）；Université de Rennes, CNRS, Inria, IRISA, France（雷恩大学，法国国家科学研究中心，法国国家信息与自动化研究所，IRISA，法国）；IRL Crossing, CNRS, Australia（IRL Crossing，法国国家科学研究中心，澳大利亚）
本文提出结合非上下文文本嵌入与符号概念特征的神经符号模型，以提高分类鲁棒性，通过实验验证其在识别宣传新闻方面的有效性。
2026-04-02 cs.AI cs.CL
Empowering Interdisciplinary Research with BERT-Based Models: An Approach Through SciBERT-CNN with Topic Modeling
University of California, Berkeley（加州大学伯克利分校）
本文提出结合 SciBERT 和 CNN 的多段输入分类方法，通过引入类别权重解决类别不平衡问题，显著提升了学术文献多标签分类的 F1 分数与综述效率。
2024-04-23 cs.CL cs.LG
Same Words, Different Meanings: Semantic Polarization in Broadcast Media Language Forecasts Polarization on Social Media Discourse
Virginia Tech（弗吉尼亚理工大学）
研究通过分析CNN和Fox News十年字幕及Twitter话语，提出测量广播媒体语义极化框架，发现其极化趋势显著影响社交媒体讨论。
2023-01-25 cs.CL cs.HC cs.SI
GORAG: Graph-based Online Retrieval Augmented Generation for Dynamic Few-shot Social Media Text Classification
The Hong Kong University of Science and Technology（香港科学与技术大学）；The Hong Kong Polytechnic University（香港理工大学）；Guangzhou HKUST Fok Ying Tung Research Institute（广州HKUST福ying顿研究 institute）
GORAG提出一种基于图的在线检索增强生成框架，用于动态少样本社交媒体文本分类，通过构建关键词和标签的加权图并动态检索上下文以提升分类性能。
2026-01-29 cs.CL cs.IR cs.LG
LightHuBERT: Lightweight and Configurable Speech Representation Learning with Once-for-All Hidden-Unit BERT
Tongji University（同济大学）；Southern University of Science and Technology（南方科技大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））；Microsoft（微软）；Peng Cheng Laboratory（鹏城实验室）；ByteDance AI Lab（字节跳动人工智能实验室）
自监督语音表征学习在各种语音处理任务中显示出了良好的效果。然而，预先训练的模型，例如，HuBERT是存储密集型Transformers，限制了它们在低资源环境下的应用范围。为此，我们提出了LightHuBERT，一个一次性的所有Transformer压缩框架，通过修剪结构化参数自动找到所需的架构。更准确地说，我们创建了一个基于Transformer的超网，其中嵌套了数千个权重共享的超网，并设计了一个两阶段的蒸馏策略来利用HuBERT的上下文化潜在表示。在自动语音识别（ASR）和SUPERB测试中的实验表明，LightHuBERT算法在嵌入维数、注意维数、头数、前馈网络比和网络深度等方面优于$10^9$结构. LightHuBERT在ASR和五个具有HuBERT大小的SUPERB任务上优于原始HuBERT，在大多数任务中实现了与教师模型相当的性能，减少了29%的参数，并在三个SUPERB任务中获得了$3.5\times$压缩比，例如，自动说话人验证、关键字定位和意图分类，具有轻微的准确性损失。代码和预训练模型可在https://github.com/mechanicalsea/lighthubert上获得。
2022-06-18 cs.CL cs.LG cs.SD
