Improving Biomedical Pretrained Language Models with Knowledge
Tsinghua University(清华大学);Alibaba Group(阿里巴巴集团)
预训练的语言模型已经在许多自然语言处理任务中显示出成功。许多作品探索将知识合并到语言模型中。在生物医学领域,专家们已经花了几十年的努力来建立大规模的知识库。例如,统一医学语言系统(UMLS)包含数百万个实体及其同义词,并定义了实体之间的数百种关系。利用这些知识可以使各种下游任务受益,例如命名实体识别和关系抽取。为此,我们提出了KeBioLM,生物医学预训练的语言模型,明确利用知识的UMLS知识库。具体来说,我们从PubMed摘要中提取实体,并将其链接到UMLS。然后,我们训练知识感知的语言模型,首先应用纯文本编码层来学习实体表示,并应用文本-实体融合编码来聚合实体表示。此外,我们增加了实体检测和实体连接两个训练目标。在BLURB基准测试中进行的命名实体识别和关系抽取实验表明了该方法的有效性。对收集的探测数据集的进一步分析表明,我们的模型具有更好的建模能力的医学知识。
2021-04-21 cs.CL
Probing Biomedical Embeddings from Language Models
University of Pittsburgh(匹兹堡大学);Carnegie Mellon University(卡内基梅隆大学);Google, Inc.(谷歌公司)
从预训练的语言模型(LM)中获得的上下文化词嵌入在下游NLP任务上显示出显着的改进。针对特定领域语料库(如生物医学文章)的预训练进一步提高了它们的性能。在本文中,我们进行了探索实验,以确定哪些额外的信息是由域内训练的上下文嵌入固有的。为此,我们使用预先训练的LM作为固定的特征提取器,并限制下游任务模型不具有额外的序列建模层。我们比较了BERT、ELMo、BioBERT和BioELMo,BioELMo是在10M PubMed摘要上训练的ELMo的生物医学版本。令人惊讶的是,虽然微调BioBERT在生物医学NER和NLI任务中优于BioELMo,但作为固定特征提取器,BioELMo在我们的探测任务中优于BioBERT。我们使用可视化和最近邻分析表明,更好的编码实体类型和关系信息导致这种优势。
2019-04-03 cs.CL
ProPILE: Probing Privacy Leakage in Large Language Models
NAVER AI Lab(NAVER人工智能实验室);University of Luxembourg(卢森堡大学);Parameter Lab(帕拉米特实验室);Seoul National University(首尔国立大学);University of Tübingen(图宾根大学);Tübingen AI Center(图宾根人工智能中心)
本文提出ProPILE探测工具,让数据主体通过基于自身PII构建提示来评估大语言模型中的隐私泄露风险,并在OPT-1.3B和Pile数据集上验证其有效性,为数据主体提供隐私意识与控制手段。
2023-07-04 cs.CL cs.CR
Entity Tracking in Language Models
Boston University(波士顿大学);Saarland University(萨尔大学)
本研究提出一项任务探究语言模型推断实体最终状态的能力,发现仅GPT-3.5具备此能力,且微调T5表明小模型也能学会跟踪实体,但仅靠文本预训练无法显现该能力。
2023-09-08 cs.CL
Quantifying and Analyzing Entity-level Memorization in Large Language Models
Beijing University of Posts and Telecommunications(北京邮电大学);University of Michigan(密歇根大学)
该研究针对现有大语言模型记忆量化方法的局限性,提出细粒度实体级记忆量化定义与敏感实体高效提取方法,实验证实模型实体级记忆能力强且能理解实体关联,为隐私风险防控提供依据。
2023-11-05 cs.CL
Prompt-Learning for Fine-Grained Entity Typing
Tsinghua University(清华大学);Alibaba Group(阿里巴巴集团);Seoul National University(首尔国立大学)
作为调整预训练语言模型(PLMs)以适应特定任务的一种有效方法,人工学习近年来受到了研究者的广泛关注。通过使用\textit{cloze}风格的语言提示来刺激PLM的通用知识,自动学习可以在一系列NLP任务上取得有希望的结果,例如自然语言推理,情感分类和知识探测。在这项工作中,我们研究了在完全监督,Few-Shot和zero-shot场景中细粒度实体类型化的学习应用。我们首先通过构建面向实体的动词化器和模板并进行掩码语言建模来开发一个简单有效的机器学习管道。此外,为了解决zero-shot制度,我们提出了一个自我监督的策略,进行分布级优化,自动总结实体类型的信息。在完全监督、Few-Shot和zero-shot设置下,对三个细粒度实体类型化基准(最多86个类)进行了广泛的实验,结果表明,自学习方法的性能显著优于微调基线,特别是当训练数据不足时。
2021-08-24 cs.AI cs.CL
Knowledge-Aware Language Model Pretraining
Microsoft Corporation(微软公司)
预训练的语言模型包含多少知识?最近的研究发现,经过预训练的transformer擅长建模语义,但尚不清楚它们在多大程度上掌握了人类知识,或者如何确保它们这样做。在本文中,我们将知识意识的语言模型预训练不改变的Transformer架构,插入显式的知识层,或添加外部存储的语义信息。相反,我们只是在预训练中向Transformer的输入发送实体存在的信号,使用实体扩展的标记器;在输出处,使用额外的实体预测任务。我们的实验表明,仅仅通过在预训练中添加这些实体信号,就可以将更多的知识打包到Transformer参数中:我们观察到改进的语言建模准确性,LAMA知识探测任务中的事实正确性,以及通过边缘探测隐藏表示的语义。我们还表明,我们的知识感知语言模型(KALM)可以作为GPT-2模型的替代品,显著改善下游任务,如没有任务相关培训的zero-shot问题回答。
2021-02-04 cs.CL cs.LG stat.ML
Toward a Gricean Retreat: Probing LLMs for Knowledge Boundaries and Referent Specificity
University of Colorado, Boulder(科罗拉多大学博尔德分校)
该研究探究LLMs是否具备格赖斯式退却的要素,发现其激活可编码知识边界与指称特异性信号,但生成时未协调,为格赖斯式对齐提供了基础。
2026-08-14 cs.AI cs.CL
How Large Language Models Encode Context Knowledge? A Layer-Wise Probing Study
School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University(上海交通大学电子信息与电气工程学院);Shandong University(山东大学);Southeast University(东南大学);Leiden University(莱顿大学)
本文利用ChatGPT构建探测数据集并以 $\mathcal V$-usable information 为指标,揭示LLM在不同层编码上下文知识的位置、扩散与遗忘规律。
2024-03-04 cs.CL
Supposedly Equivalent Facts That Aren't? Entity Frequency in Pre-training Induces Asymmetry in LLMs
Amazon(亚马逊);University of Oxford(牛津大学);LMU Munich(慕尼黑大学);Siemens AG(西门子公司);University of Cambridge(剑桥大学);Meta;University of Stuttgart(斯图加特大学);Bosch Center for AI(博世人工智能中心);The University of Manchester(曼彻斯特大学)
本研究揭示了LLMs在识别逻辑等价事实时存在不对称性,该现象源于预训练数据中实体作为主语和宾语的频率差异,为理解模型行为和推断封闭模型预训练数据特征提供了新见解。
2025-07-12 cs.CL
Probing Linguistic Features of Sentence-Level Representations in Neural Relation Extraction
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI))
尽管最近的进展,很少有人知道的最先进的神经关系抽取(RE)模型所捕获的功能。常见的方法是在对关系进行分类之前,根据实体提及情况对源句进行编码。然而,任务的复杂性使得很难理解编码器架构和支持语言知识如何影响编码器学习的特征。我们引入了14个针对RE相关语言属性的探测任务,并使用它们来研究在两个数据集TACRED和SemEval 2010 Task 8上训练的40多种不同编码器架构和语言特征组合所学习的表示。我们发现,由结构和语言特征的包含引起的偏见在探测任务的表现中得到了明确的表达。例如,添加上下文化的单词表示大大提高了探测任务的性能,重点是命名实体和词性信息,并在RE中产生更好的结果。相比之下,实体掩码提高了RE,但大大降低了实体类型相关探测任务的性能。
2020-04-17 cs.CL
Exploring Neural Entity Representations for Semantic Information
Duolingo(多邻国);Carnegie Mellon University(卡内基梅隆大学)
用于嵌入实体的神经方法通常在下游任务上进行外部评估,最近,本质上使用探测任务。由于任务结构的差异,下游基于任务的比较通常很难解释,而探测任务评估通常只关注少数属性和模型。我们通过在一组简单的探测任务上评估一组不同的八种神经实体嵌入方法来解决这两个问题,展示哪些方法能够记住用于描述实体的单词,学习类型,关系和事实信息,并确定实体被提及的频率。我们还在两个实体链接任务的统一框架中比较了这些方法,并讨论了它们如何推广到不同的模型架构和数据集。
2020-11-17 cs.CL
Slot Machines: How LLMs Keep Track of Multiple Entities
Anthropic Fellows Program(Anthropic 合作者计划)
研究探讨了大语言模型如何在上下文中绑定多个实体及其属性,通过多槽探针方法揭示当前实体与前一实体的表示机制,发现当前实体槽用于事实检索,而前一实体槽支持关系推理,但存在信息与实际使用之间的差距。
2026-04-22 cs.CL cs.LG
The Queen of England is not England's Queen: On the Lack of Factual Coherency in PLMs
University of Marburg(马尔堡大学);University of Mannheim(曼海姆大学)
本研究聚焦预训练语言模型(PLMs)的事实知识一致性问题,通过反向预测任务验证发现PLMs一致性较低,加入证据段可显著提升,指出其逆关系建模不足,需改进才能作为可靠知识库。
2024-02-02 cs.CL
ToMMeR -- Efficient Entity Mention Detection from Large Language Models
Institut des Systèmes Intelligents et de Robotique (ISIR), Sorbonne Université, CNRS(智能系统与机器人研究所(ISIR),索邦大学,法国国家科学研究中心);LIPN, Université Sorbonne Paris Nord, UMR7030 CNRS(LIPN,巴黎-索邦大学,法国国家科学研究中心);INSPE, UT2J, Univ. Toulouse, IRIT, CLLE UMR5505 UMR5263 CNRS(INSPE,图卢兹大学,IRIT,CLLE法国国家科学研究中心)
ToMMeR通过轻量模型验证早期LLM层的提及检测能力,在13个NER基准中实现93%零样本召回率,证明实体提及自然从语言建模中产生。
2026-04-20 cs.AI cs.CL
Reducing Hallucinations of Medical Multimodal Large Language Models with Visual Retrieval-Augmented Generation
NEC Laboratories America(美国NEC实验室);Purdue University(普渡大学);Lehigh University(里海大学)
针对医学多模态大语言模型的幻觉问题,提出融合图文数据的视觉检索增强生成框架V-RAG,在两个医学数据集上提升了实体探测准确率,还能生成更准确的X光报告,提高RadGraph-F1分数。
2025-02-20 cs.AI cs.CL
Zero-shot Entity and Tweet Characterization with Designed Conditional Prompts and Contexts
International Institute of Information Technology, Bangalore(班加罗尔国际信息技术学院);Indraprastha Institute of Information Technology, Delhi(德里印德拉普拉斯塔信息技术学院);International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院)
从上个十年开始,在线新闻和社交媒体一直是全球传播信息的事实上的媒介。然而,内容和意图的目的的偏见不受监管,管理偏见是内容消费者的责任。在这方面,了解新闻来源对具体实体的立场和偏见变得很重要。为了解决这个问题,我们使用预训练的语言模型,这些模型已经被证明可以在没有特定任务训练或Few-Shot训练的情况下带来良好的结果。在这项工作中,我们将命名实体和推文的特征化问题作为一个开放式的文本分类和开放式的事实探测问题来处理。我们评估了生成预训练Transformer 2(GPT-2)的zero-shot语言模型能力,以主观地用人类心理启发和逻辑条件前缀和上下文来表征实体和推文。首先,我们微调的GPT-2模型在一个足够大的新闻语料库和评价主观表征的语料库中流行的实体与前缀启动。其次,我们用来自几个流行标签的推文语料库微调GPT-2,并通过用前缀、问题和上下文概要提示启动语言模型来评估特征推文。实体表征的结果是积极的措施和人的评价。
2022-04-18 cs.CL cs.IR
High-throughput Biomedical Relation Extraction for Semi-Structured Web Articles Empowered by Large Language Models
Tsinghua University(清华大学)
本文提出一种基于大语言模型的高通量生物医学关系抽取方法,将任务表述为二分类问题,结合外部语料库与世界知识进行事实验证,并针对半结构化网页文章优化实体匹配与文本检索,最终从三个网站提取超24万个三元组,性能媲美GPT-4。
2024-03-26 cs.AI cs.CL
Embedded Named Entity Recognition using Probing Classifiers
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);TU Dresden(德累斯顿工业大学)
提出名为EMBER的方法,通过探针分类器在decoder-only语言模型中实现无需微调的流式命名实体识别,在保持高生成速率的同时显著降低了推理时的计算成本。
2024-10-14 cs.CL
Probing the Multi-turn Planning Capabilities of LLMs via 20 Question Games
Apple(苹果公司)
本文提出以20个问题式的实体推断游戏作为评估框架,系统探究大语言模型的多轮对话推理与规划能力,发现GPT-4等强模型大幅超越人类,并通过行为克隆与强化学习显著提升了较弱模型的表现。
2024-02-20 cs.AI cs.CL cs.HC
FIBER: A Multilingual Evaluation Resource for Factual Inference Bias
Politecnico di Torino(托斯卡纳理工学院);Middle East Technical University(中东技术大学);Bocconi University(博科尼大学)
FIBER是一个多语言事实推理偏差评估资源,用于评估大型语言模型在单实体和多实体问题上的事实知识准确性及语言相关偏见。
2025-12-11 cs.AI cs.CL
CoLAKE: Contextualized Language and Knowledge Embedding
Fudan University(复旦大学);Amazon Shanghai AI Lab(亚马逊上海人工智能实验室)
随着将事实知识整合到预先训练的语言模型(如BERT)中的新兴分支的出现,大多数现有模型都考虑了浅层、静态和单独预先训练的实体嵌入,这限制了这些模型的性能提升。很少有研究探讨在注入知识时深度情境化知识表示的潜力。在本文中,我们提出了语境化语言和知识嵌入(CoLAKE),它联合学习语言和知识的语境化表示与扩展的MLM目标。CoLAKE不是只注入实体嵌入,而是从大规模知识库中提取实体的知识上下文。为了处理知识上下文和语言上下文的异构性,我们将它们集成到一个统一的数据结构中,即词-知识图谱(WK图)。CoLAKE使用修改后的Transformer编码器在大规模WK图上进行预训练。我们在知识驱动任务、知识探索任务和语言理解任务上进行了实验。实验结果表明,CoLAKE在大多数任务上都优于以前的同类算法.此外,CoLAKE在我们的综合任务词-知识图谱完成上取得了令人惊讶的高性能,这显示了同时上下文化语言和知识表示的优越性。
2020-10-01 cs.AI cs.CL
Geographic and Geopolitical Biases of Language Models
George Mason University(乔治梅森大学)
预训练的语言模型(PLM)往往不能公平地代表来自世界某些地区的目标用户,因为这些地区在训练数据集中的代表性不足。由于最近的PLM在大量数据源上进行了训练,由于其黑箱性质和数据源的庞大规模,量化其潜在偏差是困难的。在这项工作中,我们设计了一种方法来研究PLM中存在的地理偏见(和知识),提出了一个地理表示探测框架,采用自我调节的方法加上实体-国家映射。我们的研究结果表明,PLM的表征映射到物理世界的国家与国家之间的协会令人惊讶的好,但这种知识是不平等的跨语言共享。最后,我们解释了大型PLM,尽管表现出地理接近的概念,过度放大地缘政治偏袒在推理时间。
2022-12-20 cs.CL
DiffusionNER: Boundary Diffusion for Named Entity Recognition
Zhejiang University(浙江大学);Microsoft Research Asia(微软亚洲研究院)
本文提出DiffusionNER,将命名实体识别建模为边界去噪扩散过程,通过前向加噪与反向去噪实现实体生成,在多个数据集上取得优于或可比的性能。
2023-05-22 cs.CL
The World According to LLMs: How Geographic Origin Influences LLMs' Entity Deduction Capabilities
BITS, Pilani(比哈尔理工学院);Georgia Institute of Technology(佐治亚理工学院);Stanford University(斯坦福大学);Emory University(埃默里大学)
本研究通过20个问题游戏评估LLMs的实体推断能力,发现其存在显著的地理偏见:对全球北方和西方实体的推断成功率更高,且语言影响甚微,揭示了标准提示中隐藏的隐性偏见。
2025-08-07 cs.AI cs.CL
Prompting as Probing: Using Language Models for Knowledge Base Construction
Vrije Universiteit(阿姆斯特丹自由大学);Universiteit van Amsterdam(阿姆斯特丹大学);Elsevier(爱思唯尔);Huawei(华为)
本文提出ProP方法,利用GPT-3通过多步提示技术构建知识库,实验证明手动提示、可变长度答案集、真/假问题及模型规模等因素显著提升性能,并在LM-KBC竞赛中超越基线36.4个百分点。
2023-06-19 cs.AI cs.CL
Can LLMs facilitate interpretation of pre-trained language models?
Qatar Computing Research Institute(卡塔尔计算研究所);HBKU(哈马德·本·哈利法大学)
提出使用ChatGPT作为标注器,通过凝聚层次聚类发现预训练语言模型中的潜在概念并生成语义更丰富的标注,赋能探测框架与神经元解释等分析方法,并发布含39,000个概念的ConceptNet数据集。
2023-10-20 cs.CL
LINSPECTOR WEB: A Multilingual Probing Suite for Word Representations
Technische Universität Darmstadt(达姆施塔特工业大学)
我们提出LINSPECTOR WEB,一个开源的多语言检查器来分析单词表示。我们的系统为在低资源环境中工作的研究人员提供了一个易于访问的基于Web的探测工具,以快速了解他们的词嵌入,特别是在英语之外。为了做到这一点,我们采用了16个简单的语言探测任务,如性别,情况下标记,时态为一组不同的28种语言。我们支持探测静态词嵌入以及预训练的AllenNLP模型,这些模型通常用于NLP下游任务,例如命名实体识别,自然语言推理和依存句法分析。结果在极坐标图中可视化,并以表格形式提供。LINSPECTOR WEB可作为离线工具或在https://linspector.ukp.informatik.tu-darmstadt.de上获得。
2019-10-15 cs.CL
Decoding In-Context Learning: Neuroscience-inspired Analysis of Representations in Large Language Models
Microsoft(微软公司);Microsoft Research(微软研究院);Macquarie University(麦考瑞大学)
本文受神经科学启发,通过表征相似性分析和参数化探测等方法分析Llama-2 70B与Vicuna 13B在上下文学习前后的嵌入与注意力变化,揭示了表征变化与行为改进之间的关联。
2024-02-21 cs.CL
KEHRL: Learning Knowledge-Enhanced Language Representations with Hierarchical Reinforcement Learning
Alibaba Group(阿里巴巴集团)
针对现有知识增强预训练语言模型将知识注入与整合割裂的问题,提出KEHRL分层强化学习框架,通过高层RL选注入位置、低层RL优化三元组,提升事实知识探测和自然语言理解任务性能。
2024-06-24 cs.CL
Cultural Awareness is Represented but Not Decoded: Tracing Mythological Knowledge across 18 Open-Source LLMs
DataSpike;Metropolia University of Applied Sciences(梅托波利亞應用科學大學);Neapolis University Pafos(帕福斯尼阿波利斯大學)
该研究分析18个开源LLM的神话知识表征,发现文化表征存在于模型残差流中,但解码器因提示语言偏差无法解码非主导文化内容,还发布了相关跨文化研究工具与基准。
2026-08-04 cs.CL cs.CY cs.LG
Time Course MechInterp: Analyzing the Evolution of Components and Knowledge in Large Language Models
Center for Information and Language Processing, LMU Munich(信息与语言处理中心,慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文通过追踪OLMo-7B预训练过程中注意力头和FFNs的角色演化,发现组件从通用走向专业化并存在自适应重利用,且FFNs比注意力头更稳定,揭示了LLMs事实知识形成的机制。
2025-06-03 cs.CL
Deceptive Semantic Shortcuts on Reasoning Chains: How Far Can Models Go without Hallucination?
University of California, Davis(加利福尼亚大学戴维斯分校);University of Pennsylvania(宾夕法尼亚大学);University of Southern California(南加利福尼亚大学)
本文提出EureQA探测基准,通过递归遮蔽实体并植入语义干扰线索,评估LLM能否沿证据链推理而非依赖关键词偏误走捷径。
2024-04-05 cs.AI cs.CL
Knowledge-in-Context: Towards Knowledgeable Semi-Parametric Language Models
Tencent AI Lab(腾讯人工智能实验室)
全参数语言模型通常需要大量的模型参数来存储用于在零/Few-Shot设置中解决多个自然语言任务的必要知识。此外,如果没有昂贵的模型再训练,很难适应不断变化的世界知识。在本文中,我们开发了一种新的半参数语言模型架构,知识的上下文(KiC),它赋予一个参数化的文本到文本的语言模型与知识丰富的外部存储器。具体来说,外部存储器包含六种不同类型的知识:实体、字典、常识、事件、脚本和因果关系知识。对于每个输入实例,KiC模型自适应地选择知识类型并检索最有用的知识。输入实例连同其知识扩充一起被馈送到文本到文本模型(例如,T5)生成输出答案,提示后输入和输出均为自然语言形式。有趣的是,我们发现,KiC可以被确定为一个特殊的混合专家(MoE)模型,其中的知识选择器起着路由器的作用,用于确定序列的专家分配在MoE。这个关键的观察启发我们开发一种新的算法,用于训练KiC与实例自适应知识选择器。作为一个知识丰富的半参数语言模型,KiC只需要一个小得多的参数部分,以实现卓越的zero-shot性能看不见的任务。通过对40多个不同的任务进行评估,我们发现具有770 M参数的KiC_Large很容易超过大语言模型(LM),后者大幅度增加了4- 39倍。我们还证明了KiC在一个小得多的模型规模相比,全参数模型表现出紧急的能力。
2023-03-27 cs.CL
A Survey on Deep Learning for Named Entity Recognition
Inception Institute of Artificial Intelligence(起源人工智能研究院);Nanyang Technological University(南洋理工大学);SAP(思爱普);Wuhan University(武汉大学)
本文综述面向命名实体识别的深度学习方法,按输入表示、上下文编码器和标签解码器分类现有工作,并梳理资源、新应用、挑战与未来方向。
2020-03-18 cs.CL
Understanding the Physics of Key-Value Cache Compression for LLMs through Attention Dynamics
IIT Delhi, India(德里印度理工学院)
通过分析LLMs中键值缓存压缩的物理机制,揭示了压缩对内部表示和语义可达性的影响,以及不同架构在路由动态上的差异。
2026-03-02 cs.CL
GPT Struct Me: Probing GPT Models on Narrative Entity Extraction
INESC TEC(INESC TEC(葡萄牙系统与计算机工程研究所));University of Porto(波尔图大学);University of Beira Interior(贝拉内政大学)
本研究在 Text2Story Lusa 数据集上评估了 GPT-3 和 GPT-3.5 模型提取叙事实体的能力,通过消融研究确定最佳提示模板,发现 GPT 模型与基线系统相当,为资源有限的从业者提供了一体化替代方案。
2023-11-24 cs.AI cs.CL cs.IR
Predicting Fine-Tuning Performance with Probing
University of Toronto(多伦多大学);Vector Institute for Artificial Intelligence(向量人工智能研究所);Unity Health Toronto(多伦多联合健康中心)
大型NLP模型最近在语言理解任务中表现出令人印象深刻的性能,通常通过其微调性能进行评估。另外,探测作为一种解释大型NLP模型内在机制的轻量级方法越来越受到关注。在探测中,事后分类器在诊断特定能力的“域外”数据集上进行训练。虽然对语言模型的探索已经导致了有见地的发现,但它们似乎与模型的发展脱节。本文探讨了探测深度NLP模型以提取模型开发中广泛使用的代理信号的实用性-微调性能。我们发现,它是可能的,使用的准确性只有三个探测测试来预测微调性能的误差$40\%$ - $80\%$小于基线。我们进一步讨论了探测可以增强深度NLP模型开发的可能途径。
2022-10-13 cs.AI cs.CL cs.LG
Bit Cipher -- A Simple yet Powerful Word Representation System that Integrates Efficiently with Language Models
Drexel University(德雷塞尔大学)
本文提出一种名为Bit-cipher的新型词表示系统,无需反向传播,利用unigram频率和超高效降维技术生成上下文丰富的词向量,并在POS和NER任务及与Roberta、T5、OPT等语言模型集成中展现出加速训练和保持竞争性能的优势。
2023-11-18 cs.CL
LambdaKG: A Library for Pre-trained Language Model-Based Knowledge Graph Embeddings
Zhejiang University(浙江大学)
本文提出了LambdaKG,一个基于预训练语言模型的知识图谱嵌入库,支持多种模型和任务,填补了该领域的开源空白。
2023-09-14 cs.AI cs.CL cs.DB
Probing Omissions and Distortions in Transformer-based RDF-to-Text Models
CNRS(法国国家科学研究中心);LORIA(洛里亚实验室);Université de Lorraine(洛林大学);Utrecht University(乌得勒支大学)
针对NLG中信息遗漏问题,本文提出两种探测方法分析BART和T5编码器输出,发现编码器对遗漏和失真实体信号较弱导致信息丢失,证明探测法可检测模型输出错误。
2024-09-25 cs.CL
HalluSAE: Detecting Hallucinations in Large Language Models via Sparse Auto-Encoders
Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing, School of Artificial Intelligence, Beihang University(北京未来区块链与隐私计算先进研究院,北京航空航天大学人工智能学院);State Key Laboratory of Virtual Reality Technology and Systems, Beihang University(北京航空航天大学虚拟现实技术与系统国家重点实验室);Beijing Academy of Blockchain and Edge Computing(北京区块链与边缘计算研究院);Renmin University of China(中国人民大学)
HalluSAE通过稀疏自编码器和几何势能度量定位潜在相变区域,利用对比logit归因识别幻觉相关稀疏特征,通过线性探针检测因果幻觉,实验表明其在Gemma-2-9B上达到最先进的幻觉检测性能。
2026-04-06 cs.AI cs.CL
Empower Sequence Labeling with Task-Aware Neural Language Model
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Southern California(南加州大学);Shanghai Jiao Tong University(上海交通大学);Facebook
语言序列标注是一种通用的建模方法,它涵盖了诸如词性标注和命名实体识别等各种问题。神经网络(NN)的最新进展使得在没有手工特征的情况下构建可靠的模型成为可能。然而,在许多情况下,很难获得足够的注释来训练这些模型。在这项研究中,我们开发了一种新的神经框架来提取隐藏在原始文本中的丰富知识,以增强序列标记任务的能力。除了包含在预训练的词嵌入中的词级知识之外,还结合了字符感知神经语言模型来提取字符级知识。进一步采用迁移学习技术来调解不同的组件,并引导语言模型向关键知识。与以前的方法相比,这些特定于任务的知识使我们能够采用更简洁的模型,进行更有效的培训。与大多数迁移学习方法不同,所提出的框架不依赖于任何额外的监督。它从训练序列的完备顺序信息中提取知识。在基准数据集上的大量实验证明了利用字符级知识的有效性和协同训练的效率。例如,在CoNLL 03 NER任务中,模型训练在单个GPU上大约6小时内完成,在不使用任何额外注释的情况下达到F1得分91.71 $\pm$ 0.10。
2017-11-23 cs.CL cs.LG
Understanding 6G through Language Models: A Case Study on LLM-aided Structured Entity Extraction in Telecom Domain
School of Computer Science, McGill University(计算机科学系,麦吉尔大学);Standards and Mobility Innovation Lab, Samsung Research America(标准与移动创新实验室,三星研究美国)
本研究针对6G网络知识理解需求,提出基于语言模型的电信结构化实体提取技术TeleSEE,结合令牌高效表示与分层并行解码方法,并构建6GTech数据集验证,其准确率更优且处理速度提升5至9倍。
2025-05-20 cs.CL cs.SY eess.SY
Mechanistic Indicators of Understanding in Large Language Models
École Polytechnique Fédérale de Lausanne (EPFL)(联邦理工学院);Idiap Research Institute(Idiap研究所);University of Bern, Department of Philosophy(伯尔尼大学哲学系)
本文提出一个分层框架,探讨大语言模型中理解的三个层次,通过机制可解释性揭示AI理解的机制与人类认知的异同。
2026-02-25 cs.AI cs.CL
LINSPECTOR: Multilingual Probing Tasks for Word Representations
Technische Universität Darmstadt(达姆施塔特工业大学);University of Edinburgh(爱丁堡大学);New York University(纽约大学)
尽管为大量语言引入了越来越多的单词表示模型,但缺乏标准化的技术来提供对这些模型所捕获内容的见解。这样的见解将有助于社区获得下游任务性能的估计,以及设计更明智的神经架构,同时避免需要大量计算资源的大量实验,而不是所有研究人员都可以访问。NLP最近的发展是使用简单的分类任务,也称为探测任务,测试单个语言特征,如词性。现有的研究主要集中在探讨英语语篇的连续表征所编码的语言信息。然而,从类型学的角度来看,形态学上的穷人英语是一个离群值:英语中的词序和功能词编码的信息往往存储在其他语言的形态水平。为了解决这个问题,我们引入了15个类型级别的探测任务,例如24种语言的格标记、属事、字长、形态标签计数和伪词识别。我们提出了一个可重复使用的方法,在多语言环境中创建和评估这样的测试。然后,我们提出了几个不同的多语言词嵌入模型的实验,在其中,我们涉及到探测任务的性能为一组不同的语言的范围内的五个经典的NLP任务:POS标记,依存句法分析,语义角色标注,命名实体识别和自然语言推理。我们发现,一些探测测试有显着的高度正相关的下游任务,特别是形态丰富的语言。我们表明,我们的测试可用于探索词嵌入或黑盒神经模型的语言线索,在多语言设置。
2019-12-11 cs.CL
Using Large Language Models for Knowledge Engineering (LLMKE): A Case Study on Wikidata
King's College London(伦敦国王学院)
针对基于Wikidata的知识工程任务,本文提出结合知识探测与实体映射的LLMKE流水线,利用预训练大语言模型生成宾语并链接至对应QID,在ISWC 2023挑战赛Track 2中夺冠,宏平均F1达0.701,验证了LLMs在协作式知识工程中的应用潜力。
2023-09-15 cs.AI cs.CL
GS-Agent: Creating 4D Physical Worlds With Generative Simulation
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Genesis AI(创世纪人工智能公司)
研究旨在从自然语言描述创建4D物理世界。核心方法是提出GS-Agent这一端到端多智能体框架,分解任务并让多智能体与物理引擎协作。主要贡献是能有效转换自然语言为物理合理的4D世界,实现相机和灯光控制,为新范式奠基。
2026-07-24 cs.AI cs.CL cs.CV
The Illusion of Superposition? A Principled Analysis of Latent Thinking in Language Models
Mila – Quebec AI Institute(Mila – 魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);McGill University(麦吉尔大学)
本文探讨了连续链式思维(Latent CoT)中叠加现象的出现条件,发现仅从头训练的模型表现出叠加特性,而其他训练方式下模型倾向于使用捷径解法。
2026-08-05 cs.CL cs.LG
Advancing Grounded Multimodal Named Entity Recognition via LLM-Based Reformulation and Box-Based Segmentation
College of Intelligence and Computing, Tianjin University(智能与计算学院,天津大学);NJUST(南京理工大学);College of Mathematics, Taiyuan University of Technology(数学学院,太原科技大学);Tianjin University of Science and Technology(天津科技大学)
针对GMNER任务实体难接地、粒度不匹配等问题,提出RiVEG框架以LLM为桥重构任务,还构建SMNER任务与数据集,用SAM赋能分割,在多任务多数据集上性能超SOTA。
2025-08-30 cs.CL cs.CV cs.MM
CrossCheck-Bench: Diagnosing Compositional Failures in Multimodal Conflict Resolution
CrossCheck-Bench通过多阶段注释流程构建的基准测试,揭示了多模态模型在处理跨模态冲突时的瓶颈,并表明融合符号推理与视觉处理的方法能提升模型的稳健性。
2026-02-02 cs.CL cs.CV
Physics of Language Models: Part 3.1, Knowledge Storage and Extraction
Meta;FAIR Labs(FAIR实验室);Mohamed bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学)
本文通过受控传记数据集研究LLM知识提取能力,发现知识需在预训练中充分增强(如释义、打乱、翻译)才能可靠提取,否则即使指令微调也无法提取,并提出重写预训练数据及增加指令微调数据等工业建议。
2024-07-16 cs.AI cs.CL cs.LG
Yes but.. Can ChatGPT Identify Entities in Historical Documents?
University of La Rochelle(拉罗谢尔大学);EPFL(洛桑联邦理工学院);University of Toulouse(图卢兹大学)
大语言模型(LLM)已经被利用了好几年,在从现代文档中识别实体方面获得了最先进的性能。在过去的几个月里,会话代理ChatGPT已经“引起”了科学界和公众的极大兴趣,因为它能够生成听起来可信的答案。在本文中,我们通过在主要来源的命名实体识别和分类(NERC)任务中探索这种能力(例如,历史报纸和经典评论),在一个zero-shot的方式,并通过比较它与国家的最先进的LM为基础的系统。我们的研究结果表明,在确定历史文本中的实体,范围从实体注释准则的一致性,实体的复杂性,和代码转换,提示的特异性的几个缺点。此外,正如预期的那样,公众无法查阅历史档案(因此也无法在互联网上查阅)也影响了其业绩。
2023-03-30 cs.CL cs.DL cs.IR
Leveraging LLMs to Enable Natural Language Search on Go-to-market Platforms
University of California, Berkeley(加州大学伯克利分校);Zoominfo Technologies Inc.(Zoominfo科技公司)
本文针对GTM平台搜索繁琐问题,提出利用LLM将自然语言转为搜索查询的方法,通过实体提取和提示工程,微调Llama-3-8B,实验显示闭源模型平均准确率达97%,验证了方案有效性。
2024-11-07 cs.AI cs.CL cs.DB