Collaborative decoding of critical tokens for boosting factuality of large language models
Tencent AI Lab(腾讯AI实验室)
针对微调、对齐及采样导致LLM幻觉的问题,提出基于关键token分类器在预训练模型与微调模型间协作选择并解码的框架,实验表明可显著降低幻觉。
2024-02-28 cs.CL
Towards Reliable Latent Knowledge Estimation in LLMs: Zero-Prompt Many-Shot Based Factual Knowledge Extraction
MPI-SWS(马克斯·普朗克软件系统研究所);Boston University(波士顿大学)
本文提出零提示潜在知识估计器(ZP-LKE),利用上下文学习消除提示工程,可靠估计LLM事实知识,并在多种开源模型上大规模评估,揭示模型间知识差异。
2024-12-17 cs.CL cs.LG
Improving Sparse Memory Finetuning
University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
本文提出稀疏记忆微调方法,通过局部更新显式内存层参数,解决持续学习中的灾难性遗忘问题,并在消费级硬件上验证了其有效性。
2026-04-06 cs.CL cs.LG
Co-occurrence is not Factual Association in Language Models
Department of Electronics Engineering(电子工程系);Tsinghua University(清华大学);Department of Electronics Engineering, College of AI(人工智能学院电子工程系);Beijing National Research Center for Information Science and Technology(北京信息科学国家研究中心);Center for Big Data and Clinical Research, Institute for Precision Medicine(精准医学研究院大数据与临床研究中心)
本研究揭示语言模型因偏向学习共现统计而非事实关联导致新事实知识学习效果差的问题,明确两类知识的层级表征差异,提出隐式关联训练与主动遗忘共现两种策略,有效提升微调所学知识的推理泛化能力。
2025-06-15 cs.CL
Provable Knowledge Acquisition and Extraction in One-Layer Transformers
本文研究了单层变换器中知识获取与提取的机制,通过理论分析和实验验证,揭示了预训练和微调过程中知识存储与提取的关系,以及低秩微调如何恢复预训练的事实知识。
2026-05-18 cs.CL cs.LG
How Important is Domain Specificity in Language Models and Instruction Finetuning for Biomedical Relation Extraction?
University of Kentucky, Lexington, KY USA(肯塔基大学)
本文在四个生物医学关系抽取数据集上比较通用与生物医学预训练LM及不同指令微调来源,发现通用模型通常更优,而少量生物医学指令微调即可取得与通用指令微调相近的收益。
2025-07-25 cs.CL
WebRED: Effective Pretraining And Finetuning For Relation Extraction On The Web
Google Brain(谷歌大脑);Google(谷歌公司)
关系抽取用于填充对许多应用程序很重要的知识库。用于训练关系抽取模型的现有数据集要么由于远程监督而遭受噪声标签,要么限于某些域,要么太小而无法训练高容量模型。这限制了关系抽取的下游应用。因此,我们介绍:WebRED(Web关系抽取数据集),一个强监督的人类注释数据集,用于从万维网上发现的各种文本中提取关系,由约110 K个示例组成。我们还描述了我们用来收集~ 200 M示例作为此任务的预训练数据的方法。我们表明,将大型弱监督数据集上的预训练与小型强监督数据集上的微调相结合,可以获得更好的关系抽取性能。我们为这个新的数据集提供了基线,并提出了一个案例,人类注释的重要性,提高性能的关系抽取从网络上找到的文本。
2021-02-18 cs.CL cs.IR
Smoothing Out Hallucinations: Mitigating LLM Hallucination with Smoothed Knowledge Distillation
University of Southern California(南加州大学);Information Sciences Institute(信息科学研究所)
本文针对 LLM 因硬标签训练导致过度自信和幻觉的问题,提出在指令数据监督微调中使用教师模型的平滑软标签进行知识蒸馏,实验证明其可在保持通用 NLP 性能的同时减少摘要幻觉。
2025-02-16 cs.CL cs.LG
UniArk: Improving Generalisation and Consistency for Factual Knowledge Extraction through Debiasing
School of Informatics, University of Edinburgh(爱丁堡大学信息学院);School of Computer Science and Informatics, Cardiff University(卡迪夫大学计算机科学与信息学院)
本文提出基于适配器的框架 UniArk,通过同时去偏预训练与微调目标,在不增加参数的情况下提升语言模型事实知识抽取的域外泛化性和一致性,并构建了大规模改写数据集 ParaTrex 用于评估不一致性。
2024-04-01 cs.CL
FENICE: Factuality Evaluation of summarization based on Natural language Inference and Claim Extraction
Babelscape;Sapienza University of Rome(罗马大学)
本文提出FENICE度量指标,通过NLI对齐源文档与摘要提取的原子声明来评估摘要事实性,在AGGREFACT上取得最优结果,并扩展到长文本摘要场景。
2024-08-31 cs.CL
Continual Contrastive Finetuning Improves Low-Resource Relation Extraction
University of Southern California(南加州大学);Microsoft Research(微软研究院)
本文针对低资源关系抽取中预训练与微调目标不一致的问题,提出持续对比微调方法,并引入多中心对比损失,在 BioRED 和 Re-DocRED 上显著优于 PLM 分类器。
2023-05-31 cs.AI cs.CL cs.LG
Towards Effective Extraction and Evaluation of Factual Claims
Microsoft Research(微软研究院)
本文针对LLM事实核查中声明提取缺乏标准化评估的问题,提出评估框架及自动化方法,并设计Claimify方法,在覆盖率和去语境化等指标上优于现有方法。
2025-06-06 cs.CL
Knowledge Augmented Finetuning Matters in both RAG and Agent Based Dialog Systems
EE Department, Tsinghua University(清华大学电子工程系);China Mobile Research Institute(中国移动研究院)
针对LLMs在知识密集型对话中难以有效利用检索知识的问题,提出知识增强微调(KAFT)方法,在RAG和agent系统中利用领域数据与外部知识微调模型,实验证明其事实准确性显著优于提示方法。
2025-06-28 cs.CL
Overcoming the Generalization Limits of SLM Finetuning for Shape-Based Extraction of Datatype and Object Properties
Univ. Côte d’Azur(里昂大学);Inria(法国国家信息与自动化技术研究院);CNRS(法国国家科学研究中心);I3S(信息科学与系统研究所)
本文提出通过构建训练集确保属性出现次数超过阈值,以提升SLM在抽取数据类型和对象属性时的泛化能力。
2025-11-21 cs.CL
Enhancing Talent Employment Insights Through Feature Extraction with LLM Finetuning
Georgia Institute of Technology(佐治亚理工学院)
本研究针对非结构化招聘信息的职位特征提取难题,结合语义分块、RAG与微调DistilBERT模型构建提取流程,在120万条招聘数据集上提升了易漏判变量的识别准确率,为劳动力市场分析提供更可靠的洞察基础。
2025-01-13 cs.CL
On the generalization of language models from in-context learning and finetuning: a controlled study
Google DeepMind(谷歌DeepMind);Google DeepMind & Stanford University(谷歌DeepMind与斯坦福大学)
本文通过构建新数据集,对比语言模型上下文学习(ICL)与微调的泛化性差异,发现ICL泛化更灵活,并提出添加上下文推理轨迹的方法提升微调泛化性。
2025-11-10 cs.AI cs.CL cs.LG
Systematic Assessment of Factual Knowledge in Large Language Models
Monash University(莫纳什大学)
本文提出基于知识图谱自动生成问题以系统性评估大语言模型事实知识的框架,发现ChatGPT表现最佳,且模型性能受指令微调、领域、问题复杂度及对抗性上下文影响。
2023-10-30 cs.CL
Consistent Document-Level Relation Extraction via Counterfactuals
Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文提出CovEReD反事实数据生成方法,通过实体替换解决文档级关系抽取模型的事实偏差和不一致性问题,同时发布Re-DocRED-CF数据集以评估模型一致性。
2024-10-15 cs.CL
Randomized Masked Finetuning: An Efficient Way to Mitigate Memorization of PIIs in LLMs
Khoury College of Computer Sciences, Northeastern University, Boston, MA, USA(东北大学科里学院计算机科学学院)
本文提出随机掩码微调方法,有效减少LLM中PII记忆,同时保持模型性能,通过实验验证其在隐私保护和效用之间的平衡。
2026-02-18 cs.CL cs.CR cs.LG
JointCQ: Improving Factual Hallucination Detection with Joint Claim and Query Generation
Wangxuan Institute of Computer Technology, Peking University(王轩计算机技术研究所,北京大学);Trustworthy Technology and Engineering Laboratory, Huawei(可信技术与工程实验室,华为)
针对大语言模型幻觉检测流程中声明提取易丢上下文、查询生成特异性低的问题,提出联合声明-查询生成框架JointCQ,通过过滤训练数据、微调模型实现联合生成,在多个开放域问答幻觉检测基准上性能优于现有方法,助力构建更可信透明的语言模型系统。
2025-10-22 cs.CL
From Parameters to Prompts: Understanding and Mitigating the Factuality Gap between Fine-Tuned LLMs
Tongji University(同济大学);Shanghai Jiao Tong University(上海交通大学)
本文研究微调大语言模型在已知与未知知识上的事实性差距,发现通过OOD设置或ICL提示可在推理阶段缓解该差距,理论上证明测试时提示起主导作用,并指出需重新审视ICL在评估微调数据选择中的作用。
2025-05-29 cs.CL
Instruction Finetuning for Leaderboard Generation from Empirical AI Research
Leibniz University of Hannover(汉诺威莱布尼茨大学);TIB(德国科技信息图书馆)
本研究提出用预训练大语言模型的指令微调方法自动从AI论文中提取四元组以生成研究排行榜,使用FLAN-T5模型提升信息抽取效果,为结构化知识表示提供新方案。
2024-08-19 cs.CL
Alignment Whack-a-Mole : Finetuning Activates Verbatim Recall of Copyrighted Books in Large Language Models
Stony Brook University(石溪大学);Carnegie Mellon University(卡内基梅隆大学);Columbia Law School(哥伦比亚法学院)
研究显示微调可绕过安全对齐策略,使GPT-4o等模型能回忆85-90%的版权书籍,揭示模型权重存储版权作品的漏洞。
2026-09-16 cs.AI cs.CL cs.CY
Take Care of Your Prompt Bias! Investigating and Mitigating Prompt Bias in Factual Knowledge Extraction
Wuhan University(武汉大学);Beihang University(北京航空航天大学);The University of Sydney(悉尼大学);Nanyang Technological University(南洋理工大学)
本文调查了预训练语言模型在事实知识抽取中的提示偏置问题,并提出一种基于表示的推理时去偏方法,通过估计并移除内部偏置表示,有效纠正过拟合性能并提升提示检索能力达10%。
2024-03-26 cs.AI cs.CL cs.IR
Learning Facts at Scale with Active Reading
FAIR at Meta(Meta 的 FAIR);University of California, Berkeley(加州大学伯克利分校)
针对LLMs学习事实不可靠且缺乏确保工具的问题,提出Active Reading框架,通过自生成学习策略训练模型研读材料,显著提升知识吸收并构建更事实性的模型。
2025-08-13 cs.AI cs.CL
Dissecting Recall of Factual Associations in Auto-Regressive Language Models
Google DeepMind(谷歌DeepMind);Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院)
本文通过信息流分析揭示自回归语言模型回忆事实关联的三步内部机制,即主体表征富集、关系信息传播及注意力头查询提取,为知识定位与编辑研究提供新视角。
2023-10-13 cs.CL
IELM: An Open Information Extraction Benchmark for Pre-Trained Language Models
Washington University in St. Louis(华盛顿大学圣路易斯分校);Tsinghua University(清华大学);UC Berkeley(加州大学伯克利分校)
我们介绍了一个新的开放信息抽取(OIE)基准预训练语言模型(LM)。最近的研究表明,预先训练的LM,如BERT和GPT,可以存储语言和关系知识。特别是,LM能够回答“填空”问题时,给出了一个预先定义的关系类别。而不是专注于预定义的关系,我们创建了一个OIE基准,旨在全面检查存在于预先训练的LM中的开放关系信息。我们通过将预先训练的LM变成zero-shot OIE系统来实现这一点。令人惊讶的是,预先训练的LM能够在标准OIE数据集(CaRB和Re-OIE 2016)和我们通过远程监督建立的两个新的大规模事实OIE数据集(TAC KBP-OIE和Wikidata-OIE)上获得有竞争力的性能。例如,zero-shot预训练的LM在我们的实际OIE数据集上优于最先进的监督OIE方法的F1得分,而无需使用任何训练集。我们的代码和数据集可在https://github.com/cgraywang/IELM上获得
2022-10-25 cs.AI cs.CL cs.LG
MemLLM: Finetuning LLMs to Use An Explicit Read-Write Memory
Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心);Munich Center for Machine Learning(慕尼黑机器学习中心);Microsoft(微软公司)
针对大语言模型依赖参数内存导致的记忆罕见事件、更新知识及防止幻觉等问题,提出MemLLM集成显式读写内存模块,实验证明其提升了模型性能与可解释性,是增强LLM事实性的重要进展。
2025-04-17 cs.CL
AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts
University of California, Irvine(加州大学欧文分校);University of California, Berkeley(加州大学伯克利分校)
预训练语言模型的巨大成功促使人们研究这些模型在预训练过程中学习到了什么样的知识。将任务重新表述为填空题(例如,完形填空)是测量这些知识的自然方法,然而,它的使用受限于书写适当提示所需的手工努力和猜测。为了解决这个问题,我们开发了AutoPrompt,这是一种自动化的方法,可以根据梯度引导搜索为不同的任务创建提示。使用AutoPrompt,我们表明,掩蔽的语言模型(MLMs)具有固有的能力,执行情感分析和自然语言推理,而无需额外的参数或微调,有时达到与最近的国家的最先进的监督模型的性能。我们还表明,我们的提示引起更准确的事实知识MLMs比手动创建的提示LAMA基准,MLMs可以更有效地作为关系提取器比监督关系抽取模型。这些结果表明,自动生成的提示是现有探测方法的可行的无参数替代方案,并且随着预先训练的LM变得更加复杂和有能力,可能会取代微调。
2020-11-07 cs.CL cs.LG
SocraticKG: Knowledge Graph Construction via QA-Driven Fact Extraction
Department of Biosystems Engineering, Seoul National University(首尔国立大学生物系统工程系);Artificial Intelligence Institute, Seoul National University(首尔国立大学人工智能研究所);Interdisciplinary Program in Artificial Intelligence, Seoul National University(首尔国立大学人工智能跨学科项目);Interdisciplinary Program in Cognitive Science, Seoul National University(首尔国立大学认知科学跨学科项目)
本文提出SocraticKG方法,通过引入问答对作为中间表示,系统展开文档语义,提升知识图谱的事实保留与结构连贯性,支持复杂多跳推理。
2026-04-23 cs.CL
Distant finetuning with discourse relations for stance classification
Tencent AI Lab(腾讯人工智能实验室)
立场分类任务是理解辩论中的论证和检测假新闻的重要任务,其方法一直依赖于处理单个辩论主题的模型。为了训练一个与主题无关的系统,本文提出了一种新的方法,从原始文本中提取带有银标签的数据,以微调立场分类模型。该提取依赖于特定的话语关系信息,这是一个可靠的和准确的来源,提供立场信息。我们还提出了一个3阶段的训练框架,其中用于微调的数据中的噪声水平在从最嘈杂到最嘈杂的不同阶段降低。详细的实验表明,自动标注的数据集以及3阶段的训练有助于提高模型的立场分类性能。我们的方法在NLPCC 2021共享任务AI Debater的论证性文本理解的立场分类轨道中的26个竞争团队中排名第一,这证实了我们方法的有效性。
2022-04-27 cs.CL
Applying Relation Extraction and Graph Matching to Answering Multiple Choice Questions
Graduate School of Informatics, Kyoto University(京都大学信息科学研究生院);Center for Innovative Research and Education in Data Science, Kyoto University(京都大学数据科学创新研究与教育中心)
针对填空类多项选择题解答,本文结合基于Transformer的关系抽取与知识图谱匹配方法,通过关系图转换、闭世界假设下的事实验证答题,准确率最高约70%且过程可追溯。
2025-11-18 cs.CL cs.IR
BanglaSummEval: Reference-Free Factual Consistency Evaluation for Bangla Summarization
Islamic University of Technology(伊斯兰科技大学);York University(约克大学)
BanglaSummEval通过无参考文献的问答框架评估孟加拉语摘要的事实一致性,结合BERTScore-Recall实现语义一致性检测,验证了其在教育和医疗领域的有效性。
2026-02-18 cs.CL
Improving Factual Completeness and Consistency of Image-to-Text Radiology Report Generation
Stanford University(斯坦福大学)
神经图像到文本放射学报告生成系统通过减少报告起草的重复过程和识别可能的医疗错误,提供了改进放射学报告的潜力。然而,现有的报告生成系统,尽管实现了高性能的自然语言生成度量,如CIDER或BLEU,仍然遭受不完整和不一致的代。在这里,我们介绍了两个新的简单的奖励,以鼓励生成事实上完整和一致的放射学报告:一个鼓励系统生成与参考一致的放射学领域实体,以及一个使用自然语言推理,以鼓励这些实体被描述在不一致的方式。我们将这些与现有的语义等价度量(BERTScore)的新用途相结合。我们进一步提出了一个报告生成系统,通过强化学习优化这些奖励。在两个开放的放射学报告数据集上,我们的系统将临床信息抽取性能的F1评分大幅提高了+22.1(Delta +63.9%)。我们通过人工评估和定性分析进一步表明,与基线相比,我们的系统导致了更真实完整和一致的世代。
2021-04-12 cs.CL
MiniConGTS: A Near Ultimate Minimalist Contrastive Grid Tagging Scheme for Aspect Sentiment Triplet Extraction
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Academy of Engineering and Technology, Fudan University(复旦大学工程与技术学院);Shanghai Jiao Tong University(上海交通大学);School of Information Science and Technology, Fudan University(复旦大学信息科学与技术学院)
本文提出MiniConGTS,通过极简标注方案与令牌级对比学习改进预训练表示,以更低计算开销实现与最先进方法相当或更优的方面情感三元组抽取性能,并首次评估GPT-4在该任务上的表现。
2024-09-30 cs.AI cs.CL
PlainQAFact: Retrieval-augmented Factual Consistency Evaluation Metric for Biomedical Plain Language Summarization
School of Information Sciences, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校信息科学学院)
本文提出PlainQAFact,一种针对生物医学平白语言摘要中详尽解释的事实一致性评估指标,通过检索增强的问答方法,有效评估源简化和详尽解释句子的事实一致性。
2026-03-19 cs.CL
Knowledge-Augmented Language Model Verification
KAIST(韩国科学技术院)
本文提出一种独立的验证器机制,通过指令微调的小型语言模型检测知识增强语言模型中的检索与生成错误,并结合指令集成提升验证可靠性,使模型输出更符合事实。
2023-10-19 cs.CL cs.LG
Grammar-Constrained Decoding for Structured NLP Tasks without Finetuning
EPFL(洛桑联邦理工学院);Université Grenoble Alpes, CNRS, Grenoble INP, LIG(格勒诺布尔阿尔卑斯大学,国家科学研究中心,格勒诺布尔理工学院,格勒诺布尔信息学实验室)
本文提出输入依赖语法约束解码方法,无需微调即可统一控制语言模型生成结构化输出,在信息抽取、实体消歧和成分句法解析任务上显著优于无约束模型甚至超越微调模型。
2024-01-18 cs.AI cs.CL cs.LG
MLRIP: Pre-training a military language representation model with informative factual knowledge and professional knowledge base
School of Automation, Nanjing University of Science and Technology(自动化学院,南京理工大学)
针对现有方法未能充分利用军事文本内在战术关联且引入外部噪声的问题,提出MLRIP预训练框架,通过分层知识整合与双阶段实体替换机制建模军事实体作战关联,在多项军事NLP任务上取得最先进性能。
2025-10-14 cs.CL
Training Language Models with Language Feedback at Scale
New York University(纽约大学);FAR AI;University of the Basque Country UPV/EHU(巴斯克大学);University of Sussex(萨塞克斯大学);Genentech(基因泰克公司);CIFAR LMB(加拿大高级研究院分子生物学与遗传学实验室);Anthropic(Anthropic公司)
本文提出基于语言反馈的模仿学习(ILF),通过生成、选择和微调三个迭代步骤利用信息更丰富的语言反馈训练语言模型,实验表明其性能随数据规模良好扩展并达到人类水平摘要效果。
2024-02-22 cs.AI cs.CL cs.LG
Conversation AI Dialog for Medicare powered by Finetuning and Retrieval Augmented Generation
University of Florida(佛罗里达大学);National Institute of Technology Calicut(卡利卡特国家理工学院);SRM, Chennai(SRM大学(金奈));University of Cincinnati(辛辛那提大学);Dartmouth College(达特茅斯学院);Arizona State University(亚利桑那州立大学)
本研究比较了LoRA微调与RAG框架在医患对话中的表现,评估Llama-2、GPT和LSTM模型的语言质量、事实准确性及安全性,并探索领域知识整合对LLM性能的提升作用。
2025-02-04 cs.AI cs.CL
REACT: Representation Extraction And Controllable Tuning to Overcome Overfitting in LLM Knowledge Editing
NLPR, MAIS, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所国家信息处理实验室、人工智能研究所);Cuiying Honors College, Lanzhou University(兰州大学萃英荣誉学院);Department of Mathematics, The Chinese University of Hong Kong(香港中文大学数学系);Tencent(腾讯)
针对大语言模型知识编辑中的过拟合问题,REACT通过两阶段框架(提取潜在事实表示并计算信念转移向量,再以分类器门控的可控扰动进行编辑)在EVOKE、COUNTERFACT和MQuAKE基准上显著降低过拟合,同时保持编辑的可靠性、局部性和通用性。
2025-05-25 cs.AI cs.CL
LSOIE: A Large-Scale Dataset for Supervised Open Information Extraction
Roboflow, Inc.(Roboflow公司);Rosegold AI(玫瑰金人工智能)
开放式信息抽取(OIE)系统试图将句子的事实命题压缩成一系列n元元组。这些元组对于自然语言处理中的下游任务很有用,如知识库创建、文本蕴涵和自然语言理解。然而,目前OIE的数据集在规模和多样性方面都很有限。我们通过将QA-SRL 2.0数据集转换为大规模OIE数据集(LSOIE)来引入新的数据集。我们的LSOIE数据集比下一个最大的人类注释OIE数据集大20倍。我们构建和评估几个基准OIE模型LSOIE,为未来的改进任务提供基线。我们的LSOIE数据、模型和代码是公开的
2021-01-27 cs.AI cs.CL
Mechanistic Understanding and Mitigation of Language Model Non-Factual Hallucinations
University of Toronto(多伦多大学);McGill University(麦吉尔大学);Mila – Québec AI Institute(米拉-魁北克人工智能研究所);University of California, Riverside(加州大学河滨分校)
本文通过诊断数据集和可解释性方法揭示 Llama-2、Pythia、GPT-J 中非事实性幻觉的两类内部机制,并据此提出恢复事实回忆流水线的缓解方法,效果优于基线。
2024-06-17 cs.AI cs.CL
Knowledgeable or Educated Guess? Revisiting Language Models as Knowledge Bases
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Tencent Inc.(腾讯公司)
以往的文献表明,预训练的掩蔽语言模型(MLMs),如BERT,可以在一些数据集上实现竞争性的事实知识提取性能,这表明MLMs可能是一个可靠的知识源。在本文中,我们进行了严格的研究,以探索潜在的预测机制的MLMs在不同的提取范式。通过研究多层次模型的行为,我们发现,以前的体面的性能主要归功于有偏见的提示,过度拟合数据集工件。此外,结合说明性案例和外部上下文,提高知识预测,主要是由于实体类型的指导和黄金答案泄漏。我们的研究结果揭示了多层膜的潜在预测机制,并强烈质疑以前的结论,即目前的多层膜可以作为可靠的事实知识基础。
2021-06-17 cs.AI cs.CL
Enhancing Document-level Relation Extraction by Entity Knowledge Injection
Nanjing University(南京大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
文档级关系抽取(RE)的目的是识别贯穿整个文档的实体之间的关系。它需要复杂的推理技巧来综合各种知识,如共指和常识。大规模的知识图谱包含了大量的真实世界事实,可以为文档级RE提供有价值的知识。在本文中,我们提出了一个实体知识注入框架,以加强目前的文档级RE模型。具体来说,我们引入共指提取注入共指知识,赋予RE模型更一般的共指推理能力。我们还采用表示和解注入事实知识和聚合KG表示和文档表示到一个统一的空间。在两个基准数据集上的实验验证了我们的实体知识注入框架的通用性和对几个文档级RE模型的一致性改进。
2022-07-23 cs.CL
ASPER: Answer Set Programming Enhanced Neural Network Models for Joint Entity-Relation Extraction
New Mexico State University(新墨西哥州立大学)
本文提出ASPER模型,通过在神经网络学习过程中结合答案集编程(ASP)表示的事实知识与推导知识,实现联合实体关系抽取,在两个真实数据集上持续优于基线方法。
2023-05-24 cs.AI cs.CL cs.LG
M$^2$PT: Multimodal Prompt Tuning for Zero-shot Instruction Learning
Rochester Institute of Technology(罗切斯特理工学院);U.S. Naval Research Laboratory(美国海军研究实验室);Harvard Medical School(哈佛医学院);ByteDance(字节跳动);Meta AI;Meituan(美团);University of Science and Technology of China(中国科学技术大学);Shanghai Academy of AI for Science(上海人工智能科学研究院);Fudan University(复旦大学);University of Missouri - Kansas City(密苏里大学堪萨斯城分校);University of California - Davis(加利福尼亚大学戴维斯分校)
针对现有参数高效微调方法多忽略多模态特性的问题,提出M$^2$PT多模态提示调优方法,分别向视觉编码器和语言处理器整合对应模态提示以促进跨模态特征提取与对齐,在多数据集上性能优于现有最优基线且经消融实验验证有效。
2024-10-30 cs.AI cs.CL cs.LG
Semantic Role Labeling for Knowledge Graph Extraction from Text
ISTC, CNR(意大利国家研究委员会科技认知研究所);University of Bologna(博洛尼亚大学);Università degli Studi di Cagliari(卡利亚里大学)
介绍了一种新的语义角色标注方法TakeFive,该方法将文本转换为面向框架的知识图谱。它执行依存句法分析,识别唤起词汇框架的单词,定位每个框架的角色和填充符,运行强制技术,并将结果形式化为知识图谱。这种形式化表示符合Framester中使用的框架语义,Framester是一种事实语言链接的数据资源。所获得的精确度,召回率和F1值表明TakeFive与其他现有方法,如SEMAFOR,Pikes,PathLSTM和FRED具有竞争力。最后讨论了如何将TakeFive和FRED相结合,获得更高的查准率、查全率和F1值。
2018-11-04 cs.AI cs.CL
DeepStruct: Pretraining of Language Models for Structure Prediction
UC Berkeley(加州大学伯克利分校);Tsinghua University(清华大学)
介绍了一种提高语言模型结构理解能力的方法。与之前使用特定于任务的增强来微调模型的方法不同,我们在一组与任务无关的语料库上预训练语言模型,以从文本生成结构。我们的结构预训练能够实现模型关于结构任务的学习知识的zero-shot转移。我们研究了这种方法在28个数据集上的性能,包括开放信息抽取,联合实体和关系抽取,命名实体识别,关系分类,语义角色标注,事件提取,共指消解,事实探测,意图检测和对话状态跟踪。我们使用特定于任务的训练集进一步增强了预训练。我们表明,一个10 B参数语言模型转移到大多数任务的非平凡,并获得了最先进的性能,我们评估的28个数据集的21。
2023-03-06 cs.AI cs.CL cs.LG
Massively Multilingual Language Models for Cross Lingual Fact Extraction from Low Resource Indian Languages
IIIT Hyderabad(国际信息技术学院海得拉巴分校)
像Wikidata这样的大规模知识图谱试图捕捉关于多个实体的世界知识。最近的方法集中在自动丰富这些KG从文本。然而,在低资源语言中,以自然文本形式存在的许多信息往往会被遗漏。跨语言信息抽取的目的是从低资源的印度语文本中抽取英语三元组形式的事实信息。尽管具有巨大的潜力,但与单语信息抽取相比,这项任务取得的进展仍然滞后。在本文中,我们提出了跨语言事实提取(CLFE)的任务,并设计了一个端到端的生成方法,实现了整体的F1得分为77.46。
2023-02-09 cs.AI cs.CL cs.IR
Method-Based Reasoning for Large Language Models: Extraction, Reuse, and Continuous Improvement
School of Computer Science, Chengdu University of Information Technology(计算机科学学院,成都信息科技学院)
针对大语言模型推理依赖训练数据统计模式的局限,提出基于方法的模型,从多源提取可复用方法并外部存储排序,新查询时检索应用相关方法,实现持续学习与逻辑一致,提升复杂提示的事实验证和泛化能力。
2025-08-07 cs.AI cs.CL cs.LG
WikiBigEdit: Understanding the Limits of Lifelong Knowledge Editing in LLMs
Tübingen AI Center, University of Tübingen(图宾根人工智能中心,图宾根大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Technical University, Munich(慕尼黑技术大学);University of Virginia(弗吉尼亚大学)
本文提出大规模真实世界知识编辑基准 WikiBigEdit,包含超50万问答对,用于评估现有终身知识编辑技术并对比检索增强与持续微调的实际能力。
2025-09-21 cs.CL cs.LG
Scaling Laws for Hypernetwork-Based Knowledge Injection in Large Language Models
Nace AI(Nace人工智能公司);Purdue University(普渡大学)
研究大语言模型训练时知识注入问题,核心方法是用超网络生成LoRA适配器,主要贡献是发现超网络注入能力随规模变化规律,能可靠进行分布外泛化,为训练时适应提供新基础及缩放定律。
2026-07-23 cs.CL cs.LG