Benchmarking Embedding Geometries and Clustering Algorithms for Unsupervised Patent Claim Classification
该研究测试双曲VAE等模型在无监督专利权利要求分类中的性能,发现双曲模型跨类别检索现有技术的能力优于欧氏模型,且领域分类特征可预测方法价值。
2026-10-12 cs.AI cs.CL
Deep Patent Landscaping Model Using Transformer and Graph Embedding
Gachon University(嘉泉大学);NAVER Corp.(NAVER公司)
专利景观是一种用于在研究和开发(R&D)项目期间搜索相关专利的方法。为了避免专利侵权的风险,并遵循当前的技术趋势,专利景观设计是研发项目早期阶段的一项重要任务。由于专利景观设计过程需要先进的资源并且可能是繁琐的,因此对自动化专利景观设计的需求逐渐增加。然而,由于缺乏定义明确的基准数据集和可比模型,很难找到相关的研究。在本文中,我们提出了一个基于深度学习的自动专利景观模型。为了分析专利文本,该模型使用了一种改进的Transformer结构。为了分析专利的元数据,我们提出了一个图嵌入方法,使用一个扩散图称为Diff2Vec。此外,我们还介绍了四个基准数据集,用于比较专利景观的相关研究。这些数据集是通过查询Google BigQuery生成的,基于韩国专利律师的搜索公式。实验结果表明,与现有的专利景观模型相比,本文提出的模型和数据集可以达到最先进的性能。
2019-11-22 cs.CL cs.DL
PILOT-Bench: A Benchmark for Legal Reasoning in the Patent Domain with IRAC-Aligned Classification Tasks
Pukyong National University(浦项国立大学);Tomocube Inc.(Tomocube公司)
PILOT-Bench通过IRAC对齐的分类任务评估专利领域法律推理能力,揭示闭源与开源模型在推理性能上的显著差异。
2026-01-08 cs.AI cs.CL
Benchmarking Patent Drafting from Inventor-Style Disclosures
University of Cambridge(剑桥大学);Chinese Academy of Sciences(中国科学院);University of Chinese Academy of Sciences(中国科学院大学)
本研究针对从发明人风格披露文件生成专利申请的现实需求,构建了Dis2Pat数据集,并提出可本地部署的多智能体框架Patent-MAF,实验表明该框架在专利撰写任务上表现优于多数开源模型且可与闭源模型竞争。
2026-08-24 cs.CL
The Harvard USPTO Patent Dataset: A Large-Scale, Well-Structured, and Multi-Purpose Corpus of Patent Applications
Stanford University(斯坦福大学);Oxford University(牛津大学);Harvard University(哈佛大学);a16z crypto(a16z加密基金)
创新是经济和社会发展的主要驱动力,有关许多创新的信息都嵌入在专利和专利申请的半结构化数据中。虽然专利数据中表达的创新的影响和新颖性很难通过传统手段来衡量,但ML提供了一套很有前途的技术来评估新颖性,总结贡献和嵌入语义。在本文中,我们介绍了哈佛USPTO专利数据集(HUPD),这是一个大规模,结构良好,多用途的英语专利申请语料库,于2004年至2018年期间提交给美国专利商标局(USPTO)。HUPD拥有超过450万份专利文档,是同类语料库的两到三倍。与以前提出的NLP专利数据集不同,HUPD包含发明人提交的专利申请版本-而不是授权专利的最终版本-从而使我们能够首次使用NLP方法在申请时研究专利性。它在专利申请文本中包含丰富的结构化元数据也是新颖的:通过提供每个应用程序的元数据及其所有文本字段,该数据集使研究人员能够执行新的NLP任务集,这些任务利用结构化协变量的变化。作为HUPD使研究类型成为可能的案例研究,我们向NLP社区介绍了一项新任务-即专利决策的二元分类。我们还显示了数据集中提供的结构化元数据,使我们能够对这项任务的概念转变进行明确的研究。最后,我们展示了如何HUPD可以用于三个额外的任务:多类分类的专利主题领域,语言建模和摘要。
2022-07-08 cs.CL cs.CY cs.LG
PatFig: Generating Short and Long Captions for Patent Figures
Qatent;Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心)
本文提出大规模专利附图数据集Qatent PatFig,包含超3万张附图及其短长标题、参考标号和最小权利要求集,并通过微调LVLM模型验证其可用性及文本线索对生成效果的影响。
2023-09-15 cs.CL cs.CV
PANORAMA: A Dataset and Benchmarks Capturing Decision Trails and Rationales in Patent Examination
KAIST(韩国科学技术院);LG AI Research(LG人工智能研究);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
针对现有专利审查NLP研究忽略逐步评估过程的问题,构建了包含8143条美国专利审查记录的PANORAMA数据集与序列基准,发现LLM在检索现有技术上表现较好但难以评估权利要求的新颖性与非显而易见性。
2025-10-25 cs.CL cs.CY
DAPFAM: A Domain-Aware Family-level Dataset to benchmark cross domain patent retrieval
Institut National des Sciences de l'Univers, Strasbourg(斯特拉斯堡国家科学大学)
DAPFAM通过引入基于IPC3重叠的新方案,构建了包含1247个查询家族和45336个目标家族的家族级基准数据集,通过249次实验揭示跨领域检索中的显著领域差距,展示了段落级检索和密集方法的效果。
2025-09-03 cs.CL cs.IR
Deep learning-based citation recommendation system for patents
Konkuk University(建国大学);TEAMLAB;Gachon University(嘉泉大学)
在这项研究中,我们解决了开发一个基于深度学习的自动专利引文推荐系统的挑战。虽然基于深度学习的推荐系统在各个领域(如电影、产品和论文引用)都表现出了出色的性能,但由于缺乏免费提供的高质量数据集和相关基准模型,它们在专利引用中的有效性尚未得到研究。为了解决这些问题,我们提出了一个名为PatentNet的新数据集,其中包括来自Google Big Query服务的大约110,000项专利的文本信息和元数据。此外,我们提出了强大的基准模型,考虑到文本信息和元数据(如合作专利分类代码)的相似性。与现有的推荐方法相比,所提出的基准方法在测试集上实现了0.2377的平均倒数排名,而现有的最先进的推荐方法实现了0.2073。
2020-10-21 cs.AI cs.CL cs.IR
PatenTEB: A Comprehensive Benchmark and Model Family for Patent Text Embedding
ICUBE Laboratory INSA Strasbourg(ICUBE实验室 国立斯特拉斯堡应用科学学院)
针对专利文本嵌入缺乏专门基准的问题,提出PatenTEB基准(15任务、206万样本)及patembed模型家族,通过多任务训练和领域预训练实现外部泛化性能领先。
2025-10-25 cs.AI cs.CL cs.IR
Semantic Similarity Matching for Patent Documents Using Ensemble BERT-related Model and Novel Text Processing Method
The University of Chicago(芝加哥大学);Zhejiang University(浙江大学);Trine University(特里恩大学);The George Washington University(乔治·华盛顿大学)
本文针对专利文献语义相似度匹配问题,提出融合四个BERT相关模型的集成方法和面向专利文本的新型预处理方法,并在美国专利短语匹配数据集上验证了其有效性。
2024-01-06 cs.AI cs.CL
Patent Representation Learning via Self-supervision
提出混合dropout-章节正样本策略,利用专利内部结构进行自监督对比学习,无需标签或引用,在EPO检索、DAPFAM基准和IPC分类上优于基线。
2026-09-09 cs.AI cs.CL cs.LG
SciTBERT: A family of chronologically consistent language models for scientific and technological language processing
Carlson School of Management, University of Minnesota(明尼苏达大学卡尔森管理学院)
该研究提出SciTBERT及SciTBERT-CI时间一致性语言模型家族,通过时间约束训练优化科技领域表示,在PatRepEval基准等任务上表现优于前代领域特定模型。
2026-10-09 cs.CL cs.LG
Technical Progress Analysis Using a Dynamic Topic Model for Technical Terms to Revise Patent Classification Codes
Tokyo Institute of Technology(东京工业大学)
日本专利被分配了一个专利分类代码,FI(文件索引),这是日本独有的。FI是IPC的一个细分,IPC是一个国际专利分类代码,与日本技术有关。财务信息不断修订,以跟上技术发展的步伐。自2006年以来,这些修订已经建立了30,000多个新的金融机构。然而,这些修订需要大量的时间和工作量。此外,这些修订不是自动化的,因此效率低下。因此,使用机器学习来辅助专利分类代码(FI)的修订将导致准确性和效率的提高。本研究从用机器学习辅助专利分类代码修订这一新视角分析专利文献。为了分析专利的时间序列变化,我们使用了动态主题模型(DTM),这是潜在狄利克雷分配(LDA)的扩展。此外,与英语不同,日语需要形态分析。专利包含许多日常生活中不使用的技术词汇,因此使用普通词典进行词法分析是不够的。因此,我们使用了一种从文本中提取技术术语的技术。在提取技术术语之后,我们将其应用于DTM。在这项研究中,我们确定了照明类别F21 14年来的技术进步,并将其与专利分类代码的实际修订进行了比较。换句话说,我们从日本专利中提取技术术语并应用DTM来确定日本技术的进展。然后,我们从利用机器学习修订专利分类代码的新视角对结果进行了分析。结果发现,那些话题呈上升趋势的,都被判定为新技术。
2020-12-18 cs.CL
Automated Neural Patent Landscaping in the Small Data Regime
Florida International University(佛罗里达国际大学);Knight Foundation School of Computing and Information Sciences(奈特基金会计算与信息科学学院)
针对小数据下专利态势分析标注成本高的问题,提出结合种子/反种子方法与主动学习结合的神经专利态势分析系统,性能提升显著,性能提升显著,构建了新数据集并开源代码数据。
2024-07-10 cs.AI cs.CL cs.IR
Improving Patent Mining and Relevance Classification using Transformers
Univ Montpellier(蒙彼利埃大学);IMT Mines Alès(法国国立高等矿业电信学校联盟阿莱斯矿业学院);Total Research and Technology(道达尔研究与技术公司)
专利分析和挖掘对公司来说是一个耗时且成本高昂的过程,但如果他们愿意保持竞争力,则必不可少。为了应对大量专利所带来的过载,我们的想法是自动过滤它们,只给专家带来少数可阅读的内容。本文报告了对预训练的深度自然语言处理模型进行微调和再训练在专利分类中的成功应用。我们提出的解决方案结合了几种最先进的处理方法来实现我们的目标-减少工作量,同时保持召回率和精度指标。
2021-07-02 cs.CL
DLT-Corpus: A Large-Scale Text Collection for the Distributed Ledger Technology Domain
Centre for Blockchain Technologies, University College London(区块链技术中心,伦敦大学学院);School of Informatics, University of Edinburgh(信息学院,爱丁堡大学);Exponential Science Foundation(指数科学基金会)
本文构建了DLT-Corpus,一个包含29.8亿词元、覆盖科学文献、专利和社交媒体的大规模领域语料库,并基于此分析了技术涌现模式与市场创新关联,同时发布了领域预训练模型LedgerBERT、情感分析数据集等资源。
2026-05-27 cs.CL
From scratch to silver: Creating trustworthy training data for patent-SDG classification using Large Language Models
Department of Industrial Engineering, Polytechnic University of Turin(工业工程系,都灵理工学院);Venice School of Management, Ca Foscari University of Venice(威尼斯管理学院,威尼斯福斯卡里大学)
本文提出利用弱监督和大型语言模型构建专利-SDG分类的银标准数据集,通过复合标注函数提取结构化概念并校准,实验证明其优于基线,可扩展地提升分类性能。
2025-09-11 cs.CL
Solar cell patent classification method based on keyword extraction and deep neural network
随着ESG对企业的影响越来越大,与可再生能源相关的研究受到了极大的关注。太阳能电池就是其中之一,因此,可以说太阳能电池专利分析的研究价值非常高。专利文献具有很高的研究价值。能够准确地分析和分类专利文件可以揭示几个重要的技术关系。它还可以描述该技术的业务趋势。而在投资方面,也会激发并提出新的工业解决方案来做出重要决策。因此,我们必须仔细分析专利文件,利用专利的价值。针对太阳能电池专利分类问题,提出了关键词提取方法和基于深度神经网络的太阳能电池专利分类方法。首先,对太阳能电池专利进行预处理分析。然后使用KeyBERT算法从专利摘要中提取关键词和关键短语,构建词汇词典。基于深度神经网络构建了太阳能电池专利分类模型。最后,我们使用基于深度神经网络的太阳能电池专利分类模型对电力专利进行分类,训练准确率大于95%。验证准确率约为87.5%。可见,深度神经网络方法不仅可以实现对复杂、困难的太阳能电池专利的分类,而且分类效果良好。
2021-12-09 cs.CL cs.IR
PatentBERT: Patent Classification with Fine-Tuning a pre-trained BERT Model
National Taiwan University(台湾大学)
在这项工作中,我们专注于微调预训练的BERT模型,并将其应用于专利分类。当应用于超过200万个专利的大型数据集时,我们的方法优于使用词嵌入的CNN的方法。此外,我们专注于专利文件中没有其他部分的专利权利要求。我们的贡献包括:(1)基于预训练的BERT模型和微调的专利分类新方法,(2)CPC子类级别的大型数据集USPTO-3M,可供未来研究人员使用的SQL语句,(3)与传统观点相比,专利权利要求本身就足以完成分类任务。
2019-07-01 cs.CL cs.LG stat.ML
Multi label classification of Artificial Intelligence related patents using Modified D2SBERT and Sentence Attention mechanism
University of Auckland(奥克兰大学);NHN Diquest(NHN Diquest公司);Yonsei University(延世大学)
专利分类是专利信息管理和专利知识挖掘的重要内容。对与人工智能相关的专利进行分类是非常重要的,这是这些天最大的话题。但是,与人工智能相关的专利非常难以分类,因为它混合了复杂的技术和法律术语。而且,由于目前算法的性能不理想,它仍然大多是手工完成的,浪费了大量的时间和金钱。因此,我们提出了一种使用自然语言处理技术和深度学习方法对USPTO公布的人工智能相关专利进行分类的方法。我们使用变形的BERT和句子注意克服了BERT的局限性。与其他深度学习方法相比,我们的实验结果是最高的性能。
2023-03-03 cs.AI cs.CL
Self-Filtered Distillation with LLMs-generated Trust Indicators for Reliable Patent Classification
Frontier AI Research Centre, School of Computing, Faculty of Science and Engineering, Macquarie University(前沿人工智能研究中心,计算机学院,科学与工程学院,麦考瑞大学)
本文提出自过滤蒸馏方法,通过将LLM生成的推理作为信任指标而非真实标签,提升专利分类的可靠性,实验显示在USPTO-2M数据集上宏F1指标提升了38.7%。
2026-05-19 cs.CL
Patent-CR: A Dataset for Patent Claim Revision
University of Cambridge(剑桥大学)
本文提出首个专利权利要求修订数据集Patent-CR,评估多种LLM的修订效果,发现GPT-4最优但仍需改进,并揭示自动评估与人工评估的不一致性。
2025-05-25 cs.CL
Reasoning for Hierarchical Text Classification: The Case of Patents
University of Cambridge(剑桥大学);National Science Library, Chinese Academy of Sciences(中国科学院国家科学图书馆);Department of Information Resources Management, School of Economics and Management, University of Chinese Academy of Sciences(中国科学院大学经济管理学院信息资源管理系)
针对层级文本分类缺乏可解释性的问题,提出RHC框架,将分类重构为逐步推理任务,结合冷启动与强化学习训练LLM,在专利及其他基准上提升准确率约3%并增强可解释性。
2026-10-20 cs.CL
BERT-CNN: a Hierarchical Patent Classifier Based on a Pre-Trained Language Model
School of Foreign Languages and Cultures, Xiamen University(厦门大学外文学院);DeepAI Tech Co., Ltd(深湃信息科技(深圳)有限公司)
自动分类是将文本文档自动分配到预定义类别的过程。一个准确的专利自动分类器对于专利发明人和专利审查员在知识产权保护、专利管理和专利信息检索等方面都是至关重要的。我们提出了BERT-CNN,一个基于预训练的语言模型的分层专利分类器,通过训练从中国国家信息中心收集的国家专利申请文件。实验结果表明,BERT-CNN的准确率达到84.3%,远远优于两个比较基线的方法,卷积神经网络和递归神经网络。我们没有将我们的模型应用于国际专利分类的第三和第四层次-“子类”和“组”。注意力机制的可视化显示BERT-CNN在表示词汇和语义方面获得了新的最先进的结果。本文证明了BERT-CNN在专利自动分类领域的实用性和有效性。
2019-11-03 cs.CL cs.LG
Can AI Examine Novelty of Patents?: Novelty Evaluation Based on the Correspondence between Patent Claim and Prior Art
Carnegie Mellon University(卡内基梅隆大学);Language Technology Institute, SCS(语言技术研究所,计算机科学学院)
针对专利新颖性评估这一传统审查难题,本文首次构建基于真实案例的数据集,探索大型语言模型(LLMs)通过对比权利要求与现有技术评估新颖性的能力,发现生成模型表现优于分类模型,为AI辅助专利审查提供基础。
2025-02-10 cs.CL
Seeing Through Green: Text-Based Classification and the Firm's Returns from Green Patents
IMT School for Advanced Studies, Lucca(IMT高级研究学院,卢塞拉);National Research Council of Italy (CNR)(意大利国家研究理事会);Research Institute on Sustainable Economic Growth, Unit of Rome(可持续经济增长研究 institutes,罗马单位)
本文用自然语言处理从官方文件识别真正绿色专利,约占先前分类的20%,并发现其引用少1%,持有此类专利可提升企业销售、份额与生产率,高新颖性者利润更高。
2025-10-16 cs.CL econ.GN q-fin.EC
Classifying Patents Based on their Semantic Content
London School of Economics(伦敦经济政治学院);Keio University(庆应义塾大学);Université Paris VII(巴黎第七大学);IFSTTAR(法国国家交通、规划与网络科技研究院);Ecole Nationale des Ponts et Chaussées(法国国立路桥学院)
在本文中,我们扩展了一些常见的分类技术,从大规模的数据挖掘和网络的方法。这项新技术特别适用于大数据,用于从1976年以来从美国专利局获取的400万项专利的原始数据构建开放的统一数据库。为了构建模式网络,我们不仅要查看每个专利标题,还要查看它们的完整摘要并相应地提取相关关键词。我们将这种分类称为语义方法,与更常见的技术方法相比,后者在考虑美国专利局技术类别时采用拓扑结构。此外,我们的文件,这两种方法有高度不同的拓扑措施和强有力的统计证据表明,它们具有不同的模型。这表明,我们的方法是一个有用的工具,提取内源性信息。
2016-12-27 cs.CL physics.soc-ph
ClaimBrush: A Novel Framework for Automated Patent Claim Refinement Based on Large Language Models
RIKEN(理化学研究所);Nara Institute of Science and Technology(奈良科学技术研究所);Aichi Institute of Technology(爱知工业大学);Tokyo Institute of Technology(东京工业大学)
本文提出ClaimBrush框架,通过构建专利权利要求改写数据集并微调大语言模型,结合基于审查员偏好的优化,实现优于基线方法的专利权利要求自动精炼。
2024-10-10 cs.AI cs.CL
Patents Phrase to Phrase Semantic Matching Dataset
Google Inc.(谷歌公司)
语义文本相似性有许多通用的基准数据集,但没有一个集中在专利和科学出版物中的技术概念上。这项工作的目的是填补这一空白,提出了一个新的人类评级的上下文短语短语匹配数据集。整个数据集包含接近$50,000$评级的短语对,每个短语对都有一个CPC(合作专利分类)类作为上下文。本文介绍了数据集和一些基线模型。
2022-08-01 cs.AI cs.CL cs.LG
Patent Sentiment Analysis to Highlight Patent Paragraphs
University of Passau(帕绍大学);BETTEN & RESCH(BETTEN & RESCH专利律师事务所)
给定专利文档,识别不同的语义注释是一个有趣的研究方面。文本注释帮助专利审查员和专利代理人等专利从业人员快速识别任何发明的关键论点,从而及时标记专利文本。在手动专利分析过程中,为了提高可读性,实践中通过标记段落来识别语义信息。这种语义标注过程是费力且耗时的。为了缓解这样的问题,我们提出了一种新的数据集来训练机器学习算法,以自动化突出显示过程。这项工作的贡献是:i)我们通过遍历十年来的USPTO专利开发了一个大小为15万个样本的多类、新颖的数据集,ii)使用强制性探索性数据分析来阐明数据的统计和分布,iii)开发基线机器学习模型以利用数据集来解决专利段落突出显示任务,iv)与此任务相关的数据集和代码通过专用GIT网页:www.example.com开源https://github.com/Renuk9390/Patent_Sentiment_Analysis以及v)提供了使用深度学习和特定于领域的预训练语言模型来扩展此工作的未来路径,以开发突出显示的工具。这项工作有助于专利从业人员自动突出语义信息,并有助于使用机器学习的能力创建可持续和有效的专利分析。
2021-11-06 cs.CL cs.IR cs.LG
Presenting Terrorizer: an algorithm for consolidating company names in patent assignees
Bordeaux School of Economics(波尔多经济学院);University of Bordeaux(波尔多大学)
针对专利受让人公司名称消歧难题,提出Terrorizer算法,结合NLP、网络理论和规则技术,在USPTO数据集上较现有算法F1更高,并减少42%以上名称。
2024-03-07 cs.CL cs.IR
Large-Scale Text Analysis Using Generative Language Models: A Case Study in Discovering Public Value Expressions in AI Patents
Georgia Institute of Technology(佐治亚理工学院);SKEMA Business School(SKEMA商学院);University of Manchester(曼彻斯特大学)
本文提出利用GPT-4生成标签与理由,在540万句美国AI专利文本中发现公共价值表达,并训练BERT分类器取得高F1分数,展示了生成式语言模型在大规模复杂文本分析中的优势。
2023-05-18 cs.CL cs.IR
Retrieval-Augmented Generation Systems for Intellectual Property via Synthetic Multi-Angle Fine-tuning
City University of Hong Kong(香港城市大学)
本文提出MQG-RFM框架,通过LLM模拟多角度用户提问并微调检索模型,以轻量级数据驱动方式显著提升专利问答检索准确率与生成质量,并已实际部署于ScholarMate平台。
2025-05-31 cs.AI cs.CL
DiTTO-LLM: Framework for Discovering Topic-based Technology Opportunities via Large Language Model
Department of Library and Information Science(图书馆与信息科学系);Chung-Ang University(Chung-Ang 大学);Insurance Strategy Planning Team(保险战略规划团队);Postal Savings & Insurance Development Institute(邮政储蓄与保险发展研究所);Future Technology Analysis Center(未来技术分析中心);Korea Institute of Science and Technology Information(韩国科学技术信息院)
本文提出DiTTO-LLM框架,利用大语言模型提取专利文本主题并追踪其时间变化,以发现新兴技术机会,实验验证了其识别未来技术演进趋势的潜力。
2025-09-10 cs.AI cs.CL cs.LG