IWLV-Ramayana: A Sarga-Aligned Parallel Corpus of Valmiki's Ramayana Across Indian Languages
Insight Publica（洞察公共）
本文介绍了一个跨印度语言的瓦尔米基Ramayana章节对齐平行语料库，包含英语、马拉雅拉姆语等完整层，其他语言层正在生产中，采用结构化JSONL格式，具备明确的来源元数据，适用于比较文学、语料库语言学等领域。
2026-03-21 cs.CL
Mapping the Podcast Ecosystem with the Structured Podcast Research Corpus
School of Information University of Michigan（信息学院密歇根大学）
本文通过构建大规模播客语料库，分析播客生态系统的结构、内容及响应性，为后续计算研究提供数据支持。
2025-12-19 cs.CL cs.CY
A Search Engine for Discovery of Scientific Challenges and Directions
Tel Aviv University（特拉维夫大学）；Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）；Georgia Institute of Technology（佐治亚理工学院）；Microsoft（微软公司）；Swedish Medical Group（瑞典医疗集团）
跟踪科学挑战，进步和新兴方向是研究的基本组成部分。然而，研究人员面临着大量的论文，阻碍了重要知识的发现。在生物医学中，这直接影响人类的生活。为了解决这个问题，我们提出了一个新的任务，提取和搜索的科学挑战和方向，以促进快速知识发现。我们构建并发布了一个专家注释的文本语料库，该语料库从全长论文中采样，标记有新颖的语义类别，这些类别概括了许多类型的挑战和方向。我们专注于与COVID-19大流行相关的大量跨学科工作，从生物医学到人工智能和经济学等领域。我们应用一个基于数据训练的模型来识别整个语料库中的挑战和方向，并构建一个专用的搜索引擎。在19名研究人员和临床医生使用我们的系统进行的实验中，我们在帮助知识发现方面优于流行的科学搜索引擎。最后，我们展示了在我们的资源上训练的模型可以推广到更广泛的生物医学领域和AI论文，突出了其广泛的实用性。我们公开我们的数据、模型和搜索引擎。https://challenges.apps.allenai.org/
2022-01-19 cs.CL cs.HC cs.IR
From Topic to Transition Structure: Unsupervised Concept Discovery at Corpus Scale via Predictive Associative Memory
Independent Researcher（独立研究者）
本文提出通过预测性联想记忆模型在大规模语料库中发现主题和转换结构，通过对比学习发现文本结构模式，并验证其在未见文本中的泛化能力。
2026-03-19 cs.AI cs.CL cs.IR
Structured RAG for Answering Aggregative Questions
ai21.com（ai21公司）
针对当前RAG方法难以处理需从大量文档收集信息并推理的聚合型查询的问题，提出S-RAG方法，通过构建语料库结构化表示并将自然语言查询转为形式化查询，在新数据集及公开基准上表现优于常见RAG系统和长上下文大语言模型。
2025-11-11 cs.CL cs.LG
String-based methods for tonal harmony: A corpus study of Haydn's string quartets
Texas Tech University（德克萨斯理工大学）
本章考虑如何基于字符串的方法可能会被改编，以解决音乐分析的问题，发现音乐组织，特别注意致力于音调和谐的分析。我首先将Mandler（1979）提出的心理组织分类法应用于音乐组织的概念。以这种分类法为指导，我然后提出证据的三个原则的音调和谐-递归，句法和递归-使用海顿弦乐四重奏语料库。
2020-06-27 cs.CL cs.IR
Towards Corpus-Scale Discovery of Selection Biases in News Coverage: Comparing What Sources Say About Entities as a Start
University of Pennsylvania（宾夕法尼亚大学）
本文提出一种无监督NLP概念框架，通过比较新闻信息源对争议实体的提及方式捕捉内容选择偏好，并在NELA-2020语料库上验证了该分布散度能有效指示信息源的意识形态倾向。
2023-04-06 cs.CL
MultiOpEd: A Corpus of Multi-Perspective News Editorials
University of Pennsylvania（宾夕法尼亚大学）
我们提出了MultiOpEd，一个开放领域的新闻社论语料库，支持有关的论证结构在新闻社论的各种任务，专注于自动的角度发现。新闻社论是一种说服性语篇，其论证结构通常是含蓄的。然而，社论中提出的论点通常围绕着一个简洁、集中的论点，我们称之为他们的观点。MultiOpEd旨在支持与自动视角发现相关的多个任务的研究，其中系统预计会产生一个总结所提出论点的单句论文陈述。我们认为，识别和抽象这样的自然语言的观点，从社论是一个关键的一步，研究隐含的论证结构的新闻社论。我们首先讨论挑战，并为我们的目标定义一些概念性任务。为了证明MultiOpEd和诱导任务的实用性，我们研究了多任务学习环境中的视角摘要问题，作为案例研究。我们发现，与诱导的任务作为辅助任务，我们可以提高质量的观点摘要生成。我们希望MultiOpEd将成为未来新闻编辑领域论证研究的有用资源。
2021-06-04 cs.CL
eCREAM-MedCorpus A Large-Scale Corpus of Clinical Notes for Italian
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；Istituto di Ricerche Farmacologiche Mario Negri IRCCS（马里奥·内格里药理研究所IRCCS）；University of Padua（帕多瓦大学）
本文介绍EDEN，一个大规模意大利语急诊临床笔记语料库，包含约400万份匿名笔记及6000份专家标注数据，用于支持大语言模型在医疗中的应用，并提出了CRF填充作为新的结构化信息提取基准。
2026-07-08 cs.AI cs.CL
Follow the Entities: A Corpus Map for Agentic Search
KAIST（韩国科学技术院）；Microsoft（微软）
针对大型文档集合中证据分散的问题，提出CorpusMap导航层，以实体为中心组织语料库，构建实体-文档图，使智能体高效收集证据，提升检索质量并减少token消耗。
2026-09-30 cs.AI cs.CL cs.IR
TDMSci: A Specialized Corpus for Scientific Literature Entity Tagging of Tasks Datasets and Metrics
IBM Research Europe（IBM欧洲研究院）
任务、数据集和评估集是理解实验科学论文的重要概念。然而，大多数先前关于科学文献的信息抽取的工作主要集中在摘要上，并且没有将数据集视为单独类型的实体（Zadeh和Schumann，2016; Luan等人，2018年）。在本文中，我们提出了一个新的语料库，其中包含从NLP论文中提取的2,000个句子的任务（T），数据集（D），度量（M）实体的领域专家注释。我们报告了使用简单的数据增强策略进行TDM提取的实验结果，并将我们的标记器应用于ACL Anthology中的约30，000篇NLP论文。该语料库向社区公开提供，以促进对科学出版物摘要的研究（Erera等人，2019年）和知识发现。
2021-01-25 cs.CL
S2ORC: The Semantic Scholar Open Research Corpus
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Washington（华盛顿大学）
我们介绍S2ORC，一个大型语料库的81.1米英语学术论文跨越许多学科。该语料库包含丰富的元数据、论文摘要、解析参考书目以及810万篇开放获取论文的结构化全文。全文使用自动检测的引用、图和表的内联提及进行注释，每个引用、图和表都链接到其相应的纸张对象。在S2ORC中，我们将来自数百家学术出版商和数字档案馆的论文聚合到一个统一的来源中，并创建了迄今为止最大的公开可用的机器可读学术文本集合。我们希望这一资源将促进研究和开发的工具和任务的文本挖掘学术文本。
2020-07-07 cs.CL cs.DL
Iterative Corpus Refinement for Materials Property Prediction Based on Scientific Texts
Interdisciplinary Centre for Advanced Materials Simulation（交叉学科先进材料模拟中心）
提出一种迭代语料库精炼框架，利用科学文本训练 Word2Vec 并监测成分—属性相关性收敛，从而在稀缺数据下筛选 ORR、HER、OER 高性能候选材料。
2025-06-10 cond-mat.mtrl-sci cs.CL
Men Also Like Shopping: Reducing Gender Bias Amplification using Corpus-level Constraints
University of Virginia（弗吉尼亚大学）；University of Washington（华盛顿大学）
语言越来越多地被用来定义丰富的视觉识别问题，支持来自网络的图像集合。在这些任务中使用结构化预测模型，以利用共现标签和视觉输入之间的相关性，但有可能无意中对网络语料库中发现的社会偏见进行编码。在这项工作中，我们研究的数据和模型与多标签对象分类和视觉语义角色标注。我们发现，（a）这些任务的数据集包含显著的性别偏见，（b）在这些数据集上训练的模型进一步放大了现有的偏见。例如，在训练集中，女性参与烹饪活动的可能性比男性高出33%以上，而经过训练的模型在测试时将差异进一步放大到68%。我们建议注入语料库级别的约束条件来校准现有的结构化预测模型，并设计了一个基于拉格朗日松弛的集体推理算法。我们的方法导致几乎没有性能损失的基本识别任务，但减少了47.5%和40.5%的多标签分类和视觉语义角色标注，分别偏置放大的幅度。
2017-07-29 cs.AI cs.CL cs.CV
The Materials Science Procedural Text Corpus: Annotating Materials Synthesis Procedures with Shallow Semantic Structures
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Massachusetts Institute of Technology（麻省理工学院）
材料科学文献包含了数以百万计的材料合成程序描述的非结构化自然语言文本。对这些合成过程的大规模分析将促进对材料合成的更深入的科学理解，并实现自动化合成规划。这种分析需要从原始文本中提取合成过程的结构化表示作为第一步。为了方便合成提取模型的训练和评估，我们引入了一个由领域专家标注的230个合成过程的数据集，这些合成过程具有表示合成句子语义的标记图。这个图中的节点是合成操作及其类型化参数，带标签的边指定节点之间的关系。我们详细描述了这个新的资源，并强调了一些具体的挑战，浅语义结构的科学文本注释。我们将语料库提供给社区，以促进科学信息抽取系统的进一步研究和开发。
2019-07-13 cs.CL cs.LG
The Leaf Clinical Trials Corpus: a new resource for query generation from clinical trial eligibility criteria
University of Washington（华盛顿大学）；Northeastern University（东北大学）；George Mason University（乔治梅森大学）
根据医疗条件、程序和药物使用等资格标准确定患者队列对于临床试验的招募至关重要。这些标准通常是最自然的描述在自由文本，使用语言熟悉的临床医生和研究人员。为了大规模地识别潜在的参与者，这些标准必须首先转化为对临床数据库的查询，这可能是劳动密集型的并且容易出错。自然语言处理（NLP）方法提供了一种将这种转换自动地转换成数据库查询的潜在手段。然而，它们必须首先使用语料库进行培训和评估，这些语料库足够详细地捕获临床试验标准。在本文中，我们介绍了叶临床试验（LCT）语料库，超过1,000个临床试验资格标准描述的人类注释语料库，使用高度粒度结构化的标签捕捉一系列生物医学现象。我们提供了我们的模式，注释过程，语料库质量和统计数据的细节。此外，我们目前的基线信息抽取结果在此语料库作为基准，为今后的工作。
2022-07-27 cs.CL
A Corpus with Multi-Level Annotations of Patients, Interventions and Outcomes to Support Language Processing for Medical Literature
Northeastern University（东北大学）；UT Austin（得克萨斯大学奥斯汀分校）；Rutgers University（罗格斯大学）；King’s College London（伦敦国王学院）；UPenn（宾夕法尼亚大学）
我们提供了一个包含5,000篇描述临床随机对照试验的医学文章摘要的语料库。注释包括描述入组患者人群、研究的干预措施及其比较内容以及测量的结局（“PICO”元素）的文本范围的分界。这些跨度在更细粒度的级别上被进一步注释，例如，其中的各个干预被标记并映射到结构化的医学词汇表上。我们从具有不同专业水平和成本的各种工人那里获得了注释。我们详细描述了我们的数据汇集过程和语料库本身。然后，我们概述了一系列具有挑战性的NLP任务，这些任务将有助于医学文献的搜索和循证医学的实践。
2018-06-11 cs.CL
A Faster Structured-Tag Word-Classification Method
已经提出了几种方法来处理语料库以归纳由语料库表示的子语言的标记集。本文研究了由McMahon（1994）提出的结构化标记词分类方法，McMahon & Smith（1995）在cmp-lg/9503011中进一步讨论了该方法。两个主要的变化，（1）非随机的词的初始分配到类和（2）移动多个单词并行，一起提供了强大的非随机结果，速度增加了200%至450%，在质量略低于麦克马洪的方法的平均质量的代价。两个进一步的变化，（3）保留信息，从不太频繁的词和（4）避免重新聚类封闭类，提出了进一步的研究。注意事项：上面引用的速度增加是相对于我对McMahon算法的理解的实现;这需要在家用PC上以小时和天来衡量的时间。McMahon & Smith（1995）论文的修订版出现在（1996年6月）Computational Linguistics 22（2）：217- 247;这指的是在Sparc-IPC上聚类569个单词的“几周”时间。
1996-10-25 cmp-lg cs.CL
An Annotated Corpus of Relational Strategies in Customer Service
Next IT Corporation（Next IT 公司）；University of New Mexico（新墨西哥大学）
我们创建并发布了第一个公开可用的商业客户服务语料库与注释的关系段。收集了来自旅游和电信领域的三个实时客户服务智能虚拟代理（IVA）的人机数据，并对所有被认为对确定用户意图不必要的文本进行了标记。在合并多个审阅者的选择以创建突出显示的文本之后，进行第二轮注释以确定突出显示的部分中存在的语言类别，例如问候、背景故事、理由、感激、咆哮或情感的存在。由此产生的语料库是一个宝贵的资源，提高质量和关系能力的IVA。除了讨论语料库本身，我们还比较了TripAdvisor论坛上人与人之间互动中这种语言的使用情况。我们发现，从基于任务的输入中删除这种语言对IVA理解有积极的影响，增加了信心和改善反应，表明需要自动化的方法来发现它。
2017-08-17 cs.CL
GoodNewsEveryone: A Corpus of News Headlines Annotated with Emotions, Semantic Roles, and Reader Perception
大多数从文本中进行情感分析的研究都集中在情感分类或情感强度回归上。较少的作品将情绪作为一种需要通过结构化学习来解决的现象，这可以通过缺乏相关数据集来解释。我们填补了这一空白，通过发布一个数据集的5000个英语新闻标题注释通过众包与他们相关的情感，相应的情感体验者和文本线索，相关的情感原因和目标，以及读者的感知标题的情感。考虑到要识别的类和角色的数量很大，这个注释任务是非常具有挑战性的。因此，我们提出了一个多阶段的注释过程中，我们首先找到相关的实例与情感内容，然后注释更细粒度的方面。最后，我们开发了一个自动预测语义角色结构的任务的基线，并讨论了结果。我们发布的语料库可以进一步研究情绪分类，情绪强度预测，情绪原因检测，并支持进一步的定性研究。
2020-03-03 cs.AI cs.CL cs.IR
Bundesrecht: An Open Library and Corpus for German Statutory Reference Processing
Hochschule für Technik und Wirtschaft Berlin（柏林技术与经济高等学院）；Hasso-Plattner Institute / University of Potsdam（波茨坦大学哈索普劳恩研究所）
本文提出 bundesrecht，一个包含软件库和结构化语料库的开放资源，用于解析、规范化和解析德国法律引用，实现从原始引用字符串到结构化法律条文的端到端处理。
2026-05-29 cs.CL
Knowledge Graph Based Synthetic Corpus Generation for Knowledge-Enhanced Language Model Pre-training
University of Pennsylvania（宾夕法尼亚大学）；Google Research（谷歌研究院）
以前的工作数据到文本生成，知识图谱（KG）三元组转换为自然文本的任务，集中在特定领域的基准数据集。然而，在本文中，我们将对整个英文维基数据KG进行动词化，并讨论与广泛，开放领域，大规模动词化相关的独特挑战。我们进一步表明，verbalizing一个全面的，像Wikidata的语法KG可以用来整合结构化的KG和自然语言语料库。与已经开发的集成这两个源的许多架构相比，我们的方法将KG转换为自然文本，使其能够无缝集成到现有的语言模型中。它还具有提高事实准确性和降低最终语言模型毒性的优点。我们评估这种方法，通过增加检索语料库中的检索语言模型，并显示显着的改进知识密集型任务的开放领域QA和LAMA知识探针。
2021-03-13 cs.CL
RTI-Bench: A Structured Dataset for Indian Right-to-Information Decision Analysis
Independent Researcher（独立研究员）
本文提出RTI-Bench，一个包含印度中央信息委员会（CIC）决策的结构化数据集，用于分析权利信息决策，该数据集首次公开发布，包含结果标签、豁免引用、IRAC风格的推理组件和程序时间线。
2026-05-16 cs.CL
A Bolu: A Structured Dataset for the Computational Analysis of Sardinian Improvisational Poetry
Università di Pisa, Italia（意大利比萨大学）；Università di Napoli L'Orientale, Italia（意大利那不勒斯东方大学）
本文介绍了A Bolu数据集，用于分析撒丁语即兴诗歌的结构，通过统计分析和计算语言学技术揭示了即兴诗歌创作中的规律，为NLP工具的包容性发展提供支持。
2026-04-21 cs.CL
Corpus Conversion Service: A machine learning platform to ingest documents at scale [Poster abstract]
IBM Research（IBM研究院）
在过去的几十年里，科学文章和技术文献的数量呈指数级增长。因此，非常需要能够大规模摄取这些文档并使其内容可共享的系统。不幸的是，这些文件的格式（例如PDF格式或位图图像）以及数据的呈现方式（例如复杂的表格）使得定性和定量数据的提取极具挑战性。我们提出了一个平台，以摄取文件的规模，这是由机器学习技术，并允许用户训练自定义模型的文档集合。我们显示，在转换为结构化格式方面，精确率/召回率超过97%，以及构成平台的每个微服务的扩展证据。
2018-05-15 cs.CL cs.CV cs.DC
PMOA-TTS: Introducing the PubMed Open Access Textual Times Series Corpus
Machine Learning Department, School of Computer Science（计算机科学系机器学习部门）；Heinz College of Information Systems and Public Policy（信息系统与公共政策学院）；National Library of Medicine（国家医学图书馆）
PMOA-TTS通过大规模语言模型管道构建，为时间序列分析提供结构化文本时间线，支持时间推理、生存建模和事件预测研究。
2026-01-15 cs.AI cs.CL cs.LG
UMDuluth-CS8761 at SemEval-2018 Task 9: Hypernym Discovery using Hearst Patterns, Co-occurrence frequencies and Word Embeddings
Department of Computer Science（计算机科学系）；University of Minnesota（明尼苏达大学）；Duluth, MN 55812 USA（美国明尼苏达州德卢斯（地址信息，非机构））
上位词发现是识别给定术语的潜在上位词的任务。上位词是一个更广义的词，它位于更具体的词的上位。本文探讨了几种依赖于词对共现频率、基于正则表达式的赫斯特模式和从UMBC语料库创建的词嵌入的方法。我们的系统巴贝奇参加了英语的子任务1A，在识别概念上位词时，在19个系统中排名第6，在识别实体上位词时，在18个系统中排名第12。
2018-05-25 cs.CL
Tarab: A Multi-Dialect Corpus of Arabic Lyrics and Poetry
College of Engineering（工程学院）；Computer Science, VinUniversity（计算机科学，文大学）
本文介绍了一个大规模的阿拉伯语创意文本语料库，包含256万行和1350万词，涵盖古典和现代阿拉伯语及六种主要方言，提供结构化元数据以支持跨时代的语言和风格分析。
2026-03-17 cs.CL
GlotCC: An Open Broad-Coverage CommonCrawl Corpus and Pipeline for Minority Languages
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）；ISIR（巴黎机器人与智能系统研究所）
为解决少数族裔语言缺乏大规模、可复现且严格去噪的文本语料库的问题，本文提出GlotCC：一个源自CommonCrawl、覆盖超1000种语言的2TB干净文档级语料库，并开源了包含语言识别模型与过滤器的完整生成流水线。
2025-03-03 cs.AI cs.CL
Less is More: Mitigate Spurious Correlations for Open-Domain Dialogue Response Generation Models by Causal Discovery
Faculty of Information Technology（信息技术学院）；Monash University（莫纳什大学）
在本文中，我们进行了第一次研究虚假相关的开放域响应生成模型的基础上，语料库CGDIALOG策划在我们的工作。目前的模型确实存在虚假的相关性，并且有产生不相关和通用响应的趋势。受因果发现算法的启发，我们提出了一种新的模型不可知的方法，使用条件独立分类器的响应生成模型的训练和推理。该分类器是由一个约束的自我训练方法，创造约束，以克服数据稀缺。基于人工和自动评估的实验结果表明，我们的方法显着优于竞争基线的相关性，信息量和流畅性。
2023-03-02 cs.AI cs.CL
Guiding Corpus-based Set Expansion by Auxiliary Sets Generation and Co-Expansion
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；The Hong Kong University of Science and Technology（香港科技大学）
给定一小组种子实体（例如，"USA '“，" Russia'”），基于语料库的集合扩展是从给定的语料库中归纳出共享相同语义类（本例中为Country）的大量实体集合。集合扩展有利于知识发现中的广泛下游应用，例如Web搜索、分类构造和查询建议。现有的基于语料库的集合扩展算法通常通过结合词汇模式和分布相似性来引导给定的种子。然而，由于没有明确提供否定集，这些方法遭受语义漂移所造成的自由扩展种子集没有指导。我们提出了一个新的框架，Set-CoExpan，自动生成辅助集的负集，是密切相关的目标集的用户的兴趣，然后执行多个集的共同扩展，通过比较目标集与辅助集提取的区别性特征，形成多个内聚集是彼此不同的，从而解决语义漂移问题。在本文中，我们证明了通过生成辅助集，我们可以引导目标集的扩展过程，以避免接触那些模糊的区域周围的边界与辅助集，我们表明，Set-CoExpan优于强基线方法显着。
2020-01-27 cs.CL
CORTEX: High-Quality Cross-Domain Organization of Web-Scale Corpora through Ontological Corpus Graph
Zhejiang University（浙江大学）；JIUTIAN Research（中移九天）
提出CORTEX框架，利用本体语料图（OCG）将网络规模语料构建从扁平文档筛选提升为结构化知识组织，实现质量精炼、层次化本体和跨领域对齐，并构建CortexBench基准验证有效性。
2026-09-21 cs.CL
Disentangling Codemixing in Chats: The NUS ABC Codemixed Corpus
National University of Singapore（新加坡国立大学）
针对非正式多语交流场景下缺乏作者标注的公开语码混合语料库的问题，本研究推出首个通用标注语料库NUS ABC Codemixed Corpus，含超35万条多语混合消息，为相关NLP及语言学研究提供基础数据支撑。
2025-06-16 cs.CL cs.SI
Overview of STEM Science as Process, Method, Material, and Data Named Entities
TIB Leibniz Information Centre for Science and Technology（莱布尼茨科学技术信息中心）
我们面临着世界范围内学术出版物空前的产量。数字图书馆的利益相关者认为，以文件为基础的出版模式已经达到了适当性的极限。相反，结构化的，机器可解释的，细粒度的学术知识出版作为知识图谱（KG）的强烈主张。在这项工作中，我们开发和分析了10个不同学科的STEM文章的大规模结构化数据集，即农业，天文学，生物学，化学，计算机科学，地球科学，工程，材料科学，数学和医学。我们的分析是定义在一个大型语料库，包括60 K摘要结构为四个科学实体的过程，方法，材料和数据。因此，我们的研究提出了，第一次，一个大规模的多学科语料库的分析下的四个命名实体标签，专门定义和选择是领域独立的，而不是特定领域的建设。然后，这项工作无意中是一个可行性测试的特点多学科科学领域独立的概念。此外，为了总结每个学科每个概念的科学知识的不同方面，提供了一组词云可视化。在这项工作中创建的STEM-NER-60 k语料库包括从主要出版平台获得的60 k STEM文章中提取的超过100万个实体，并公开发布https://github.com/jd-coderepos/stem-ner-60k上。
2022-05-24 cs.AI cs.CL cs.IT
PTPARL-D: Annotated Corpus of 44 years of Portuguese Parliament debates
Instituto Gulbenkian de Ciência（古尔本基安科学研究所）；Nova School of Business and Economics, Universidade Nova de Lisboa（新里斯本大学新商业与经济学院）；CICANT, Universidade Lusófona (ULHT)（卢索福纳大学（ULHT）传播与应用语言学研究中心）
在代议制民主中，一些人以其他人的名义做出决定，这些当选官员通常聚集在议会等公共集会上，讨论政策，立法并对基本倡议进行投票。这种民主进程的一个核心方面是全体会议辩论，在辩论中进行重要的公开讨论。世界各地许多议会越来越多地以数字格式保存这些辩论的记录和其他议会数据，供公众查阅，从而提高了透明度和问责制。此外，一些议会正在将旧的纸质记录转换为半结构化的数字格式。然而，这些记录通常仅以原始文本甚至图像的形式提供，几乎没有注释，并且格式不一致，使其难以分析和研究，降低了透明度和公众范围。在这里，我们介绍了PTPARL-D，这是1976年至2019年葡萄牙议会辩论的注释语料库，涵盖了葡萄牙民主的整个时期。
2020-04-26 cs.CL
The ACL OCL Corpus: Advancing Open Science in Computational Linguistics
Pennsylvania State University（宾夕法尼亚州立大学）；National University of Singapore（新加坡国立大学）
本文提出ACL OCL语料库，整合并增强ACL Anthology，提供元数据、PDF、引文图谱及结构化全文等资源，以推进计算语言学的开放科学研究，并展示了其在观察学科趋势方面的应用。
2023-10-24 cs.CL cs.DL
LSCDiscovery: A shared task on semantic change discovery and detection in Spanish
University of Chile（智利大学）；IMFD（千年数据基础研究所）；CENIA（国家智能研究中心）；University of Stuttgart（斯图加特大学）
我们提出了关于西班牙语语义变化发现和检测的第一个共享任务，并使用DURel框架创建了第一个手动注释语义变化的西班牙语单词数据集（Schlechtweg et al.，2018年）。该任务分为两个阶段：1）分级变化发现，和2）二进制变化检测。除了引入一种新的语言，与以前的任务相比，主要的新颖之处在于预测和评估语料库中所有词汇的变化。六个团队参加了第一阶段，七个团队参加了第二阶段的共享任务，最好的系统在第一阶段获得了0.735的斯皮尔曼等级相关性，在第二阶段获得了0.716的F1分数。我们描述了由竞争团队开发的系统，突出了特别有用的技术，并讨论了这些方法的局限性。
2022-05-13 cs.CL
ReadingMachine: A Computational Methodology for Structured Corpus Reading and Large-Scale Synthesis
提出ReadingMachine方法，利用大语言模型对文档集合进行有界阅读，通过洞察提取、语义聚类、主题生成和迭代遗漏检测等可检查阶段，实现大规模语料库的覆盖性、可追溯性和分歧保留。
2026-09-29 cs.CL
Learning Semi-Structured Representations of Radiology Reports
Temple University（天普大学）；University Clinical Center of Serbia（塞尔维亚大学临床中心）
除了其主要诊断目的，放射学报告一直是医学研究中的宝贵信息来源。给定放射学报告的语料库，研究人员通常对识别描述特定医学发现的报告的子集感兴趣。由于放射学报告中的医学发现的空间是巨大的，并且可能是无限的，最近的研究提出将放射学报告中的自由文本语句映射到从有限词汇表中获取的半结构化术语串。本文的目的是提出一种自动生成放射学报告的半结构化表示的方法。该方法包括将放射学报告中的句子与手动创建的半结构化表示进行匹配，然后学习将匹配的句子映射到其半结构化表示的序列到序列神经模型。我们评估了所提出的方法上的OpenI语料库手动注释的胸部X射线放射学报告。结果表明，所提出的方法优于几个基线，无论是在（1）定量措施，如BLEU，ROUGE，METEOR和（2）放射科医生的定性判断。结果还表明，训练的模型产生合理的半结构化表示的样本外语料库的胸部X射线放射学报告从不同的医疗提供者。
2021-12-20 cs.CL cs.IR cs.LG
Agent-Driven Corpus Linguistics: A Framework for Autonomous Linguistic Discovery
Zhejiang International Studies University（浙江外国语学院）；Tianjin University（天津大学）
本文提出基于代理的语料库语言学框架，通过大语言模型与语料库查询引擎的交互，实现自动化的语言研究，提升研究效率并降低技术门槛。
2026-04-08 cs.CL
Grounded Discovery of Coordinate Term Relationships between Software Entities
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种方法，从软件领域的实体之间的坐标长期关系的检测，指的是Java类。通常，通过检查与文本实体相关联的语料库统计数据来发现关系。然而，在某些技术领域，我们有机会获得额外的信息，对现实世界中的对象命名的实体，这表明耦合信息的“接地”的实体与语料库的统计数据可能会导致改进的方法，关系发现。为此，我们开发了一个Java类的相似性度量，使用分布信息，他们是如何在软件中使用，我们结合语料库统计的分布情况下，类出现在文本中。使用我们的方法，该数据集的交叉验证准确率可以显着提高，从60%左右提高到88%。人类标记结果表明，我们的分类器在前1000个预测对中的F1得分为86%。
2015-05-01 cs.AI cs.CL cs.LG
Hierarchical Dirichlet process for tracking complex topical structure evolution and its application to autism research literature
Deakin University（迪肯大学）
在本文中，我们描述了一个新的框架发现的主题内容的数据语料库，并跟踪其复杂的结构变化的时间维度。与以前的工作相比，我们的模型没有对文档添加到语料库的速率施加先验，也没有采用马尔可夫假设，该假设过度限制了模型可以捕获的变化类型。我们的关键技术贡献是一个框架的基础上（i）离散化的时间到时代，（ii）时代明智的主题发现使用分层的Dirichlet过程为基础的模型，（iii）时间相似性图，允许建模复杂的主题变化：出现和消失，演变，分裂和合并。与自闭症谱系障碍（ASD）-一个越来越重要的研究课题，显着的社会和医疗保健的重要性的医学文献语料库上证明了所提出的框架的力量。除了收集的ASD文献语料库，我们将免费提供，我们的贡献还包括两个免费的在线工具，我们建立了ASD研究人员的辅助工具。这些可以用于语义上有意义的导航和搜索，以及从这个庞大且快速增长的文献语料库中发现知识。
2015-02-08 cs.CL cs.IR
Relation Discovery with Out-of-Relation Knowledge Base as Supervision
Hong Kong University of Science and Technology（香港科技大学）；Microsoft（微软）
无监督关系发现的目的是在没有标注数据的情况下，从给定的文本语料库中发现新的关系。然而，它不考虑现有的人类注释的知识库，即使它们是相关的关系被发现。在本文中，我们研究的问题，如何使用out-of-relation知识库监督发现看不见的关系，其中out-of-relation是指从文本语料库中发现的关系和知识库中的关系不重叠。在知识库嵌入的基础上构造实体对之间的约束，并通过变分自动编码算法将约束引入到关系发现中。实验表明，我们的新方法可以提高国家的最先进的关系发现性能的大幅度。
2019-04-19 cs.AI cs.CL cs.LG
Extracting COVID-19 Diagnoses and Symptoms From Clinical Text: A New Annotated Corpus and Neural Event Extraction Framework
University of Washington（华盛顿大学）
2019冠状病毒病（COVID-19）是一种全球性大流行病。尽管自新型冠状病毒出现以来，人们已经对它有了很多了解，但在跟踪其传播、描述病原学、预测感染严重程度和预测医疗保健利用方面，仍有许多悬而未决的问题。自由文本临床笔记包含解决这些问题的关键信息。需要数据驱动的自动信息抽取模型来在大规模研究中使用这种文本编码的信息。这项工作提出了一个新的临床语料库，称为COVID-19注释临床文本（CACT）语料库，其中包括1，472个注释，详细注释了COVID-19诊断，测试和临床表现。我们引入了一个基于跨度的事件提取模型，该模型联合提取所有注释的现象，在识别具有相关断言值的COVID-19和症状事件方面实现了高性能（事件为0.83-0.97 F1，断言为0.73-0.79 F1）。在二次使用应用程序中，我们探索了使用结构化患者数据（例如生命体征和实验室结果）预测COVID-19检测结果，并自动提取症状信息。自动提取的症状提高了预测性能，不仅仅是结构化数据。
2021-03-10 cs.CL cs.LG
Structured Interpretation of Temporal Relations
Brandeis University（布兰迪斯大学）
文档中的事件和时间表达式之间的时间关系通常以非结构化的方式建模，其中单独考虑时间表达式和事件之间的关系。这通常会导致不一致和不完整的注释和计算建模。我们提出了一种新的注释方法，在文档中的事件和时间表达式形成一个依赖树，其中每个依赖关系对应于一个实例的时间回指的先行词是父母和回指是孩子。我们使用这种方法在新闻和叙事两种类型中注释了235个文档的语料库，其中48个文档进行了双重注释。我们报告了一个稳定的和高的双注释子集的注释者之间的协议，验证我们的方法，并执行整个语料库的两种类型之间的定量比较。我们把这个语料库公开。
2018-08-23 cs.CL
A PubMed-Scale Dataset of Structured Biomedical Abstracts
Department of Biomedical Informatics & Data Science, School of Medicine, Yale University（耶鲁大学生物医学信息学与数据科学系，医学院）
针对PubMed中大量非结构化摘要阻碍下游文本处理的问题，构建了包含2320万条记录的结构化摘要语料库，其中590万条来自官方XML，1720万条通过大语言模型自动标注，统一为五段格式。
2026-06-11 cs.CL cs.IR
HCqa: Hybrid and Complex Question Answering on Textual Corpus and Knowledge Graph
University of Dayton（代顿大学）；Ferdowsi University（菲尔多西大学）
问答（QA）系统提供了对大量知识的容易访问，而不必知道知识的底层复杂结构。研究团体已经为关键的QA任务提供了特别的解决方案，包括命名实体识别和消歧、关系抽取和查询构建。此外，有些人已经集成和组合这些组件，以自动有效地实现许多任务。然而，一般来说，现有的解决方案仅限于简单和简短的问题，仍然没有解决由几个子问题组成的复杂问题。如果需要集成来自非结构化数据源的知识，即，文本语料库，以及结构化数据源，即，知识图谱。在本文中，介绍了一种方法（HCqa）处理复杂的问题，需要联合知识的混合异构数据源（结构化和非结构化）。我们有助于开发（一）分解机制，提取子问题，从潜在的长期和复杂的输入问题，（二）一种新的全面的模式，第一种，提取和注释的关系，和（iii）一种方法，用于执行和汇总的子问题的答案。HCqa的评估表明，在基本任务，如关系抽取，以及联邦任务的优越的准确性。
2019-06-09 cs.CL cs.IR
A Very Low Resource Language Speech Corpus for Computational Language Documentation Experiments
LIMSI（法国语言与信息系统实验室）；CNRS（法国国家科学研究中心）；Université Paris-Saclay（巴黎萨克雷大学）；LPP（巴黎语言实验室）；ENS（巴黎高等师范学院）；EHESS（法国高等社会科学研究院）；PSL Research University（巴黎文理研究大学）；INRIA（法国国家信息与自动化研究所）；LIG（格勒诺布尔信息学实验室）；UGA（格勒诺布尔阿尔卑斯大学）；G-INP（格勒诺布尔国立理工学院）；KIT（卡尔斯鲁厄理工学院）
大多数语音和语言技术都是用大量的语音和文本信息训练的。然而，世界上大多数语言都没有这样的资源或稳定的正字法。在这些几乎为零的资源条件下构建的系统不仅对语音技术，而且对计算语言文档都很有前途。计算语言文档的目标是帮助领域语言学家（半）自动分析和注释濒危和不成文语言的录音。示例任务是从语音信号中自动音素发现或词典发现。本文介绍了一个语音语料库收集过程中的一个现实的语言文件。它由Mboshi（Bantu C25）中的5k语音话语组成，与法语文本翻译对齐。语音音译也是可用的：它们对应于接近语言音位的非标准字形形式。我们提出了如何收集，清理和处理数据，我们说明了它的使用通过零资源的任务：口语术语发现。该数据集可供社区用于可重复的计算语言文档实验及其评估。
2018-02-15 cs.CL
Unsupervised Discovery of Structured Acoustic Tokens with Applications to Spoken Term Detection
在本文中，我们比较了两种范式的无监督发现结构化的声学标记直接从语音语料库没有任何人的注释。多粒度范式试图用不同模型粒度的多组标记捕获语料库中的所有可用信息。分层范式试图联合学习分层结构中的几个级别的信号表示。本文将这两种范式统一在一个理论框架内。在MediaEval 2015的QUESST数据集上进行的按示例查询口语术语检测（QbE-STD）实验验证了声学令牌的竞争性。在这项工作中提出的增强相关性评分（ERS）提高了两个范例的任务QbE-STD。我们还列出了2015年零资源挑战的ABX评估任务的结果，以比较范式。
2017-11-28 cs.CL
WorldTree: A Corpus of Explanation Graphs for Elementary Science Questions supporting Multi-Hop Inference
University of Arizona（亚利桑那大学）
开发自动推理方法，能够为用户提供令人信服的人类可读的理由，说明为什么问题的答案是正确的，这对于科学和医学等领域至关重要，在这些领域，用户信任和检测代价高昂的错误是采用的限制因素。在可解释推理任务上训练问答模型的主要障碍之一是缺乏黄金解释作为训练数据。在本文中，我们提出了一个语料库的解释标准化科学考试，最近的挑战性任务问答。我们手动构建了几乎所有公开的标准化基础科学问题（大约1，680个三年级到五年级的问题）的详细解释的语料库，并将其表示为“解释图”-词汇重叠的句子集，描述如何通过领域和世界知识的组合来获得问题的正确答案。我们还提供了一个以解释为中心的表库，一个包含构建这些基本科学解释的知识的半结构化表的集合。这两个知识资源一起映射出回答和解释小学科学考试所需的知识的相当大的一部分，并为可解释的推理任务提供结构化和自由文本训练数据。
2018-02-08 cs.AI cs.CL cs.IR
From Repetition to Recognition: Inductive Discovery of Disinformation Narratives
Technische Universität Berlin（柏林工业大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）；Johannes Gutenberg-Universität Mainz（美因茨约翰内斯·古腾堡大学）；Centre for European Research in Trusted AI (CERTAIN)（欧洲可信人工智能研究中心）
针对虚假信息叙事挖掘的封闭世界评估局限，提出三层评估框架，比较聚类与图社区方法，发现图方法在开放世界发现中更具优势，并发布人工验证的叙事候选标签。
2026-09-11 cs.CL
TACOMORE: Exploring a replicable prompting protocol for LLM-assisted corpus analysis
Department of Linguistics and Communication, University of Birmingham（伯明翰大学语言学与传播系）；Department of Information Engineering and Computer Science, University of Trento（特伦托大学信息工程与计算机科学系）；Institute of Foreign Languages and Cultures, University of Tartu（塔尔图大学外国语言与文化研究所）
提出TACOMORE框架，通过结构化提示将LLM从通用概率预测转向基于语料共现模式的推理，提升关键词、搭配和索引行分析的准确性与可复现性，但幻觉问题仍需人工验证。
2026-06-17 cs.CL
Structured Language Modeling for Speech Recognition
提出了一种新的用于语音识别的语言模型。该模型逐步发展隐藏的层次句法结构，并使用它来提取有意义的信息，从单词的历史，从而补充了目前使用的三元模型的地方。本文介绍了结构化语言模型及其在格型译码两遍语音识别器中的性能。在华尔街日报语料库上的实验表明，该模型在困惑度（PPL）和单词出错率（WER）方面都优于传统的三元模型。
2000-01-25 cs.CL
MedStruct-S: A Benchmark for Key Discovery, Key-Conditioned QA and Semi-Structured Extraction from OCR Clinical Reports
AI Starfish（AI海星）
MedStruct-S是面向OCR临床报告的基准，评估关键发现等三项任务，覆盖多类模型，发现仅编码器模型在非空值QA中表现更优，为模型选择提供可靠依据。
2026-08-20 cs.AI cs.CL cs.LG
