Traditional Machine Learning and Deep Learning Models for Argumentation Mining in Russian Texts
Vyatka State University（维亚特卡国立大学）；ITMO University（ITMO大学）
论证挖掘是计算语言学的一个领域，致力于从文本中提取并分类论证及其之间的关系，以及构建论证结构。俄语在这一领域的研究的一个重大障碍是缺乏注释的俄语文本语料库。本文探讨了在说服性论文语料库（Argessays）的机器翻译基础上，扩展俄语版论证性微文本语料库（ArgMicro），提高论证挖掘质量的可能性。为了使这两个语料库结合使用成为可能，我们提出了一个联合论点注释方案的基础上使用的方案ArgMicro和EQUIPMENT论文。我们使用传统的机器学习技术（SVM、Bagging和XGBoost）和深度神经网络（BERT模型）解决了将论证性话语单元（ADU）分为两类-“pro”（“for”）和“opp”（“against”）的问题。提出了XGBoost和BERT模型的集成，该集成对两个语料库的ADU分类性能最高。
2021-06-28 cs.CL
Cross-lingual Argumentation Mining: Machine Translation (and a bit of Projection) is All You Need!
Ubiquitous Knowledge Processing Lab (UKP-TUDA)（普适知识处理实验室（UKP-TUDA））；Technische Universität Darmstadt（达姆施塔特工业大学）
论证挖掘（AM）需要识别复杂的话语结构，最近已经成功地应用于单语言。在这项工作中，我们表明，现有的资源，但是，不足以评估跨语言AM，由于其异质性或缺乏复杂性。因此，我们创建合适的平行语料库（人类和机器）翻译一个流行的AM数据集，包括有说服力的学生论文成德语，法语，西班牙语和中文。然后，我们比较了（i）注释投影和（ii）双语词嵌入的跨语言AM的直接转移策略，发现前者表现得更好，几乎消除了损失的跨语言迁移。此外，我们发现，无论是昂贵的人力或廉价的机器翻译时，注释投影同样适用。我们的代码和数据可在\url{http://github.com/UKPLab/coling2018-xling_argument_mining}上获得。
2018-07-24 cs.CL
Full-Text Argumentation Mining on Scientific Publications
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；University of Potsdam（波茨坦大学）
学术论证挖掘（SAM）最近受到关注，因为它有可能帮助学者快速增长的已发表科学文献。它包括两个子任务：争论性话语单元识别（ADUR）和争论性关系抽取（ARE），这两者都具有挑战性，因为它们需要例如领域知识的集成、隐式陈述的检测以及论点结构的消歧。虽然以前的工作主要集中在特定文档部分（如摘要或结果）的数据集构建和基线方法上，但全文学术论证挖掘几乎没有进展。在这项工作中，我们介绍了一个顺序流水线模型结合ADUR和ARE全文SAM，并提供了第一次分析的性能预训练语言模型（PLM）的两个子任务。我们在Sci-Arg语料库上为ADUR建立了一个新的SotA，大大优于之前报道的最佳结果（+7%F1）。我们还在这个基准数据集上展示了ARE的第一个结果，从而也展示了完整的AM管道。我们详细的错误分析表明，非连续ADU以及话语连接词的解释构成了重大挑战，数据注释需要更加一致。
2022-10-24 cs.CL
Multi-Task Learning for Argumentation Mining
多任务学习是近年来深度学习研究中非常活跃的一个领域。与孤立地学习单个任务相比，同时学习多个任务，从而利用相关任务的训练信号来提高相应机器学习任务的性能。相关的工作表明，在不同的领域应用这种范式时，各种成功的，本文扩展了现有的实证结果，通过评估多任务学习在四个不同的情况下：论证挖掘，认知分割，论证组件分割，和字形到音素转换。我们表明，在所有这些情况下，多任务学习确实可以提高单任务学习的性能，但也可能损害性能。因此，我们调查成功和不太成功的应用程序的这种模式的原因，并发现，数据集属性，如熵或标签库存的大小是一个潜在的多任务学习成功的良好指标，多任务学习是特别有用的，如果手头的任务遭受数据稀疏，即缺乏训练数据。此外，在我们的实验中，多任务学习对于长输入序列特别有效。我们在所有评估的情况下都观察到了这一趋势。最后，我们开发了一个高度可配置和可扩展的序列标记框架，支持多任务学习进行我们的实证实验，并帮助未来的研究，多任务学习范式和自然语言处理。
2019-04-23 cs.CL
RuArg-2022: Argument Mining Evaluation
Vyatka State University（维亚特卡国立大学）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
论证分析是计算语言学的一个研究领域，它研究从文本中提取论证的方法以及它们之间的关系，并建立文本的论证结构。本文是主办方在对话会议框架内举办的第一届俄语语篇论证分析系统竞赛的报告。在比赛中，参与者被提供了两个任务：立场检测和论点分类。一个包含9，550个句子（社交媒体帖子的评论）的语料库，涉及与COVID-19大流行相关的三个主题（疫苗接种、隔离和戴口罩），已准备好，并进行了注释，用于培训和测试。在这两项任务中获得第一名的系统使用了BERT架构的NLI（自然语言推理）变体，自动翻译成英语以应用专门的BERT模型，在讨论COVID-19的Twitter帖子上进行重新训练，以及对目标实体进行额外的掩蔽。该系统显示了以下结果：对于立场检测任务，F1分数为0.6968，对于论点分类任务，F1分数为0.7404。我们希望准备好的数据集和基线将有助于促进对俄语参数挖掘的进一步研究。
2022-06-18 cs.CL
Understanding Enthymemes in Argument Maps: Bridging Argument Mining and Logic-based Argumentation
Université Paul Sabatier（保罗萨巴蒂埃大学）；CNRS（法国国家科学研究中心）；IRIT（图灵与信息技术研究所）；Inria（法国国家信息与自动化研究所）；I3S（信息、信号与系统实验室）；University College London（伦敦大学学院）
本研究针对论证挖掘得到的论证图难以自动分析的问题，提出用经典逻辑表示文本显式信息、缺省逻辑表示隐式信息来对论证图进行逻辑实例化，以支撑后续自动推理分析。
2024-08-16 cs.AI cs.CL
The Discussion Tracker Corpus of Collaborative Argumentation
University of Pittsburgh（匹兹堡大学）
尽管近年来自然语言处理（NLP）对论点挖掘的研究取得了相当大的进展，但大多数研究都是基于异步和书面文本的语料库，这些文本通常由个人产生。几乎没有同步的、多方论证的已出版语料库。Discussion Tracker语料库收集于美国高中英语课堂，是一个带有注释的多方辩论口语记录数据集。该语料库由29个多方讨论的英语文学转录从985分钟的音频。这些记录被注释为合作论证的三个维度：论证动作（主张、证据和解释）、特异性（低、中、高）和合作（例如，对他人观点的延伸和分歧）。除了提供对语料库的描述性统计数据外，我们还提供了性能基准和相关代码，分别用于预测每个维度，说明了语料库中多个注释的使用，以通过多任务学习提高性能，最后讨论了语料库可能用于进一步NLP研究的其他方式。
2020-05-22 cs.CL
AMELIA: A Family of Multi-task End-to-end Language Models for Argumentation
Universite Claude Bernard Lyon 1（里昂1大学）；CNRS（国家科学研究中心）；Ecole Centrale de Lyon（里昂中央理工大学）；INSA Lyon（里昂国立应用科学学院）；Université Lumiere Lyon 2（里昂2大学）；LIRIS（图像研究所）
本文构建统一格式的多任务论证挖掘数据集，基于Llama-3.1-8B-Instruct探索单任务、多任务联合微调及模型合并策略，发现多任务微调性能稳定、模型合并成本低且性能具竞争力。
2025-08-25 cs.AI cs.CL
Fair and Argumentative Language Modeling for Computational Argumentation
University of Mannheim（曼海姆大学）；Bocconi University（博科尼大学）
虽然NLP的许多工作都集中在测量和减轻语义空间中的刻板偏见，但解决计算论证中偏见的研究仍处于起步阶段。在本文中，我们解决这个研究空白，并进行了深入的调查，偏见的争论语言模型。为此，我们引入ABBA，专门为论证量身定制的偏差测量的新资源。我们利用我们的资源来评估论证微调和去偏置的影响，发现在基于transformer的语言模型使用轻量级的适配器为基础的方法，更可持续和参数效率比完全微调的内在偏见。最后，我们分析了语言模型去偏对论证质量预测（计算论证的下游任务）性能的潜在影响。我们的研究结果表明，我们能够成功地和可持续地消除偏见，一般和争论的语言模型，同时保留（有时提高）模型性能的下游任务。我们在www.example.com上提供所有实验代码和数据。
2022-04-08 cs.CL
AMPERSAND: Argument Mining for PERSuAsive oNline Discussions
Columbia University（哥伦比亚大学）
辩论是一种话语类型，演讲者试图通过提出支持性论点来说服听众关于主张的合理性。大部分的论点挖掘工作都集中在独白中的论点建模。我们提出了一个计算模型的参数挖掘在网上有说服力的论坛，汇集了微观层面（参数作为产品）和宏观层面（参数作为过程）的模型的论证。从根本上说，这种方法依赖于识别讨论线程中参数组件之间的关系。我们的关系预测方法使用上下文信息，微调预训练的语言模型，并利用基于修辞结构理论的话语关系。我们还提出了一个候选人选择方法，自动预测一个人的论点的哪些部分将有针对性的其他参与者在讨论中。与最近使用指针网络和预训练的语言模型的最先进方法相比，我们的模型获得了显着的改进。
2020-04-30 cs.AI cs.CL
An Empirical Evaluation of various Deep Learning Architectures for Bi-Sequence Classification Tasks
IBM Research India（IBM印度研究院）
论证挖掘和辩论、问答和自然语言推理中的若干任务涉及在另一序列的上下文中对序列进行分类（称为双序列分类）。对于几个单序列分类任务，当前最先进的方法是基于循环和卷积神经网络。另一方面，对于双序列分类问题，对于最佳深度学习架构没有太多的理解。在本文中，我们试图通过对19种不同的深度学习架构（特别是处理上下文的不同方式）进行广泛的实证评估，来了解这一类问题，以解决源于辩论、文本蕴涵和问答等自然语言处理的各种问题。在实证评估之后，我们提供了关于我们所考虑的架构的见解和结论。我们还为三个论证挖掘任务建立了第一个深度学习基线。
2016-10-02 cs.CL
NLAS-multi: A Multilingual Corpus of Automatically Generated Natural Language Argumentation Schemes
Centre for Argument Technology, University of Dundee（邓迪大学论证技术中心）；VRAIN, Universitat Politècnica de València（瓦伦西亚理工大学VRAIN研究院）
本文提出了一种多语言自然语言论证方案自动生成方法，构建了目前最大的公开语料库NLAS-multi，并提供了用于论证方案自动识别的基线与微调模型。
2024-02-22 cs.AI cs.CL
Can Unsupervised Knowledge Transfer from Social Discussions Help Argument Mining?
Jadavpur University（贾达布尔大学）；Delhi Technological University（德里理工大学）；IIIT-Delhi（德里印度理工学院）
从非结构化文本中识别论元成分并预测它们之间的关系是论元挖掘的两个主要步骤。这些任务的内在复杂性需要强大的学习模型。虽然预训练的基于Transformer的语言模型（LM）已被证明可以在不同的NLP任务中提供最先进的结果，但手动注释数据的稀缺性和论证的高度领域依赖性限制了此类模型的能力。在这项工作中，我们提出了一种新的迁移学习策略来克服这些挑战。我们利用ChangeMyView subreddit中丰富的辩论社交讨论作为无监督的辩论话语感知知识的来源，通过在选择性掩蔽语言建模任务上微调预训练的LM。此外，我们引入了一种新的基于语义的组件间关系预测策略，该策略在利用话语上下文的同时补充了我们提出的微调方法。详尽的实验表明，我们的方法在域内和域外数据集上对这两个任务的泛化能力，优于几个现有的和采用的强基线。
2022-03-24 cs.CL cs.LG
Joint RNN Model for Argument Component Boundary Detection
Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）；University of Chinese Academy of Sciences（中国科学院大学）
论证成分边界检测（ACBD）是论证挖掘中的一个重要子任务，其目的是识别构成论证成分的词序列，通常被认为是论证挖掘管道中的第一个子任务。现有的ACBD方法严重依赖于特定于任务的知识，并需要相当大的人力资源的特征工程。为了解决这些问题，在这项工作中，我们将ACBD制定为序列标记问题，并提出了各种基于递归神经网络（RNN）的方法，这些方法不使用超出文档中句子相对位置的特定领域或手工特征。特别是，我们提出了一种新的联合RNN模型，可以预测句子是否是论证性的，并使用预测结果来更精确地检测论点组件边界。我们在来自两种不同流派的两个语料库上评估了我们的技术;结果表明，我们的联合RNN模型在两个数据集上都获得了最先进的性能。
2017-05-05 cs.CL
Bitext Mining for Low-Resource Languages via Contrastive Learning
Center for Language and Speech Processing（语言与语音处理中心）；Johns Hopkins University（约翰斯·霍普金斯大学）
为低资源语言挖掘高质量的双文本具有挑战性。本文表明，句子表示的语言模型微调与多个负面排名损失，一个对比的目标，有助于检索干净的双文本。实验表明，并行数据挖掘从我们的方法大大优于以前的国家的最先进的方法低资源语言高棉语和普什图语。
2022-08-23 cs.CL
CAF-Gen: A Multi-Agent System for Enriching Argumentation Structures
Faculty of Electronics and Information Technology, Warsaw University of Technology（电子与信息技术学院，华沙技术大学）
提出CAF-Gen多智能体框架，通过迭代创建-评审流程将浅层论证结构自动转换为符合Carneades论证框架的丰富模型，克服单次生成的结构不稳定性。
2026-06-16 cs.AI cs.CL
xSIM++: An Improved Proxy to Bitext Mining Performance for Low-Resource Languages
Meta AI Research（元人工智能研究院）
xSIM++是一种改进的代理评分，通过合成难分示例评估低资源语言的双文本挖掘，与下游BLEU分数相关性更高，且无需昂贵挖掘流程。
2023-06-22 cs.CL
A Recorded Debating Dataset
IBM Research（IBM研究院）；IBM Watson（IBM沃森）；Tadiad
本文描述了一个英语音频和文本数据集的辩论演讲，一个独特的资源，不断增长的研究领域的计算论证和辩论技术。我们详细的过程中，由专业的辩论者的讲话录音，转录的讲话与自动语音识别（ASR）系统，其随之而来的自动处理，以产生一个文本，是更“NLP友好”，并在并行-手动转录的讲话，以产生黄金标准的“参考”成绩单。我们发布了60篇关于各种有争议的话题的演讲，每一篇都有五种格式，对应于数据生产的不同阶段。其目的是允许将此资源用于多种研究目的，无论是为特定于辩论的ASR系统添加域内训练数据，还是对有噪音或干净的辩论笔录应用论证挖掘。我们打算在未来进一步发布这些数据。
2018-03-27 cs.CL
MultiOpEd: A Corpus of Multi-Perspective News Editorials
University of Pennsylvania（宾夕法尼亚大学）
我们提出了MultiOpEd，一个开放领域的新闻社论语料库，支持有关的论证结构在新闻社论的各种任务，专注于自动的角度发现。新闻社论是一种说服性语篇，其论证结构通常是含蓄的。然而，社论中提出的论点通常围绕着一个简洁、集中的论点，我们称之为他们的观点。MultiOpEd旨在支持与自动视角发现相关的多个任务的研究，其中系统预计会产生一个总结所提出论点的单句论文陈述。我们认为，识别和抽象这样的自然语言的观点，从社论是一个关键的一步，研究隐含的论证结构的新闻社论。我们首先讨论挑战，并为我们的目标定义一些概念性任务。为了证明MultiOpEd和诱导任务的实用性，我们研究了多任务学习环境中的视角摘要问题，作为案例研究。我们发现，与诱导的任务作为辅助任务，我们可以提高质量的观点摘要生成。我们希望MultiOpEd将成为未来新闻编辑领域论证研究的有用资源。
2021-06-04 cs.CL
Bitext Mining Using Distilled Sentence Representations for Low-Resource Languages
Meta AI Research（Meta人工智能研究院）
将多语言表示学习扩展到100种最常见的语言之外是具有挑战性的，特别是要覆盖低资源语言的长尾。一种很有前途的方法是训练能够跨语言迁移的一对多语言模型，但这些模型通常存在容量不足和不相关语言之间的干扰。相反，我们摆脱了这种方法，专注于训练多种语言（家族）特定的表示，但最突出的是，所有语言仍然可以在同一个表示空间中编码。为了实现这一目标，我们专注于教师和学生的培训，允许所有编码器相互兼容，以进行双文本挖掘，并实现快速学习新语言。我们引入了一个新的教师-学生培训计划，它结合了监督和自我监督的培训，允许编码器，以利用单语训练数据，这是有价值的低资源设置。我们的方法明显优于原来的激光编码器。我们研究资源非常低的语言，并处理50种非洲语言，其中许多语言是任何其他模型都无法涵盖的。对于这些语言，我们训练句子编码器，挖掘双文本，并通过训练NMT系统来验证双文本。
2022-05-25 cs.CL
Mining Large-Scale Low-Resource Pronunciation Data From Wikipedia
Google Research（谷歌研究院）
发音建模是在新语言中构建语音技术的关键任务，虽然存在可靠的字形到音素（G2 P）映射系统，但语言覆盖率仍有待提高。为更多语言构建G2 P模型所需的信息可以很容易地在维基百科上找到，但不幸的是，它以不同的格式存储。我们报告了一个系统，我们建立了819种语言的发音数据集从维基百科内的松散结构的表。这些数据包括音素库存，并为63个低资源的语言，还包括字素到音素（G2 P）映射。这些语言中有54种不容易在网上找到G2 P映射。我们将来自维基百科的信息转换为结构化的、机器可读的TSV格式，并将由此产生的数据集公开提供，以便进一步改进并用于涉及低资源语言的各种应用程序。
2021-01-27 cs.CL
Winning with Less for Low Resource Languages: Advantage of Cross-Lingual English_Persian Argument Mining Model over LLM Augmentation
Amirkabir University of Technology（阿米尔卡比尔理工大学）；Institute for Humanities and Cultural Studies（人文与文化研究学院）；University of Passau（帕绍大学）
本文提出了一种跨语言论证挖掘模型，通过零样本迁移、LLM增强和跨语言训练三种方法，证明在低资源语言中，跨语言模型能显著优于基于LLM的增强方法。
2025-11-25 cs.CL
XLEnt: Mining a Large Cross-lingual Entity Dataset with Lexical-Semantic-Phonetic Word Alignment
Twitter Cortex；Facebook AI；Johns Hopkins University（约翰斯·霍普金斯大学）
跨语言命名实体词典是多语言NLP任务（如机器翻译和跨语言维基化）的重要资源。虽然知识库包含大量高资源语言（如英语和法语）的实体，但低资源语言的相应实体往往缺失。为了解决这个问题，我们提出了词汇-语义-语音对齐（LSP-Align），一种从挖掘的Web数据中自动挖掘跨语言实体词汇的技术。我们证明了LSP-Align在提取跨语言实体对方面优于基线，并从与英语对齐的120种不同语言中挖掘了1.64亿个实体对。我们将这些跨语言实体对与大规模多语言标记命名实体语料库一起发布，作为NLP社区的资源。
2021-09-10 cs.CL
Active Learning for Argument Mining: A Practical Approach
Center for Information and Language Processing (CIS)（信息与语言处理中心（CIS））；Ludwig Maximilian University (LMU)（路德维希·马克西米利安大学（LMU））
尽管最近取得了相当大的进展，但创建平衡和多样化的资源仍然是论证挖掘中耗时且代价高昂的挑战。主动学习通过查询信息量最大的样本进行注释来减少机器学习模型训练所需的数据量，因此是一种有前途的资源创建方法。在几种主动学习方法的大规模比较中，我们表明，主动学习大大减少了在参数单元识别和分类（AURC）任务上获得良好深度学习性能所需的努力。
2021-09-28 cs.CL
Mining Naturally-occurring Corrections and Paraphrases from Wikipedia's Revision History
LIMSI-CNRS（法国国家科学研究中心计算机科学与数学应用实验室）
自然发生的语言现象的实例对于训练和评估文本的自动处理都很重要。当大量可用时，它们也证明是语言研究的有趣材料。在这篇文章中，我们介绍了一个从维基百科的修订历史中构建的新资源，称为WiCoPaCo（维基百科更正和释义语料库），其中包含人类贡献者的大量编辑，包括各种更正和重写。我们讨论了建立这样一个资源的主要动机，描述了它是如何建立的，目前在法国的初步应用。
2022-02-25 cs.CL
NLP Research and Resources at DaSciM, Ecole Polytechnique
Ecole Polytechnique（巴黎综合理工学院）；Institut Polytechnique de Paris（巴黎理工学院）；Athens University of Economics and Business（雅典经济与商业大学）；Linagora
DaSciM（数据科学和挖掘）是Ecole Polytechnique LIX的一部分，成立于2013年，从那时起，通过机器和深度学习的方法在大规模数据分析领域取得了研究成果。该小组在NLP和文本挖掘领域特别活跃，在方法和资源层面取得了令人感兴趣的成果。以下是我们对AFIA社区感兴趣的不同贡献。
2021-12-01 cs.CL
Unsupervised Multilingual Sentence Embeddings for Parallel Corpus Mining
Charles University（查理大学）；University of the Basque Country（巴斯克大学）
现有的多语言句子嵌入模型需要大量的并行数据资源，这对于低资源语言是不可用的。我们提出了一种新的无监督的方法来获得多语言句子嵌入只依赖于单语数据。我们首先使用无监督机器翻译生成一个合成的平行语料库，并使用它来微调预训练的跨语言掩蔽语言模型（XLM），以获得多语言句子表示。在两个并行的语料库挖掘任务上评估了表示的质量，与vanilla XLM相比提高了22个F1点。此外，我们观察到，一个单一的合成双语语料库是能够提高其他语言对的结果。
2021-05-21 cs.CL
Mining Useful General Data for Low-Resource Domain Adaptation
针对低资源领域数据稀缺问题，提出NTK-Selector方法，利用神经正切核从通用数据中筛选有用样本，显著提升领域适应效果。
2026-06-05 cs.CL
Mining Wikidata for Name Resources for African Languages
Brandeis University（布兰迪斯大学）
这项工作通过提供一个维基数据衍生的对应于常见实体类型（个人、地点和组织）的名称列表资源，支持非洲语言的语言技术的进一步发展。虽然我们不是第一个挖掘维基数据以获取名单的人，但我们的方法强调可扩展性和可复制性，并解决了不使用拉丁字母的语言的数据质量问题。我们制作的名单包含28种非洲语言的大约190万个名字。我们描述了数据，用于生成数据的过程及其局限性，并提供软件和数据供公众使用。最后，我们讨论了生产这种资源和其他同类资源的伦理考虑。
2021-04-01 cs.AI cs.CL
Better Quality Estimation for Low Resource Corpus Mining
Boston University（波士顿大学）
质量评估（QE）模型有可能改变我们评估甚至训练机器翻译模型的方式。然而，这些模型仍然缺乏实现普遍采用的鲁棒性。我们表明，国家的最先进的QE模型，在并行语料库挖掘（PCM）设置测试时，执行意外的坏，由于缺乏鲁棒性域外的例子。我们提出了多任务训练，数据增强和对比学习的组合，以实现更好，更强大的QE性能。我们表明，我们的方法提高QE性能显着的MLQE的挑战和QE模型的鲁棒性时，在并行语料库挖掘设置测试。我们将PCM的准确性提高了0.80以上，使其与使用数百万个句子对来训练模型的最先进的PCM方法不相上下。相比之下，我们使用了千分之一的数据，总共7K个并行句子，并提出了一种新的低资源PCM方法。
2022-03-15 cs.AI cs.CL
KréyoLID From Language Identification Towards Language Mining
Inria（法国国家信息与自动化研究所）；Common Crawl Foundation（Common Crawl基金会）
本文提出将低资源语言语料库构建从多类分类问题重新定义为语言挖掘问题，并针对多种法语克里奥尔语引入新流程与语料库，以更少资源实现更快、更广的语料覆盖。
2025-03-09 cs.CL
Opinion Mining on Non-English Short Text
Florida State University（佛罗里达州立大学）
随着此类场所的类型和数量的增加，文本资源上的情感自动分析已成为一项必不可少的数据采掘任务。在本文中，我们研究了非正式短文本收集的意见挖掘问题。文本的积极和消极的情感强度检测。我们专注于一种非英语语言，它几乎没有用于文本挖掘的资源。这种方法将有助于增强在不存在固执己见词列表的语言中的情感分析。提出了一种新的方法，根据文本的情感强度，将文本投影到密集的低维特征向量中。我们在多变量尺度上检测积极和消极情绪的混合物。土耳其推文的实证评估表明，我们的方法得到了很好的结果意见挖掘的建议框架。
2017-04-04 cs.CL cs.IR
SAHAAYAK 2023 -- the Multi Domain Bilingual Parallel Corpus of Sanskrit to Hindi for Machine Translation
Asha M. Tarsadia Institute of Computer Science and Technology（阿莎·M·塔萨迪亚计算机科学与技术学院）；Uka Tarsadia University（乌卡·塔萨迪亚大学）
本文提出了名为 SAHAAYAK 2023 的大型多领域梵语-印地语双语平行语料库，包含 1.5M 句对，通过三步挖掘与规范化流程构建，可直接用于机器翻译算法。
2023-06-27 cs.CL
A Dataset Independent Set of Baselines for Relation Prediction in Argument Mining
Imperial College London（帝国理工学院）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；I3S（信息、信号与智能系统实验室）
论元挖掘（Argument Mining）是一个旨在提取论元成分和预测论元关系（即，支持和攻击）。特别是，在文献中已经提出了许多方法来预测参数之间的关系，并为此目的建立了特定于应用程序的注释资源。尽管创建这些资源是为了对同一任务进行实验，但要成功应用于这些数据集的重要部分的单一关系预测方法的定义是论证挖掘中的一个开放性研究问题。这意味着文献中提出的方法都不能轻易地从一个资源移植到另一个资源。在本文中，我们解决这个问题，提出了一组独立于数据集的强神经基线，在文献中提出的所有数据集上获得均匀的结果，用于论证关系预测任务。因此，我们的基线可以被论证挖掘社区用来更有效地比较一种方法在论证关系预测任务上的表现。
2020-02-14 cs.AI cs.CL
Mining Large Language Models for Low-Resource Language Data: Comparing Elicitation Strategies for Hausa and Fongbe
Carnegie Mellon University Africa（卡内基梅隆大学非洲分校）；Centre for Text Technology（文本技术中心）；North-West University（北开普大学）；South Africa（南非）
本文研究通过策略性提示从LLM中提取可用于Hausa和Fongbe两种西非语言的文本数据，发现Hausa需功能性文本和对话，而Fongbe需受限生成提示，GPT-4o Mini在提取目标语言词汇上表现更优。
2026-04-14 cs.AI cs.CL
ImagiFilter: A resource to enable the semi-automatic mining of images at scale
Deloitte NL（荷兰德勤）；ILLC, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究院）；CIMS, New York University（纽约大学库朗数学科学研究所）
从网络上（半）自动收集的数据集可以很容易地扩展到数百万个条目，但数据集的有用性与其示例的干净和高质量直接相关。在本文中，我们描述并公开发布了一个图像数据集以及预先训练的模型，这些模型旨在（半）自动地从可能从网络上获得的非常大的图像集合中过滤掉不需要的图像。我们的数据集集中于摄影和/或自然图像，这是计算机视觉研究中非常常见的用例。我们为粗略预测提供了注释，即摄影与非摄影，以及更小的细粒度预测任务，我们将非摄影类进一步细分为五类：地图，图纸，图形，图标和草图。验证数据的结果表明，减少内存占用的模型架构在粗预测上达到了96%以上的准确率。我们最好的模型在最难的细粒度分类任务上达到了88%的准确率。数据集和预训练模型可在https://github.com/houda96/imagi-filter上获得。
2020-08-20 cs.CL cs.CV
Harvesting comparable corpora and mining them for equivalent bilingual sentences using statistical classification and analogy- based heuristics
平行句子是一种相对稀缺但非常有用的资源，对于许多应用，包括跨语言检索和统计机器翻译。这项研究探索了我们从以前获得的可比语料库中挖掘此类数据的新方法。这项任务是非常实用的，因为非平行的多语言数据存在的数量远远超过平行语料库，但平行的句子是一个更有用的资源。在这里，我们提出了一种网络爬行方法，用于从例如维基百科转储和Euronews网页构建主题对齐的可比语料库。机器翻译的改进显示在各种文本域的波兰语-英语语言对上。我们还测试了另一种基于可比语料库数据构建平行语料库的方法。它可以自动扩大现有的语料库的句子从语料库的主题之间的类比的基础上。
2015-11-18 cs.CL stat.ML
TaigiSpeech: A Low-Resource Real-World Speech Intent Dataset and Preliminary Results with Scalable Data Mining In-the-Wild
Massachusetts Institute of Technology, USA（麻省理工学院）；National Taiwan University, Taipei, Taiwan（国立台湾大学）；National Taiwan University Artificial Intelligence Center of Research Excellence, Taipei, Taiwan（国立台湾大学人工智能研究中心）；Academia Sinica, Taiwan（台湾“中央”研究院）；National Yang Ming Chiao Tung University, Taiwan（阳明交通大学）；Signal Analysis and Interpretation Laboratory (SAIL), University of Southern California, USA（信号分析与解释实验室（SAIL），南加州大学）
针对低资源台语，构建包含21位老年人3000条话语的语音意图数据集，并探索关键词匹配与LLM伪标注、音视频框架两种数据挖掘策略，以解决标注数据稀缺问题。
2026-06-23 cs.CL cs.LG eess.AS
Parallel Strands: A Preliminary Investigation into Mining the Web for Bilingual Text
平行语料库是机器翻译的宝贵资源，但目前它们的可用性和实用性受到体裁和领域特异性、许可限制以及除了世界上最主要的语言之外的所有语言中定位平行文本的基本困难的限制。一个尚未开发的平行语料库资源是万维网，它拥有大量的平行翻译页面，为其中一些问题提供了潜在的解决方案，并提供了自己独特的机会。本文提出了必要的第一步，探索：一种方法，自动发现并行翻译的文件在Web上。该技术概念简单，完全独立于语言，可扩展，初步评估结果表明，该方法可能足够准确，无需人工干预即可应用。
1998-08-07 cmp-lg cs.CL
Building Subject-aligned Comparable Corpora and Mining it for Truly Parallel Sentence Pairs
Polish Japanese Institute of Information Technology（波兰-日本信息技术学院）
平行句子是一种相对稀缺但非常有用的资源，对于许多应用，包括跨语言检索和统计机器翻译。本研究探讨了我们的方法，从以前获得的可比语料库挖掘这些数据。这项任务是非常实用的，因为非平行的多语言数据存在的数量远远超过平行语料库，但平行的句子是一个更有用的资源。在这里，我们提出了一个网络爬行方法，从维基百科的文章建立主题对齐的可比语料库。我们还介绍了一种方法，用于提取真正的平行的句子，从嘈杂的或只是可比的句子对过滤掉。我们描述了我们的执行这项任务的一个专门的工具，以及训练和适应的机器翻译系统，提供我们的过滤器与可比的句子对的相似性的额外信息。
2015-09-29 cs.CL cs.IR stat.ML
Mining Meaning from Wikipedia
University of Waikato（怀卡托大学）
维基百科是一座信息的金矿;不仅对它的许多读者来说，而且对越来越多的研究人员来说，他们认为它是一种具有特殊规模和实用性的资源。它代表了人工努力和判断的巨大投资：一个巨大的，不断发展的概念和关系的挂毯，被应用于一系列任务。这篇文章提供了一个全面的描述这项工作。它侧重于提取和利用维基百科中的概念、关系、事实和描述的研究，并将工作分为四大类：将维基百科应用于自然语言处理;使用它来促进信息检索和信息抽取;以及作为本体构建的资源。这篇文章讨论了维基百科是如何被使用的，它是如何被改进和调整的，以及它是如何与其他结构相结合来创建全新的资源的。我们确定了参与的研究小组和个人，以及他们的工作在过去几年中是如何发展的。我们提供了一个完整的清单，列出了他们制作的开源软件。
2009-05-10 cs.AI cs.CL cs.IR
Decoupling Thought from Speech: Knowledge-Grounded Counterfactual Reasoning for Resilient Multi-Agent Argumentation
Institute of Computer Science, Warsaw University of Technology（华沙技术大学计算机科学学院）
提出知识反事实推理（KG-CFR）双阶段架构，通过私有规划缓冲与公共执行层分离，在动态资源分配环境下将扰动后论证质量从0.694提升至0.822，并减少语义循环。
2026-06-09 cs.AI cs.CL cs.MA
Effectiveness of Mining Audio and Text Pairs from Public Data for Improving ASR Systems for Low-Resource Languages
AI4Bharat；Indian Institute of Technology, Madras（印度理工学院马德拉斯分校）；Microsoft（微软）
端到端（E2 E）模型已经成为最先进的语音识别系统的默认选择。这些模型是在大量标记数据上训练的，这些数据通常不适用于低资源语言。诸如自监督学习和迁移学习等技术有希望，但在训练精确模型方面还没有有效。另一方面，在不同的域和扬声器集合上收集标记的数据集是非常昂贵的。在这项工作中，我们展示了一个廉价和有效的替代这些方法的“挖掘”的文本和音频对印度语言从公共来源，特别是从全印度广播电台的公共档案。作为一个关键组成部分，我们调整Needleman-Wunsch算法，以将句子与相应的音频片段对齐，给出一个长音频和一个PDF的转录本，同时对OCR、无关文本和非转录语音造成的错误具有鲁棒性。因此，我们创建了Shrutilipi，这是一个数据集，包含超过6,400小时的标记音频，涉及12种印度语言，总计495万个句子。平均而言，Shrutilipi的结果比公开的标签数据增加了2.3倍。我们与12种语言的21名人类评估员一起确定了Shrutilipi的质量。我们还建立了Shrutilipi的多样性，包括代表的地区，发言人和提到的命名实体。值得注意的是，我们表明，将Shrutilipi添加到Wav 2 Vec模型的训练集中，在IndicSUPERB基准测试中，7种语言的WER平均下降了5.8%。对于拥有最多基准（7）的印地语，平均WER从18.8%降至13.5%。这种改进扩展到了高效模型：我们显示了Co…
2022-08-26 cs.CL cs.SD eess.AS
ImageArg: A Multi-modal Tweet Dataset for Image Persuasiveness Mining
University of Pittsburgh（匹兹堡大学）
对开发说服性文本语料库的兴趣日益增长，促进了在自动化系统中的应用，例如，辩论和论文评分系统;然而，几乎没有从辩论的角度挖掘图像说服力的现有工作。为了将说服力挖掘扩展到多模态领域，我们提出了一个多模态数据集ImageArg，由推文中图像说服力的注释组成。注释是基于我们开发的说服分类，以探索图像功能和说服手段。我们使用广泛使用的多模态学习方法在ImageArg上对图像说服力任务进行基准测试。实验结果表明，我们的数据集为这个丰富而具有挑战性的主题提供了有用的资源，并且有足够的建模改进空间。
2022-09-14 cs.AI cs.CL cs.MM
