Europarl-ST: A Multilingual Corpus For Speech Translation Of Parliamentary Debates
Valencian Research Institute for Artificial Intelligence (VRAIN)(巴伦西亚人工智能研究所(VRAIN))
目前对口语翻译(speak-language translation,缩写为speech-to-text translation)的研究通常受到缺乏特定数据资源的阻碍,因为目前可用的口语翻译数据集仅限于有限的语言对。在本文中,我们提出了Europarl-ST,一个新的多语种的翻译语料库,包含配对的音频文本样本,从和到6种欧洲语言,共30个不同的翻译方向。该语料库是利用2008年至2012年期间欧洲议会举行的辩论汇编而成的。本文描述了语料库的创建过程,并提出了一系列的自动语音识别,机器翻译和口语翻译实验,突出了这种新资源的潜力。该语料库在知识共享许可下发布,可免费访问和下载。
2020-02-12 cs.CL cs.SD eess.AS
ORCHID: A Chinese Debate Corpus for Target-Independent Stance Detection and Argumentative Dialogue Summarization
Huawei IT Innovation and Research Center(华为IT创新研究中心)
本文构建了首个中文辩论数据集ORCHID,包含1218场辩论及立场标注和摘要,用于目标无关立场检测与辩论摘要研究,并通过实验揭示两项任务结合的潜力。
2024-10-17 cs.CL
Creating and Characterizing a Diverse Corpus of Sarcasm in Dialogue
University of Utah(犹他大学);University of California, Santa Cruz(加州大学圣克鲁兹分校)
社交媒体中讽刺和挖苦的使用使我们能够第一次大规模地研究它们。然而,它们的多样性使得很难构建一个高质量的讽刺对话语料库。在这里,我们描述了创建大规模、高度多样化的在线辩论论坛对话语料库的过程,以及我们以反问和夸张的形式操作讽刺类别的新颖方法。我们表明,我们可以使用词汇句法线索,可靠地检索讽刺话语的准确性高。为了证明我们的语料库的属性和质量,我们进行了监督学习实验,简单的功能,并表明,我们实现了更高的精度和F比以前的工作在辩论论坛对话的讽刺。我们采用弱监督的语言模式学习器,定性地分析了每个类中的语言差异。
2017-09-15 cs.CL
Towards Effective Rebuttal: Listening Comprehension using Corpus-Wide Claim Mining
IBM Research(IBM研究院)
参与现场辩论需要,除其他外,有效地反驳你的对手所声称的论点的能力。特别是,这需要确定这些参数。在这里,我们建议通过自动挖掘包含数十亿句子的新闻文章语料库中的声明,并在给定的演讲中搜索它们来做到这一点。这就提出了一个问题,即这些主张是否确实与口头演讲中提出的主张相对应。为此,我们收集了一个大的数据集的$400$演讲在英语讨论$200$有争议的话题,挖掘每个主题的索赔,并要求注释者确定挖掘索赔中提到的每个演讲。结果表明,在绝大多数的演讲中,辩论者确实使用了这种说法。此外,我们提出了几个基线的自动检测开采索赔的讲话,形成未来工作的基础。所有收集的数据都可免费用于研究。
2019-07-27 cs.AI cs.CL cs.LG
Two Centuries of Sexism in British Parliament: A Computational Analysis of Women's Representation in the Hansard Corpus
Rochester Institute of Technology(罗切斯特理工学院)
本研究通过分析英国Hansard语料库的6531篇议会演讲,利用大语言模型发现反对女性参政的演讲性别歧视比例更高,支持选举权的性别歧视多为善意,且男女议员支持女性权利的比例存在差距,验证了矛盾性别歧视理论。
2026-09-03 cs.AI cs.CL cs.CY
BasqueParl: A Bilingual Corpus of Basque Parliamentary Transcriptions
HiTZ Center - Ixa, University of the Basque Country UPV/EHU(巴斯克大学UPV/EHU HiTZ中心-Ixa);Gureiker, University of the Basque Country UPV/EHU(巴斯克大学UPV/EHU Gureiker)
议会记录提供了一个宝贵的资源,以了解现实和了解随着时间的推移在我们的社会中发生的最重要的事实。此外,在这些成绩单中捕获的政治辩论促进了从计算社会科学的角度对政治话语的研究。在本文中,我们发布了第一个版本的新编译的语料库从巴斯克议会成绩单。该语料库的特点是沉重的巴斯克语-西班牙语代码转换,并代表了一个有趣的资源,以研究政治话语的对比语言,如巴斯克语和西班牙语。我们丰富的语料库与元数据相关的扬声器和演讲的相关属性(语言,性别,党…)并处理文本以获得命名实体和词元。然后使用所获得的元数据进行详细的语料库分析,提供有关巴斯克政治代表在时间,政党和性别上使用语言的有趣见解。
2022-05-03 cs.AI cs.CL
Molyé: A Corpus-based Approach to Language Contact in Colonial France
Inria(法国国家信息与自动化研究所)
本文提出Molyé开放语料库,整合欧洲语言变体表征与法语克里奥尔语400年早期记录,以研究殖民时期语言接触的连续性。
2024-08-08 cs.CL
A Corpus of Persuasion Techniques in Slavic Languages
Institute of Computer Science, Polish Academy of Science(波兰科学院计算机科学研究所);Sofia University "St. Kliment Ohridski"(索菲亚大学圣克莱门特·奥赫里德斯基分校);University of Koblenz(科布伦茨大学);Visa Technology Europe(维萨欧洲技术公司);CodeNLP(代码自然语言处理公司);University of Padua(帕多瓦大学);University of Helsinki(赫尔辛基大学)
本文聚焦斯拉夫语构建说服技巧语料库,涵盖三国语言、约7500个文本跨度及25种细粒度技巧。描述创建过程并统计,研究话题与技巧相关性,还用多种模型提供检测和分类的基线及基准结果。
2026-07-14 cs.AI cs.CL
The Arabic Parallel Gender Corpus 2.0: Extensions and Analyses
New York University Abu Dhabi(纽约大学阿布扎比分校);Carnegie Mellon University in Qatar(卡内基梅隆大学卡塔尔分校)
自然语言处理(NLP)应用中的性别偏见,特别是机器翻译,已经受到越来越多的关注。关于这个问题的许多研究都集中在减轻英语NLP模型和系统中的性别偏见。在资源贫乏和/或形态丰富的语言中解决这个问题已经落后,主要是由于缺乏数据集和资源。在本文中,我们介绍了一个新的语料库性别识别和重写的背景下,涉及一个或两个目标用户(我和/或你)-第一和第二语法的人与独立的语法性别偏好。我们专注于阿拉伯语,一种性别标记形态丰富的语言。语料库有多个平行的组成部分:第一和第二人称的四种组合,在女性和男性语法性别,以及英语,英语到阿拉伯语的机器翻译输出。该语料库扩展了Habash et al.(2019)的阿拉伯语平行性别语料库(APGC v1.0),增加了第二人称目标,并将句子总数增加了6.5倍以上,达到59万多个单词。我们的新数据集将有助于性别识别、受控文本生成和编辑后重写系统的研究和开发,这些系统可用于个性化NLP应用程序,并根据用户的语法性别偏好为用户提供正确的输出。我们公开提供阿拉伯语平行性别语料库(APGC v2.0)。
2021-10-18 cs.CL
Generalizability of Media Frames: Corpus creation and analysis across countries
Institute for Natural Language Processing, University of Stuttgart(自然语言处理研究所,斯图加特大学);Bocconi University(博科尼大学)
本研究通过构建巴西葡萄牙语新闻数据集FrameNews-PT并基于MFC框架进行多轮标注,评估了媒体框架的跨文化普适性,发现MFC框架经微调后仍适用,但部分框架使用率低且需依赖通用回退框架,表明跨文化框架使用需谨慎。
2025-06-19 cs.CL
German Parliamentary Corpus (GerParCor)
Goethe University Frankfurt(法兰克福歌德大学)
议会辩论是一个巨大的、部分尚未开发的、可供公众查阅的文本宝库。在德语区,国家和联邦一级覆盖所有德语议会的统一可访问和注释的语料库存在一定的不足。为了解决这个问题,我们引入了德国议会语料库(GerParCor)。GerParCor是一个特定类型的语料库(主要是历史)德语议会协议,来自三个世纪和四个国家,包括州和联邦级别的数据。此外,GerParCor还包含扫描协议的转换,特别是通过基于Tesseract的OCR过程转换的Fraktur协议。所有协议都通过spaCy3的NLP管道进行预处理,并自动使用关于其会话日期的元数据进行注释。GerParCor以UIMA项目的XMI格式提供。通过这种方式,GerParCor可以用作政治传播领域的大型历史文本语料库,用于NLP中的各种任务。
2022-04-21 cs.CL
An English-Hindi Code-Mixed Corpus: Stance Annotation and Baseline System
Language Technologies Research Centre, International Institute of Information Technology, Hyderabad(语言技术研究中心,国际信息技术学院,海得拉巴)
社交媒体已成为人们与社会沟通和分享观点的主要渠道之一。我们经常可以从这些观点中发现一个人对某个主题是赞成、反对还是中立。这些来自社交媒体的意见对各种公司都很有用。我们提出了一个新的数据集,由3545条英语-印地语代码混合的推文组成,这些推文对2016年在印度实施的Demonetisation有意见,随后在全国范围内进行了大规模的辩论。我们提出了一个基线监督分类系统的立场检测开发使用相同的数据集,使用各种机器学习技术,以实现10倍交叉验证的准确率为58.7%。
2018-05-30 cs.CL
"You are no Jack Kennedy": On Media Selection of Highlights from Presidential Debates
University of Colorado Boulder(科罗拉多大学博尔德分校);University of Washington(华盛顿大学)
政治演讲和辩论在塑造政治家形象方面发挥着重要作用,公众往往依赖媒体从大量言论中选择政治传播。这是一个重要的研究问题,以了解哪些因素影响这一选择过程。为了定量地探索选择过程,我们建立了一个三十年的总统辩论记录和辩论后报道的数据集。我们首先研究措辞的影响,并提出了一个二元分类框架,控制扬声器和辩论的情况。我们发现,众包工作者在这项任务中只能达到60%的准确率,这表明媒体选择并不完全明显。我们的分类器平均表现优于众包工作者,主要是在初选辩论中。我们还比较了众包工作者的自由形式解释与数据驱动方法的重要因素,并发现了有趣的差异。很少有群众工作者提到“语境很重要”,而我们的数据显示,引用得好的句子比引用得少的句子与同一说话者之前的话语更不同。最后,我们研究了媒体偏好对不同措辞的综合影响,以了解媒体之间的碎片化程度。通过分析从我们的数据中引用行为构建的二分图,我们观察到两党报道的下降趋势。
2018-02-23 cs.CL cs.SI physics.soc-ph
The Moralization Corpus: Frame-Based Annotation and Analysis of Moralizing Speech Acts across Diverse Text Genres
Department of German Linguistics, Heidelberg University(海德堡大学德语语言学系);Department of Computational Linguistics, Heidelberg University(海德堡大学计算语言学系)
本文提出道德化语料库,用于分析道德价值观在论证话语中的策略使用,评估大型语言模型在道德化检测与成分提取中的表现,并揭示其高度主观性和情境敏感性。
2026-03-18 cs.CL
Joint Optimization of Tree-based Index and Deep Model for Recommender Systems
Alibaba Group(阿里巴巴集团);Tsinghua University(清华大学)
大型工业推荐系统通常面临着巨大的语料库规模的计算问题。为了在响应时间限制下检索并向用户推荐最相关的项目,采用高效的索引结构是一种有效且实用的解决方案。基于树的深度模型(Tree-based Deep Model,TDM)\cite{zhu2018learning}使用树索引极大地提高了推荐的准确性。通过索引树层次结构中的项并训练满足树中的类最大堆性质的用户节点偏好预测模型,TDM提供了相对于树的对数计算复杂性。语料库的大小,使得在候选检索和推荐中能够使用任意的高级模型。在基于树的推荐方法中,树索引和用户节点偏好预测模型的质量在很大程度上决定了推荐的准确性。我们认为树索引和偏好模型的学习具有相互依赖性。我们的目的,在本文中,是开发一种方法来共同学习的索引结构和用户偏好预测模型。在我们提出的联合优化框架中,索引的学习和用户偏好预测模型在统一的性能指标下进行。此外,我们提出了一种新的层次用户偏好表示利用树索引层次。两个大规模真实数据集的实验结果表明,该方法显著提高了推荐准确率。在线A/B测试结果显示广告平台也证明了该方法在生产环境中的有效性。
2019-11-20 cs.IR cs.LG stat.ML
Corpus Characterization and Inverse Constitutional Fine-Tuning for Style-Aware Radiology Reports
McLean High School(麦克莱恩高中);Stanford University(斯坦福大学);Stanford Cardiovascular Institute(斯坦福心血管研究所);Stanford School of Medicine(斯坦福医学院)
本研究通过语料库特征刻画和逆宪法微调,使放射学报告生成模型在结构和词汇上对齐真实医生风格,显著提升文本匹配分数。
2026-09-15 cs.CL
A Corpus for Understanding and Generating Moral Stories
Tsinghua University(清华大学)
讲故事的最重要目的之一是教导道德。理解和写作道德故事的一个基本能力是连接故事情节和隐含的道德。其挑战主要在于:(1)掌握道德中抽象概念的知识,(2)捕捉故事中事件间的话语关系,(3)调整故事和道德关于好或坏行为的价值偏好。在本文中,我们提出了两个理解任务和两个生成任务来评估这些能力的机器。我们提出了STORAL,一个新的数据集的中文和英文人类写的道德故事。我们所提出的任务的难度,通过测试各种型号的自动和手动评估STORAL。此外,我们提出了一个检索增强算法,有效地利用相关的概念或事件的训练集作为额外的指导,以提高这些任务的性能。
2022-04-20 cs.CL
Towards Corpus-Scale Discovery of Selection Biases in News Coverage: Comparing What Sources Say About Entities as a Start
University of Pennsylvania(宾夕法尼亚大学)
本文提出一种无监督NLP概念框架,通过比较新闻信息源对争议实体的提及方式捕捉内容选择偏好,并在NELA-2020语料库上验证了该分布散度能有效指示信息源的意识形态倾向。
2023-04-06 cs.CL
Learning Tree-based Deep Model for Recommender Systems
Alibaba Group(阿里巴巴集团)
基于模型的推荐方法近年来得到了广泛的研究。然而,在具有大型语料库的系统中,学习模型预测所有用户项目偏好的计算成本是巨大的,这使得完整的语料库检索非常困难。为了克服计算障碍,诸如矩阵因式分解的模型诉诸于内积形式(即,将用户-项目偏好建模为用户、项目潜在因素)和索引的内积,以促进有效的近似k-最近邻搜索。然而,在用户和项目特征之间结合更有表现力的交互形式仍然具有挑战性,例如,通过深层神经网络进行交互,因为计算成本。在本文中,我们关注的问题,引入任意先进的模型,推荐系统与大型语料库。我们提出了一种新的基于树的方法,可以提供对数复杂度w.r.t.甚至使用更有表现力的模型,如深度神经网络,也可以减少语料库的大小。我们的主要思想是预测用户的兴趣从粗到细遍历树节点在自顶向下的方式,并为每个用户节点对决策。我们还表明,树结构可以共同学习,以更好地与用户的兴趣分布的兼容性,从而促进训练和预测。两个大规模真实世界数据集的实验结果表明,该方法显着优于传统方法。在淘宝展示广告平台上的在线A/B测试结果也证明了该方法在生产环境中的有效性。
2018-12-21 cs.IR cs.LG stat.ML
Debate, Reflect, and Distill: Multi-Agent Feedback with Tree-Structured Preference Optimization for Efficient Language Model Enhancement
Beijing Institute of Technology(北京理工大学);Singapore Management University(新加坡国立大学)
本文提出辩论与反思(D&R)框架和树结构直接偏好优化(T-DPO),通过多智能体辩论反馈高效训练较小语言模型,显著提升其准确性、鲁棒性和泛化能力。
2025-06-04 cs.AI cs.CL
Semi-Supervised Cleansing of Web Argument Corpora
Bauhaus-Universität Weimar(魏玛包豪斯大学);Paderborn University(帕德博恩大学)
辩论门户和类似的网络平台构成了计算论证研究及其应用的主要文本来源之一。虽然建立在这些来源上的语料库具有丰富的与论证相关的内容和结构,但它们也包括与其目的无关甚至有害的文本。在本文中,我们提出了一个面向精度的方法来检测这种不相关的文本在半监督的方式。给定一些种子示例,该方法会自动学习相关性和不相关性的基本词汇模式,然后从匹配模式的句子中逐步引导新模式。在现有的args.me语料库与40万议论文,我们的方法检测到近87k无关的句子,在精度为0.97,根据人工评估。该方法具有较低的工作量,可以适用于其他网络论元语料库,提供了一种通用的方法来提高语料库的质量。
2020-11-03 cs.CL
Beyond Musical Descriptors: Extracting Preference-Bearing Intent in Music Queries
Deezer Research(Deep Music 研究所);Idiap Research Institute(Idiap 研究所)
本文提出MusicRecoIntent语料库,通过标注音乐请求中的描述以提取用户意图,研究LLM在提取音乐描述中的表现,并为改进音乐理解系统提供基准。
2026-02-11 cs.CL cs.IR cs.LG
Internal and external dynamics in language: Evidence from verb regularity in a historical corpus of English
Institute for Complex Systems (ISC-CNR)(国家研究委员会复杂系统研究所(ISC-CNR));Sapienza University of Rome(罗马大学(Sapienza));Institute for Scientific Interchange (ISI)(科学交流研究所(ISI))
人类语言是受规则支配的,但这些规则几乎总是以不规则的形式存在例外。既然语言中的规则是有效的和多产的,那么不规则的持续存在就是一种反常现象。面对内在的(内生的)和外在的(外生的)压力,不规则性是如何持续的?在这里,我们解决这个问题,采取了详细的研究在美国历史英语语料库中的简单过去式动词。数据显示,语言是开放的,有许多新的动词进入。与此同时,现有的动词可能会由于内部动态而趋于规则化或不规则化,但总体而言,语言所承受的不规则量随着时间的推移大致保持不变。尽管词汇量不断增长,而且据推测,表达能力也随之增加,但不规则性并没有相应的增长。我们分析了一组不规则的,他们可能会坚持一组少数规则,随着时间的推移,允许增加的不规则性的稳定性。这些研究结果有助于语言系统如何成为规则统治的辩论,以及如何以及为什么他们维持例外的规则,提供洞察的出现和维护之间的相互作用的规则和例外的语言。
2014-08-12 cs.CL physics.soc-ph
Open-World Evaluation for Retrieving Diverse Perspectives
Department of Computer Science(计算机科学系);New York University(纽约大学)
本研究构建BERDS基准并设计基于语言模型的评估器,在开放世界语料上评估检索器覆盖多元视角的能力,发现现有方法仅覆盖40%示例,并探索了查询扩展与重排序的改进策略。
2025-04-22 cs.CL cs.IR
Dialogue to Discovery: Attribute-Aware Preference Elicitation for Conversational Product Search Assistants
Adobe Research(Adobe研究院);Microsoft Research(微软研究院);UC Berkeley(伯克利大学)
提出属性导向的偏好引导框架D2D,动态利用产品属性结构高效引导对话,在模拟对话中目标发现准确率提升22.2-29.9%,放弃率降低6.6-16.1%,平均对话缩短27.5%。
2026-06-24 cs.CL cs.HC cs.IR
Political corpus creation through automatic speech recognition on EU debates
Leiden University(莱顿大学)
本文通过无监督领域自适应改进Wav2vec2.0自动语音识别流程,构建了360万词的欧盟议会LIBE委员会转写语料库,将WER从28.22降至17.95,并验证了其在下游主题建模中的实用性。
2023-04-17 cs.CL
User-Centric Gender Rewriting
New York University Abu Dhabi(纽约大学阿布扎比分校);Carnegie Mellon University in Qatar(卡内基梅隆大学卡塔尔分校)
在本文中,我们定义的任务,性别重写的上下文中涉及两个用户(我和/或你)-第一和第二语法的人与独立的语法性别偏好。我们专注于阿拉伯语,一种性别标记形态丰富的语言。我们开发了一个多步骤的系统,结合了基于规则和神经重写模型的积极方面。我们的研究结果成功地证明了这种方法的可行性,最近创建的语料库阿拉伯语性别重写,达到88.42 M2 F0.5的盲测试集。我们提出的系统比以前的工作改进了这个任务的第一人称版本,在M2 F0.5中绝对增加了3.05。我们展示了我们的性别重写系统的用例,使用它来后编辑的商业MT系统的输出,以提供个性化的输出的基础上,用户的语法性别偏好。我们公开我们的代码、数据和模型。
2022-05-04 cs.CL
Trilingual Topic Modeling of Sri Lankan Parliamentary Debates
针对斯里兰卡议会三语辩论语料库因多语言特性难以处理的问题,提出基于LLM的文本提取结合多语言嵌入与密度聚类的端到端框架,辅以BiTopic方法,成功识别三种语言的30个宏观主题,其时间轨迹与重大国家事件吻合,且性能优于传统LDA。
2026-08-27 cs.AI cs.CL
AlignSurvey: A Comprehensive Benchmark for Human Preferences Alignment in Social Surveys
针对传统社会调查的局限及现有LLM模拟调查研究的不足,本文推出AlignSurvey全流程评估基准,配套多层级数据集与SurveyLM参考模型,为社会调查的人类偏好对齐研究提供支撑。
2025-11-13 cs.CL
Demand-Side Measurement for Generative Engine Optimization: Constructing and Validating a Million-Persona, Intent-Annotated Buyer Corpus
Estonian Entrepreneurship University of Applied Sciences (EUAS)(爱沙尼亚应用创业大学);Rankfor.AI OÜ(Rankfor.AI公司)
该研究构建并验证了含百万级角色的PersonaGen-1M买家语料库,带意图标注与来源偏好,旨在为生成式引擎优化的需求侧测量提供数据支撑,其分层子集已公开发布。
2026-09-01 cs.CL cs.IR
Improving Fairness of Large Language Models in Multi-document Summarization
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Pennsylvania State University(宾夕法尼亚州立大学)
针对多文档摘要现有公平性方法多聚焦摘要层面的问题,提出兼顾摘要与语料层面公平性的FairPO偏好调优方法,通过扰动文档集生成偏好对、动态调整偏好对权重分别优化两层公平性,在保持摘要质量的同时优于强基线。
2025-06-12 cs.CL
Behavioral and Representational Evidence of Binomial Ordering Preferences in Large Language Models
Ludwig Maximilian University of Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
通过多语言二项式数据集和分布度量,研究LLM对梯度频率分布的建模能力,发现模型虽能恢复主导顺序,但难以精确匹配偏好分布,并通过稀疏探针验证偏好强度在中间层编码且可操纵。
2026-06-23 cs.CL cs.LG
DEBATE: Devil's Advocate-Based Assessment and Text Evaluation
University of Chicago(芝加哥大学);VRCREW;Ministry of Justice, Republic of Korea(大韩民国法务部)
针对NLG评估中单一LLM智能体存在偏差的问题,提出基于魔鬼代言人的多智能体辩论框架DEBATE,在SummEval和TopicalChat基准上显著超越现有方法。
2024-05-24 cs.AI cs.CL
BARRED: Synthetic Training of Custom Policy Guardrails via Asymmetric Debate
Plurai Inc.(Plurai公司)
BARRED通过不对称辩论生成合成训练数据,提升定制策略的安全性与效率,实验表明其优于现有模型。
2026-04-28 cs.AI cs.CL cs.LG
What Drives the International Development Agenda? An NLP Analysis of the United Nations General Debate 1970-2016
Dublin City University(都柏林城市大学);University of Birmingham(伯明翰大学);University of Essex(埃塞克斯大学)
令人惊讶的是,在联合国(UN)的国际发展议程的设置所知甚少,尽管它对发展努力的过程和结果有着重大的影响。本文使用一种新的方法来解决这一缺点,该方法将自然语言处理技术应用于各国在联合国一般性辩论中的年度发言。每年,联合国会员国在一般性辩论中发表声明,阐述其政府对世界政治重大问题的看法。这些演讲提供了关于国家在包括国际发展在内的广泛问题上的偏好的宝贵信息,但在全球政治研究中基本上被忽视了。本文确定了1970年至2016年期间各国在这些演讲中提出的主要国际发展主题,并研究了国际发展言论的具体国家驱动因素。
2017-08-19 cs.CL cs.SI
Emergence of Syntax Needs Minimal Supervision
Université Paris 1 Panthéon-Sorbonne(巴黎第一大学先贤祠-索邦大学);INALCO(法国国立东方语言文化学院)
这篇文章是一个理论上的贡献,从语料库没有明确的语法特定的指导语法的可学习性的辩论。我们的方法起源于语料库的可观察结构,我们用它来定义和隔离语法(句法信息)和意义/语用信息。我们描述了一个自治的语法的形式特征,并表明,它成为可能搜索基于语法的词汇类别与一个简单的优化过程,没有任何先验假设的形式的模型。
2020-05-03 cs.CL
Political DEBATE: Efficient Zero-shot and Few-shot Classifiers for Political Text
本文提出Political DEBATE语言模型,用于政治文档的零样本和少样本分类,模型在效率和开放性上优于现有模型,并发布包含20多万政治文档的PolNLI数据集。
2024-09-03 cs.CL
Topology Analysis of International Networks Based on Debates in the United Nations
University College London(伦敦大学学院);University of Essex(埃塞克斯大学)
在复杂的、高维的、非结构化的数据中,通常很难提取有意义的模式。在处理文本数据时尤其如此。最近在机器学习、信息论和网络科学方面的研究已经开发了几种新的工具来提取非结构化数据的语义,并利用它来构建关系网络。这些方法是降维和模式检测的有效工具。本文运用语义网络科学,以联合国大会一般性辩论中国际社会关注度较高的议题为研究对象,提取国际领域的意识形态接近度。联合国一般性辩论语料库(UNGDC)涵盖了1970年至2014年联合国大会的所有高级别辩论,涵盖了所有联合国会员国。研究主要分三个步骤进行。首先,使用潜在狄利克雷分配(LDA)提取联合国演讲的主题,从而语义信息。然后为每个国家分配一个矢量,具体说明所确定的每一个专题的暴露程度。这个中间的输出,然后用于构建一个网络的国家的基础上,信息理论指标的链接捕获类似的矢量模式的主题分布。然后通过网络属性,如密度,路径长度和聚类分析网络的拓扑结构。最后,我们使用地图方程框架来识别我们的网络的特定拓扑特征,以检测我们的国家网络中的社区。
2017-07-29 cs.CG cs.CL math.AT
Mapping how LLMs debate societal issues when shadowing human personality traits, sociodemographics and social media behavior
CogNosco Lab, University of Trento, Department of Psychology and Cognitive Science(CogNosco实验室,特伦托大学心理学与认知科学系)
本文通过CDS数据集研究LLMs在不同社会和情境提示下生成的辩论内容变化,分析其社会议题立场和情感表达。
2026-04-30 cs.AI cs.CL cs.CY
Style-Debiased DPO: Updating LLM Knowledge with Factuality-Aware Synthetic Preference Data
Waseda University(早稻田大学)
针对持续预训练后知识检索不准的问题,提出风格去偏 DPO,通过反转事实正确但风格不同的偏好对并加权,高效提升知识引出与更新准确率。
2026-09-16 cs.CL
Changes in Policy Preferences in German Tweets during the COVID Pandemic
Berlin University of Applied Sciences(柏林应用科学大学);Einstein Center Digital Future(爱因斯坦数字未来中心)
本文构建细粒度政策偏好推文数据集并训练分类模型,分析 2019-2022 年德国 Twitter 语料,发现 COVID 疫情期间政策偏好表达增加,且主要由亲福利、亲教育和亲政府行政效率类别驱动。
2023-07-31 cs.CL cs.CY cs.IR
SpeakGer: A meta-data enriched speech corpus of German state and federal parliaments
TU Dortmund University(多特蒙德工业大学)
本文构建了涵盖1947-2023年德国16个州议会及联邦议院、共1080余万篇演讲的SpeakGer数据集,并附带政党、年龄、选区及听众反应等丰富元数据,以支持政治学领域的细粒度定量分析。
2024-10-23 cs.CL
A multimodal movie review corpus for fine-grained opinion mining
Télécom Paris, Université Paris-Saclay(巴黎高等电信学校,巴黎-萨克雷大学)
在本文中,我们为由1000个视频组成的POM电影评论数据集引入了一组观点注释。注释活动的动机是发展一个分层的意见预测框架,允许人们预测意见的不同组成部分(例如极性和方面),并确定相应的文本跨度。由此产生的注释已经收集在两个粒度级别:一个粗糙的(固执己见的跨度)和一个更精细的(意见组件的跨度)。我们引入特定的类别,以使电影评论的意见更容易注释。例如,某些类别允许在电影评论中发现用户推荐和偏好。我们提供了一个定量分析的注释和报告的注释者之间的协议下的不同级别的粒度。因此,我们提供了第一组地面实况注释,可用于细粒度多模态意见预测的任务。我们提供了一个分析的数据收集,通过一个inter-annotator的研究,并表明,一个线性结构化的预测学习有意义的功能,即使是对稀缺的标签的预测。注释和基线系统都是公开的。https://github.com/eusip/POM/
2021-04-29 cs.CL cs.MM
DuplexGen: Adaptive Synthesis of Human-AI Turn-Taking Dialogues
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Seoul National University(首尔大学);Columbia University(哥伦比亚大学);University of California, Berkeley(加州大学伯克利分校);Georgia Institute of Technology(佐治亚理工学院)
DuplexGen框架通过将LLM预测与少量槽级人类偏好标注校准,生成场景自适应交替发言对话,契合人类偏好的效果优于未校准方法,证明人类校准对交替发言合成场景特定性的关键作用。
2026-09-01 cs.CL