Research on Multilingual News Clustering Based on Cross-Language Word Embeddings
School of Computer and Cyberspace Security, Communication University of China（中国传媒大学计算机与网络空间安全学院）；University of Hong Kong（香港大学）
本文研究跨语言新闻聚类问题，提出用知识蒸馏训练中英跨语言句向量模型，并结合LDA主题分布表示新闻，同时改进Single-Pass增量聚类算法，以高效实现多语言新闻事件分类。
2023-05-30 cs.CL
Towards cross-lingual alerting for bursty epidemic events
National Institute of Informatics（情报学研究所）
背景：在线新闻报道正日益成为基于事件的预警系统的一个来源，这些系统用于检测自然灾害。由于报道复杂时空事件的模式，利用多语种新闻专线提供的大量信息带来了与机遇一样多的挑战。结果：在这篇文章中，我们研究了跨语言使用相关事件报告的问题。我们使用5个时间畸变检测算法对根据疾病和爆发国家分类的文本挖掘事件进行跟踪16种疾病爆发的演变。使用ProMED报告作为银标准，在129天的试验期内对13种语言的新闻数据进行了比较分析，结果显示，使用跨语言事件的大多数模型的灵敏度、F1和及时性都有所提高。我们报告了2010年安哥拉霍乱的详细案例研究分析，突出了将新闻事件与银本位相关联所面临的挑战。结论：结果表明，使用多语言文本挖掘的自动健康监测有可能把低价值的新闻变成高价值的警报，如果知情的选择是用来管理模型和数据源的选择。BioCaster门户网站http://born.nii.ac.jp/?上提供了使用多语言新闻的C2警报算法的实现page=globalroundup.
2011-10-13 cs.CL cs.IR cs.SI
News Across Languages - Cross-Lingual Document Similarity and Event Tracking
在今天的世界里，我们关注的新闻是全球性的。重大事件由不同来源以不同语文报道。在这项工作中，我们解决的问题，在一个大的多语言流的事件跟踪。在最近开发的系统事件注册表中，我们研究这个问题的两个方面：如何比较不同语言的文章，以及如何链接不同语言的文章集合，这些文章指的是同一事件。以多语言流和集群的文章，从每种语言，我们比较不同的跨语言文档相似性措施的基础上维基百科。这使我们能够计算任何两篇文章的相似性，而无论语言如何。在以前工作的基础上，我们展示了一些方法，这些方法可以很好地扩展，并且可以计算来自语言的文章之间的有意义的相似性，在训练数据中很少或没有直接重叠。利用这种能力，我们提出了一种方法来链接集群的文章跨语言，代表同一事件。我们提供了一个广泛的评价系统作为一个整体，以及评价的质量和鲁棒性的相似性度量和链接算法。
2015-12-22 cs.CL cs.IR
A Corpus for Sentence-level Subjectivity Detection on English News Articles
University of Bologna（博洛尼亚大学）
本研究提出新颖的句子级主观性检测标注指南，构建英语语料库NewsSD-ENG，并评估多语言Transformer模型，发现多语言训练效果最佳。
2024-05-24 cs.CL
Bianet: A Parallel News Corpus in Turkish, Kurdish and English
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
我们提出了一个新的开源平行语料库，包括从Bianet杂志，一个在线报纸，出版土耳其新闻，通常连同他们的翻译在英语和库尔德语收集的新闻文章。在本文中，我们描述了语料库的收集过程及其统计特性。我们通过评估英语-土耳其语和英语-库尔德语方向的双语和多语言神经机器翻译模型来验证使用Bianet语料库的好处。
2018-05-14 cs.CL
QU-NLP at CheckThat! 2025: Multilingual Subjectivity in News Articles Detection using Feature-Augmented Transformer Models with Sequential Cross-Lingual Fine-Tuning
Qatar University（卡塔尔大学）
本研究针对CheckThat! 2025新闻主观性检测任务，提出融合上下文嵌入与统计/语言特征的特征增强Transformer模型，通过序列跨语言微调在多语言、单语言及零样本设置下取得有竞争力的性能，并验证了特征组合与跨语言迁移的作用。
2025-07-01 cs.CL
SwissBERT: The Multilingual Language Model for Switzerland
University of Zurich（苏黎世大学）
SwissBERT是一个面向瑞士四种国家语言的掩码语言模型，通过语言适配器适配新闻文本，在瑞士相关自然语言理解任务上优于先前模型，并支持未来扩展至瑞士德语方言。
2024-01-16 cs.CL
Optimizing the Training Schedule of Multilingual NMT using Reinforcement Learning
HEIG-VD / HES-SO；Pi School；EPFL（苏黎世联邦理工学院）
针对多语言NMT中训练调度影响低资源语言翻译质量的问题，提出使用Teacher-Student Curriculum Learning和Deep Q Network两种强化学习算法优化训练调度，在8对1翻译数据集上有效提升了BLEU和COMET分数。
2025-06-02 cs.CL
Automatic Parallel Corpus Creation for Hindi-English News Translation Task
IIIT Bhubaneswar（布巴内斯瓦尔印度信息技术学院）
并行语料库对于多语言NLP任务、深度学习应用如统计机器翻译系统非常重要。目前可用于新闻翻译任务的印地语-英语语言对的平行语料库的规模非常有限。在这项工作中，我们已经开发了一个自动平行语料库生成系统原型，创建印地语-英语平行语料库的新闻翻译任务。为了进一步验证生成的并行语料库的质量，我们通过采用各种性能指标进行了实验，结果非常有趣。
2019-01-24 cs.CL
Author Unknown: Evaluating Performance of Author Extraction Libraries on Global Online News Articles
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）；Media Cloud（媒体云）；Northeastern University（东北大学）
本文构建人工编码的跨语言在线新闻作者数据集，评估五个现有软件包与一个定制模型，发现 Go-readability 和 Trafilatura 最稳定，但各工具跨语言结果差异显著。
2024-10-13 cs.CL cs.IR
GlobeSumm: A Challenging Benchmark Towards Unifying Multi-lingual, Cross-lingual and Multi-document News Summarization
Harbin Institute of Technology（哈尔滨工业大学）；The University of Hong Kong（香港大学）；Peng Cheng Laboratory（鹏城实验室）；Central South University（中南大学）；Du Xiaoman Financial（度小满金融）
针对现有新闻摘要研究脱离真实多语言多源场景的问题，本文提出统一的MCMS任务，构建了以事件为中心的GLOBESUMM基准数据集，提出协议引导提示标注方法，验证了数据集质量并明确了任务挑战，助力多语言研究与LLM评估。
2024-10-05 cs.AI cs.CL
Can the Variation of Model Weights be used as a Criterion for Self-Paced Multilingual NMT?
HEIG-VD / HES-SO；EPFL（洛桑联邦理工学院）；Armasuisse W+T
针对数据稀缺场景下的多对一神经机器翻译训练，提出基于Transformer层间平滑KL散度判断权重变化、动态切换小批量语言的自步算法，实验显示其效果优于交替单语言批次但弱于混洗批次。
2024-10-05 cs.CL
Rewrite the News: Tracing Editorial Reuse Across News Agencies
本文研究多语言新闻中句子级文本重用，提出弱监督方法检测跨语言重用，分析重用内容在文章中的位置，揭示非字面重用现象。
2026-03-31 cs.CL cs.IR
Multiverse: Multilingual Evidence for Fake News Detection
Technical University of Munich（慕尼黑工业大学）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
误导性信息以令人难以置信的速度在互联网上传播，在某些情况下可能导致无法挽回的后果。开发假新闻检测技术变得至关重要。虽然在这方面已经做了大量工作，但目前做法的局限性之一是，这些模式只侧重于一种语文，不使用多语文信息。在这项工作中，我们提出了Multiverse --一种基于多语言证据的新功能，可用于假新闻检测并改进现有方法。首先通过人工实验验证了跨语言证据作为假新闻检测特征的假设。在那之后，我们将我们基于所提出的特征的假新闻分类系统与两个多域通用主题新闻数据集和一个假COVID-19新闻数据集的几个基线进行了比较，结果表明，在与语言特征的额外组合中，它产生了显着的改进。
2022-11-25 cs.CL cs.IR
Political claim identification and categorization in a multilingual setting: First experiments
Institut für Maschinelle Sprachverarbeitung（机器语言处理研究所）；University of Stuttgart（斯图加特大学）
本文针对政治主张分析资源稀缺问题，在德语数据集DebateNet2.0上实验跨语言投影策略，评估两种任务、三种语言和两种方法，发现机器翻译效果最佳。
2023-10-13 cs.CL
Global Voices: Crossing Borders in Automatic News Summarization
University of Maryland, College Park（马里兰大学帕克分校）；Microsoft Research（微软研究院）
我们构建了Global Voices，一个用于评估跨语言摘要方法的多语言数据集。我们提取全球之声新闻文章的社交网络描述，以低成本收集15种语言的英文和英文摘要的评估数据。特别是，对于英语摘要任务，我们基于强调准确性，覆盖范围和可理解性的指导方针众包了一个高质量的评估数据集。为了确保这个数据集的质量，我们收集了人类的评分来过滤掉不好的摘要，并对人类进行了一项调查，结果显示，剩余的摘要比社交网络摘要更受欢迎。我们研究了跨语言摘要翻译质量的影响，比较了先翻译后摘要的方法与几个基线。我们的研究结果突出了ROUGE度量的局限性，被忽视的单语摘要。我们的数据集可在https://forms.gle/gpkJDT6RJWHM1Ztz9下载。
2020-06-15 cs.CL cs.IR cs.LG
Simplifying Multilingual News Clustering Through Projection From a Shared Space
Priberam Labs（普里贝拉姆实验室）
为媒体监测组织和聚类多语言新闻文章的任务对于实时的追踪新闻报道至关重要。这项任务的大多数方法都集中在高资源语言（主要是英语）上，而忽略了低资源语言。考虑到这一点，我们提出了一个更简单的在线系统，能够集群传入的文档流，而不依赖于特定语言的功能。我们的经验表明，使用多语言的上下文嵌入的文档表示显着提高聚类质量。我们挑战以前的跨语言的方法，消除了建立单语集群的前提条件。我们将聚类过程建模为一组线性分类器来聚合相似的文档，并通过在线合并来纠正密切相关的多语言聚类。我们的系统在多语言新闻流聚类数据集上实现了最先进的结果，并且我们引入了一种新的多语言zero-shot新闻聚类评估。我们的代码是开源的。
2022-04-28 cs.CL cs.IR
Filtering and Mining Parallel Data in a Joint Multilingual Space
Facebook AI Research（脸书人工智能研究院）
我们学习了一个联合的多语言句子嵌入，并使用不同语言的句子之间的距离来过滤噪声并行数据，并在大型新闻集合中挖掘并行数据。通过过滤掉25%的训练数据，我们能够将WMT'14英语到德语任务的竞争基线提高0.3 BLEU。同样的方法被用来挖掘WMT'14系统的附加双文本，并在BUCC共享任务上获得竞争性结果，以识别可比语料库中的平行句子。该方法具有通用性，可适用于多种语言对，且与机器翻译系统的体系结构无关。
2018-05-24 cs.AI cs.CL
Navigating multilingual news collections using automatically extracted information
我们正在展示一个文本分析工具集，它允许各个领域的分析师快速筛选大量的多语言新闻条目，并找到与它们相关的信息。对于一个给定的文件集，该工具集自动将文本分组为类似的文章，提取地名、人名和组织名称，列出用户定义的专业术语，链接集群和实体，并生成超链接。通过每天对数千篇文章进行每日新闻分析，该工具还了解了人与其他实体之间的关系。功能齐全的原型系统允许用户跨语言和时间探索和浏览多语言文档集。
2006-09-11 cs.CL cs.IR
Multilingual Attribute Extraction from News Web Pages
ISP RAS（俄罗斯科学院信息学与自动化研究所）；MSU（莫斯科国立大学）
本文构建了一个六语言新闻网页属性提取数据集，通过微调MarkupLM和DOM-LM两种预训练模型，实现了优于现有开源工具的多语言新闻属性自动提取效果。
2025-02-04 cs.CL cs.IR
Multilingual person name recognition and transliteration
我们提出了一个探索性的工具，提取人的名字从多语言的新闻集合，匹配的名称变体指的是同一个人，并推断出人与人之间的关系的基础上，他们的名字在相关新闻中的共同出现。一个新的功能是匹配不同语言和书写系统的名称变体，包括用希腊语、西里尔语和阿拉伯语书写系统书写的名称。由于我们的高度多语言设置，我们使用内部标准表示法进行名称表示和匹配，而不是采用传统的双语方法进行音译。这项工作是新闻分析系统NewsExplorer的一部分，该系统每天平均聚类25，000篇新闻文章，以检测相同和不同语言的相关新闻。
2006-09-11 cs.CL cs.IR
Revamping Multilingual Agreement Bidirectionally via Switched Back-translation for Multilingual Neural Machine Translation
The Chinese University of Hong Kong（香港中文大学）；Microsoft Corporation（微软公司）
针对多语言神经机器翻译中多语言一致性方法依赖平行数据且优化方向模糊的问题，提出BMA-SBT框架，通过切换反向翻译生成合成文本并双向优化一致性，在三个基准上显著提升性能。
2023-05-15 cs.CL
A Multilingual Neural Machine Translation Model for Biomedical Data
Naver Labs Europe（Naver Labs 欧洲研究院）；Naver Papago
我们发布了一个多语言神经机器翻译模型，可用于生物医学领域的文本翻译。该模型可以从5种语言（法语，德语，意大利语，韩语和西班牙语）翻译成英语。它使用大量通用和生物医学数据进行训练，使用域标签。我们的基准测试表明，它在新闻（通用领域）和生物医学测试集上的表现接近最先进的水平，并且优于现有的公开发布的模型。我们相信，此次发布将有助于对COVID-19危机的数字内容及其对社会、经济和医疗保健政策的影响进行大规模多语言分析。我们还发布了一个测试集的生物医学文本的韩国英语。它由官方指南和最近的论文中的758句话组成，都是关于COVID-19的。
2020-08-06 cs.CL cs.LG
The AMU-UEDIN Submission to the WMT16 News Translation Task: Attention-based NMT Models as Feature Functions in Phrase-based SMT
Adam Mickiewicz University in Poznań（波兹南亚当·密茨凯维奇大学）；University of Edinburgh（爱丁堡大学）
本文介绍了AMU-UEDIN提交给WMT 2016新闻翻译共享任务的内容。我们探索基于注意力的神经翻译模型与基于短语的统计机器翻译的解码时间整合方法。提出并实现了GPU查询的高效批处理算法。对于英语-俄语，我们的系统在BLEU方面落后于最先进的纯神经模型。在受限系统中，手动评估将其置于与纯神经模型绑定的第一个集群中。对于俄语-英语任务，我们的提交达到了最高的BLEU结果，比最好的纯神经系统高出1.1 BLEU点，比我们自己的基于短语的基线高出1.6 BLEU。经过人工评估，该系统是最好的限制系统在自己的集群。在后续实验中，我们将结果提高了0.8 BLEU。
2016-06-23 cs.CL
Leveraging a New Spanish Corpus for Multilingual and Crosslingual Metaphor Detection
University of the Basque Country UPV/EHU（巴斯克大学UPV/EHU）
缺乏广泛覆盖的数据集注释与日常隐喻表达的语言以外的英语是惊人的。这意味着大多数关于监督隐喻检测的研究都是针对该语言发表的。为了解决这个问题，这项工作提出了第一个语料库注释自然发生的隐喻在西班牙语大到足以开发系统来执行隐喻检测。所呈现的数据集CoMeta包括来自各个领域的文本，即新闻，政治话语，维基百科和评论。为了标记CoMeta，我们应用MIPVU方法，这是最常用于系统地注释真实数据上的隐喻的指南。我们使用我们新创建的数据集，通过微调几个多语言和单语言最先进的大语言模型来提供有竞争力的基线。此外，通过利用现有的VUAM英语数据，除了CoMeta，我们提出的，尽我们所知，第一个跨语言的实验监督隐喻检测。最后，我们进行了详细的错误分析，探讨了这两种语言和数据集之间看似高的日常隐喻迁移。
2022-10-24 cs.CL
Hitachi at SemEval-2023 Task 3: Exploring Cross-lingual Multi-task Strategies for Genre and Framing Detection in Online News
Hitachi, Ltd.（日立制作所）
本文针对多语言低资源在线新闻体裁与框架检测，探索预训练语言模型的跨语言、多任务训练及外部平衡数据策略，并通过集成模型在两个子任务中取得最佳宏平均 F1。
2023-04-25 cs.AI cs.CL
Margin-based Parallel Corpus Mining with Multilingual Sentence Embeddings
University of the Basque Country (UPV/EHU)（巴斯克大学）；Facebook AI Research（Facebook人工智能研究院）
机器翻译对训练数据的大小和质量高度敏感，这使得人们对收集和过滤大型并行语料库的兴趣越来越大。在本文中，我们提出了一种新的方法，这一任务的基础上，多语言句子嵌入。与以前的方法相比，这些方法依赖于最近邻检索，在余弦相似性上具有硬阈值，我们所提出的方法考虑了这种测量的尺度不一致性，而是考虑给定句子对与其最接近的候选者之间的间隔。我们的实验表明，现有的方法有很大的改进。我们在BUCC采矿任务和联合国重建任务上的表现分别超过了10个F1和30个精度点。使用我们的方法过滤英语-德语ParaCrawl语料库，我们在newest 2014上获得31.2 BLEU点，比最好的官方过滤版本提高了一个多点。
2019-08-07 cs.AI cs.CL cs.LG
The 2021 Tokyo Olympics Multilingual News Article Dataset
Jožef Stefan Institute（约热·斯蒂芬研究所）
本文构建并发布了一个涵盖2021年东京奥运会、含九种语言10,940篇新闻的聚类标注数据集，用于评估多语言新闻聚类算法及赛事分析。
2025-02-13 cs.AI cs.CL cs.IR
Matching Tweets With Applicable Fact-Checks Across Languages
University of Michigan（密歇根大学）；Stanford Law School（斯坦福法学院）；University of Oxford（牛津大学）
新闻事实核查的一个重要挑战是有效传播现有的事实核查。这反过来又需要可靠的方法来检测以前经过事实核查的索赔。在本文中，我们专注于自动查找社交媒体帖子（tweets）中的声明的现有事实检查。我们进行分类和检索实验，在单语（仅英语），多语言（西班牙语，葡萄牙语）和跨语言（印地语-英语）设置使用多语言Transformer模型，如XLM-RoBERTA和多语言嵌入，如LaBSE和SBERT。我们提出了有希望的结果“匹配”分类（86%的平均准确率）在四种语言对。我们还发现，在我们的单语实验中，BM 25基线优于或等同于最先进的多语言嵌入模型的检索任务。我们强调并讨论了NLP的挑战，同时用不同的语言解决这个问题，我们介绍了一个新的事实检查和相应的推文的策划数据集，以供未来的研究。
2022-06-12 cs.CL
Multilingual Open Text Release 1: Public Domain News in 44 Languages
Brandeis University（布兰迪斯大学）
我们提出了多语种开放文本（MOT），一个新的多语种语料库包含44种语言的文本，其中许多有限的现有文本资源的自然语言处理。该语料库的第一个版本包含超过280万篇新闻文章和额外的100万个简短片段（照片标题，视频描述等）。2001年至2022年间出版，并从美国之音的新闻网站收集。我们描述了收集、过滤和处理数据的过程。源材料是在公共领域，我们的集合使用知识共享许可证（CC BY 4.0）许可，所有用于创建语料库的软件都是在MIT许可证下发布的。随着更多文件的出版，将定期更新该语料库。
2022-06-09 cs.CL
MUNIChus: Multilingual News Image Captioning Benchmark
MUNIChus是一个包含9种语言的多语言新闻图像描述基准，旨在评估和改进多语言新闻图像描述模型。
2026-03-11 cs.CL cs.CV
GateNLP-UShef at SemEval-2022 Task 8: Entity-Enriched Siamese Transformer for Multilingual News Article Similarity
University of Sheffield（谢菲尔德大学）
本文介绍了SemEval-2022任务8：多语言新闻文章相似度排行榜上的第二名系统。我们提出了一个实体丰富的连体Transformer计算新闻文章相似度的基础上，不同的子维度，如共享的叙事，实体，地点和时间的事件中讨论的新闻文章。我们的系统利用暹罗网络架构，使用Transformer编码器来学习文档级表示，以捕获叙事以及从新闻文章中提取的基于辅助实体的特征。将所有这些特征一起使用的直觉是捕捉不同粒度级别的新闻文章之间的相似性，并评估不同新闻媒体报道“相同事件”的程度。我们的实验结果和详细的烧蚀研究证明了我们提出的方法的有效性和有效性。
2022-06-29 cs.AI cs.CL cs.CY
Sequential Reptile: Inter-Task Gradient Alignment for Multilingual Learning
KAIST（韩国科学技术院）；AITRICS
在多种语言上联合预训练的多语言模型在各种多语言下游任务上取得了卓越的性能。此外，在单个单语下游任务上进行微调的模型已被证明可以推广到看不见的语言。在本文中，我们首先表明，这是至关重要的，这些任务之间的梯度对齐，以最大限度地提高知识转移，同时最大限度地减少负转移。尽管其重要性，现有的梯度对齐方法要么有一个完全不同的目的，忽略任务间的对齐，或旨在解决持续学习的问题，而效率低下的方式。由于任务之间的梯度不一致，模型遭受严重的负迁移，其形式是对从预训练中获得的知识的灾难性遗忘。为了克服这些限制，我们提出了一种简单而有效的方法，可以有效地调整任务之间的梯度。具体来说，我们通过从所有任务中顺序采样批次来执行每个内部优化，然后是Reptile外部更新。由于我们的方法在任务之间对齐了梯度，模型变得不那么容易受到负迁移和灾难性遗忘的影响。我们在各种多任务学习和zero-shot跨语言迁移任务上广泛验证了我们的方法，其中我们的方法在很大程度上优于我们考虑的所有相关基线。
2022-02-28 cs.CL
Leveraging Multilingual Training for Authorship Representation: Enhancing Generalization across Languages and Domains
University of Michigan（密歇根大学）
本文提出一种多语言作者表征学习方法，通过概率内容掩码和语言感知批处理两项创新，在36种语言、13个领域、450余万作者上训练，显著优于单语基线并增强跨语言与跨领域泛化。
2025-09-20 cs.CL
HFL at SemEval-2022 Task 8: A Linguistics-inspired Regression Model with Data Augmentation for Multilingual News Similarity
iFLYTEK Research（科大讯飞研究院）；Harbin Institute of Technology（哈尔滨工业大学）
本文介绍了我们为SemEval-2022任务8：多语言新闻文章相似性设计的系统。我们提出了一个受语言学启发的模型，使用一些特定于任务的策略进行训练。系统的主要技术有：1）数据增强，2）多标记丢失，3）自适应R-Drop，4）首尾结合的样本重建。并对双塔建筑等一些消极的设计方法作了简要的分析。我们的系统在排行榜上排名第一，同时在官方评估集上实现了0.818的Pearson相关系数。
2022-04-11 cs.CL
Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval
Google DeepMind（谷歌DeepMind）；Carnegie Mellon University（卡内基梅隆大学）；University of California San Diego（加州大学圣迭戈分校）
针对多语言句子检索中对比学习依赖大批量与工程调优的问题，提出基于平行数据和源分离近似的变分生成模型 VMSST，并在多任务评测中超过强对比与生成基线。
2023-06-04 cs.CL cs.LG
The Best of Both Worlds: Combining Human and Machine Translations for Multilingual Semantic Parsing with Active Learning
Monash University（莫纳什大学）
提出一种结合人工与机器翻译的主动学习方法，通过聚合获取标准迭代选择话语进行人工翻译，显著降低翻译误差与偏差，提升多语言语义解析器准确率。
2023-05-22 cs.AI cs.CL
Facebook AI WMT21 News Translation Task Submission
Facebook AI（脸书人工智能研究院）
我们描述了Facebook向WMT 2021新闻翻译共享任务提交的多语言模型。我们参与14种语言的方向：英语和捷克语，德语，豪萨语，冰岛语，日语，俄语和中文。为了开发涵盖所有这些方向的系统，我们专注于多语言模型。我们利用所有可用来源的数据-- WMT，大规模数据采掘和域内反向翻译--来创建高质量的双语和多语言基线。随后，我们调查的策略，扩展多语言模型的大小，使一个系统有足够的能力，所有八种语言的高质量表示。我们最终提交的是一个密集和稀疏的专家混合多语言翻译模型的集合，然后对域内新闻数据进行微调，并对嘈杂的频道进行重新排名。与去年的获奖作品相比，我们的多语言系统提高了所有语言方向的翻译质量，平均提高了2.0 BLEU。在WMT 2021任务中，我们的系统基于自动评估在10个方向上排名第一。
2021-08-06 cs.CL
Xiaomingbot: A Multilingual Robot News Reporter
Shanghai Jiao Tong University（上海交通大学）；ByteDance AI Lab（字节跳动人工智能实验室）
本文提出了一个智能的，多语言的，多模态的软件机器人，配备了四个完整的能力：新闻生成，新闻翻译，新闻阅读和虚拟形象动画的建设。它的系统总结了它从数据表中自动生成的中文新闻。接下来，它将摘要或全文翻译成多种语言，并通过合成语音阅读多语言翻译。值得注意的是，小明机器人利用语音克隆技术，将真人语音数据训练的语音合成为一种输入语言。该系统具有几个优点：它有一个动画化身，并能够生成和阅读多语言新闻。自投入使用以来，小明机器人已经撰写了超过60万篇文章，并在社交媒体平台上获得了超过15万名粉丝。
2020-07-12 cs.CL cs.LG cs.SD
Automated multilingual detection of Pro-Kremlin propaganda in newspapers and Telegram posts
German Aerospace Center（德国航空航天中心）
俄罗斯联邦和乌克兰之间的全面冲突产生了前所未有的大量新闻文章和社交媒体数据，反映了对立的意识形态和叙事。这些两极分化的运动导致了对错误信息和假新闻的相互指责，为全世界的读者塑造了一种混乱和不信任的气氛。这项研究分析了媒体如何影响和反映公众舆论在第一个月的战争使用新闻文章和电报新闻频道在乌克兰，俄罗斯，罗马尼亚和英语。我们提出并比较了两种方法的多语言自动亲克里姆林宫宣传识别，基于Transformers和语言特征。我们分析了这两种方法的优点和缺点，它们对新类型和语言的适应性，以及它们用于内容审核的道德考虑。通过这项工作，我们的目标是为进一步开发适合当前冲突的温和工具奠定基础。
2023-01-25 cs.CL cs.LG
Clickbait Headline Detection in Indonesian News Sites using Multilingual Bidirectional Encoder Representations from Transformers (M-BERT)
Universitas Airlangga（艾尔朗加大学）
点击次数与在线广告商支付给新闻网站的金额有关。这种商业模式迫使一些新闻网站采用了一种肮脏的点击诱饵伎俩，即，在标题中使用夸张而有趣的词语，有时甚至是未完成的句子来故意戏弄读者。一些印尼在线新闻网站也加入了点击诱饵的行列，这间接降低了其他知名新闻网站的可信度。一个神经网络与预先训练的语言模型M-BERT，作为嵌入层，然后与100个节点的隐藏层相结合，并与一个sigmoid分类器顶部进行训练，以检测点击诱饵标题。在总共6632个标题作为训练数据集的情况下，分类器表现得非常好。通过5倍交叉验证进行评估，其准确度评分为0.914，f1评分为0.914，精密度评分为0.916，ROC-AUC为0.92。在印度尼西亚文本分类任务中使用多语言BERT进行了测试，并有可能进一步增强。未来的可能性，社会影响，和clickbait检测的局限性进行了讨论。
2021-02-02 cs.CL
Aligning Multilingual News for Stock Return Prediction
University of Toronto（多伦多大学）
针对多语言新闻翻译易丢失语义细节的问题，提出基于最优传输的跨语言新闻句子对齐方法，应用于海量英日财经新闻后，能提升股票收益预测相关性与交易策略夏普比率。
2025-10-22 cs.CL q-fin.CP
ClassBases at CASE-2022 Multilingual Protest Event Detection Tasks: Multilingual Protest News Detection and Automatically Replicating Manually Created Event Datasets
在这份报告中，我们描述了我们的ClassBases提交给多语言抗议事件检测的共享任务。对于多语言抗议新闻检测，我们参与了子任务1、子任务2和子任务4，即文档分类、句子分类和标记分类。在子任务1中，我们比较了XLM-RoBERTa-base、mLUKE-base和XLM-RoBERTa-large在顺序分类设置中的微调。我们总是使用来自每种语言的训练数据的组合来训练我们的多语言模型。我们发现，更大的模型似乎工作得更好，实体知识有所帮助，但代价不可忽略。对于子任务2，我们仅提交了一个基于mLUKE的句子分类系统。对于子任务-4，我们仅提交了用于序列标记的标记分类系统的XLM-RoBERTa-base。为了自动复制手动创建的事件数据集，我们参与了来自《纽约时报》新闻语料库的COVID相关抗议事件。我们创建了一个系统，将抓取的数据处理成抗议事件的数据集。
2023-01-16 cs.CL cs.CY cs.LG
Multilingual Agent-Based World Modeling for Social Science
Institute of Data Science, National University of Singapore（新加坡国立大学数据科学研究所）；Singapore University of Technology and Design（新加坡科技设计大学）；National School of Development, Peking University（北京大学国家发展研究院）；Singapore Management University（新加坡管理大学）
MASim是一种多语言代理模拟框架，用于研究社会行为，通过多语言代理模拟公众意见和媒体影响，展现多语言模拟在社会科学中的重要性。
2026-08-11 cs.AI cs.CL cs.CY
MMCFND: Multimodal Multilingual Caption-aware Fake News Detection for Low-resource Indic Languages
Indian Institute of Technology Indore（印度英迪尔印度理工学院）
本文提出了面向低资源印度语系的多模态多语言标题感知假新闻检测框架MMCFND，并构建了包含7种语言共28,085个实例的数据集MMIFND，通过融合视觉、文本和图像标题特征，有效提升了假新闻检测性能。
2024-10-14 cs.CL
Multilingual Fine-Grained News Headline Hallucination Detection
Google Research（谷歌研究院）
本研究构建了首个包含5种语言超1.1万对数据的多语言细粒度新闻标题幻觉检测专家标注数据集，通过监督微调和大型语言模型上下文学习实验，提出语言相关示例选择与从粗到细提示技术提升少样本检测性能。
2024-07-22 cs.CL
Sri Lanka Document Datasets: A Large-Scale, Multilingual Resource for Law, News, and Policy
Independent Researcher（独立研究者）
本文介绍了一种大规模多语言文档数据集，涵盖斯里兰卡议会记录、法律判决、政府出版物、新闻和旅游统计数据，支持计算语言学、法律分析和社会政治研究等领域的研究。
2026-10-12 cs.CL
Testing pre-trained Transformer models for Lithuanian news clustering
Faculty of Informatics Kaunas University of Technology（考纳斯理工大学信息学院）；Kaunas University of Technology（考纳斯理工大学）
最近推出的Transformer深度学习架构在各种自然语言处理任务中取得了突破。然而，非英语语言无法利用英语文本预训练模型的新机会。这种情况随着多语言模式的研究而改变，其中较少使用的语言是主要受益者。我们比较了预训练的多语言BERT，XLM-R和旧的学习文本表示方法作为立陶宛新闻聚类任务的编码。我们的研究结果表明，公开的预训练多语言Transformer模型可以进行微调，以超过单词向量，但仍然比专门训练的doc 2 vec嵌入得分低得多。
2020-04-03 cs.CL cs.IR cs.LG
Comparison of Multilingual and Bilingual Models for Satirical News Detection of Arabic and English
University of New South Wales（新南威尔士大学）
本研究比较了Jais-chat和LLaMA-2-chat模型在阿拉伯语和英语讽刺新闻检测中的表现，发现思维链提示能显著提升Jais-chat的检测效果，其英语F1分数达80%，凸显了结构化推理在复杂任务中的重要性。
2024-11-16 cs.CL cs.CR
Hierarchical Level-Wise News Article Clustering via Multilingual Matryoshka Embeddings
Stanford University（斯坦福大学）
提出一种基于多语言Matryoshka嵌入的可扩展分层聚类方法，通过在不同粒度级别确定故事相似度，在SemEval 2022 Task 8上达到SOTA，有效识别和聚类真实新闻数据中的故事、叙事与主题。
2025-05-30 cs.AI cs.CL cs.SI
Multilingual News Location Detection using an Entity-Based Siamese Network with Semi-Supervised Contrastive Learning and Knowledge Base
Huawei Ireland Research Center（华为爱尔兰研究中心）
在环境灾难、战争冲突、疾病爆发或政治动荡等极端事件中，早期检测新闻中的相关位置尤为重要。此外，这种检测还有助于推荐系统根据用户位置推荐相关新闻。请注意，当文本中没有明确提到相关位置时，最先进的方法通常无法识别它们，因为这些方法依赖于句法识别。相比之下，通过整合知识库并将实体与其位置连接起来，即使文本中没有明确提到，我们的系统也能成功地推断出相关位置。为了评估我们方法的有效性，并且由于缺乏这方面的数据集，我们还为研究社区提供了一个黄金标准的多语言新闻位置数据集Newsweek。它包含五种不同语言的600多篇维基新闻文章的相关位置（及其WikiData ID）的注释：英语，法语，德语，意大利语和西班牙语。通过实验评估，我们表明，我们提出的系统优于基线和微调版本的模型使用半监督数据，提高了分类率。源代码和Newsletter数据集可在https://github.com/vsuarezpaniagua/NewsLocation上公开供研究社区使用。
2022-12-22 cs.AI cs.CL
Narratives at Conflict: Computational Analysis of News Framing in Multilingual Disinformation Campaigns
Bocconi University（博科尼大学）
本文基于八年俄罗斯支持的4语种8千篇虚假新闻，系统分析多语种框架差异，发现宣传会根据目标语言和报道地区有意选择特定框架，并指出主流自动框架分析模型表现不佳，亟需改进。
2024-08-24 cs.CL
XL-HeadTags: Leveraging Multimodal Retrieval Augmentation for the Multilingual Generation of News Headlines and Tags
Ahsanullah University of Science & Technology（阿萨努拉科技大学）；University of Alberta（阿尔伯塔大学）；Université de Sherbrooke（谢布鲁克大学）；Salesforce Research（Salesforce研究院）；Nanyang Technological University（南洋理工大学）
本文提出XL-HeadTags方法，利用图像和标题等多模态辅助信息检索相关句子，结合指令微调，在多语言环境下同时生成新闻标题和实体标签，并构建了覆盖20种语言的数据集及配套评估工具。
2024-06-07 cs.AI cs.CL cs.CV
A Study on Scaling Up Multilingual News Framing Analysis
George Mason University（乔治梅森大学）
本文通过众包构建多语言新闻框架分析数据集，覆盖12种语言并提出孟加拉语和葡萄牙语新基准，实验表明众包数据使系统性能提升5.32个百分点，且任务特定微调优于使用更大的通用大语言模型。
2024-04-01 cs.CL
