Comparing Chunking and Embedding Strategies for Turkish RAG Systems
Data Science and Innovation Ata Technology Platforms(阿塔技术平台数据科学与创新部门)
该研究针对土耳其语RAG系统,对比三种分块策略、五种嵌入模型和两种生成器LLM,发现布局感知分块可压缩嵌入模型差异,最优配置依内容类型而定,最佳单个组件无法组合出最优整体配置,准确率达87.0%。
2026-08-31 cs.AI cs.CL
Factions Within, Uncertain Across: Within-Document Reader Sub-Groups in Social Highlighting
Glasp Inc.(Glasp公司)
通过保留边界的曲线球零模型,发现文档内读者形成强子群体,其一致性远超共享显著性预测,且大部分源于细粒度读者特定共识;跨文档稳定性未解决。
2026-06-11 cs.CL cs.HC cs.IR
Comparing effectiveness of regularization methods on text classification: Simple and complex model in data shortage situation
Chung-Ang University(中央大学)
本文针对少量带标签文本场景,比较词嵌入简单模型与CNN、BiLSTM复杂模型在对抗训练及Pi模型、虚拟对抗训练等半监督正则化下的表现。
2024-02-27 cs.CL
AI-assisted cultural heritage dissemination: Comparing NMT and glossary-augmented LLM translation in rock art documents
Dublin City University(都柏林城市大学);CTTS(文化传承研究所);ADAPT Centre(适应中心);SALIS;Universidad de Almería(阿尔梅里亚大学)
本文比较了NMT和术语增强大语言模型在岩画文档翻译中的表现,发现术语增强方法在术语准确性上更优,且在保持整体质量方面表现良好。
2026-05-14 cs.AI cs.CL
Comparing Knowledge Sources for Open-Domain Scientific Claim Verification
Technical University of Munich(慕尼黑工业大学)
本研究比较了开放域科学声明验证中不同知识来源与检索技术,发现PubMed适合专业生物医学声明,Wikipedia适合日常健康问题,BM25精度高而语义搜索召回率高。
2024-02-05 cs.AI cs.CL cs.IR
A Semantic approach for effective document clustering using WordNet
Amravati University(阿姆拉瓦蒂大学)
如今,文本文档在互联网、电子邮件和网页上自发地增加,并以电子数据库的形式存储。安排和浏览文档变得困难。为了克服这一问题,文档预处理、术语选择、属性约简以及利用背景知识WordNet维护重要术语之间的关系成为数据采掘的重要参数。本文分三个阶段进行,首先通过去除停用词对文档进行预处理,使用porter词干提取算法进行词干提取,使用词网词库维护重要词之间的关系,生成全局唯一词和频繁词集,然后形成数据矩阵,最后使用tf-idf术语选择方法从文档中提取术语,TF-DF和TF 2基于它们的最小阈值。此外,每个文档术语都被预处理,其中每个术语在文档中的频率被计算用于表示。这种方法的目的是减少属性,并找到有效的术语选择方法,使用WordNet更好的聚类精度。实验在路透社转录子集,小麦,贸易,货币谷物和船舶,路透社21578,经典30,20新闻组(无神论),20新闻组(硬件),20新闻组(计算机图形学)等上进行评估。
2013-03-03 cs.CL cs.IR
MIMDE: Exploring the Use of Synthetic vs Human Data for Evaluating Multi-Insight Multi-Document Extraction Tasks
The Alan Turing Institute(阿兰·图灵研究所);University College London(伦敦大学学院)
针对大型语言模型在复杂现实应用评估的挑战,定义多洞察多文档抽取(MIMDE)任务,开发评估框架并构建人类与合成互补数据集,基准测试20个LLM后揭示两类数据评估能力的相关性及合成数据的局限,为相关评估提供指导。
2024-11-29 cs.CL
Pre-training is a Hot Topic: Contextualized Document Embeddings Improve Topic Coherence
Bocconi University(博科尼大学);University of Milan-Bicocca(米兰比可卡大学)
主题模型从文档中提取单词组,将其解释为主题有望更好地理解数据。然而,由此产生的词组往往是不连贯的,使他们更难解释。最近,神经主题模型在整体连贯性方面有所改善。同时,上下文嵌入总体上推进了神经模型的发展。在本文中,我们结合上下文表示与神经主题模型。我们发现,我们的方法比传统的词袋主题模型和最近的神经模型产生更有意义和连贯的主题。我们的研究结果表明,未来的改进语言模型将转化为更好的主题模型。
2021-06-17 cs.CL
Comparing Pre-trained Human Language Models: Is it Better with Human Context as Groups, Individual Traits, or Both?
Stony Brook University(史蒂文斯布鲁克大学);Bocconi University(博科尼大学)
本文比较了在预训练语言模型中融入群体属性、个体特质及二者组合三种人类上下文方法,在五个用户级和文档级任务上发现并无普适最佳方案,但以人为中心的语言建模为不同方法提供了发展空间。
2024-07-18 cs.AI cs.CL cs.LG
Transformers and Language Models in Form Understanding: A Comprehensive Review of Scanned Document Analysis
University of Innsbruck(因斯布鲁克大学)
本文是扫描文档表单理解领域的综合综述,梳理Transformer与语言模型的技术进展、相关数据集基准,对比模型能力,为从业者选择适配方案提供指导。
2024-03-06 cs.CL cs.CV
Understanding Position Bias Effects on Fairness in Social Multi-Document Summarization
Portland State University(波特兰州立大学)
本文研究社会多文档摘要中群体排序导致的位置偏差对公平性的影响,发现输入顺序虽不影响文本质量,但会显著改变不同方言群体的代表性公平程度。
2024-05-03 cs.AI cs.CL
Measuring Bias in a Ranked List using Term-based Representations
Leiden University(莱顿大学);University of Strathclyde(思克莱德大学);University of Amsterdam(阿姆斯特丹大学)
针对现有NFaiRR指标衡量排序偏差的局限,提出基于术语表征的TExFAIR公平性指标,扩展AWRF框架,实验显示其与NFaiRR无强相关,衡量不同维度的公平性。
2024-03-09 cs.CL
Unsupervised Discovery of Multimodal Links in Multi-image, Multi-sentence Documents
Cornell University(康奈尔大学)
图像和文本经常在网络上同时出现,但图像和句子(或其他文档内文本单元)之间的显式链接通常不存在。我们提出了发现图像-句子关系的算法,而不依赖于训练中的显式多模态注释。我们在七个不同难度的数据集上进行了实验,从由众包工作者事后标题的图像组组成的文档到自然发生的用户生成的多模态文档。我们发现,一个结构化的训练目标的基础上,确定是否收集的图像和句子共同出现在文档中,可以足以预测特定的句子和特定的图像之间的链接在同一个文件在测试时间。
2019-08-31 cs.CL cs.CV
A Comparison of Approaches for Imbalanced Classification Problems in the Context of Retrieving Relevant Documents for an Analysis
Ludwig-Maximilians-University Munich(慕尼黑路德维希-马克西米利安大学)
许多基于文本的社会科学研究的第一步是从大量的不相关文档中检索与分析相关的文档。在社会科学中,解决这一检索任务的传统方法是应用一组关键字,并认为这些文档是相关的,至少包含一个关键字。但是,应用不完整的关键字列表有可能得出有偏见的推论。更复杂和昂贵的方法,如查询扩展技术,基于主题模型的分类规则,以及主动和被动的监督学习可能有潜力更准确地分离相关的不相关的文件,从而减少潜在的偏见的大小。然而,应用这些更昂贵的方法是否会增加检索性能相比,关键字列表在所有,如果是这样的话,有多少,是不清楚的,因为这些方法的比较是缺乏的。这项研究通过比较这些方法在与德国推文数据集(Linder,2017),社会偏见推理语料库(SBIC)(Sap等人,2020)和Reuters-21578语料库(Lewis,1997)。结果表明,查询扩展技术和主题模型为基础的分类规则,在大多数研究设置往往会降低,而不是提高检索性能。然而,主动监督学习如果应用于不太小的标记训练实例集(例如,1,000个文档),则达到比关键字列表高得多的检索性能。
2022-05-03 cs.CL cs.IR stat.AP
JU_KS_Group@FIRE 2016: Consumer Health Information Search
Jadavpur University(贾达普大学)
在本文中,我们描述了所使用的方法和我们完成的任务下,消费者健康信息搜索(CHIS)与信息检索评估论坛(FIRE)2016年,ISI加尔各答搭配的共享任务所获得的结果。共享任务由两个子任务组成-(1)任务1:给定查询和与该查询相关联的文档/文档集,任务是将文档中的句子分类为与查询相关或不相关,以及(2)任务2:相关句子需要进一步分类为支持查询中做出的声明或反对查询中做出的声明。我们参与了这两个子任务。由我们开发的系统获得的百分比准确率为task 1是73.39,这是第三个最高的9个团队参加了共享的任务。
2016-12-24 cs.CL cs.IR
MICO: Selective Search with Mutual Information Co-training
Purdue University(普渡大学);Amazon(亚马逊)
与传统的穷举搜索相比,选择性搜索首先将文档聚类成几个组,然后通过查询对所有文档进行穷举搜索,以将搜索限制在一个组或仅几个组内执行。选择性搜索是为了减少现代大规模搜索系统中的延迟和计算而设计的。在这项研究中,我们提出了MICO,一个互信息协同训练框架,用于选择性搜索,使用搜索日志进行最小监督。经过训练后,MICO不仅对文档进行聚类,还将看不见的查询路由到相关的聚类中进行高效检索。在我们的实证实验中,MICO显著提高了选择性搜索的多个指标的性能,并优于一些现有的竞争基线。
2022-09-09 cs.CL cs.IR cs.LG