SemScore: Automated Evaluation of Instruction-Tuned LLMs based on Semantic Textual Similarity
Humboldt-Universität zu Berlin(柏林洪堡大学)
提出SemScore指标,利用语义文本相似性直接比较模型输出与目标响应,在12个指令微调LLMs上优于8种现有评估指标,与人工评估相关性最高。
2024-02-05 cs.CL
Automated Hypothesis Validation with Agentic Sequential Falsifications
Stanford University(斯坦福大学);Harvard University(哈佛大学)
针对LLM生成假设难以人工验证的问题,提出基于波普尔证伪原则的智能体框架Popper,通过LLM智能体设计执行序贯证伪实验并严格控制I类错误,在多领域实现稳健性能,验证生物假设时耗时仅为人类的1/10。
2025-02-14 cs.AI cs.CL cs.LG
FacTeR-Check: Semi-automated fact-checking through Semantic Similarity and Natural Language Inference
Universidad Politecnica de Madrid(马德里理工大学);Universidad Rey Juan Carlos de Madrid(马德里胡安·卡洛斯国王大学)
我们的社会通过在线社交网络(OSN)产生和共享大量信息。在这种环境下,错误信息和虚假信息激增,成为大多数国家的公共安全问题。允许公众和专业人士有效地找到关于索赔事实真实性的可靠证据是减轻这种有害传播的关键一步。为此,我们提出了FacTeR-Check,一种用于半自动事实检查的多语言架构,可用于为公众设计的应用程序和事实检查组织。FacTeR-Check可以检索经过事实检查的信息、未经检查的索赔验证以及通过社交媒体跟踪危险信息。该体系结构涉及几个模块开发,以评估语义相似性,计算自然语言推理和检索信息,从在线社交网络。所有这些组件的结合构建了一个半自动化的事实检查工具,能够验证新的索赔,提取相关证据,并跟踪OSN上骗局的演变。虽然单个模块在相关基准测试(主要是MSTS和SICK)上进行了验证,但完整的架构是使用名为NLI 19-SP的新数据集进行验证的,该数据集与来自西班牙社交媒体的COVID-19相关恶作剧和推文一起公开发布。我们的研究结果显示了在各个基准测试中最先进的性能,并对61种不同恶作剧的演变进行了有用的分析。
2022-02-16 cs.CL
AutoKG: Efficient Automated Knowledge Graph Generation for Language Models
University of California, Los Angeles(加州大学洛杉矶分校)
针对传统语义相似性搜索难以捕捉复杂关系动态的问题,提出AutoKG这一轻量高效的自动化知识图谱构建方法,利用LLM提取关键词并结合图拉普拉斯学习评估关系权重,通过混合搜索方案增强LLM的响应生成能力。
2023-11-22 cs.CL
Supporting Automated Fact-checking across Topics: Similarity-driven Gradual Topic Learning for Claim Detection
针对跨主题的阿拉伯语候选声明检测,提出渐进式主题学习(GTL)及其基于相似性的变体(SGTL),在14个主题中的11个上优于最先进基线。
2024-11-08 cs.CL
Automated Annotation with Generative AI Requires Validation
University of Pennsylvania(宾夕法尼亚大学);Annenberg School for Communication(安纳伯格传播学院)
本文提出使用 LLM 自动标注必须对照人工标签验证,并给出高效工作流;基于 GPT-4 复现 11 个数据集的 27 项社会科学标注任务,证明性能因数据集和任务而异,并发布配套软件。
2023-05-31 cs.AI cs.CL
Automated Generation of Custom MedDRA Queries Using SafeTerm Medical Map
ClinBAY Limited(ClinBAY有限公司)
SafeTerm系统通过多维向量空间和相似度计算,实现自动生成MedDRA查询,优化查询生成的精度与召回率。
2025-12-08 cs.CL
Is Automated Topic Model Evaluation Broken?: The Incoherence of Coherence
University of Maryland(马里兰大学)
主题模型评估,就像其他无监督方法的评估一样,可能会有争议。然而,该领域已经围绕主题连贯性的自动估计进行了合并,这依赖于参考语料库中单词共现的频率。根据这些指标,当代神经主题模型超过了经典模型。与此同时,主题模型评估存在验证差距:为经典模型开发的自动一致性尚未使用神经模型的人类实验进行验证。此外,主题建模文献的元分析揭示了自动主题建模基准测试中的实质性标准化差距。为了解决验证差距,我们比较了自动连贯性与两个最广泛接受的人类判断任务:主题评级和单词入侵。为了解决标准化的差距,我们在两个常用的数据集上系统地评估了一个占主导地位的经典模型和两个最先进的神经模型。自动评估宣布一个获胜的模型,而相应的人类评估没有,这就质疑了独立于人类判断的全自动评估的有效性。
2021-10-27 cs.CL cs.LG
Multi-LLM Thematic Analysis with Dual Reliability Metrics: Combining Cohen's Kappa and Semantic Similarity for Qualitative Research Validation
AZA Lab, Department of Psychiatry, Yale University(AZA实验室、精神病学系、耶鲁大学);Department of Psychiatry and Behavioral Sciences, Center for Collective Healing, Howard University(精神病学与行为科学系、集体愈合中心、霍华德大学);Department of Psychology, University of Exeter(心理学系、埃克塞特大学)
本文提出一种结合Cohen's Kappa和语义相似性的多LLM主题分析框架,通过多轮验证提升定性研究的可靠性。
2026-02-14 cs.AI cs.CL
Short Answer Grading Using One-shot Prompting and Text Similarity Scoring Model
EduLab, Inc.(EduLab公司)
本文针对简答题自动评分中分析性分数标注困难的问题,提出结合LLM一次性提示与领域自适应文本相似度评分模型的方法,在公开ASAG数据集上取得0.67准确率和0.71二次加权kappa,显著优于多数类基线。
2023-05-29 cs.CL
RuleForge: Automated Generation and Validation for Web Vulnerability Detection at Scale
Johns Hopkins University(约翰霍普金斯大学);Amazon Web Services(亚马逊云服务)
RuleForge通过自动化生成基于JSON的检测规则,结合LLM作为判断系统和反馈机制,提升漏洞检测的准确性和效率,减少误报。
2026-04-02 cs.AI cs.CL cs.CR
VERITAS-NLI : Validation and Extraction of Reliable Information Through Automated Scraping and Natural Language Inference
D.J. Sanghvi College of Engineering(D.J. Sanghvi工程学院)
针对虚假新闻检测问题,提出VERITAS-NLI系统,结合动态网络抓取与自然语言推理检索外部知识验证标题准确性,准确率达84.3%,显著优于经典机器学习和BERT模型。
2024-10-12 cs.AI cs.CL cs.LG
FarFetched: Entity-centric Reasoning and Claim Validation for the Greek Language based on Textually Represented Environments
Technical University of Crete(克里特技术大学);National Technical University of Athens(雅典国家技术大学);Hellenic Army Academy(希腊陆军学院)
本研究提出面向希腊语的实体中心推理与主张验证框架FarFetched,通过实体链接、语义相似度聚合多源证据,结合文本蕴含识别判定主张可信度,填补低资源语言相关研究空白。
2024-07-13 cs.AI cs.CL
TagRec: Automated Tagging of Questions with Hierarchical Learning Taxonomy
Indraprastha Institute of Information Technology, Delhi(德里英德拉普拉斯塔信息技术学院)
在线教育平台根据分层学习分类(主题-章节-主题)组织学术问题。使用现有分类法自动标记新问题将有助于将这些问题组织到分层分类法的不同类别中,以便可以基于章节等方面进行搜索。这个任务可以被公式化为一个扁平的多类分类问题。通常,基于平面分类的方法忽略了分层分类法中的术语与问题之间的语义相关性。一些传统的方法也遭受类不平衡的问题,因为他们只考虑叶节点,忽略了层次结构。因此,我们制定了一个基于相似性的检索任务,我们优化的分类和问题之间的语义相关性的问题。我们证明,我们的方法有助于处理看不见的标签,因此可以用于分类标记在野外。在这种方法中,我们用相应的答案来增强问题,以捕获更多的语义信息,然后将问题-答案对的上下文嵌入与相应的标签(分类)向量表示对齐。通过用损失函数微调基于Transformer的模型来对齐表示,所述损失函数是余弦相似性和铰链秩损失的组合。损失函数最大化问题-答案对与正确标签表示之间的相似性,并最小化与不相关标签的相似性。最后,我们在两个真实世界的数据集上进行了实验。我们表明,所提出的学习方法比使用多类分类方法和其他最先进的方法学习的表示的性能高出6%,如Recall@k所测量的。我们还展示了所提出的方法在看不见但相关的学习内容上的性能,如学习目标,而无需重新训练网络。
2021-07-03 cs.CL
CroissantMiner: Automated Extraction and Validation of Croissant Metadata for ML Datasets
ETH Zurich(苏黎世联邦理工学院);CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室);Helmholtz Zentrum München(亥姆霍兹慕尼黑研究中心);University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校);Barcelona Supercomputing Center(巴塞罗那超级计算中心);Google(谷歌);Duke Kunshan University(昆山杜克大学);ETH AI Center(苏黎世联邦理工学院人工智能中心)
提出首个Croissant元数据提取基准(602篇论文),评估多种系统,发现单次提取优于智能体架构,尤其在长格式RAI字段差距最大,并发布基准、代码和排行榜。
2026-10-07 cs.AI cs.CL cs.DL
Rubric-Specific Approach to Automated Essay Scoring with Augmentation Training
Databank, Inc.(Databank公司)
本文提出基于评分细则的数据增强训练方法,使自动作文评分模型学习被忽略的特征,并在ASAP数据集上保持最先进性能。
2023-09-06 cs.AI cs.CL