TurEngMix: A Text Corpus and Benchmark for Turkish-English Code-Mixed Language Identification and Named Entity Recognition
University of Maryland(马里兰大学)
针对土耳其语-英语代码混合文本,构建了TurEngMix语料库与基准,评估显示形态整合标记的错误率高,并发布资源以促进研究。
2026-09-09 cs.CL
A Reproducible Multi-Architecture Baseline for Token-Level Chinese Metaphor Identification under the MIPVU Framework
City University of Hong Kong(香港城市大学)
本文提出基于MIPVU框架的可重复多架构中文隐喻识别基准,系统比较三种模型家族,发现MelBERT在中文中表现最佳,Qwen生成模型性能较编码器基准差11个F1点,揭示了生成模型的离散承诺限制。
2026-05-08 cs.CL
Don't Believe Everything You Read: Enhancing Summarization Interpretability through Automatic Identification of Hallucinations in Large Language Models
University of California Santa Cruz(加州大学圣克鲁兹分校)
本文针对LLMs在对话摘要中的幻觉问题,提出令牌级幻觉识别方法,并据此构建增强数据集和新训练范式,以提升模型的可解释性与忠实性。
2024-04-03 cs.AI cs.CL
Overview of the HASOC Subtrack at FIRE 2023: Identification of Tokens Contributing to Explicit Hate in English by Span Detection
Indraprastha Institute of Information Technology, Delhi(德里英德拉普拉斯塔信息技术学院);Indian Institute of Technology, Delhi(印度理工学院德里分校)
本文概述了 FIRE 2023 的 HASOC 子任务,该任务通过跨度检测识别英语推文中构成显性仇恨的标记,共有12支队伍参赛,最高宏F1为0.58。
2023-11-16 cs.CL
COSMIC: Generalized Refusal Direction Identification in LLM Activations
Washington University in St. Louis(华盛顿大学圣路易斯分校);University of California, Berkeley(加州大学伯克利分校);University of California, Santa Cruz(加州大学圣克ruz分校)
本文提出COSMIC框架,利用余弦相似度自动识别LLM激活空间中的拒绝方向,无需依赖模型输出或预定义模板,在对抗和弱对齐场景下能可靠引导模型趋向安全行为。
2025-05-30 cs.AI cs.CL
Token Masking Improves Transformer-Based Text Classification
University of Pittsburgh School of Computing and Information(匹兹堡大学计算机与信息学院)
本文提出以概率 p 随机替换输入 token 的 token masking regularization,并在 mBERT、Qwen2.5-0.5B 和 TinyLlama-1.1B 上验证其可稳定提升文本分类性能。
2025-05-16 cs.AI cs.CL
What Language is This? Ask Your Tokenizer
EPFL(苏黎世联邦理工学院);University of Cambridge(剑桥大学)
提出基于UnigramLM分词算法的UniLID方法,通过比较字符串在各语言单字分布下的似然进行语言识别,在低资源和细粒度方言场景下显著提升样本效率。
2026-09-11 cs.CL
Advancing Event Causality Identification via Heuristic Semantic Dependency Inquiry Network
College of Computer Science, Sichuan University(四川大学计算机学院)
针对ECI中因果线索缺失与外部知识偏差问题,提出SemDI网络,通过统一编码器和完形填空分析器生成词元以判断事件因果关系,并在三个基准上超越现有方法。
2024-10-02 cs.AI cs.CL cs.IR
MemeMind at ArAIEval Shared Task: Spotting Persuasive Spans in Arabic Text with Persuasion Techniques Identification
Hamad Bin Khalifa University(哈马德·本·哈利法大学);Northwestern University in Qatar(卡塔尔西北大学)
本文提出基于 AraBERT-base 的两阶段微调方法,对阿拉伯语推文和新闻文本进行 BIO 序列标注以识别宣传技巧片段,在 ArAIEval 任务 1 中以 F1 0.2774 获得第 3 名。
2024-08-08 cs.CL
Conformal Prediction Sets for Next-Token Prediction in Large Language Models: Balancing Coverage Guarantees with Set Efficiency
The ICFAI Foundation for Higher Education(ICFAI高等教育基金会)
本文提出VACP框架,通过语义掩码和温度调整评分,在保证覆盖的前提下显著提升预测集效率,实验证明其在大语言模型下一个标记预测中的有效性。
2025-12-27 cs.AI cs.CL
GiusBERTo: A Legal Language Model for Personal Data De-identification in Italian Court of Auditors Decisions
Roma Tre University(罗马第三大学);Sapienza University of Rome(罗马大学);Government of Italy(意大利政府)
本研究提出首个专门用于意大利法律文档个人数据去标识化的BERT类模型GiusBERTo,经审计法院判决数据集训练后在留出测试集上达97%词元级准确率,为意法律界提供兼顾隐私与数据保护的定制化工具。
2024-06-21 cs.AI cs.CL
Investigating Machine Learning Methods for Language and Dialect Identification of Cuneiform Texts
Sharif University of Technology(谢里夫理工大学)
由于缺乏资源和标记化问题,识别使用楔形文字符号书写的语言是一项困难的任务。VarDial 2019中的楔形文字语言识别任务解决了识别以楔形文字书写的七种语言和方言的问题;苏美尔语和阿卡德语的六种方言:古巴比伦语,中巴比伦语外围语,标准巴比伦语,新巴比伦语,晚巴比伦语和新亚述语。本文描述了SharifCL团队在VarDial 2019中解决这个问题所采取的方法。最好的结果属于支持向量机和朴素贝叶斯分类器的集成,两者都工作在字符级特征上,宏观平均F1分数为72.10%。
2020-09-22 cs.CL
Language Identification with Succinct Machine-Independent Traces
Stanford University(斯坦福大学);Cornell University(康奈尔大学)
本文受大语言模型启发,针对语言识别的Gold-Angluin模型相关问题,解决能否用小字母表迹及能否直接从语言定义迹的问题,给出肯定答案,展示了如何定义计算迹实现极限识别,所用字母表与语言定义字母表大小成线性关系且与语言其他属性无关。
2026-07-15 cs.CL cs.DS cs.LG
Empowering the Fact-checkers! Automatic Identification of Claim Spans on Twitter
IIIT Delhi(德里英迪拉·甘地信息技术学院);IIT Delhi(德里印度理工学院)
2019冠状病毒病(COVID-19)后,医疗和政治主张的广泛传播导致错误信息和假新闻大量增加。目前的时尚是使用人工事实检查器来有效地对这些数据进行分类和验证,以对抗这种雪崩式的索赔错误信息。然而,信息传播的速度远远超过了事实核查人员的力量。因此,为了帮助手动事实检查器消除多余的内容,自动识别和提取帖子中存在的有价值的(错误)信息片段变得至关重要。在这项工作中,我们介绍了索赔跨度识别(CSI)的新任务。我们提出了CURT,一个大规模的Twitter语料库与令牌级索赔跨度超过7.5K的推文。此外,除了标准的令牌分类基线外,我们还使用DABERTa对我们的数据集进行了基准测试,DABERTa是RoBERTa的一种基于适配器的变体。实验结果证明,DABERTa在几个评估指标上优于基线系统,提高了约1.5个点。我们还报告了详细的误差分析,以验证模型的性能以及消融研究。最后,我们发布了全面的span注释指南供公众使用。
2022-10-11 cs.CL
A Fast, Compact, Accurate Model for Language Identification of Codemixed Text
Google AI Language(谷歌人工智能语言团队)
我们解决了细粒度的多语言识别:为句子中的每个标记提供语言代码,包括包含多种语言的代码混合文本。这种文本在网上、文档、社交媒体和留言板中很流行。我们证明了一个简单的全局约束解码器的前馈网络可以准确,快速地标记100种语言和100种语言对的混合和单语文本。该模型在准确性和速度方面优于先前发布的多语言方法,在三个代码混合数据集上获得了800倍的速度和19.5%的平均绝对增益。此外,它在单语语言识别方面优于几个基准系统。
2018-10-09 cs.CL
Towards De-identification of Legal Texts
Universidad de la República(共和国大学)
在许多国家,可以在组织之间发布或共享的个人信息受到管制,因此,文件必须经过去识别过程,以消除或混淆机密数据。我们的工作重点是法律文本的去识别化,目标是隐藏诉讼中涉及的演员的名字,而不失去故事的意义。我们提出了第一次评估我们的语料库的NLP工具的任务,如分割,标记化和识别命名实体,我们分析了几个评估措施,我们的去识别任务。结果是微不足道的:84%的文档至少有一个名称未被NER工具覆盖,这可能导致重新识别所涉及的名称。我们的结论是,工具必须强烈适应这个特定领域的文本处理。
2019-10-09 cs.CL
Spelling-out is not Straightforward: LLMs' Capability of Tokenization from Token to Characters
Mohamed bin Zayed University of Artificial Intelligence(莫扎德·本·扎耶德人工智能大学);RIKEN(日本研究机构)
本研究针对大语言模型能高精度逐字符拼写却难完成复杂字符级任务的问题,探究其拼写过程中字符级信息的内部表征机制,发现嵌入层未完全编码字符信息,需依赖Transformer中高层重建知识,并通过三类分析验证了该机制。
2025-06-12 cs.CL
Infusing clinical knowledge into tokenisers for language models
The UCL Institute of Health Informatics(伦敦大学学院健康信息学研究所);Advanced Care Research Centre(高级护理研究中心);The Usher Institute(乌舍研究所);College of Medicine and Veterinary Medicine(医学与兽医学院);University of Edinburgh(爱丁堡大学);School of Literatures, Languages and Cultures(文学、语言与文化学院);Edinburgh Futures Institute(爱丁堡未来研究所)
本研究提出面向临床文本的知识增强分词器K-Tokeniser,通过融合领域知识构建词元全局表示并结合局部上下文实现语义分词,无需预训练即可在多类临床文本任务中稳定提升性能并加快模型收敛。
2024-06-20 cs.AI cs.CL
De-identification of Unstructured Clinical Texts from Sequence to Sequence Perspective
University of Manitoba(曼尼托巴大学);University of Texas(德克萨斯大学)
在这项工作中,我们提出了一个新的问题制定的非结构化临床文本的去识别。我们制定的去识别问题作为一个序列到序列的学习问题,而不是一个令牌分类问题。我们的方法的灵感来自最近的国家的最先进的性能序列到序列的学习模型命名实体识别。我们提出的方法的早期实验在i2b2数据集上实现了98.91%的召回率。该性能与当前用于非结构化临床文本去识别的最先进模型相当。
2021-09-10 cs.CL cs.CR cs.LG
IcoRating: A Deep-Learning System for Scam ICO Identification
University of Michigan, Ann Arbor(密歇根大学安娜堡分校);Stanford University(斯坦福大学);University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
加密货币(或数字代币,数字货币,例如,BTC,ETH,XRP,NEO)在公众中的使用,价值和理解方面迅速获得认可,为投资者带来了惊人的利润。与其他货币和银行系统不同,大多数数字代币不需要中央机构。分散化对信用评级构成重大挑战。大多数ICO目前不受政府监管,这使得ICO项目的可靠信用评级系统变得必要和紧迫。在本文中,我们介绍了IcoRating,第一个基于学习的加密货币评级系统。我们利用自然语言处理技术来分析迄今为止2,251种数字货币的各个方面,例如白皮书内容,创始团队,Github存储库,网站等。监督学习模型用于将加密货币的寿命和价格变化与这些特征相关联。在最佳设置下,该系统能够以0.83的精度识别诈骗ICO项目。我们希望这项工作能够帮助投资者识别骗局ICO,并吸引更多的自动评估和分析ICO项目的努力。
2018-03-08 cs.CL
Information-Guided Identification of Training Data Imprint in (Proprietary) Large Language Models
University of Washington(华盛顿大学);University of Copenhagen(哥本哈根大学);ChipStack AI;Stanford University(斯坦福大学)
针对专有LLM训练数据不透明问题,提出基于高惊奇度文本与信息引导探针的记忆识别方法,无需权重或token概率即可检测GPT-4等模型记忆的训练文本。
2025-03-15 cs.CL
Intelligent Identification and Repair of Design Defects in BIM via Domain-Specific Large Language Models
Tsinghua University(清华大学);Key Laboratory of Digital Construction and Digital Twin, Ministry of Housing and Urban-Rural Development(住房和城乡建设部数字建造与数字孪生重点实验室);PetroChina Planning & Engineering Institute(中国石油规划总院)
本研究提出结合领域专用LLM、BIM转文本方法及幻觉控制策略的集成框架,实现BIM设计缺陷的智能识别与修复,识别准确率达85%,合理修复建议生成率94%,构建了端到端原型。
2026-09-01 cs.AI cs.CL
Token-level Data Selection for Safe LLM Fine-tuning
The Hong Kong University of Science(香港科学与技术大学);School of Data Science, Lingnan University(岭南大学数据科学学院)
本文提出TOSS框架,通过令牌级数据选择提升LLM微调的安全性,同时在下游任务性能上优于现有样本级防御方法。
2026-03-01 cs.AI cs.CL cs.CR
Interpretable Chinese Metaphor Identification via LLM-Assisted MIPVU Rule Script Generation: A Comparative Protocol Study
University of Birmingham(伯明翰大学);Guangdong University of Foreign Studies(广东外语外贸大学)
本文通过LLM辅助生成可解释的规则脚本,对中文隐喻识别进行跨协议比较,发现协议选择是影响识别结果的主要因素。
2026-03-11 cs.CL cs.IR
Fine PT-PT Web: A High-Quality 41 Billion Tokens Data Collection of the European Portuguese Web
NOVA School of Science and Technology(NOVA科学与技术学院);NOVA LINCS;Fundação para a Ciência e Tecnologia(科学技术基金会);Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等技术学院);Instituto de Telecomunicações(电信研究院)
本文提出高效流水线,从411TB葡萄牙语网络数据中构建410亿词元的高质量欧洲葡萄牙语语料库,通过抓取后处理等创新使产量提升19.04%,优化LLM预训练。
2026-09-21 cs.AI cs.CL
Enhancing Character-Level Understanding in LLMs through Token Internal Structure Learning
School of Computer Science and Technology, Chongqing University of Posts and Telecommunications(重庆邮电大学计算机科学与技术学院);Baidu AI Platform & Ecosystem(百度AI平台与生态系统)
本文提出 TIPA 方法,通过基于分词器词表的反向字符预测训练增强 LLM 对 token 内部字符位置的感知,实验证明其可提升位置预测及多类字符级下游任务性能。
2025-06-09 cs.CL
Labeling of Query Words using Conditional Random Field
West Bengal University of Technology(西孟加拉理工大学);Jadavpur University(贾达普大学)
本文介绍了我们的方法查询词标注作为一种尝试,在混合脚本信息检索在论坛信息检索评估(FIRE)2015年的共享任务。查询是用罗马字母写的,单词是英语或从印度地方语言音译而来。除英语外,共有八种印度语言。我们还确定了命名实体和特殊符号作为我们任务的一部分。基于CRF的机器学习框架用于用其对应的语言标签来标记各个词。我们使用基于词典的方法进行语言识别。我们在识别语言时还考虑了单词的上下文。我们的系统表现出75.5%的整体准确率为令牌级语言识别。孟加拉语、英语和印地语的符号级语言标签识别的严格F度量分数分别为0.7486、0.892和0.7972。我们的系统的总体加权F度量为0.7498。
2016-07-29 cs.CL cs.IR
Automatic Arabic Dialect Identification Systems for Written Texts: A Survey
Taif University(泰夫大学)
阿拉伯语方言识别是自然语言处理的一项具体任务,旨在自动预测给定文本的阿拉伯语方言。阿拉伯语方言识别是各种自然语言处理应用(例如机器翻译、多语言文本到语音合成和跨语言文本生成)的第一步。因此,在过去十年中,人们对解决阿拉伯方言识别问题的兴趣有所增加。在本文中,我们提出了一个全面的调查阿拉伯语方言识别研究的书面文本。首先,我们要明确问题及其挑战。然后,调查广泛地讨论了在批判的态度与阿拉伯语方言识别任务的许多方面。因此,我们回顾了传统的机器学习方法,深度学习架构和复杂的学习方法来识别阿拉伯语方言。我们还详细介绍了用于训练所提出的系统的特征表示的功能和技术。此外,我们说明了文献中研究的阿拉伯方言的分类,阿拉伯方言识别进行的文本处理的各个层次(例如,标记、句子和文档级别),以及可用的注释资源,包括评估基准语料库。在调查结束时讨论了公开的挑战和问题。
2020-09-26 cs.CL cs.LG
Subword-Level Language Identification for Intra-Word Code-Switching
University of Stuttgart(斯图加特大学);New York University(纽约大学)
语码转换(CS)是会话中两种或两种以上语言交替出现的现象,传统上是在每一个标记都是一种语言的假设下进行的。然而,如果至少有一种语言在形态上是丰富的,那么大量的词可以由来自不止一种语言的语素组成(词内CS)。在本文中,我们扩展的语言识别任务的子字级别,这样它包括分裂混合的话,同时标记每个部分的语言ID。我们进一步提出了一个模型,这是基于分段递归神经网络的任务。在一个新的西班牙-Wixarika数据集和一个适应的德国-土耳其数据集的实验中,我们提出的模型表现略好于或大致相当于我们的最佳基线,分别。然而,仅考虑混合词,它的表现远远优于所有基线。
2019-04-03 cs.CL cs.LG
Anuvani-LID: Robust and Calibrated Spoken Language Identification for Indian Languages
Central Institute of Indian Languages(印度语言中央研究院)
针对印度语言识别的不足,提出Anuvani LID专用Conformer模型,在多条件测试中性能远超现有模型,实现高宏F1值与低校准误差。
2026-10-19 cs.CL
Discourse Structures Guided Fine-grained Propaganda Identification
Texas A&M University(德克萨斯A&M大学)
本文提出利用局部和全局语篇结构辅助细粒度宣传识别,通过两个教师模型分别建模句子间语篇关系和句子语篇角色,并以特征融合或知识蒸馏方式融入,在基准数据集上显著提升了宣传内容识别的精确率和召回率。
2023-10-28 cs.CL
Advancing Beyond Identification: Multi-bit Watermark for Large Language Models
Seoul National University(首尔大学);Webtoon AI
针对现有零比特水印仅能检测无法追踪滥用者的问题,提出基于位置分配的多比特水印方法,在生成时嵌入可追踪信息,实现无模型访问鲁棒提取、无微调嵌入提取长消息且不增加延迟,同时保持文本质量并兼容零比特检测。
2024-03-20 cs.AI cs.CL cs.CR
"Sharks are not the threat humans are": Argument Component Segmentation in School Student Essays
Columbia University(哥伦比亚大学);Educational Testing Service(教育考试服务中心)
论证挖掘通常通过管道方法来解决,其中首先进行文本分割成论证单元,然后进行论证组件识别任务。本研究从一个新的中学生议论文语料库中,采用标记水平的分类方法来识别主张标记和前提标记。为此,我们比较了各种最先进的模型,如离散特征和深度学习架构(例如,BiLSTM网络和基于BERT的架构)来识别参数组件。我们证明了一个基于BERT的多任务学习架构(即,标记和句子级别分类)在相关的未标记数据集上进行自适应预训练获得最佳结果
2021-03-08 cs.CL
Speaker Fuzzy Fingerprints: Benchmarking Text-Based Identification in Multiparty Dialogues
INESC-ID;Universidade de Lisboa(里斯本大学)
本研究利用大型预训练模型的模糊指纹,结合说话人特定标记和上下文建模,提升基于文本的多方对话说话人识别,在Friends和Big Bang Theory数据集上分别达到70.6%和67.7%的准确率,并分析了模糊话语的检测机制。
2025-04-21 cs.AI cs.CE cs.CL
FlowCut: Rethinking Redundancy via Information Flow for Efficient Vision-Language Models
School of Computer Science and Technology, Huazhong University of Science and Technology(华中科技大学计算机科学与技术学院);Xiaohongshu Inc.(小红书公司);Shanghai Jiao Tong University(上海交通大学)
FlowCut通过信息流视角改进视觉-语言模型的冗余识别,实现更高效的剪枝效果。
2025-11-23 cs.AI cs.CL cs.CV
EAVIT: Efficient and Accurate Human Value Identification from Text data via LLMs
National Key Laboratory of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University(国家通用人工智能重点实验室,智能科学与技术学院,北京大学)
针对在线大语言模型处理长上下文价值识别性能下降、成本高的问题,提出结合本地小型价值检测器与在线LLM的EAVIT框架,通过生成初始估计构建精简提示,在大幅减少token消耗的同时提升识别性能。
2025-05-19 cs.CL
Classifier identification in Ancient Egyptian as a low-resource sequence-labelling task
University of Manchester(曼彻斯特大学);Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文将古埃及语分类符识别形式化为低资源序列标注任务,提出多种神经序列标注模型,在有限训练数据下取得有前景的性能,并与频率基线进行对比。
2024-06-29 cs.CL
LTIatCMU at SemEval-2020 Task 11: Incorporating Multi-Level Features for Multi-Granular Propaganda Span Identification
Language Technology Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学)
在本文中,我们描述了我们提交的任务,宣传跨度识别新闻文章。我们引入了一个基于BERT-BiLSTM的跨度级宣传分类模型,该模型可以识别句子中哪些标记跨度表示宣传。“多粒度”模型在文本粒度的各个级别上整合了语言知识,包括单词、句子和文档级别的句法、语义和语用影响特征,与其语言不可知变体相比,这些特征显著提高了模型性能。为了促进更好的表示学习,我们还收集了1万篇新闻文章的语料库,并使用它来微调模型。最后的模型是一个多数投票集成,学习不同的宣传类边界,利用不同的子集纳入知识,并达到$4^{th}$的位置上的测试排行榜。我们的最终模型和代码发布在https://github.com/sopu/PropagandaSemEval2020上。
2020-08-20 cs.CL cs.IR cs.LG
Streaming Speaker-Attributed ASR with Token-Level Speaker Embeddings
Microsoft Cloud+AI(微软云计算与人工智能部门);Microsoft Research Asia(微软亚洲研究院)
本文提出了一种流说话人属性的自动语音识别(SA-ASR)模型,可以识别"谁说了什么“,即使在多个人同时发言的低延迟。我们的模型是基于令牌级序列化输出训练(t-SOT),这是最近提出的以流的方式转录多说话者的语音。为了进一步识别说话人的身份,我们提出了一个基于编码器-解码器的说话人嵌入提取器,可以估计每个识别的令牌,不仅从非重叠的语音,但也从重叠的语音的说话人表示。所提出的说话人嵌入,命名为t-vector,与t-SOT ASR模型同步提取,使说话人识别(SID)或说话人日记(SD)与低延迟的多说话人转录的联合执行成为可能。我们使用LibriSpeechMix和LibriCSS语料库评估了ASR和SID/SD联合任务的拟议模型。所提出的模型实现了比现有的流模型更好的准确性,并显示出与最先进的离线SA-ASR模型相当或有时甚至更优越的结果。
2022-07-14 cs.CL cs.SD eess.AS
GlotScript: A Resource and Tool for Low Resource Writing System Identification
Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Sorbonne Université, CNRS, ISIR(索邦大学、法国国家科学研究中心、智能系统与机器人研究所)
GlotScript是一个面向低资源书写系统识别的开放资源与工具,包含覆盖7000多种语言的资源GlotScript-R和涵盖161种Unicode脚本的工具GlotScript-T,用于多语言语料库清理和语言模型分词分析。
2024-03-27 cs.CL
Token Signatures of Code: Comparing Coding Behaviors Across Large Language Models
Visa Research(维萨研究院)
针对LLM编码行为差异难以用性能指标区分的问题,提出CLIC方法,通过词元频率分析和决策树区分模型,并定义鲁棒性与集中度指标,开发可视化系统,在22个Kaggle任务上比较10个LLM,为模型选择和提示工程提供见解。
2026-09-22 cs.CL cs.LG cs.SE
Towards Interpretable Summary Evaluation via Allocation of Contextual Embeddings to Reference Text Topics
Technical University of Munich(慕尼黑工业大学);Trinity College Dublin(都柏林圣三一学院);IBM(国际商业机器公司);Universitat de Barcelona(巴塞罗那大学)
尽管最近在摘要生成模型方面取得了广泛的进展,但对自动生成的摘要的评估仍然广泛依赖于单分数系统,不足以进行透明的评估和深入的定性分析。为了弥合这一差距,我们提出了多方面的可解释摘要评价方法(MISEM),这是基于分配的摘要的上下文令牌嵌入到语义主题中确定的参考文本。我们进一步贡献了一个可解释性工具箱,用于自动摘要评估和摘要评分,主题识别和令牌主题分配的交互式视觉分析。MISEM在TAC'08数据集上实现了与人类判断的.404皮尔逊相关性。
2022-10-25 cs.CL
A language model based approach towards large scale and lightweight language identification systems
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术研究所)
多语言口语对话系统在最近的过去已经获得了显著的地位,需要前端语言识别(LID)系统。现有的LID系统大多依赖于从低层声学特征中建模语言判别信息。由于言语的可变性(说话者和情绪的可变性等),使用低水平声学特征开发的大规模LID系统遭受性能的降低。在这种方法中,我们试图建立更高层次的语言辨别性的音位信息模型,以开发一个LID系统。本文采用与语言无关的音素识别器将输入的语音信号标记为音素序列。在所获得的音素序列的语言辨别性的音位信息建模使用基于统计和递归神经网络的语言建模方法。由于这种方法依赖于更高级别的语音信息,因此对语音的变化更鲁棒。所提出的方法计算量小,可扩展性强,可以与现有的LID系统互补使用。
2015-10-13 cs.CL cs.SD
OncoNoteBERT: A Foundation Representation Model for Natural Language Processing of Real-World Outpatient Oncology Notes
The University of Manchester(曼彻斯特大学);The Christie NHS Foundation Trust(克里斯蒂NHS基金会信托)
针对通用临床模型难以处理肿瘤学笔记的问题,提出肿瘤学专用BERT模型OncoNoteBERT,结合持续预训练与定制分词,在困惑度和掩码预测上表现更优,强调表示层设计的重要性。
2026-10-07 cs.AI cs.CL cs.LG
Identifying the Source of Generation for Large Language Models
KAIST(韩国科学技术院)
本研究提出双词元来源识别器,在解码阶段将词元表示映射至参考文档,以追踪大型语言模型生成内容的来源,实验于Wikipedia和PG19数据集上验证了其可行性。
2024-07-05 cs.CL cs.LG
Application of Lexical Features Towards Improvement of Filipino Readability Identification of Children's Literature
De La Salle University(德拉萨大学);National University(国立大学)
正确识别儿童阅读材料的年级是有效学习的重要一步。最近的英语领域可读性评估研究应用了自然语言处理(NLP)中的现代方法,如机器学习(ML)技术来自动化该过程。在对可读性公式建模时,还需要提取正确的语言特征。在菲律宾语的背景下,有限的工作已经完成[1,2],特别是在考虑语言的词汇复杂性作为主要特征。在本文中,我们探讨使用词汇的特点,对提高儿童的可读性识别的发展写在菲律宾语的书籍。结果表明,结合词汇特征(LEX),包括类型标记比,词汇密度,词汇变化,外国单词计数与传统的功能(TRAD),如句子长度,平均音节长度,多音节词,单词,句子和短语计数增加了近5%的利润率(从42%到47.2%)的可读性模型的性能。进一步的分析和排名的最重要的功能,以确定哪些功能贡献最大的阅读复杂性。
2021-01-22 cs.CL cs.LG
Detect Language of Transliterated Texts
Duke University(杜克大学)
从其他语言到英语的非正式音译在社交媒体线程、即时消息和论坛中很普遍。如果不识别这种音译文本的语言,不讲该语言的用户就无法使用翻译工具理解其内容。我们提出了一个语言识别(LID)系统,与特征提取的方法,它可以检测到的音译文本的语言相当不错,即使有限的训练数据和计算资源。我们将单词标记为语音音节,并使用简单的长短期记忆(LSTM)网络架构来检测音译文本的语言。通过大量的实验,我们证明了音译词作为语音音节的标记化有效地代表了它们的因果语音模式。因此,语音音节标记化使得更简单的模型架构更容易学习识别任何语言的特征模式。
2020-04-26 cs.CL cs.LG cs.SD
Evaluating Input Representation for Language Identification in Hindi-English Code Mixed Text
Pune Institute of Computer Technology(浦那计算机技术学院);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
自然语言处理(NLP)技术在近十年来已经成为主流。这些进步大部分归功于对单一语言的处理。最近,随着社交媒体平台的广泛增长,焦点已经转移到代码混合文本。代码混合文本包括以多于一种语言书写的文本。人们自然倾向于将本地语言与英语等全球语言结合起来。要处理这样的文本,目前的NLP技术是不够的。作为第一步,处理文本以识别文本中的单词的语言。在这项工作中,我们专注于印度语-英语混合文本的代码混合句子的语言识别。语言识别的任务被制定为一个令牌分类任务。在监督设置中,句子中的每个单词都有一个相关的语言标签。我们评估了不同的深度学习模型和输入表示组合来完成这项任务。主要地,字符、子词和词嵌入与基于CNN和LSTM的模型相结合来考虑。我们表明,子词表示和LSTM模型可以给出最好的结果。一般来说,子词表示的表现明显优于其他输入表示。我们报告了在标准SAIL ICON 2017测试集上使用单层LSTM模型的最佳准确率为94.52%。
2020-11-25 cs.CL cs.LG
One Token Is Enough: Fingerprinting and Verifying Large Language Models from Single-Token Output Distributions
Faculty of Informatics and Statistics, Prague University of Economics and Business(信息与统计学院,布拉格经济与商业大学)
研究如何从大语言模型单令牌输出分布中进行指纹识别和验证。通过定义行为指纹,利用对简单提示的回答分布,实现模型谱系恢复和验证,还发现生态系统异常,且相关协议等已发布。
2026-07-14 cs.CL cs.CR cs.LG
LLMs Have Rhythm: Fingerprinting Large Language Models Using Inter-Token Times and Network Traffic Analysis
College of Science and Engineering (CSE), Hamad Bin Khalifa University (HBKU)(哈马德·本·卡伊夫大学科学与工程学院);Networked Systems Security Group, KTH Royal Institute of Technology -- Stockholm, Sweden(瑞典皇家理工学院网络系统安全组)
本文提出一种被动、非侵入的实时指纹识别方法,通过测量令牌间时间(ITTs)并利用网络流量分析,在加密条件下高精度识别不同大型语言模型,涵盖多种部署场景,提升模型部署安全性与可信度。
2025-02-27 cs.AI cs.CL cs.CR
Adaptive Pre-training Data Detection for Large Language Models via Surprising Tokens
本文提出一种自适应预训练数据检测方法,通过定位并利用“意外词元”的预测概率来识别大语言模型是否见过某段数据,无需访问训练语料或额外训练,在多个基准上最大提升29.5%,并引入新基准Dolma-Book。
2024-07-30 cs.CL cs.CR cs.LG
Sparse Autoencoders Enable Scalable and Reliable Circuit Identification in Language Models
School of Computing(计算机学院);The Australian National University(澳大利亚国立大学)
本研究提出利用离散稀疏自编码器发现大语言模型可解释回路的方法,通过正负例训练与编码重叠分析,无需消融实验即可识别相关注意力头,在三项任务上精准率、召回率优于基线且运行效率大幅提升,为机制可解释性研究提供新方向。
2024-05-21 cs.CL cs.LG
Attribution analysis of legal language as used by LLM
本文使用集成梯度归因技术对比分析法律LLM与通用BERT模型在法律数据集上的性能差异,发现分词器的差异化行为是导致模型表现不同的主要原因。
2025-01-28 cs.CL cs.LG
Breaking Block Boundaries: Anchor-based History-stable Decoding for Diffusion Large Language Models
MoE Key Lab of BIPC, University of Science and Technology of China(中国科学技术大学教育部多模态认知与智能系统重点实验室);AMAP, Alibaba Group(阿里巴巴集团高德地图)
本文提出AHD解码策略,通过动态锚点实时监控token稳定性,实现跨块高效解码,提升性能与推理效率。
2026-04-10 cs.CL