Beyond Document Grounding: Span-Level Hallucination Detection over Code, Tool Output, and Documents
KR Labs(KR实验室);MBZUAI(穆罕默德·本·扎耶德人工智能大学);McGill University(麦吉尔大学);TU Wien(维也纳工业大学)
提出一个统一的跨度级幻觉检测基准,涵盖代码、工具输出、结构化文档和自然语言RAG数据,通过微调Qwen3.5-2B模型在跨域场景下显著优于现有方法。
2026-07-02 cs.CL
InterrogateLLM: Zero-Resource Hallucination Detection in LLM-Generated Answers
Microsoft(微软);Technion(以色列理工学院);The Open University(开放大学);Tel-Aviv University(特拉维夫大学)
针对大语言模型的幻觉问题,本文提出零资源幻觉检测方法InterrogateLLM,无需外部知识即可有效检测幻觉,在多模型多数据集评估中表现优异,其中对Llama-2的幻觉检测平衡准确率达81%。
2024-08-19 cs.CL cs.LG
Enhancing Hallucination Detection through Perturbation-Based Synthetic Data Generation in System Responses
ASAPP, Inc.(ASAPP公司)
针对幻觉检测标注昂贵且易过时的问题,提出通过改写系统响应自动构造忠实与幻觉样本的数据生成方法,使微调后的T5-base在准确率和延迟上优于现有零样本检测器与合成方法。
2024-07-07 cs.AI cs.CL
HuDEx: Integrating Hallucination Detection and Explainability for Enhancing the Reliability of LLM responses
Inha University(仁荷大学)
针对LLM幻觉损害可靠性问题,提出整合幻觉检测与解释的模型HuDEx,其检测精度超越Llama3 70B和GPT-4,零样本表现良好,通过解释增强模型可靠性,推动幻觉检测研究。
2025-02-12 cs.AI cs.CL
Hypothesis Engineering for Zero-Shot Hate Speech Detection
University of Zurich(苏黎世大学)
仇恨言论检测的标准方法依赖于足够的可用仇恨言论注释。扩展以前的工作,重新利用自然语言推理(NLI)模型的zero-shot文本分类,我们提出了一个简单的方法,结合多个假设,以提高英语NLI为基础的zero-shot仇恨语音检测。我们首先进行一个错误分析的香草NLI为基础的zero-shot仇恨言论检测,然后开发四个策略基于此分析。这些策略使用多个假设来预测输入文本的各个方面,并将这些预测组合成最终的判决。我们发现,用于初始错误分析的zero-shot基线已经优于HateCheck上的商业系统和微调的基于BERT的仇恨语音检测模型。所提出的策略的组合进一步将HateCheck上79.4%的zero-shot准确率提高了7.9个百分点(pp),将ETHOS上69.6%的准确率提高了10.0pp。
2022-10-03 cs.CL
Lost in Speech: Trilingual Spoken Hallucination Detection Across Audio and Transcripts
Satbayev University(萨塔巴耶夫大学);University of Colorado Boulder(科罗拉多大学博尔德分校);The Pennsylvania State University(宾夕法尼亚州立大学)
该研究针对低资源语言语音幻觉检测的空白,构建三语语音幻觉基准,评估多模态检测模型,发现文本检测更优,合成训练检测器在真实数据上迁移性强,还揭示合成基准的混淆因素。
2026-11-04 cs.CL
Zero-source LLM Hallucination Detection with Human-like Criteria Probing
South China University of Technology(华南理工大学);The University of Melbourne(墨尔本大学);Pazhou Laboratory(帕乔实验室);Australian Institute for Machine Learning, Adelaide University(澳大利亚机器学习研究所,阿德莱德大学)
提出HCPD范式,通过类人类标准探测机制模拟人类评估者的多面推理,结合奖励对齐和多样本聚合,实现零源条件下的有效可解释幻觉检测。
2026-06-12 cs.AI cs.CL cs.LG
Teaching with Lies: Curriculum DPO on Synthetic Negatives for Hallucination Detection
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对大模型幻觉检测难题,提出用合成幻觉作负样本、结合课程学习的DPO方法,训练HaluCheck模型,在困难基准上提升高达24%,零样本下超越更大模型。
2025-05-23 cs.AI cs.CL
Zero-knowledge LLM hallucination detection and mitigation through fine-grained cross-model consistency
Amazon Web Services, USA(亚马逊网络服务)
提出黑盒框架 Finch-Zk,通过细粒度跨模型一致性检查策略和针对性缓解技术,在无需外部知识下检测并修正 LLM 幻觉,显著提升了事实准确率。
2025-11-01 cs.AI cs.CL cs.LG
Learned Hallucination Detection in Black-Box LLMs using Token-level Entropy Production Rate
Artefact Research Center(艺术研究中心)
本文提出一种基于令牌级熵产率的学习方法,用于在黑盒LLM中高效检测幻觉,通过单次生成过程提升问答系统响应的可信度。
2026-01-20 cs.AI cs.CL
Attention-guided Self-reflection for Zero-shot Hallucination Detection in Large Language Models
New Laboratory of Pattern Recognition (NLPR), State Key Laboratory of Multimodal Artificial Intelligence Systems (MAIS), Institute of Automation, Chinese Academy of Sciences (CASIA)(模式识别新实验室、多模态人工智能系统国家重点实验室、自动化研究所、中国科学院)
针对大语言模型的幻觉问题,提出注意力引导自反思(AGSER)零样本检测方法,通过拆分查询计算一致性差值估计幻觉,仅需3次前向传播,在4种主流LLM、3个基准上的检测效果显著优于现有方法。
2025-09-03 cs.AI cs.CL
Tool Receipts, Not Zero-Knowledge Proofs: Practical Hallucination Detection for AI Agents
NabaOS 通过 epistemic 分类和 receipts 验证,实现交互式 AI agent 幻觉检测的高效高精度验证方法
2026-03-09 cs.AI cs.CL cs.CR
Reasoning's Razor: Reasoning Improves Accuracy but Can Hurt Recall at Critical Operating Points in Safety and Hallucination Detection
Apple(苹果公司)
本研究首次系统评估推理在低假阳性率分类任务中的表现,发现推理提升平均准确率但损害关键精度,而关闭推理在精度敏感场景占优,集成两种模式可兼得优势。
2025-10-23 cs.AI cs.CL cs.LG
mmT5: Modular Multilingual Pre-Training Solves Source Language Hallucinations
Google DeepMind(谷歌DeepMind)
针对多语言模型在少样本下生成错误语言的问题,提出模块化模型mmT5,通过语言特定模块分离信息并解决微调表示漂移,在40多种语言任务上大幅超越mT5,将零样本正确语言生成率从7%提升至99%。
2023-05-23 cs.CL
Can Prompting LLMs Unlock Hate Speech Detection across Languages? A Zero-shot and Few-shot Study
School of Computation, Information and Technology, TU Munich(技术计算与信息学院,慕尼黑工业大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本研究评估多语言LLM在零样本与少样本提示下跨八种非英语语言的仇恨言论检测,发现其虽在真实数据上逊于微调编码器,但泛化更优,且提示设计需针对语言定制。
2025-05-24 cs.CL cs.CY cs.MM
Embedding Hallucination for Few-Shot Language Fine-tuning
Dartmouth College(达特茅斯学院);Northwestern University(西北大学)
Few-Shot语言学习者从预先训练的模型中调整知识,从少量标记的句子中识别新的类别。在这样的设置中,微调预训练的语言模型可能导致严重的过拟合。在本文中,我们提出了一种嵌入幻觉(EmbedHalluc)方法,该方法生成辅助嵌入标签对来扩展微调数据集。幻觉器是通过与神经网络进行对抗游戏来训练的,这样幻觉嵌入对微调数据集中的真实嵌入是不加区分的。通过使用扩展数据集进行训练,语言学习者可以有效地从各种幻觉嵌入中学习,以克服过度拟合问题。实验表明,我们提出的方法是有效的,在广泛的语言任务,优于目前的微调方法。此外,我们表明EmbedHalluc优于其他方法,解决这个过拟合问题,如常见的数据增强,半监督伪标签,和正则化。该守则将在https://github.com/yiren-jian/EmbedHalluc上提供。
2022-05-03 cs.AI cs.CL
WikiChat: Stopping the Hallucination of Large Language Model Chatbots by Few-Shot Grounding on Wikipedia
Stanford University(斯坦福大学)
本研究提出基于Wikipedia少样本接地的聊天机器人WikiChat,通过保留生成内容中接地事实并结合检索信息抑制幻觉,蒸馏为7B参数LLaMA模型后仍实现高事实准确率,在多类知识任务上显著优于GPT-4等基线。
2023-10-27 cs.CL
FilterRAG: Zero-Shot Informed Retrieval-Augmented Generation to Mitigate Hallucinations in VQA
University of Maryland, Baltimore County(马里兰大学巴尔的摩分校)
FilterRAG通过结合BLIP-VQA与检索增强生成,利用外部知识源减少视觉问答中的幻觉问题,提升模型在知识驱动和分布外场景的鲁棒性。
2026-01-24 cs.CL cs.CV cs.IR
Mitigating Hallucinations in Zero-Shot Scientific Summarisation: A Pilot Study
Department of Chemical Engineering and Biotechnology(化学工程与生物技术系);University of Cambridge(剑桥大学)
本研究探讨提示工程方法对缓解零样本科学摘要中的幻觉效果,发现上下文重复和随机添加能显著提升摘要与原文的对齐度。
2025-11-30 cs.AI cs.CL
SHROOM-INDElab at SemEval-2024 Task 6: Zero- and Few-Shot LLM-Based Classification for Hallucination Detection
University of Amsterdam(阿姆斯特丹大学)
本文介绍 SHROOM-INDElab 系统,通过上下文特定提示定义与自动生成示例扩展 LLM 幻觉检测分类器,在 SemEval-2024 Task 6 两个赛道分获第四、第六名,并发现零样本优于自动少样本。
2024-04-04 cs.AI cs.CL
Large Language Models are Null-Shot Learners
Graduate School(研究生院);Ritsumeikan University(立命馆大学)
本文提出null-shot prompting,通过引导LLMs利用不存在的“Examples”信息来利用幻觉,在多数数据集上提升性能,并可作为检测LLMs幻觉程度的工具。
2024-11-16 cs.AI cs.CL cs.LG
Zero-Resource Hallucination Prevention for Large Language Models
Pennsylvania State University(宾夕法尼亚州立大学);GE HealthCare(通用电气医疗集团)
针对大语言模型幻觉问题,提出名为SELF-FAMILIARITY的预检测自评估技术,通过评估模型对输入概念的熟悉度、对不熟悉内容弃权生成来减少幻觉,在4种模型上表现优于现有方法,推动幻觉缓解转向事前预防。
2023-10-08 cs.CL
On the Audio Hallucinations in Large Audio-Video Language Models
LY Corporation
本文构建并标注1,000条音频问答句子以分析大型音频-视频语言模型的音频幻觉,并利用预训练音频-文本模型在零样本与微调设置下完成幻觉分类,微调F1达87.9%。
2024-01-18 cs.CL cs.CV cs.MM
Multilingual Fine-Grained News Headline Hallucination Detection
Google Research(谷歌研究院)
本研究构建了首个包含5种语言超1.1万对数据的多语言细粒度新闻标题幻觉检测专家标注数据集,通过监督微调和大型语言模型上下文学习实验,提出语言相关示例选择与从粗到细提示技术提升少样本检测性能。
2024-07-22 cs.CL
Zero-Shot Event Causality Identification via Multi-source Evidence Fuzzy Aggregation with Large Language Models
针对零样本事件因果关系识别中的因果幻觉问题,提出MEFA框架,通过多任务证据分解与模糊聚合提升LLM因果判断的准确性。
2025-06-09 cs.CL
Jurassic is (almost) All You Need: Few-Shot Meaning-to-Text Generation for Open-Domain Dialogue
University of California(加利福尼亚大学)
开放域对话系统的一个挑战是需要对任何主题产生真实的、高质量的响应。我们的目标是提高雅典娜的质量和覆盖面,这是一个Alexa奖对话系统。我们实验了基于Few-Shot的学习,将GPT-Neo与Jurassic-1进行比较,用于电影,音乐,电视,体育和视频游戏领域,包括域内和跨域,具有不同的提示集大小(2,3,10),格式和由WikiData KG三元组或对话行为组成的含义表示。我们的评估使用了BLEURT和人类指标,并表明在10次提示下,Athena-Jurassic的表现在连贯性和语义准确性方面明显更好。使用2次跨域提示的实验导致Athena-GPT-Neo的性能大幅下降,其语义准确率下降到0.41,而其不真实的幻觉率增加到12%。电子游戏对话行为的实验表明,在10次提示下,两种模型都学会了控制对话行为,但《雅典娜-侏罗纪》的连贯性明显更高,只有4%的不真实幻觉。我们的研究结果表明,雅典娜侏罗纪产生足够高的质量输出,是有用的,在生活系统与真实用户。据我们所知,这些是第一个结果表明,基于Few-Shot的语义学习可以创建NLG,推广到新的领域,并产生高质量的,语义控制,会话反应直接从意义表示。
2021-11-10 cs.CL
OPDAI at SemEval-2024 Task 6: Small LLMs can Accelerate Hallucination Detection with Weakly Supervised Data
Interactive Entertainment Group of Netease Inc.(网易公司互动娱乐集团)
本文提出利用提示工程与少样本学习筛选优质大语言模型生成弱监督数据,并通过微调证明小型大语言模型在幻觉检测上可媲美大型模型及GPT-4提示方法。
2024-02-20 cs.CL
ANHALTEN: Cross-Lingual Transfer for German Token-Level Reference-Free Hallucination Detection
CAIDAS, University of Würzburg(维尔茨堡大学CAIDAS机构);NEC Laboratories Europe(欧洲NEC实验室);University of Mannheim(曼海姆大学)
本文提出德语词元级无参考幻觉检测数据集ANHALTEN,并探索跨语言迁移方法,发现少样本迁移在多数设置下最有效,且更大上下文长度提升检测性能。
2024-07-18 cs.CL
Addressing Topic Granularity and Hallucination in Large Language Models for Topic Modelling
The University of Sheffield(谢菲尔德大学)
本文针对 LLM 主题建模中的主题粒度不一致和幻觉问题,提出利用直接偏好优化(DPO)结合重建流水线微调 Mistral-7B 等开源模型,在不依赖人工标注的情况下显著提升主题质量并减少幻觉主题。
2024-05-01 cs.CL
Zero Hallucination, by Construction: Hallucination-Aware Layered Oversight for Trustworthy Enterprise AI
研究企业AI因幻觉难以被信任的问题时,提出HALO架构,通过六层防御将幻觉视为可控制故障模式,详细介绍各层并关注基于证据的置信度,以实现可信企业AI,在索赔提取工作负载上进行了架构说明。
2026-09-02 cs.AI cs.CL
Beyond Logit Lens: Contextual Embeddings for Robust Hallucination Detection & Grounding in VLMs
IIT Kanpur(印度理工学院坎普尔分校);IIT Bombay(印度理工学院孟买分校);Adobe Research(奥多比研究院)
针对 LMM 幻觉问题,本文提出 ContextualLens,利用中间层上下文 token 嵌入实现免训练的鲁棒幻觉检测与精确定位。
2025-02-19 cs.CL
HalluTruthQA: A Fine-Grained Benchmark for Hallucination Detection, Localization, and Explanation in Arabic Question Answering
Hamad Bin Khalifa University(哈马德·本·哈利法大学);Qatar University(卡塔尔大学);University of Biskra(比斯克拉大学);University of the Basque Country(巴斯克大学);Nazarbayev University(纳扎尔巴耶夫大学);Universiti Malaysia Kelantan(马来西亚吉兰丹大学)
针对阿拉伯语问答中幻觉检测等难题,提出HalluTruthQA细粒度基准,含多领域2400个示例。在零样本设置下评估四个开源模型,发现各任务考查不同能力,强调幻觉评估应拓展到定位、验证和解释事实错误。
2026-10-06 cs.CL
Towards Zero-Shot, Controllable Dialog Planning with LLMs
University of Stuttgart(斯图加特大学)
本文提出一种基于LLM的零样本CTS代理可控对话规划方法,通过基于用户交互偏好搜索和修剪领域图节点引导对话,在仿真和用户评估中均显著优于基于RL的最先进代理。
2025-03-04 cs.CL
SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models
ALTA Institute(ALTA研究所);University of Cambridge(剑桥大学)
提出SelfCheckGPT,一种基于采样的零资源黑盒方法,通过检测采样响应的一致性来识别大语言模型的幻觉,在句子级检测和段落级评估中优于灰盒基线。
2023-10-11 cs.CL
A Multiple-Fill-in-the-Blank Exam Approach for Enhancing Zero-Resource Hallucination Detection in Large Language Models
Fujitsu LTD.(富士通公司)
本文提出一种多项填空考试方法,通过掩码原始文本多个对象并让LLM反复作答以保持故事情节一致,从而量化幻觉程度,有效提升了零资源幻觉检测的准确率并实现了更优的集成性能。
2024-09-20 cs.AI cs.CL
Zero-resource Hallucination Detection for Text Generation via Graph-based Contextual Knowledge Triples Modeling
College of Computer, National University of Defense Technology(国防科技大学计算机学院);College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
本文提出基于图的上下文感知(GCA)幻觉检测方法,通过三元组分割、图依赖建模与逆向验证,在零资源下提升文本生成幻觉检测效果,优于所有基线。
2025-03-07 cs.AI cs.CL
Can Hallucinations Be Useful? Solving Multi-Hop Questions With SLMs By Chaining System-I/II Reasoning
The Pennsylvania State University(宾夕法尼亚州立大学)
提出一种“先回答后推理”的认知启发框架,利用SLM的初始答案(可能包含幻觉)作为假设来检索证据,再通过系统II深度推理,从而在多跳问答任务上超越传统的“先思考后检索”方法。
2026-05-26 cs.CL
Exploring Euphemism Detection in Few-Shot and Zero-Shot Settings
Carnegie Mellon University(卡内基梅隆大学)
这项工作建立在EMNLP 2022 FigLang研讨会提出的委婉语检测共享任务的基础上,并将其扩展到Few-Shot和zero-shot设置。我们展示了一个Few-Shot和zero-shot配方使用数据集从共享的任务,我们进行实验,在这些设置中使用RoBERTa和GPT-3。我们的研究结果表明,语言模型能够分类委婉语的条款相对较好,即使在训练过程中看不见的新术语,这表明它能够捕捉更高层次的概念相关的委婉语。
2022-10-24 cs.CL
SelfCheck-Eval: A Multi-Module Framework for Zero-Resource Hallucination Detection in Large Language Models
Department of Mathematics and Computer Science, University of Catania(卡塔尼亚大学数学与计算机科学系);L3S Research Center, Leibniz University Hannover(汉诺威莱布尼茨大学L3S研究中心)
SelfCheck-Eval提出了一种多模块框架,专门用于检测大型语言模型在数学推理中的幻觉问题,通过三个独立模块提升检测效果。
2025-12-28 cs.CL cs.LG
AutoHall: Automated Factuality Hallucination Dataset Generation for Large Language Models
AGI Institute, School of Computer Science, Shanghai Jiao Tong University(AGI研究院,计算机科学学院,上海交通大学);Shanghai Key Laboratory of Trusted Data Circulation and Governance in Web3(上海可信数据流通与治理Web3重点实验室);School of Media & Communication, Shanghai Jiao Tong University(媒体与传播学院,上海交通大学)
AutoHall通过自动化生成模型特定的幻觉数据集,提升大语言模型的事实性内容检测能力。
2025-11-27 cs.CL
SG-FSM: A Self-Guiding Zero-Shot Prompting Paradigm for Multi-Hop Question Answering Based on Finite State Machine
International Digital Economy Academy(国际数字经济学院);School of Software & Microelectronics, Peking University(北京大学软件与微电子学院);National Key Laboratory for Multimedia Information Processing(多媒体信息处理国家重点实验室);School of Computer Science, Peking University(北京大学计算机学院);Data Science and Artificial Intelligence, Monash University(莫纳什大学数据科学与人工智能学院);ModelTC
针对多跳问答中幻觉和错误传播问题,提出基于有限状态机的自引导零样本提示范式SG-FSM,通过迭代分解子问题并自我修正,在Musique等数据集上超越强基线。
2026-09-22 cs.CL
FSM: A Finite State Machine Based Zero-Shot Prompting Paradigm for Multi-Hop Question Answering
Peking University(北京大学);International Digital Economy Academy(国际数字经济学院);ModelTC
本文提出基于有限状态机的零样本提示范式FSM,通过将多跳问答迭代分解为子问题并逐步自我纠正,在Musique等复杂数据集上提升推理准确性并缓解幻觉。
2024-07-03 cs.CL
Adversarial Learning for Zero-Shot Stance Detection on Social Media
Columbia University(哥伦比亚大学)
社交媒体上的立场检测可以帮助识别和理解日常生活中的倾斜新闻或评论。在这项工作中,我们提出了一个新的模型,用于在Twitter上进行zero-shot姿态检测,该模型使用对抗学习来概括各个主题。我们的模型在一些看不见的测试主题上以最小的计算成本实现了最先进的性能。此外,我们将zero-shot姿态检测扩展到新的主题,突出了zero-shot传输的未来方向。
2021-05-14 cs.CL
VCE: A zero-cost hallucination mitigation method of LVLMs via visual contrastive editing
Huazhong University of Science and Technology(华中科技大学);Institute of Artificial Intelligence (TeleAI)(人工智能研究院);China Telecom(中国电信)
本文提出VCE方法,通过分析模型对对比视觉扰动的响应,利用SVD分解激活模式以抑制幻觉倾向,有效减少多基准测试中的物体幻觉,同时保持计算效率。
2026-04-21 cs.CL cs.CV
Prompt to be Consistent is Better than Self-Consistent? Few-Shot and Zero-Shot Fact Verification with Pre-trained Language Models
School of Computing and Information Systems(计算与信息系统学院);Singapore Management University(新加坡管理大学)
提出 ProToCo,通过生成声明变体并施加一致性约束,结合 PEFT 提升 PLM 的少样本与零样本事实验证能力,并在三个数据集上超越强基线及大型 ICL 模型。
2023-06-05 cs.CL
Zero-shot Faithful Factual Error Correction
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Macau(澳门大学)
本文提出一种零样本事实错误纠正框架,通过提问、在证据中检索答案并评估纠正与证据的一致性,在FEVER和SciFact上超越全监督方法,同时具备可解释性,并分析了评估指标与人类判断的相关性。
2023-05-27 cs.CL
T-Modules: Translation Modules for Zero-Shot Cross-Modal Machine Translation
Meta AI;Inria(法国国家信息与自动化研究所)
我们提出了一种新的方法来执行语音和文本之间的zero-shot跨模态转换的翻译任务。多语言语音和文本被编码在一个联合的固定大小的表示空间。然后,我们比较了解码这些多模式和多语言固定大小表示的不同方法,从而实现语言和模式之间的零镜头翻译(zero-shot translation)。我们所有的模型都是在不需要跨模态标记翻译数据的情况下进行训练的。尽管是固定大小的表示,我们在几个文本和语音翻译任务上取得了非常有竞争力的结果。特别是,我们显著提高了Must-C上zero-shot语音翻译的最新水平。在我们的框架中实现语音解码器,我们介绍了zero-shot直接语音到语音和文本到语音翻译的第一个结果。
2022-11-10 cs.CL
Realistic Zero-Shot Cross-Lingual Transfer in Legal Topic Classification
Athens University of Economics and Business(雅典经济与商业大学);Cognitiv+ Ltd(Cognitiv+有限公司);University of Copenhagen(哥本哈根大学)
我们考虑zero-shot跨语言迁移在法律主题分类使用最近的MultiEURLEX数据集。由于原始数据集包含并行文档,这是不现实的zero-shot跨语言迁移,我们开发了一个新版本的数据集没有并行文档。我们使用它来证明基于简化的方法大大优于多语言预训练模型的跨语言微调,这是MultiEURLEX之前最好的zero-shot传输方法。我们还开发了一个双语教师-学生zero-shot传输方法,利用额外的未标记的文件的目标语言,并表现得更好的模型微调直接标记的目标语言文件。
2022-06-08 cs.CL
Subword Segmentation and a Single Bridge Language Affect Zero-Shot Neural Machine Translation
University of Zurich(苏黎世大学);University of Edinburgh(爱丁堡大学)
Zero-shot神经机器翻译是一个有吸引力的目标,因为获取数据和为新的翻译方向构建翻译系统的成本很高。然而,以前的论文报道了混合成功的zero-shot翻译。与完全监督的系统相比,很难预测它在哪些设置中有效,以及什么限制了性能。在本文中,我们研究了zero-shot性能的多语种EN $\leftrightarrow$ {FR,CS,DE,FI}系统上训练的WMT数据。我们发现,zero-shot性能是非常不稳定的,可以通过超过6 BLEU的训练运行之间的变化,使其难以可靠地跟踪改进。我们观察到一个偏向复制源在zero-shot翻译,并探讨如何选择子词切分影响这种偏见。我们发现,特定于语言的子词切分的结果在训练时的子词复制较少,并导致更好的zero-shot性能相比,联合训练的分割。多语言模型中的最近趋势是不在所有语言对之间的并行数据上进行训练,而是具有单个桥接语言,例如英语。我们发现,这会对zero-shot翻译产生负面影响,并导致失败模式,即模型忽略语言标签,而是在zero-shot方向上产生英语输出。我们表明,这种偏向英语可以有效地减少,即使是少量的平行数据,在一些非英语对。
2020-11-03 cs.CL
ZeroKBC: A Comprehensive Benchmark for Zero-Shot Knowledge Base Completion
Texas A&M University(得克萨斯农工大学);Tencent AI Lab(腾讯人工智能实验室)
知识库补全(KBC)的目的是预测知识图谱中缺失的链接。以前的KBC任务和方法主要集中在所有测试实体和关系都出现在训练集中的设置上。然而,有有限的研究zero-shot KBC设置,在那里我们需要处理看不见的实体和关系,出现在一个不断增长的知识库。在这项工作中,我们系统地研究了不同的可能情况下的zero-shot KBC和开发一个全面的基准,ZeroKBC,涵盖这些情况下,不同类型的知识来源。我们的系统分析揭示了几个缺失但重要的zero-shot KBC设置。实验结果表明,规范和国家的最先进的KBC系统不能达到令人满意的性能在这个具有挑战性的基准。通过分析这些系统在解决ZeroKBC问题上的优势和劣势,我们进一步提出了几个重要的观察结果和未来的发展方向。
2022-12-06 cs.CL
Hansel: A Chinese Few-Shot and Zero-Shot Entity Linking Benchmark
Harbin Institute of Technology(哈尔滨工业大学);Wechat, Tencent(腾讯微信)
本文提出中文少样本与零样本实体链接基准Hansel,覆盖1万篇多样化文档,并建立强基线,在少样本和零样本场景下分别取得46.2%和76.6%的R@1,显著优于现有系统。
2023-10-29 cs.CL
Effective Strategies in Zero-Shot Neural Machine Translation
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
在本文中,我们提出了两个策略,可以应用于多语言神经机器翻译系统,以更好地解决zero-shot的情况下,即使没有任何平行语料库。实验结果表明,该算法在性能和计算资源方面都是有效的,尤其是在零资源条件下对不平衡数据的多语种翻译时,能够有效缓解语言偏见问题。
2017-11-22 cs.CL
Towards Zero-shot Commonsense Reasoning with Self-supervised Refinement of Language Models
SAP AI Research(SAP人工智能研究院)
我们能否获得现有的语言模型,并将其细化为zero-shot常识推理?本文提出了一个初步的研究,探索zero-shot常识推理的可行性Winograd模式挑战制定的任务作为自我监督细化的预训练语言模型。与以往依赖于微调注释数据集的研究相比,我们寻求通过损失景观细化来提高概念化。为此,我们提出了一种新的自监督学习方法,利用一组相似概念关系的语言扰动来改进语言模型。我们的概念上简单的框架实证分析表明,多个基准上的可行性zero-shot常识推理。
2021-09-10 cs.CL
X-Shot: A Unified System to Handle Frequent, Few-shot and Zero-shot Learning Simultaneously in Classification
Temple University(天普大学);University of California, Davis(加州大学戴维斯分校);Virginia Tech(弗吉尼亚理工大学);Penn State University(宾夕法尼亚州立大学)
该研究提出X-shot分类新挑战以适配真实场景中标签频率的多样性,同时提出BinBin方法,结合指令跟随的间接监督与大语言模型的弱监督,在多领域基准上取得了优于现有技术的表现。
2024-03-06 cs.CL