Evaluating Prompts Across Multiple Choice Tasks In a Zero-Shot Setting
大语言模型已经表明,通过自然语言提示可以实现令人印象深刻的zero-shot性能(Radford et al.,2019; Brown等人,2020; Sanh等人,2021年)。然而,创建一个有效的提示需要大量的尝试和错误。这就向\textit{prompts}提出了一个问题:提示的质量如何影响它的表现?为此,我们从各种任务中收集并标准化提示,以用于它们不是为之设计的任务。然后,我们在固定的多项选择数据集上评估这些提示,以定量分析提示的某些属性如何影响性能。我们发现,包括选择和使用提示不使用在预培训提供了显着的改善。所有的实验和代码都可以在https://github.com/gabeorlanski/zero-shot-cross-task上找到。
2022-03-29 cs.AI cs.CL cs.LG
Semantic Integrity Matters: Benchmarking and Preserving High-Density Reasoning in KV Cache Compression
The Hong Kong University of Science(香港科学与技术大学);Guangzhou HKUST Fok Ying Tung Research Institute(广州HKUST傅种群研究院)
本文提出KVFundaBench基准测试,揭示了在高密度推理中压缩导致的严重任务依赖性退化问题,并提出ShotKV方法,通过分离prefill和解码阶段以优先保持语义完整性,提升了长上下文生成任务的准确率并降低了延迟。
2026-05-12 cs.AI cs.CL
MILO: Efficient Many-shot In-Context Learning with Block-wise Low-rank Compression
University of Central Florida(中佛罗里达大学)
MILO提出块级低秩压缩方法,动态分配秩预算压缩KV缓存,在Qwen2.5上实现50%内存减少和1.8倍吞吐提升,性能几乎无损。
2026-09-25 cs.CL
Evaluating and explaining training strategies for zero-shot cross-lingual news sentiment analysis
Jožef Stefan Institute(约热夫·斯泰凡研究所);Queen Mary University of London(伦敦玛丽女王大学)
本文研究零样本跨语言新闻情感检测,提出利用段落级信息的新任务目标POA,并对比机器翻译、上下文学习等方法,证明POA能以更低计算开销取得有竞争力的性能提升。
2024-09-30 cs.AI cs.CL
Evaluating the Impact of Compression Techniques on Task-Specific Performance of Large Language Models
OptiML Org(OptiML机构)
该研究评估三种主流压缩方法对LLaMA-2-7B模型的影响,发现仅用困惑度评估压缩效果不足,提出JS散度作为更全面指标,并证实任务特定校准数据可提升压缩模型下游性能。
2024-09-17 cs.CL
LORD: Low Rank Decomposition Of Monolingual Code LLMs For One-Shot Compression
Université de Montréal(蒙特利尔大学);Nolano AI(Nolano人工智能);Mila(米拉人工智能研究院)
本文提出用LoRD低秩分解一次性压缩代码LLM,在StarCoder 16B上实现显著减参、加速且性能损失极小,并兼容SpQR与QLoRA。
2023-09-25 cs.AI cs.CL
Evaluating the Factuality of Zero-shot Summarizers Across Varied Domains
Northeastern University(东北大学);Carnegie Mellon University(卡内基梅隆大学)
本研究评估零样本摘要器在生物医学和法律等专业领域的事实性,通过专家标注错误并分析预训练语料领域普遍性的影响,发布标注数据集以促进事实准确摘要研究。
2024-02-05 cs.AI cs.CL cs.LG
ArabicNumBench: Evaluating Arabic Number Reading in Large Language Models
Imam Mohammad Ibn Saud Islamic University Saudi Arabia(伊玛目穆罕默德·本·沙特伊斯兰大学)
阿拉伯数字基准评估大型语言模型在阿拉伯数字阅读任务中的表现,揭示不同提示策略和模型在准确率上的显著差异,指出结构化输出生成的挑战。
2026-02-21 cs.AI cs.CL
InstructCMP: Length Control in Sentence Compression through Instruction-based Large Language Models
Chungnam National University(忠南大学);Nara Institute of Science and Technology (NAIST)(奈良科学技术研究所);Tokyo Institute of Technology(东京工业大学)
针对传统句子压缩模型难满足长度约束的问题,提出基于指令的InstructCMP方法,结合长度启动策略与指令格式数据集微调,在零样本和微调场景下均显著提升长度控制性能且无需修改模型。
2024-06-18 cs.AI cs.CL
Evaluating Large Language Models on the Frame and Symbol Grounding Problems: A Zero-shot Benchmark
Independent Researcher(独立研究者)
本文构建面向框架问题与符号接地问题的零样本哲学基准,测试13个闭源及开源LLM,发现部分闭源模型能稳定给出高质量回答。
2025-06-09 cs.AI cs.CL
Compressing Many-Shots in In-Context Learning
Google(谷歌);UCLA(加州大学洛杉矶分校);University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对 ICL 中多样本提示导致的内存与计算开销,论文提出逐层软 token 压缩方法 MemCom,并证明其在 3x–8x 压缩率下显著优于基线。
2025-10-17 cs.AI cs.LG
DeferKV: Rethinking Eviction Timing for One-Shot KV Cache Compression
University of Electronic Science and Technology of China(电子科技大学);Ubiquitous Intelligence and Trusted Services Key Laboratory of Sichuan Province(四川省泛在智能与可信服务重点实验室)
针对长上下文LLM中KV缓存压缩的驱逐时机问题,提出DeferKV方法,将驱逐决策推迟至首个解码步骤并融合两侧观察,无需额外训练,在多个基准上提升压缩性能并保持低延迟。
2026-10-06 cs.CL
Uncheatable Eval: Dynamic Compression-Based Evaluation of Language Models
Shenzhen University(深圳大学);Tsinghua University(清华大学)
提出不可作弊评估(Uncheatable Eval),通过动态收集新文本并利用压缩率评估基础语言模型,降低数据污染风险;实验表明压缩性能随模型规模缩放,且与零样本MMLU准确率负相关。
2026-09-24 cs.AI cs.CL
Information Capacity: Evaluating the Efficiency of Large Language Models via Text Compression
本文提出信息容量作为评估大语言模型效率的新指标,通过文本压缩性能与计算复杂性关系衡量模型效率,并揭示主流模型的语言偏见问题。
2026-03-10 cs.AI cs.CL eess.SP
Evaluating Prompting Strategies for Chart Question Answering with Large Language Models
Georgia State University, Atlanta GA, USA(佐治亚州立大学)
本文系统评估了四种提示策略在图表问答任务中的表现,发现Few-Shot Chain-of-Thought策略在准确性和格式遵循上表现最佳,为结构化数据推理任务提供了选择提示策略的指导。
2026-03-03 cs.AI cs.CL cs.LG
GPT-3.5, GPT-4, or BARD? Evaluating LLMs Reasoning Ability in Zero-Shot Setting and Performance Boosting Through Prompts
Novelis Research and Innovation Lab(诺贝丽斯研究与创新实验室)
本文在11个数据集上评估GPT-3.5、GPT-4和BARD的零样本推理能力,发现GPT-4整体最优,但三者在归纳、数学和多跳推理上均有限,并提出提示工程方法提升性能。
2023-09-19 cs.AI cs.CL
DataAgent: Evaluating Large Language Models' Ability to Answer Zero-Shot, Natural Language Queries
Irvington High School(欧文顿高中);Pioneer High School(先锋高中);Davis Senior High School(戴维斯高级中学);The Loomis Chaffee School(卢米斯查菲学校);Bellarmine College Preparatory(贝拉明学院预备学校);Rutgers University(罗格斯大学);University of Maryland, College Park(马里兰大学学院市分校)
本文提出将GPT-3.5作为语言数据科学家,在多个基准数据集上评估其零样本回答自然语言数据查询的能力,并通过Chain-of-Thought和SayCan等提示工程技术验证了大语言模型在低层级数据分析中的潜力。
2024-03-29 cs.AI cs.CL
Evaluating Instruction-Tuned Large Language Models on Code Comprehension and Generation
Fudan University(复旦大学)
本文在四个代码理解与生成任务上评估了10个开源指令微调LLM,发现其在零样本下极具竞争力,少样本和微调能进一步提升性能,并据此提出了模型选择与权衡的实际建议。
2023-08-02 cs.AI cs.CL
Language Complexity Measurement as a Noisy Zero-Shot Proxy for Evaluating LLM Performance
KTH Royal Institute of Technology(瑞典皇家理工学院)
本文通过 LIX 与 ADD 任务评估多款 LLM,发现语言复杂度测量能力与 MMLU 表现显著相关,可作为噪声零样本代理评估模型通用能力。
2025-02-17 cs.AI cs.CL
FMI@SU ToxHabits: Evaluating LLMs Performance on Toxic Habit Extraction in Spanish Clinical Texts
Faculty of Mathematics and Informatics, Sofia University St. Kliment Ohridski(索非亚大学圣克利门特奥赫里德斯基数学与信息学学院)
本文提出了一种识别西班牙临床文本中毒瘾习惯实体的方法,通过LLMs在零样本、少样本和提示优化中发现GPT-4.1在少样本提示下表现最佳,达到0.65的F1分数,展示了非英语语言命名实体识别的潜力。
2026-04-07 cs.AI cs.CL
SLiM: One-shot Quantization and Sparsity with Low-rank Approximation for LLM Weight Compression
University of Toronto(多伦多大学);Google DeepMind(谷歌DeepMind);NVIDIA Research(NVIDIA研究)
本文提出一次性压缩框架SLIM,将硬件友好的量化、半结构化稀疏性与低秩近似相集成,通过概率量化、剪枝及新颖显著性函数补偿误差,显著提升了模型精度并降低了内存和推理开销。
2025-08-14 cs.AI cs.LG cs.PF
Evaluating the Performance of AI Text Detectors, Few-Shot and Chain-of-Thought Prompting Using DeepSeek Generated Text
The University of Missouri(密苏里大学)
本文评估六款AI检测器识别DeepSeek-v3文本及抵御改写、拟人化攻击的能力,并测试DeepSeek少样本与CoT分类,发现拟人化攻击最有效,五样本提示仅误判1例。
2025-07-23 cs.AI cs.CL
Evaluating Named Entity Recognition Using Few-Shot Prompting with Large Language Models
INSA Lyon(里昂国立应用科学学院);CNRS(法国国家科学研究中心);Universite Claude Bernard Lyon 1(里昂第一大学(克洛德·贝尔纳));LIRIS(里昂信息科学与系统实验室)
本文评估了 GPT-4 等大语言模型在命名实体识别中的小样本提示性能,发现其虽与完全监督方法存在差距,但在极少数据下适应新实体类型和领域表现优异,并分析了提示工程等因素的影响。
2024-09-04 cs.AI cs.IR
Evaluating Prompting Strategies and Large Language Models in Systematic Literature Review Screening: Relevance and Task-Stage Classification
School of Mathematical and Computational Sciences(数学与计算科学学院)
本研究评估六种LLM与五种提示策略在系统性文献综述筛选中的交互效果,发现CoT-少样本平衡最佳,并提出低成本模型初筛加边界案例升级的分阶段工作流。
2025-10-17 cs.AI cs.CL
Sarc7: Evaluating Sarcasm Detection and Generation with Seven Types and Emotion-Informed Techniques
Algoverse AI Research(Algoverse AI研究院)
提出Sarc7基准,将MUStARD数据集标注为七种讽刺类型,并通过零样本、少样本、思维链及新型情感提示技术进行分类评估,同时开发基于情感的生成方法,实验表明情感提示技术优于其他设置。
2026-06-23 cs.AI cs.CL
Evaluating Linguistic Capabilities of Multimodal LLMs in the Lens of Few-Shot Learning
Hacettepe University(哈杰泰佩大学);Aselsan Research(阿塞尔桑研究院);Koç University(科克大学);Amsterdam UMC, University of Amsterdam(阿姆斯特丹大学医学中心,阿姆斯特丹大学);Amsterdam Public Health(阿姆斯特丹公共卫生研究院)
本研究在VALSE基准上评估多模态大语言模型的语言能力,发现少样本上下文学习和思维链提示显著提升推理性能,且预训练数据组成影响模型表现。
2024-07-17 cs.CL cs.CV
Evaluating Zero-Shot Multilingual Aspect-Based Sentiment Analysis with Large Language Models
Guangdong Provincial Key Laboratory of Quantum Engineering and Quantum Materials, School of Electronic Science and Engineering (School of Microelectronics)(广东量子工程与材料重点实验室,电子科学与工程学院(微电子学院));South China Normal University(华南师范大学);Guangdong Provincial Key Laboratory of Intelligent Information Processing(广东智能信息处理重点实验室);Ludwig Maximilian University of Munich(慕尼黑路德维希-马克西米利安大学);Munich Center for Machine Learning(慕尼黑机器学习中心);Technical University of Munich(慕尼黑技术大学)
本文在零样本条件下评估大型语言模型在多语言基于方面的情感分析任务中的表现,发现其虽具潜力但不及微调模型,且简单提示策略常优于复杂策略。
2025-06-09 cs.CL
PrefBench: Evaluating Zero-Shot LLM Agents in Hidden-Preference Personalized Pricing Negotiations
University of Aberdeen(阿伯丁大学)
提出PrefBench基准,通过隐藏偏好模拟评估零样本LLM智能体在个性化定价谈判中的利润表现,发现LLM虽能达成高交易率但利润远低于简单启发式方法。
2026-05-19 cs.AI cs.CL cs.GT
Comparative Analysis of GPT-4 and Human Graders in Evaluating Praise Given to Students in Synthetic Dialogues
Carnegie Mellon University(卡内基梅隆大学)
本文比较了GPT-4与人工评分者在识别辅导对话中有效表扬成分的表现,发现两种提示方法结果相近,但GPT-4在识别真诚表扬方面存在不足,未来将改进提示工程和评分标准。
2023-07-05 cs.AI cs.CL cs.HC
Minimizing PLM-Based Few-Shot Intent Detectors
The Hong Kong Polytechnic University(香港理工大学);Fano Labs(范诺实验室)
针对PLM基少样本意图检测器体积大、难在资源受限环境部署的问题,结合LLM数据增强、知识蒸馏与V-Prune词表剪枝,实现21倍内存压缩且性能基本不变。
2024-09-15 cs.CL
LoRAP: Transformer Sub-Layers Deserve Differentiated Structured Compression for Large Language Models
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
针对大语言模型压缩需求,本文提出LoRAP混合压缩框架,对Transformer的MHA子层采用差异化低秩近似、对FFN子层采用无梯度结构化剪枝,实验证明在多种压缩比下性能优于现有结构化压缩方法。
2024-04-15 cs.AI cs.CL cs.LG
Just CHOP: Embarrassingly Simple LLM Compression
Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Institute for Language, Cognition and Computation, University of Edinburgh(爱丁堡大学语言、认知与计算研究所);Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所)
针对大语言模型压缩中剪枝策略忽视预训练后微调范式的问题,提出LayerChop方法,通过层剪枝加持续自监督预训练微调,在7B规模模型上实现优于结构化、半结构化压缩及蒸馏的效果与推理效率。
2024-07-09 cs.CL
Evaluating Compact LLMs for Zero-Shot Iberian Language Tasks on End-User Devices
Advantx Technological Foundation (Funditec)(Advantx技术基金会)
本研究针对伊比利亚半岛低资源语言,在终端用户设备上全面评估了紧凑型LLM在零样本NLP任务中的表现,发现部分模型表现优异但Basque等语言仍存在显著性能差距,强调了平衡模型紧凑性与多语言性能的必要性。
2025-05-28 cs.CL cs.LG
Evaluating Vision-Language Models for Zero-Shot Detection, Classification, and Association of Motorcycles, Passengers, and Helmets
Archbishop Mitty(大主教米蒂高中);University of California San Diego(加利福尼亚大学圣迭戈分校)
本文扩展 CVPR AI City Challenge 数据集,采用 OWLv2 与 CNN 级联的零样本方法检测摩托车、乘员位置及头盔佩戴状态,头盔检测平均精度达 0.5324。
2024-08-05 cs.AI cs.CV
VL-Taboo: An Analysis of Attribute-based Zero-shot Capabilities of Vision-Language Models
Goethe University Frankfurt(法兰克福歌德大学);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室)
视觉语言模型在大量随机收集的数据上进行训练,自出现以来在许多领域产生了重大影响。但是,尽管它们在图像-文本检索等各个领域都表现出了出色的性能,但它们的内部工作原理仍然没有得到充分的理解。目前的工作分析这些模型的真正zero-shot能力。我们从分析训练语料库开始,评估测试类在多大程度上(以及哪些)是真正的zero-shot,以及这与各个类的表现如何相关。我们随后分析了这些模型的基于属性的零样本学习能力,评估了这种经典的zero-shot概念在大规模网络监督中的表现。我们利用最近发布的LAION 400 M数据语料库以及CLIP、OpenCLIP和FLAVA的公开预训练模型,在CUB和AWA 2基准测试中评估基于属性的zero-shot能力。我们的分析表明:(i)流行的zero-shot基准测试中的大多数类在预训练期间被观察到(很多);(ii)zero-shot性能主要来自于模型识别类标签的能力,无论它们何时出现在文本中,并且仅在不使用类标签时观察到基于属性的zero-shot学习的性能显著较低;(iii)所使用的属性的数量可以对性能具有显著影响,并且可以容易地导致显著的性能降低。
2022-09-12 cs.AI cs.CL cs.CV
Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
本研究提出LM-GC方法,利用大型语言模型作为零样本梯度先验,结合算术编码实现无损压缩,压缩率提升10%-17.2%,并兼容有损压缩。
2025-01-22 cs.AI cs.LG
The Behavior Gap: Evaluating Zero-shot LLM Agents in Complex Task-Oriented Dialogs
Intuit AI Research(Intuit AI研究院)
该研究针对零样本LLM智能体在复杂任务导向对话中的性能问题,提出综合评估框架量化其与人类的行为差距,发现该差距随任务复杂度扩大,缩小差距可显著提升性能,为优化TODS提供方向。
2025-06-13 cs.AI cs.CL cs.HC
NoWag: A Unified Framework for Shape Preserving Compression of Large Language Models
University of California, Los Angeles(加州大学洛杉矶分校);Georgia Institute of Technology(佐治亚理工学院);Princeton University(普林斯顿大学)
NoWag提出了一种统一的单次形状保持压缩框架,通过向量量化和剪枝技术有效压缩大型语言模型,展示了其在性能上的优势。
2026-01-27 cs.AI cs.LG
Evaluating Few-Shot Temporal Reasoning of LLMs for Human Activity Prediction in Smart Environments
organization= Department of Civil \& Environmental Engineering, Carnegie Mellon University , addressline= 5000 Forbes Ave , city= Pittsburgh , state= PA , postcode= 15213 , country= USA;organization= Department of Mechanical Engineering, Carnegie Mellon University , addressline= 5000 Forbes Ave , city= Pittsburgh , state= PA , postcode= 15213 , country= USA
本文研究了预训练语言模型在智能环境中的少样本时间推理能力,通过评估其在人类活动预测中的表现,发现其在低数据环境下具备强大的时间理解能力。
2026-01-20 cs.AI cs.CE cs.CL
Do We Really Need Specialization? Evaluating Generalist Text Embeddings for Zero-Shot Recommendation and Search
Politecnico Di Bari(巴里理工大学);Sapienza University of Rome(罗马大学);University of Klagenfurt(克拉根福大学)
本文证明通用文本嵌入模型无需专门微调即可在零样本推荐与搜索中超越传统及微调模型,并通过PCA压缩嵌入维度进一步提升性能。
2025-07-08 cs.CL cs.IR
Evaluating the Effectiveness of LLMs in Fixing Maintainability Issues in Real-World Projects
Federal University of Minas Gerais(米纳斯吉拉斯联邦大学);State University of Bahia(巴伊亚州立大学);New York University Abu Dhabi(纽约大学阿布扎比分校)
本文通过127个真实GitHub可维护性问题评估LLMs的修复能力,发现少样本Llama修复率最高为44.9%,但多数方案引入新错误,表明LLMs虽有潜力但仍存在明显局限。
2025-02-04 cs.AI cs.SE
Evaluating Semantic Relation Knowledge through Bidirectional Relation Prediction from Gloss Pairs
The University of Tokyo(东京大学);RIKEN(理化学研究所);Tohoku University(东北大学)
本研究提出通过释义对双向关系预测评估LLM语义关系知识的任务,构建多语言词义对数据集,实验发现多数LLM在该任务上表现不佳,存在语义关系识别及非对称性遵循的局限。
2026-10-14 cs.CL
Evaluating the Zero-shot Robustness of Instruction-tuned Language Models
Northeastern University(东北大学)
本文通过收集80多个任务的319条人工指令评估指令微调LLM的零样本鲁棒性,发现未见过的等价措辞会显著降低并放大性能波动,进而提出优化软提示嵌入以拉近语义等价指令表示的方法,持续提升鲁棒性。
2023-07-09 cs.CL cs.LG
Evaluating LLMs for One-Shot Patching of Real and Artificial Vulnerabilities
Luxembourg Institute of Science and Technology(卢森堡科学与技术研究所)
本研究评估了LLMs在真实和人工漏洞修补中的有效性,发现其在真实漏洞上表现更佳,并揭示了不同LLMs在修补漏洞上的互补性和差异性。
2025-11-28 cs.AI cs.CR cs.SE
FlattenGPT: Depth Compression for Transformer with Layer Flattening
State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University(多媒体信息处理国家重点实验室,计算机科学学院,北京大学);Tsinghua University(清华大学)
FlattenGPT通过层扁平化技术实现Transformer模型的深度压缩,有效提升效率并保持性能,适用于多种模型类型和参数规模。
2026-02-09 cs.AI cs.CV
Evaluating Multimodal Large Language Models on Spoken Sarcasm Detection
University of Groningen, The Netherlands(Groningen大学,荷兰)
本文系统评估了LLMs和MLLMs在英汉口语讽刺检测中的表现,发现音频相关组合最优,且Qwen-Omni等模型具备跨语言多模态讽刺理解潜力。
2026-10-20 cs.CL cs.MM
Locality-Aware Redundancy Pruning for LLM Depth Compression
University of Southern California(美国南加州大学);Neural Superintelligence Lab, MODULABS(MODULABS神经超级智能实验室);Seoul National University(首尔国立大学);Inha University(釜山大学)
提出LoRP,一种基于表示局部性的无训练单次深度剪枝框架,通过引入表示局部性分数(RLS)来识别和剪除冗余层,在多种LLM上提升了困惑度和下游任务准确率。
2026-09-01 cs.AI cs.LG
Approximating Human-Like Few-shot Learning with GPT-based Compression
University of Waterloo(滑铁卢大学)
该研究将学习视为信息压缩,用GPT逼近Kolmogorov复杂度与信息距离,并在enwik9及多项NLP任务上验证其压缩和少样本学习效果。
2023-08-14 cs.AI cs.CL cs.IT
Beyond Text Compression: Evaluating Tokenizers Across Scales
University of Copenhagen(哥本哈根大学);ROCKWOOL Foundation Research Unit(ROCKWOOL基金会研究单位);Apple(苹果公司)
本文提出利用小模型低成本预测分词器对大模型的影响,发现分词器选择主要影响多语言任务而非英语任务,并基于齐普夫定律构建了比文本压缩更可靠的内在分词器评估框架。
2025-06-03 cs.CL
Unsupervised Meta Learning for One Shot Title Compression in Voice Commerce
Stanford University(斯坦福大学)
语音和移动商务中的产品标题压缩是一个很好的研究问题,目前提出了几种监督模型。然而,这些模型有两个主要的局限性;它们不是设计来在推理时基于线索动态地生成压缩,并且它们在测试时不能很好地转换到不同的类别。为了解决这些缺点,我们将标题压缩建模为一个元学习问题,在这个问题中,我们问,在只给出一个压缩示例的情况下,我们是否可以学习一个标题压缩模型?我们通过提出一种自动任务生成算法,将观察到的标签生成过程建模为4个未观察过程的结果,采用无监督的方法进行Meta训练。我们对这4个潜在过程中的每一个都创建了参数化近似,以获得生成随机压缩规则的原则性方法,这些规则被视为不同的任务。对于我们的主Meta学习器,我们使用两个模型:M1和M2。M1是任务不可知的嵌入生成器,其输出馈送到M2,M2是任务特定的标签生成器。我们在一个新的无监督段排名预测任务上对M1进行预训练,该任务允许我们将M1视为一个段生成器,该生成器还可以在元训练过程中学习对段进行排名。我们对16000个人群生成的元测试示例的实验表明,我们的无监督Meta训练机制能够在每个任务只看到1个示例后获得不同任务的学习算法。此外,我们还证明了我们的模型作为黑盒Meta学习者进行端到端训练,优于非参数方法。我们最好的模型获得了0.8412的F1分数,以25个F1分数的大幅度击败了基线。
2021-02-22 cs.AI cs.CL cs.LG
Evaluating Unsupervised Text Classification: Zero-shot and Similarity-based Approaches
Technical University of Munich(慕尼黑工业大学);University of Twente(特文特大学)
该研究针对未见类别文本分类任务,系统性对比了基于相似度与零样本两类无监督方法,提出新型基线和Lbl2TransformerVec方法,验证了相似度类方法的优势及嵌入表示优化的增益。
2023-01-31 cs.AI cs.CL
Scaling Multi-Document Event Summarization: Evaluating Compression vs. Full-Text Approaches
Carnegie Mellon University(卡内基梅隆大学)
本研究对比大规模多文档摘要的压缩与全文两类方法,在含约百篇文档/摘要的三个数据集上评估多模型与方法,发现全文及检索方法多数场景最优,压缩方法中间阶段潜力大但有信息损失,强调需开发混合方案提升性能。
2025-02-10 cs.CL
Evaluating the Supervised and Zero-shot Performance of Multi-lingual Translation Models
Aylien Ltd.(Aylien有限公司)
我们研究了几种方法的全部或部分共享的多语言NMT模型的解码器参数。我们仅使用WMT 2019共享任务并行数据集进行训练,在110个独特的翻译方向上评估完全监督和zero-shot翻译性能。我们使用额外的测试集和重新评估方法最近用于无监督MT,以评估zero-shot翻译性能的语言对没有黄金标准的并行数据。据我们所知,就我们使用的训练数据的总大小而言,这是迄今为止对多语言翻译进行的最大评估,就我们评估的zero-shot翻译对的多样性而言。我们对不同模型的翻译性能进行了深入的评估,突出了共享解码器参数的方法之间的权衡。我们发现,具有特定于任务的解码器参数的模型优于解码器参数在所有任务中完全共享的模型。
2019-06-24 cs.CL
Evaluating the fairness of task-adaptive pretraining on unlabeled test data before few-shot text classification
针对在未标注测试集上预训练可能导致基准偏向的问题,本文通过 25 个任务和 3 个模型的受控实验发现并无过度乐观证据,并建议少样本基准采用多个训练折。
2024-10-02 cs.CL cs.LG