JFinTEB: Japanese Financial Text Embedding Benchmark
Amova Asset Management Co., Ltd.(Amova资产管理部门有限公司);Hokkaido University(北海道大学)
本文提出JFinTEB,首个针对日本金融文本嵌入评估的基准,涵盖检索与分类任务,评估多种嵌入模型,为日本金融文本挖掘社区提供标准化评估协议。
2026-04-17 cs.CL cs.IR
Integrated ensemble of BERT- and features-based models for authorship attribution in Japanese literary works
Doshisha University(同志社大学);Kyoto University of Advanced Science(京都先进科学大学);Mejiro University(目白大学)
本研究针对小样本作者归属识别任务,提出将传统特征方法与BERT等预训练语言模型进行综合集成,实验表明该方法能显著提升分类性能,F1分数最高提升约14个百分点。
2025-04-11 cs.CL
JMedBench: A Benchmark for Evaluating Japanese Biomedical Large Language Models
The University of Tokyo(东京大学);National Institute of Informatics(信息学研究所)
针对日语生物医学LLM缺乏大规模评估基准的问题,提出包含8个模型和20个数据集的JMedBench基准,实验揭示了模型表现差异与改进空间,并公开评估工具及数据集以促进研究。
2024-09-20 cs.CL
YOMI-Bench: A Benchmark for Evaluating Kanji Reading and Phonological Understanding of LLMs for Japanese
Kobe University(神户大学);National Institute of Advanced Industrial Science and Technology (AIST)(国立研究开发法人产业技术综合研究所(AIST));The University of Tokyo(东京大学);RIKEN(理化学研究所);Tohoku University(东北大学)
提出YOMI-Bench基准,通过四个任务评估大语言模型在日语汉字读音上的表现,发现专用模型和商业模型均表现不佳。
2026-07-02 cs.CL
Evaluating the Robustness of Japanese LLMs to IME-Related and Typographical Errors
Kobe University(神户大学);University of Hyogo(兵库县立大学)
本研究评估日本大语言模型对五种日语特定拼写错误的鲁棒性,发现字符换位和替换显著降低性能,而输入法相关错误影响较小,凸显了实际输入环境中鲁棒性评估的重要性。
2026-10-02 cs.CL
User-Generated Text Corpus for Evaluating Japanese Morphological Analysis and Lexical Normalization
National Institute of Information and Communications Technology(国立信息通信技术研究所);Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
词法分析和词汇规范化是日语用户生成文本的两个重要任务。为了评估和比较不同的MA/LN系统,我们构建了一个公开的日本UGT语料库。我们的语料库包括929个句子注释的形态和规范化信息,以及类别信息,我们经常UGT特定的现象进行分类。在该语料库上的实验表明,现有的MA/LN方法对非通用词和非标准形式的识别性能较低,这表明该语料库将是进一步研究UGT的一个具有挑战性的基准。
2021-04-08 cs.CL
Human-Grounded Multimodal Benchmark with 900K-Scale Aggregated Student Response Distributions from Japan's National Assessment of Academic Ability
Osaka Kyoiku University(大阪教养大学);University of Tokyo(东京大学);NII LLMC(日本国家信息与通信技术研究所大语言模型中心)
本文提出一个基于日本全国学业能力评估的多模态数据集,包含真实考试布局、图表和教育文本,用于评估多模态大语言模型的性能,通过精确匹配准确率和字符级F1分数分析不同学科间的差异。
2026-05-12 cs.CL
Heron-Bench: A Benchmark for Evaluating Vision Language Models in Japanese
Turing Inc.(图灵公司);Keio Research Institute at SFC(庆应义塾大学SFC研究所);University of Tsukuba(筑波大学);National Institute of Technology, Kisarazu College(木更津工业高等专门学校);Tokyo Institute of Technology(东京工业大学)
针对日语视觉语言模型评估基准缺失的问题,提出适配日语语境的Heron-Bench基准与基线模型,揭示模型能力差异并开源资源以推动相关研究。
2024-04-11 cs.CL cs.CV
CADEL: A Corpus of Administrative Web Documents for Japanese Entity Linking
National Institute of Information and Communications Technology(国立信息通信技术研究所)
本文构建了一个覆盖日本特定实体的标注语料库,用于评估日本实体链接系统,通过标注一致性验证了其可靠性,并初步实验表明其包含大量非平凡案例。
2026-03-31 cs.CL
Evaluating Multimodal Large Language Models on Vertically Written Japanese Text
Waseda University(早稻田大学);NII(日本国立信息机构);NII LLMC Tokyo, Japan(日本国立信息机构LLMC东京)
针对现有MLLMs竖排日文处理能力研究不足的问题,构建合成及真实竖排日文评估数据集开展评测,验证了现有模型竖排表现弱于横排,且合成数据集微调可提升模型竖排文本处理能力。
2025-11-19 cs.CL cs.CV
Bias Mitigation or Cultural Commonsense? Evaluating LLMs with a Japanese Dataset
The University of Tokyo(东京大学);Riken(理化学研究所);University of Liverpool(利物浦大学)
本文提出日语基准SOBACO,统一评估LLM的社会偏见与文化常识,发现去偏见方法会显著损害文化常识表现,强调需在公平性与实用性间权衡。
2025-09-29 cs.CL
Talent or Luck? Evaluating Attribution Bias in Large Language Models
George Mason University(乔治·马歇尔大学);Thomas Jefferson High School For Science and Technology(托马斯·杰斐逊科学与技术高中);University of Washington(华盛顿大学)
研究探讨大语言模型在事件归因中的偏差,提出基于认知的评估框架,识别模型推理差异如何放大群体偏见。
2026-04-28 cs.CL
Counterfactuals As a Means for Evaluating Faithfulness of Attribution Methods in Autoregressive Language Models
Tehran Institute for Advanced Studies, Khatam University(哈塔姆大学德黑兰高级研究所)
针对自回归语言模型归因方法忠实性评估中破坏输入导致分布外样本的问题,本文提出利用反事实生成技术构造流畅且符合分布的反事实样本,以提高评估协议的可靠性。
2025-03-07 cs.CL
Evaluating GPT-4 and ChatGPT on Japanese Medical Licensing Examinations
University of Washington(华盛顿大学);Sapporo Cardiovascular Clinic(札幌心血管诊所);Tohoku University(东北大学);Yale University(耶鲁大学)
在日语医师资格考试上评估 ChatGPT、GPT-3 和 GPT-4,发现 GPT-4 优于其他模型且通过全部六年考试,但揭示了选择禁止选项及日语分词导致成本高、上下文小的局限性。
2023-04-05 cs.CL
Authorship attribution and aesthetic evaluation of AI poetry: a case study with Haiku
Sapienza University of Rome(罗马大学);Shibaura Institute of Technology(芝浦工业大学)
本研究通过少样本提示生成多类LLM的日本俳句,结合人类创作进行问卷测试,发现美学评价与作者识别分离,且随模型改进,人类辨别能力可能下降。
2026-09-15 cs.AI cs.CL
ViTaB-A: Evaluating Multimodal Large Language Models on Visual Table Attribution
School of Computing and Augmented Intelligence(计算与增强智能学院)
ViTaB-A研究了多模态大语言模型在视觉表格归因中的表现,发现其在证据归因方面存在显著缺陷,影响透明性和可追溯性应用。
2026-02-17 cs.CL
Evaluating LLMs for Quotation Attribution in Literary Texts: A Case Study of LLaMa3
Deezer Research(迪泽尔研究部);Loria(洛里亚研究所)
本研究评估了Llama-3在小说直接引语归属任务中的能力,发现其在28部小说语料库上大幅超越ChatGPT及基线模型,且经验证性能提升非源于记忆或污染,成为该领域新SOTA。
2025-01-26 cs.CL
Evaluating and Modeling Attribution for Cross-Lingual Question Answering
Google DeepMind(谷歌DeepMind);Google Research(谷歌研究院);INRIA Paris(法国国家信息与自动化研究所巴黎分部)
本研究首次评估跨语言问答系统的归因问题,发现高达50%答案不可归因,并利用NLI模型和微调PaLM 2检测归因,从而提升系统归因水平。
2023-11-15 cs.CL
FinLFQA: Evaluating Attributed Text Generation of LLMs in Financial Long-Form Question Answering
NYU Shanghai(纽约大学上海校区);Yale University(耶鲁大学);New York University(纽约大学)
针对大语言模型在金融长文问答中的幻觉问题,提出FinLFQA基准,评估归因的三个关键方面,并通过实验发现细粒度指标和端到端生成的重要性。
2025-10-07 cs.CL
An Analysis on Automated Metrics for Evaluating Japanese-English Chat Translation
Tokyo Denki University(东京电机大学)
本文分析了传统与神经网络指标在日英聊天翻译评估中的表现,发现传统指标在模型排名上与神经网络指标一致且更高效,但神经网络指标(尤其是COMET)与人工判断相关性更高,且所有指标在处理含指代性零代词的句子时均存在困难。
2024-12-24 cs.AI cs.CL
BEExAI: Benchmark to Evaluate Explainable AI
Groupe Square Management(Square Management集团);Square Research Center(Square研究中心);CentraleSupélec(中央高等电力学院)
针对黑盒模型事后归因解释缺乏统一评估方法的问题,提出基准工具BEExAI,利用选定评估指标实现不同事后XAI方法的大规模比较。
2024-07-29 cs.AI cs.CL cs.LG
JMedEthicBench: A Multi-Turn Conversational Benchmark for Evaluating Medical Safety in Japanese Large Language Models
Kyoto University(京都大学);Hohai University(河海大学);The University of Tokyo(东京大学);University of Science and Technology of China(中国科学技术大学);Hong Kong Polytechnic University(香港理工大学)
提出首个多轮对话基准JMedEthicBench,基于日本医学会67条指南和7种自动越狱策略生成5万+对抗对话,评估27个模型发现医疗专用模型安全性脆弱,且多轮交互中安全性显著下降。
2026-05-27 cs.AI cs.CL
Evaluating Attribution in Dialogue Systems: The BEGIN Benchmark
University of Alberta(阿尔伯塔大学);Google Research(谷歌研究院);New York University(纽约大学)
由大语言模型驱动的基于知识的对话系统通常生成的响应虽然流畅,但不能归因于相关的信息源。要想在不存在这一问题的模型方面取得进展,就需要能够量化其普遍性的评价指标。为此,我们介绍了基准评估接地互动(BEGIN),由12k的对话轮神经对话系统培训三个知识接地的对话语料库。我们收集人类注释,评估模型的响应在多大程度上可以归因于给定的背景信息。然后,我们使用BEGIN来分析八个评估指标。我们发现,这些指标依赖于虚假的相关性,不可靠区分可归因的抽象反应,从不可归因的,并执行时,知识源更长的实质上更差。我们的研究结果强调,需要更复杂和强大的评估指标,以知识为基础的对话。我们在https://github.com/google/BEGIN-dataset上公开提供BEGIN。
2022-06-28 cs.CL
Evaluating Japanese Dialect Robustness Across Speech and Text-based Large Language Models
SB Intuitions
研究通过日语方言测试,发现语音语言模型(SLM)的方言鲁棒性与文本基座LLM相关,方言数据训练和语音编码器微调可提升鲁棒性。
2026-06-25 cs.CL cs.SD eess.AS
Evaluating Attribution Methods using White-Box LSTMs
Yale University(耶鲁大学);New Haven, CT, USA(美国康涅狄格州纽黑文市(非机构,按要求不应提取,但此处原文可能存在误标,实际仅保留耶鲁大学))
神经网络的可解释性方法很难评估,因为我们不理解通常用于测试它们的黑盒模型。本文提出了一个框架,在该框架中,可解释性的方法进行评估,使用手动构建的网络,我们称之为白盒网络,其行为被理解的先验。我们评估了五种产生属性热图的方法,将它们应用于基于形式语言的白盒LSTM分类器。虽然我们的白盒分类器完美而透明地解决了他们的任务,但我们发现所有五种归因方法都无法产生预期的模型解释。
2020-10-16 cs.CL cs.LG
Evaluating Evidence Attribution in Generated Fact Checking Explanations
The University of Melbourne(墨尔本大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
针对自动化事实核查解释的可信度问题,本研究探索证据归因,提出“引文掩码与恢复”评估协议,通过人类与LLM标注验证其可自动化,并发现最佳LLM仍存在归因不准确问题,人工证据对优质解释至关重要。
2025-02-11 cs.AI cs.CL
J-tau: A Fully Localized Japanese Benchmark for Tool-Agent-User Interaction
SB Intuitions Corp.(SB Intuitions公司);Nagoya University(名古屋大学)
本研究针对现有tau-bench以英语为中心、日语评估缺失的问题,构建了首个日语工具智能体交互基准J-tau,修复了原基准的缺陷,实验证实其评估错误更少且修复有效。
2026-10-15 cs.CL
LCTG Bench: LLM Controlled Text Generation Benchmark
AI Shift Inc.(AI Shift公司);CyberAgent Inc.(CyberAgent公司);Tokyo Institute of Technology(东京工业大学)
本文提出首个日语LLM可控性评估基准LCTG Bench,提供统一框架评估多语言及日语专用模型,揭示了多语言模型与日语专用模型在可控性上的显著差距。
2025-01-27 cs.CL
KokushiMD-10: Benchmark for Evaluating Large Language Models on Ten Japanese National Healthcare Licensing Examinations
Kyoto University(京都大学);The Hong Kong University of Science and Technology(香港科技大学);Xi’an Jiaotong-Liverpool University(西安交通大学利物浦大学);The University of Tokyo(东京大学)
本研究推出首个基于十项日本国家医疗执业资格考试的多模态基准KokushiMD-10,覆盖多医疗领域超万道真实考题含临床图像,测试30余个先进LLM发现无模型全领域达标,为多模态多语言医疗AI评估提供资源。
2025-06-09 cs.AI cs.CL
Do Large Language Models Know Folktales? A Case Study of Yokai in Japanese Folktales
Tokyo Metropolitan University(东京 Metropolitan 大学);CyberAgent
本文通过构建包含809道选择题的YokaiEval基准,评估31个日语及多语言LLMs对日本妖怪知识的掌握,发现日语训练模型优于英语中心模型,且基于Llama-3的日语持续预训练模型表现最佳。
2025-06-04 cs.CL
Logic Traps in Evaluating Attribution Scores
Institute of Automation, CAS(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
现代深度学习模型是出了名的不透明,这促使人们开发了解释深度模型预测效果的方法。这一目标通常通过归因方法来实现,该方法评估特征对模型预测的影响。作为一种解释方法,归因方法的评价标准是它在多大程度上准确地反映了模型的实际推理过程(忠实性)。同时,由于深度模型的推理过程是不可访问的,研究人员设计了各种评估方法来证明他们的论点。然而,这些评价方法中的一些关键逻辑陷阱在大多数作品中被忽视,导致不准确的评价和不公平的比较。本文系统地回顾了现有的归因得分评估方法,并总结了这些方法中存在的逻辑陷阱。我们进一步进行实验来证明每个逻辑陷阱的存在。通过理论和实验分析,希望引起对归因分数不准确评价的关注。此外,在本文中,我们建议停止关注在不可靠的评估系统下提高性能,并开始努力减少拟议逻辑陷阱的影响
2023-03-04 cs.AI cs.CL cs.LG
Evaluating Explainable AI Attribution Methods in Neural Machine Translation via Attention-Guided Knowledge Distillation
Department of Computer Science, University of Luxembourg(卢森堡大学计算机科学系)
本文通过注意力引导的知识蒸馏评估神经机器翻译中的可解释AI归因方法,发现注意力、值零化和层梯度×激活方法在BLEU指标上表现最佳,而其他梯度方法效果较弱。
2026-03-11 cs.AI cs.CL
JETHICS: Japanese Ethics Understanding Evaluation Dataset
Nagoya University(名古屋大学);Hokkaido University(北海道大学)
提出日语伦理理解评估数据集JETHICS,含78K示例,基于ETHICS构建,评估显示GPT-4o平均分约0.7,最佳日语LLM约0.5,表明伦理理解能力仍有较大提升空间。
2025-06-19 cs.AI cs.CL
EDINET-Bench: Evaluating LLMs on Complex Financial Tasks using Japanese Financial Statements
Sakana AI;Kyoto University(京都大学)
EDINET-Bench通过日本财务报表评估大语言模型在复杂财务任务中的表现,揭示其在会计欺诈检测、盈利预测等任务中仍面临挑战,需更真实的模拟和推理支持。
2026-03-05 cs.CE cs.CL cs.LG
Cited but Not Verified: Parsing and Evaluating Source Attribution in LLM Deep Research Agents
Commercial Technology and Innovation Office, PricewaterhouseCoopers, U.S(普华永道商业技术与创新办公室,美国)
本文提出首个源归属评估框架,通过AST解析器大规模评估LLM生成的Markdown报告中的引用,从链接有效性、内容相关性和事实准确性三个维度验证引用可靠性,揭示了表面引用质量与事实可靠性之间的关键断层。
2026-05-07 cs.CL
JOR-Bench: Japanese Operations Research Benchmarks for Large Language Models
CyberAgent
JOR-Bench是用于评估大语言模型解决运筹学问题能力的日语基准测试集,涵盖多种规划问题。通过评估七个LLMs的英文和日语版本,发现多语言模型的OR制定能力语言中立,但存在跨语言差异。
2026-07-21 cs.AI cs.CL
Beyond "I Don't Know": Evaluating LLM Self-Awareness in Discriminating Data and Model Uncertainty
Dept. of Comp. Sci. & Tech., Institute for AI, Tsinghua University, Beijing, China(计算机科学与技术系,人工智能研究院,清华大学,北京,中国);Institute for AI Industry Research (AIR), Tsinghua University, Beijing, China(人工智能产业研究院(AIR),清华大学,北京,中国)
本文提出UA-Bench基准测试,评估LLM在区分数据不确定性和模型不确定性方面的能力,发现即使先进模型也难以可靠区分,并提出轻量数据合成与强化学习策略提升不确定性判断。
2026-04-19 cs.CL
DATE-LM: Benchmarking Data Attribution Evaluation for Large Language Models
Carnegie Mellon University(卡内基梅隆大学);University of Michigan(密歇根大学);UIUC(伊利诺伊大学香槟分校)
DATE-LM是首个面向LLM的统一数据归因评估基准,通过三个真实任务评测方法,发现无单一方法占优且性能受评估设计影响,并发布公开排行榜。
2025-10-25 cs.CL
JiraiBench: A Bilingual Benchmark for Evaluating Large Language Models' Detection of Human Self-Destructive Behavior Content in Jirai Community
Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学);The Hong Kong Polytechnic University(香港理工大学);The University of Tokyo(东京大学)
JiraiBench通过双语评估揭示文化接近性在检测自毁内容中的重要性,展示跨语言知识迁移的潜力。
2026-01-25 cs.CL cs.CY
Evaluating the Causal Faithfulness of SHAP as a Candidate Attribution Method for SAE Features
Durham University(杜伦大学)
本研究以SST-2情感分类为测试平台,对比SHAP等归因方法与直接因果干预,发现方法间一致性不代表因果忠实性,且归因方法检测特征影响存在比缺失更可靠,提出需单独评估两类忠实性。
2026-10-14 cs.AI cs.CL cs.LG
Evaluating Modern Large Language Models on Low-Resource and Morphologically Rich Languages:A Cross-Lingual Benchmark Across Cantonese, Japanese, and Turkish
University of California, Santa Cruz(加州大学圣克鲁兹分校);Carnegie Mellon University(卡内基梅隆大学);University of Pittsburgh(匹兹堡大学)
本文评估了七种先进LLMs在粤语、日语和土耳其语上的表现,发现专有模型在多语言任务中表现优异,但文化理解和形态泛化仍有不足。
2026-02-12 cs.AI cs.CL
Author Representation Strategies for Zero-Shot Authorship Attribution: A Comparative Study of LLM-Based and Embedding-Based Approaches
Luleå University of Technology(吕勒奥理工大学)
本研究比较了基于LLM和嵌入的作者表示策略,提出两阶段LISA框架,在零样本作者归属中取得最优性能,凸显作者表示的关键作用。
2026-10-05 cs.CL
Evaluating Gender Bias of Pre-trained Language Models in Natural Language Inference by Considering All Labels
Tokyo Institute of Technology(东京工业大学)
针对现有NLI偏见评估仅关注单类标签的缺陷,提出考虑全部三类标签的NLI-CoAL方法,经元评估验证准确性优于基线,且适配英、日、中多语言,还首次构建了日中两种语言的NLI偏见评估数据集。
2024-05-18 cs.CL
"Will You Find These Shortcuts?" A Protocol for Evaluating the Faithfulness of Input Salience Methods for Text Classification
Google Research(谷歌研究院)
特征属性将重要性分数分配给特征的输入显著性方法是丰富的,但是对于相同输入的相同模型可能产生令人惊讶的不同结果。虽然如果假设不同的重要性定义,预计会有差异,但大多数方法都声称提供忠实的属性,并指出与模型预测最相关的特征。现有的工作对忠诚度的评价是不确定的,并没有提供一个明确的答案,如何不同的方法进行比较。专注于文本分类和模型调试的情况下,我们的主要贡献是一个协议的忠实性评估,利用部分合成数据,以获得地面真相的特征重要性排名。根据协议,我们对BERT和LSTM模型的一系列数据集和快捷方式上的四个标准显着性方法类进行了深入分析,并证明了一些最流行的方法配置即使对于最简单的快捷方式也提供了较差的结果。我们建议遵循每个新任务和模型组合的协议,以找到识别快捷方式的最佳方法。
2022-11-09 cs.CL
Token-Level Diagnosis of Sycophancy in LLMs with Attribution-Guided Steering
本研究针对大语言模型的谄媚行为,提出基于集成梯度的权威份额指数进行令牌级归因诊断,构建调控向量实现推理时无重训的谄媚缓解,使最极端案例的谄媚率从96%降至25%。
2026-08-03 cs.CL
Evaluation of Attribution Bias in Generator-Aware Retrieval-Augmented Large Language Models
Leiden University(莱顿大学);University of Strathclyde(斯特拉思克莱德大学);eBay Inc.(eBay公司);University of Amsterdam(阿姆斯特丹大学)
本文研究了RAG中LLMs的归因敏感性与作者身份偏差,发现添加作者信息会使归因质量改变3%至18%,且模型更偏向人类作者,揭示了LLMs的新脆弱性。
2025-07-12 cs.CL
A Song of (Dis)agreement: Evaluating the Evaluation of Explainable Artificial Intelligence in Natural Language Processing
University of Amsterdam(阿姆斯特丹大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
在NLP社区中,关于注意力权重是否可以作为一种解释-一种解释每个输入标记对于特定预测有多重要的机制-一直存在重大争论。“注意力作为解释”的有效性迄今为止已经通过使用基于LSTM的模型计算基于注意力的解释和现有特征归因解释之间的等级相关来评估。在我们的工作中,我们(i)在两种类型的NLP任务上比较了五种最近的特征归因方法和两种基于注意力的方法之间的等级相关性,以及(ii)将这种分析扩展到也包括基于transformer的模型。我们发现,基于注意力的解释并不强烈相关的任何最近的特征归因方法,无论模型或任务。此外,我们发现,没有一个测试的解释强烈相关,彼此为transformer为基础的模型,导致我们质疑的基本假设,我们应该衡量基于注意力的解释的有效性的基础上,以及他们与现有的特征归因解释方法的相关性。在使用两种不同的模型对五个数据集进行实验后,我们认为社区应该停止使用等级相关性作为基于注意力的解释的评估指标。我们建议研究人员和实践者应该测试各种解释方法,并采用人在回路的过程来确定解释是否符合人类对手头特定用例的直觉。
2022-05-09 cs.CL cs.LG
Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations
Carnegie Mellon University(卡内基梅隆大学);Google AI(谷歌人工智能)
为了“解释”机器学习模型的预测,研究人员提出了数百种将预测归因于被认为重要的特征的技术。虽然这些属性通常被认为有可能提高人类对模型的“理解”,但令人惊讶的是,很少有工作明确评估朝着这一目标的进展。在本文中,我们进行了一项众包研究,参与者与经过训练的欺骗检测模型进行互动,以区分真实和虚假的酒店评论。他们既要在新的评论上模拟模型,又要编辑评论,目的是降低最初预测的类别的概率。成功的操纵将导致一个敌对的例子。在训练(但不是测试)阶段,输入范围会被突出显示以传达显着性。通过我们的评估,我们观察到,对于线性词袋模型,与无解释对照相比,在训练期间访问特征系数的参与者能够在测试阶段导致模型置信度的较大降低。对于基于BERT的分类器,流行的本地解释并没有提高他们的能力,以减少模型的信心比无解释的情况。值得注意的是,当BERT模型的解释是由一个被训练来模仿BERT模型的线性模型的(全局)属性给出时,人们可以有效地操纵模型。
2022-08-21 cs.CL
Pretraining and Updates of Domain-Specific LLM: A Case Study in the Japanese Business Domain
Stockmark(斯托克马克公司);National Institute of Advanced Industrial Science and Technology(国立先进工业科学技术研究院)
本文针对日本商业领域训练并更新领域特定LLM,实验表明预训练模型提升问答准确性且不损失通用知识,更新时需混合新旧文本,并公开模型与基准。
2024-11-06 cs.AI cs.CL
Evaluating Explanations: How much do explanations from the teacher aid students?
Carnegie Mellon University(卡内基梅隆大学);Delhi Technological University(德里理工大学);Google Research(谷歌研究院)
虽然许多方法都声称通过突出显著特征来解释预测,但这些解释的目的是什么以及应该如何评估它们往往没有说明。在这项工作中,我们引入了一个框架来量化解释的价值,通过准确性增益,他们赋予一个学生模型训练模拟教师模型。至关重要的是,这些解释在培训期间对学生可用,但在考试时却不可用。与以前的建议相比,我们的方法是不容易被玩弄,使原则性的,自动的,模型不可知的评价属性。使用我们的框架,我们比较了文本分类和问答的众多归因方法,并观察到在不同的学生模型架构和学习策略之间一致(中度到高度)的定量差异。
2021-12-17 cs.CL cs.LG
Evaluating Human Alignment and Model Faithfulness of LLM Rationale
University of California, Los Angeles(加州大学洛杉矶分校);Google(谷歌公司)
本文系统比较了基于提示和基于归因的LLM理由生成方法,发现提示式自我解释在人类对齐性和模型忠实度上均不如归因式解释,并指出微调对两类方法影响不同,早期忠实度结论不确定可能源于分类准确率较低。
2024-10-22 cs.AI cs.CL
AttributionBench: How Hard is Automatic Attribution Evaluation?
The Ohio State University(俄亥俄州立大学)
本文提出综合基准AttributionBench,通过大量实验揭示自动归因评估的挑战,并分析错误原因,为归因评估方法提供标准化测试平台。
2024-02-23 cs.AI cs.CL cs.LG
Hessian-Enhanced Token Attribution (HETA): Interpreting Autoregressive LLMs
Department of Computer & Information Science & Engineering, University of Florida(佛罗里达大学计算机与信息科学与工程系);School of Computer Science, University of Oklahoma(俄克拉荷马大学计算机科学学院);Department of Electrical Engineering and Computer Science, United States Military Academy(美国军事学院电子工程与计算机科学系)
HETA提出了一种针对解码器-only语言模型的新型解释框架,结合语义过渡向量、Hessian敏感度评分和KL散度,提升上下文感知和因果解释能力,通过基准数据集验证其在生成任务中的优越性。
2026-04-14 cs.AI cs.CL
Listening or Reading? Evaluating Speech Awareness in Chain-of-Thought Speech-to-Text Translation
Barcelona Supercomputing Center, Spain(巴塞罗那超级计算中心);Universitat Politècnica de Catalunya, Spain(加泰罗尼亚理工大学);DFKI GmbH, Saarland Informatics Campus, Saarbrücken, Germany(DFKI GmbH萨尔兰信息技术校区)
该研究评估CoT式S2TT系统的语音感知能力,发现其仍依赖转录文本,未充分利用语音,需构建明确整合声学信息的翻译架构。
2026-08-20 cs.CL cs.SD