Evaluating Dedicated Monolingual and Joint Multilingual Causal Models for Dravidian Languages
本文训练5个GPT-2架构模型对比达罗毗荼语的单语与多语模型,发现单语模型在情感分类等任务上优于mGPT,分词器效率也更高。
2026-08-11 cs.CL
Automated Generation of Multiple-Choice Cloze Questions for Assessing English Vocabulary Using GPT-turbo 3.5
Waseda University(早稻田大学);Center for English Language Education, Faculty of Science and Engineering(科学与工程学院英语教育中心)
本文提出基于 GPT 的 VocaTT 引擎自动生成英语词汇多项选择完形填空题,并通过 60 道学术词题目验证其质量与改进效果。
2024-03-04 cs.CL
GPTopic: Dynamic and Interactive Topic Representations
University of Cambridge(剑桥大学);LMU Munich(慕尼黑大学);TU Clausthal(Clausthal技术大学);BASF(巴斯夫);Tribhuvan University(特里布文大学);MCML
GPTopic利用大型语言模型创建动态交互式主题表示,通过直观界面提升主题建模的可访问性和全面性。
2025-11-20 cs.CL
Overcoming Decoder Inconsistencies in Whisper for Dravidian and Low-Resource Languages
Sony Research India(索尼印度研究院)
针对Whisper在达罗毗荼语系上词错误率高的问题,通过语言学和数据集分析发现词汇稀疏和字符级替换错误,提出加权注意力和自条件化两种解码器增强方法,显著降低低资源和黏着语言的WER。
2026-06-08 cs.CL cs.SD
When Not to Answer: Evaluating Prompts on GPT Models for Effective Abstention in Unanswerable Math Word Problems
Islamic University of Technology(伊斯兰理工大学);University of California, Riverside(加州大学河滨分校)
本文通过UWMP数据集和GPT模型API实验,评估提示方法对GPT在不可解答数学应用题中有效弃权(不执行)的作用,揭示其幻觉缺陷并提出改进方向。
2024-10-16 cs.CL cs.LG
Reliability Check: An Analysis of GPT-3's Response to Sensitive Topics and Prompt Wording
University of Waterloo(滑铁卢大学)
本研究分析GPT-3对敏感主题的响应及提示词措辞的影响,发现其能正确识别阴谋论与刻板印象,但在常见误解和争议话题上易出错,且响应随提示与设置不一致,揭示了该模型的可靠性问题。
2023-06-09 cs.CL cs.LG
Not wacky vs. definitely wacky: A study of scalar adverbs in pretrained language models
University of Oxford(牛津大学)
本文系统研究了BERT、RoBERTa、GPT-2和GPT-3对标量副词逻辑语义的理解,发现尽管模型能区分情态、频率和程度等语义类别,但其表现仍远不及人类水平。
2023-10-22 cs.CL
Word2Minecraft: Generating 3D Game Levels through Large Language Models
Tandon School of Engineering, New York University(纽约大学坦登工程学院);University of the Witwatersrand(威特沃特斯兰德大学)
本研究提出Word2Minecraft系统,通过大语言模型将结构化叙事转化为Minecraft可游玩关卡,经评估验证了不同大模型的表现差异,为故事生成与游戏设计交叉领域提供了可行方案。
2025-03-18 cs.CL
Let GPT be a Math Tutor: Teaching Math Word Problem Solvers with Customized Exercise Generation
University of Notre Dame(圣母大学);Georgia Institute of Technology(佐治亚理工学院);Allen Institute for AI(艾伦人工智能研究所)
本文提出一种将LLM数学应用题求解能力蒸馏到学生模型的新方法,利用GPT-3作为导师迭代评估弱点并生成定制练习进行训练,在三个基准上以更少参数超越GPT-3和PaLM。
2023-05-22 cs.AI cs.CL cs.LG
Making Large Language Models Speak Tulu: Structured Prompting for an Extremely Low-Resource Language
Lossfunk
本研究通过结构化提示方法,在极低资源语言图鲁语上实现基本对话能力,减少词汇污染并提高语法准确性。
2026-02-17 cs.CL
LLMs' morphological analyses of complex FST-generated Finnish words
Aalto University(阿尔托大学);University of Helsinki(赫尔辛基大学)
本研究通过 FST 生成训练集中少见的复杂芬兰语名词,测试大语言模型的形态泛化能力,发现模型规模越小表现越差,揭示神经 NLP 系统未必真正掌握人类语法规则。
2024-07-11 cs.CL
Synthetic Fluency: Hallucinations, Confabulations, and the Creation of Irish Words in LLM-Generated Translations
Dublin City University(都柏林城市大学);ADAPT Centre(ADAPT中心)
该研究分析LLM在爱尔兰语翻译中生成不存在新词的幻觉现象,分类其模式并比较GPT-4.o与Mini的频率差异,进而探讨其对低资源语言演变的潜在影响。
2025-04-10 cs.CL
WLV-RIT at HASOC-Dravidian-CodeMix-FIRE2020: Offensive Language Identification in Code-switched YouTube Comments
University of Wolverhampton(伍尔弗汉普顿大学);Rochester Institute of Technology(罗切斯特理工学院)
本文介绍了WLV-RIT进入印度-欧洲语言中的仇恨言论和攻击性内容识别(HASOC)共享任务2020。HASOC 2020组织者为参与者提供了注释数据集,其中包含以德拉维语(马拉雅拉姆语-英语和泰米尔语-英语)混合的社交媒体帖子。我们参与了任务1:代码混合马拉雅拉姆语Youtube评论中的攻击性评论识别。在我们的方法中,我们利用现有的英语数据,通过应用跨语言的上下文词嵌入和迁移学习来预测马拉雅拉姆语数据。我们进一步改善使用各种微调策略的结果。我们的系统在测试集上取得了0.89的加权平均F1分数,在12名参与者中排名第5位。
2020-11-01 cs.AI cs.CL cs.LG
Using Large Language Model to Solve and Explain Physics Word Problems Approaching Human Level
Columbia University(哥伦比亚大学);Fudan University(复旦大学)
本文构建了首个初中物理文字题数据集PhysQA,并验证GPT3.5通过少样本学习能以73.2%的准确率求解、解释和生成物理题,证明LLM在中学教育中具有接近人类水平的应用潜力。
2023-09-20 cs.AI cs.CL
Doing Things with Words: Rethinking Theory of Mind Simulation in Large Language Models
CoLing Lab, Department of Philology, Literature and Linguistics, University of Pisa(帕尔马大学哲学、文学与语言学系语言实验室)
本研究通过GABM Concordia框架测试GPT-4在模拟环境中的心智理论能力,发现其行动选择常不基于信念归因,表明所谓ToM能力可能源于统计关联而非真正推理,需更严格的基于行动的评价框架。
2025-10-15 cs.CL
Entropy- and Distance-Based Predictors From GPT-2 Attention Patterns Predict Reading Times Over and Above GPT-2 Surprisal
The Ohio State University(俄亥俄州立大学)
基于转换器的大语言模型被训练为通过其自我注意力机制聚合先前标记的表示来对下一个单词进行预测。在认知建模领域,这种注意模式最近被解释为体现基于线索的检索过程,其中对多个目标的注意在检索过程中产生干扰和延迟。在这个框架下,这项工作首先定义了一个基于熵的预测器,量化的扩散的自我注意,以及基于距离的预测器,捕捉跨时间步长的增量变化的注意模式。此外,在最近的研究中,注意力权重的信息性的问题,我们也实验与其他方法将向量规范到注意力权重。使用从GPT-2语言模型计算的预测因子的回归实验表明,这些预测因子在包括GPT-2测试在内的严格基线上提供了与保持的自定进度阅读和眼动跟踪数据的更好拟合。此外,基于距离的预测因子通常表现出更高的预测能力,自我调节阅读时间的效应大小为每标准差6.59 ms(与之相比,Erosal为2.82 ms),眼睛注视持续时间的效应大小为每标准差1.05 ms(与之相比,Erosal为3.81 ms)。
2022-12-21 cs.CL
Tracing the Evolution of Word Embedding Techniques in Natural Language Processing
Texas Tech University(德克萨斯理工大学);University of Pittsburgh(匹兹堡大学);Florida Atlantic University(佛罗里达 Atlantic 大学)
本文通过分析149篇1954-2025年的文献,总结了词嵌入技术从静态到上下文化的发展,揭示了GPT-3发布后研究重点和合作模式的显著变化。
2026-02-27 cs.CL cs.CY cs.DL
An Exploration-Analysis-Disambiguation Reasoning Framework for Word Sense Disambiguation with Low-Parameter LLMs
本研究提出基于低参数LLM的探索-分析-消歧推理框架,通过推理驱动的微调策略,在零样本设置中实现与GPT-4-Turbo相当的词义消歧性能,并展示了对未见词义的稳健泛化能力。
2026-03-05 cs.CL
Heaps' Law in GPT-Neo Large Language Model Emulated Corpora
University of Prince Edward Island(爱德华王子岛大学)
本研究验证了GPT-Neo模型生成的模拟语料遵循Heaps定律,且模型规模越大,词汇增长越接近人类文本,为改进模型输出提供了方向。
2023-11-10 cs.CL
Large Language Models Don't Make Sense of Word Problems. A Scoping Review from a Mathematics Education Perspective
University of Education Freiburg(弗赖堡教育学院);KU Leuven(鲁汶大学);Technical University of Munich(慕尼黑工业大学);Portland State University(波特兰州立大学)
从数学教育视角的范围综述发现,最新LLMs虽能近乎完美解决常规应用题,但在处理需结合现实背景的题目时存在弱点,仅掌握表面求解过程,限制了其教学价值。
2025-08-09 cs.CL math.HO
Unnatural Error Correction: GPT-4 Can Almost Perfectly Handle Unnatural Scrambled Text
The University of Tokyo(东京大学)
本文提出 Scrambled Bench 测试套件,发现 GPT-4 在字符级完全乱序条件下几乎能完美恢复原文并回答问题,展现出超越其他大语言模型甚至人类的鲁棒性。
2023-11-30 cs.AI cs.CL
Advancements and limitations of LLMs in replicating human color-word associations
Deloitte Analytics R&D, Deloitte Tohmatsu Risk Advisory LLC(德勤分析研发部门,德勤东丸风险咨询有限责任公司);Sony Design Consulting Inc.(索尼设计咨询公司)
本研究基于超万名日本参与者的数据比较GPT-3至GPT-4o与人类的颜色-词语联想,发现LLM虽逐代进步但准确率仍仅约50%,且与人类在词语分配上存在系统性差异。
2025-05-07 cs.CL cs.CV cs.GR
Evaluating Dialect Robustness of Language Models via Conversation Understanding
University of New South Wales(新南威尔士大学);Indian Institute of Technology Bombay(印度理工学院孟买分校)
该研究针对大语言模型的英语方言鲁棒性问题,基于禁忌猜词对话构建掩码数据集M-MD3及两个子数据集,通过两项任务评估发现模型对印度英语存在表现劣势,微调可改善方言理解,提出了新的模型属性评估思路。
2024-12-11 cs.CL
Verbing Weirds Language (Models): Evaluation of English Zero-Derivation in Five LLMs
Carnegie Mellon University(卡内基梅隆大学);TU Munich(慕尼黑工业大学);LMU Munich(慕尼黑大学)
本文首次研究大型语言模型在英语零派生(转换)上的行为,设计基于自然语言推理的词汇-句法灵活性测试任务,评估五个模型发现GPT-4表现最佳,开源Mistral 7B与GPT-4差异相当。
2024-03-26 cs.CL
True Detective: A Deep Abductive Reasoning Benchmark Undoable for GPT-3 and Challenging for GPT-4
Institute of Computer Science(计算机科学研究所);University of Tartu(塔尔图大学)
本文构建 True Detective,一个包含 191 个长篇侦探谜题的深度溯因推理基准;实验显示 GPT-3 准确率仅 28%、GPT-4 为 38%,揭示 LLM 与人类推理能力的显著差距。
2023-06-01 cs.CL
Structured Reasoning with Tree-of-Thoughts for Bengali Math Word Problems
Department of Computer Science and Engineering(计算机科学与工程系);Ahsanullah University of Science and Technology(阿沙努尔大学科学与技术学院);Southeast University(东南大学)
本文提出基于树状思维的结构化推理方法,用于提升孟加拉语数学应用题的解决效果,通过实验验证ToT在中等至大规模模型中的有效性。
2025-12-05 cs.CL
When classifying grammatical role, BERT doesn't care about word order... except when it matters
Stanford University(斯坦福大学);University of California, Irvine(加州大学欧文分校);The University of Texas at Austin(得克萨斯大学奥斯汀分校)
因为意义通常可以单独从词汇语义中推断出来,所以词序在自然语言中通常是一个多余的线索。例如,单词chopped、chef和onion更有可能用来表达“The chef chopped the onion”,而不是“The onion chopped the chef”。“最近的工作表明,大语言模型是令人惊讶的词序不变,但至关重要的是,它在很大程度上考虑了自然的原型输入,其中组合意义大多与词汇预期相匹配。为了克服这种混淆,我们探讨语法角色表示在英语BERT和GPT-2,在词汇的期望是不够的情况下,词序知识是必要的正确分类。这种非原型的例子是自然出现的英语句子,有无生命的主体或有生命的物体,或者是我们系统地交换论点来组成像“洋葱切碎了厨师”这样的句子。我们发现,虽然早期层嵌入主要是词汇,词序实际上是至关重要的,在定义后一层表示的单词在语义上的非原型的位置。我们的实验隔离了词序对语境化过程的影响,并强调了模型如何在不常见但关键的情况下使用语境。
2022-03-11 cs.CL
WARP: Word-level Adversarial ReProgramming
YerevaNN;Yerevan State University(埃里温州立大学);Information Sciences Institute, University of Southern California(南加州大学信息科学研究所)
从预训练的语言模型进行迁移学习最近成为解决许多NLP任务的主要方法。用于多个任务的迁移学习的最大化参数共享的常见方法在语言模型之上训练一个或多个任务特定层。在本文中,我们提出了一种基于对抗性重编程的替代方法,该方法扩展了自动提示生成的早期工作。对抗性重编程试图学习特定于任务的词嵌入,当这些词嵌入连接到输入文本时,指示语言模型解决指定的任务。每个任务使用多达25 K个可训练参数,这种方法在GLUE基准测试的公共排行榜上具有多达25 M个可训练参数,优于所有现有方法。我们的方法初始化了特定于任务的人类可读提示,也适用于Few-Shot设置,在两个SuperGLUE任务上的表现优于GPT-3,只有32个训练样本。
2021-06-02 cs.CL
The Accuracy, Robustness, and Readability of LLM-Generated Sustainability-Related Word Definitions
Stanford University(斯坦福大学)
本研究比较了300个IPCC官方定义与GPT-4o-mini等三个LLM生成的定义,发现模型依从性为0.57-0.59±0.15且可读性较低,但能识别需标准化的歧义术语,强调需将模型输出与既定术语对齐以支持环境话语。
2025-02-02 cs.CL
The Two Word Test: A Semantic Benchmark for Large Language Models
University of South Carolina(南卡罗来纳大学)
本文提出开源双词语义基准TWT,通过1768个人类评分的名词组合测试LLM,发现GPT-4等模型仍显著落后于人类,提示其语义理解存在局限。
2023-06-07 cs.AI cs.CL
MATHWELL: Generating Educational Math Word Problems Using Teacher Annotations
University of Virginia(弗吉尼亚大学)
为解决K-8数学应用题编写耗时且教育适宜性难量化的问题,研究利用教师专家标注微调70B语言模型,开发出首个针对教育适宜性的应用题生成器MATHWELL,其生成质量匹敌GPT-4且更适宜学生阅读。
2024-09-27 cs.CL
Solving Challenging Math Word Problems Using GPT-4 Code Interpreter with Code-based Self-Verification
The Chinese University of Hong Kong(香港中文大学);Nanjing University(南京大学);University of Science and Technology of China(中国科学技术大学);Tsinghua University(清华大学);City University of Hong Kong(香港城市大学);Changsha University of Science and Technology(长沙理工大学);Tufts University(塔夫茨大学)
本文提出基于代码的自验证提示方法 CSV,通过零样本提示让 GPT-4 Code Interpreter 自动验证并修正数学解答,将 MATH 数据集准确率从 53.9% 提升至 84.3%。
2023-08-15 cs.AI cs.CL cs.CV
Probability of Differentiation Reveals Brittleness of Homogeneity Bias in GPT-4
Washington University in St. Louis(圣路易斯华盛顿大学);Rutgers University(罗格斯大学)
本研究通过提示GPT-4生成18个情境线索相关的补全并以分化概率分析变异性,发现过往观测的大语言模型同质性偏差或源于编码器模型,且该偏差本身具有脆弱性,微小提示改动即可显著改变其表现。
2024-12-12 cs.CL
Unveiling Gender Bias in Large Language Models: Using Teacher's Evaluation in Higher Education As an Example
本研究以GPT-4生成的六学科高等教育教师评价为对象,通过多维度分析框架揭示LLM文本中存在符合社会刻板印象的性别语言关联模式,验证了其生成内容会反映现有社会偏见。
2024-09-15 cs.CL
Beyond Accuracy: Investigating Error Types in GPT-4 Responses to USMLE Questions
IIT Kharagpur(印度理工学院克勒格布尔分校);University of Michigan(密歇根大学);L3S Research Center(L3S研究中心)
本文通过构建G4UE数据集并招募医学专家进行细粒度标注,深入调查并分类了GPT-4在回答USMLE问题时约14%错误回答背后的原因,揭示了即使是专业人员也难以辨别导致错误选项的合理化解释。
2024-04-20 cs.CL
KBCNMUJAL@HASOC-Dravidian-CodeMix-FIRE2020: Using Machine Learning for Detection of Hate Speech and Offensive Code-Mixed Social Media text
Institute of Management and Research, Jalgaon, Affil- KBC North Maharashtra University(贾尔冈管理与研究学院,隶属于KBC北马哈拉施特拉大学);School of Computer Sciences, KBC North Maharashtra University(KBC北马哈拉施特拉大学计算机科学学院);Copenhagen Business School(哥本哈根商学院);BMCC college of commerce, Pune(BMCC商学院,浦那)
本文描述了我们的团队KBCNMUJAL为2020年12月16日至20日在印度海得拉巴举行的信息检索评估论坛上的共享任务“印欧语言中的仇恨语音和攻击性内容识别”(HASOC)的任务2提交的系统。两种达罗毗荼语的数据集,即马拉雅拉姆语和泰米尔语,大小为4000个观测值,每一个都由HASOC组织者共享。这些数据集用于基于分类和回归模型使用不同的机器学习算法来训练机器。这些数据集由tweets或YouTube评论组成,带有两个类别标签:攻击性和非攻击性。该机器经过训练,可以将这些社交媒体消息分为这两类。提取适当的n-gram特征集来学习仇恨语音文本消息的特定特征。这些特征模型基于n-gram的TFIDF权重,相关的工作和实验表明,词、字符以及词与字符n-gram的组合模型等特征可以用来识别攻击性文本内容的术语模式。作为HASOC共同任务的一部分,HASOC轨道组织者提供测试数据集。为这两种语言开发的性能最好的分类模型应用于测试数据集。对马拉雅拉姆语训练数据集给出最高准确率结果的模型进行了实验,以预测相应测试数据的类别。该系统的F1得分为0.77。同样,表现最好的泰米尔语模型的F1得分为0.87。本作品在马拉雅拉姆语和泰米尔语的共享任务2中分别获得了第二和第三名。该系统被命名为HASOC_kbcnmujal。
2021-02-19 cs.CL cs.LG
Benchmarking Hallucination in Large Language Models based on Unanswerable Math Word Problem
East China Normal University(华东师范大学);Fudan University(复旦大学);Shanghai AI Laboratory(上海人工智能实验室)
本研究构建含5200道题的UMWP不可解数学应用题数据集,提出结合文本相似度与数学表达式检测的评估方法,测试31个大语言模型,证实上下文学习与RLHF训练可显著提升模型避免幻觉的能力。
2024-03-06 cs.CL
Can LLMs capture stable human-generated sentence entropy measures?
Ludwig Maximilian University(路德维希·马克西米利安大学);Technical University of Munich(慕尼黑工业大学)
研究通过实验证明大语言模型在捕捉人类生成句子熵方面的能力,发现GPT-4o与人类数据最一致,但LLMs无法完全替代稳定的人类分布。
2026-02-04 cs.CL
Simplifications are Absolutists: How Simplified Language Reduces Word Sense Awareness in LLM-Generated Definitions
School for Computation, Information and Technology(计算、信息与技术学院);Technical University of Munich(慕尼黑技术大学)
研究简化语言对LLM同音异义词定义质量的影响,发现简化会因忽略多义性而降低定义完整性,而通过DPO微调Llama 3.1 8B可显著提升回复质量。
2025-07-16 cs.CL
GPT-DETOX: An In-Context Learning-Based Paraphraser for Text Detoxification
LG Electronics(LG电子);Toronto AI Lab(多伦多人工智能实验室)
本文提出 GPT-DETOX 框架,利用 GPT-3.5 Turbo 的零样本、少样本及集成上下文学习方法进行文本去毒化,在 ParaDetox 和 APPDIA 数据集上取得优于现有模型的性能。
2024-04-03 cs.CL
Can GPT replace human raters? Validity and reliability of machine-generated norms for metaphors
University School for Advanced Studies IUSS(帕维亚高等研究院IUSS);Lawrence Technological University(劳伦斯理工大学)
本文研究了GPT在隐喻评分中的有效性与可靠性,发现较大模型能有效替代人类评分,但需注意隐喻惯例性和多模态因素的影响。
2025-12-13 cs.CL
Dancing Between Success and Failure: Edit-level Simplification Evaluation using SALSA
School of Interactive Computing(交互计算学院);Georgia Institute of Technology(佐治亚理工学院)
针对现有文本简化评估方法无法揭示系统具体优缺点的问题,提出基于编辑的人工标注框架SALSA,通过21种编辑类型实现细粒度评估,并据此开发了无需参考的自动指标LENS-SALSA及词级质量估计基线。
2023-10-22 cs.CL
Unsupervised Separation of Native and Loanwords for Malayalam and Telugu
HHMI Janelia Research Campus(HHMI珍妮亚研究园区);Queen’s University Belfast(贝尔法斯特女王大学)
很多时候,一种语言中的单词被另一种语言所采用,而不需要翻译;这些单词以音译形式出现在用后一种语言撰写的文本中。这种现象在印度语言中特别普遍,其中许多词是从英语中借来的。在本文中,我们解决了自动识别外来词的任务,并在无监督的方式,从大数据集的话从粘着达罗毗荼语。我们的目标是两个特定的语言从德拉威家庭,即,马拉雅拉姆语和泰卢固语基于对语言的熟悉,我们概述了一个观察结果,即这两种语言中的母语单词往往具有更通用的词干-词干是一种速记,表示由单词的前几个字符形成的子单词序列-比从其他语言借来的单词。我们利用这一观察来构建目标函数和迭代优化公式来优化它,从而在这个过程中对每个单词的原生性进行评分。通过对来自马拉雅拉姆语和泰卢固语的真实世界数据集进行广泛的实证分析,我们说明了我们的方法在有效量化任务可用基线的本土性方面的有效性。
2020-02-12 cs.CL cs.IR
Beyond Words: A Latent Memory Approach to Internal Reasoning in LLMs
本文提出将隐式心理表征(隐式记忆模块)融入LLM内部推理,实验显示训练损失降低35%-57%,兼顾效率与可扩展性。
2025-02-28 cs.AI cs.CL
Enhancing ASR Performance in the Medical Domain for Dravidian Languages
Vallurupalli Nageswara Rao Vignana Jyothi Institute of Engineering and Technology(瓦卢鲁普利·纳加斯瓦拉·拉奥维迦纳·乔蒂学院工程与技术学院)
本文提出一种结合静态感知和声学相似度及动态模型熵的混合置信度训练框架,通过整合真实和合成语音数据提升达罗毗荼语言医学领域ASR性能,实验显示在Telugu和Kannada医疗数据集上显著降低识别错误率。
2026-04-10 cs.AI cs.CL eess.AS
Multilingual Lexical Simplification via Paraphrase Generation
Yangzhou University(扬州大学);University of South Florida(南佛罗里达大学)
本文提出一种基于复述生成的多语言词汇简化方法,将复述视为零样本翻译任务,通过仅关注复杂词词汇变化的新颖解码策略生成替代词,在英语、西班牙语和葡萄牙语上显著优于BERT和零样本GPT3方法。
2023-07-28 cs.CL
Presence or Absence: Are Unknown Word Usages in Dictionaries?
University of Heidelberg(海德堡大学);University of Stuttgart(斯图加特大学);University of Aberdeen(阿伯丁大学)
本文针对检测到的词义是否被词典收录的问题,提出一种基于图聚类的无监督系统,在AXOLOTL-24共享任务中为芬兰语、俄语和德语预测未知词用法与词典条目的映射,并利用GPT-4和LLaMA-3生成词典式定义,在多个语言上取得领先排名。
2024-07-04 cs.CL
Predicting drug-gene relations via analogy tasks with word embeddings
Kyoto University(京都大学);Recruit Co., Ltd.(Recruit公司);Institute for Protein Research(蛋白质研究所);Osaka University(大阪大学);Research Institute of Molecular Pathology(分子病理研究所);RIKEN(理化学研究所)
本研究利用词嵌入的类比运算,从药物向量预测靶基因,证明生物嵌入可捕捉药物-基因关系,性能媲美GPT-4,且通路分类和时序划分可提升预测效果。
2025-05-27 cs.CL
From Words to Numbers: Your Large Language Model Is Secretly A Capable Regressor When Given In-Context Examples
University of Arizona(亚利桑那大学);Technical University of Cluj-Napoca(克卢日-纳波卡技术大学)
该研究发现预训练大语言模型无需额外训练,仅靠上下文示例就能完成回归任务,性能可匹敌甚至超越传统监督方法,且能实现亚线性悔值。
2024-09-10 cs.AI cs.CL
Investigating Large Language Models for Complex Word Identification in Multilingual and Multidomain Setups
National University of Science and Technology POLITEHNICA Bucharest(布加勒斯特理工国立大学);National Institute for Research & Development in Informatics - ICI Bucharest(布加勒斯特国家信息学研究与发展研究所);Academy of Romanian Scientists(罗马尼亚科学院);Paris 1 Panthéon-Sorbonne University(巴黎第一大学先贤祠-索邦大学);University of Bucharest(布加勒斯特大学)
本研究探究大型语言模型(如Llama、GPT)在复杂词识别、词汇复杂度预测及多词表达评估中的表现,发现其在零样本、少样本及微调条件下难以超越现有较小模型,并探讨了元学习与提示学习的结合。
2024-11-03 cs.CL
Unveiling Gender Bias in Terms of Profession Across LLMs: Analyzing and Addressing Sociological Implications
Indian Institute of Technology Bhilai(印度理工学院比莱分校)
本研究通过对比GPT-2与GPT-3.5,分析大语言模型在职业术语中的性别偏见,揭示其社会学影响,并提出算法与数据增强等缓解策略,旨在推动更公平的AI系统。
2023-08-31 cs.CL
NumGPT: Improving Numeracy Ability of Generative Pre-trained Models
Hong Kong University of Science and Technology(香港科技大学);Singapore Management University(新加坡管理大学)
现有的生成预训练语言模型(例如,GPT)专注于对一般文本的语言结构和语义进行建模。然而,这些模型没有考虑数字的数值属性,并且不能在数值推理任务(例如,数学应用题和测量估计)。在本文中,我们提出了NumGPT,这是一种生成式预训练模型,可以显式地对文本中数字的数值属性进行建模。具体来说,它利用基于原型的数字嵌入来编码数字的尾数,并利用单个嵌入来编码数字的指数。数字感知的损失函数被设计成将数字集成到NumGPT的预训练目标中。我们在四个不同的数据集上进行了广泛的实验,以评估NumGPT的计算能力。实验结果表明,NumGPT优于基线模型(例如,GPT和GPT与DICE)在一系列数字推理任务,如测量估计,数字比较,数学单词问题和数量分类。还进行了消融研究,以评估预训练和模型超参数对性能的影响。
2021-10-13 cs.CL cs.LG
Stress Detection on Code-Mixed Texts in Dravidian Languages using Machine Learning
本研究针对达罗毗荼语系语码混合文本的压力检测问题,采用随机森林算法结合三种文本表示方法,在泰米尔语和泰卢固语数据集上取得优于FastText、Transformer等模型的效果,验证了未清洗数据的价值并指明优化方向。
2024-10-08 cs.AI cs.CL cs.HC
Linguistic Features Extracted by GPT-4 Improve Alzheimer's Disease Detection based on Spontaneous Speech
University of Zurich(苏黎世大学);Language & Medicine Competence Centre(语言与医学中心);Department of Computational Linguistics(计算语言学系)
本研究利用GPT-4从自发语音转录文本中提取五种语义特征,结合已有特征和随机森林分类器,显著提升了阿尔茨海默病检测效果。
2024-12-20 cs.AI cs.CL