SarcasTraps: Effect of Sarcasm on Turkish Hate Speech Detection
Sabanci University(萨班哲大学)
本文构建了针对土耳其语的讽刺仇恨言论测试集SarcasTraps,经实验发现微调模型与零样本大语言模型在检测含讽刺的仇恨言论时均存在性能缺陷。
2026-10-14 cs.AI cs.CL cs.LG
Poster: Exploring the Limits of Audio-Based Detection of Turkish Phone Call Scams
The Hong Kong Polytechnic University(香港理工大学);The Education University of Hong Kong(香港教育大学)
针对土耳其语电话诈骗,构建首个多模态数据集(100对音频-文本),评估7个LLM在三种输入条件下的检测性能,发现基于文本的输入优于直接音频处理。
2026-06-24 cs.AI cs.CL
From Perceptions To Evidence: Detecting AI-Generated Content In Turkish News Media With A Fine-Tuned Bert Classifier
Bernoulli Institute University of Groningen(格罗宁根大学伯努利研究所)
本研究利用微调的土耳其BERT模型,首次实证测量土耳其新闻媒体中AI生成内容的使用情况,实现了高准确率的分类和检测。
2026-02-13 cs.AI cs.CL
Syn-TurnTurk: A Synthetic Dataset for Turn-Taking Prediction in Turkish Dialogues
Qwen(通义实验室)
本文提出Syn-TurnTurk数据集,通过Qwen大语言模型生成土耳其对话数据,用于提升轮询预测的准确性与AUC分数,促进自然的人机交互。
2026-04-15 cs.AI cs.CL
Comparing Chunking and Embedding Strategies for Turkish RAG Systems
Data Science and Innovation Ata Technology Platforms(阿塔技术平台数据科学与创新部门)
该研究针对土耳其语RAG系统,对比三种分块策略、五种嵌入模型和两种生成器LLM,发现布局感知分块可压缩嵌入模型差异,最优配置依内容类型而定,最佳单个组件无法组合出最优整体配置,准确率达87.0%。
2026-08-31 cs.AI cs.CL
Turk-LettuceDetect: A Hallucination Detection Models for Turkish RAG Applications
Hidden for Review(保密)
本文提出首个面向土耳其语 RAG 应用的幻觉检测模型套件 Turk-LettuceDetect,通过微调三种编码器实现词元级幻觉检测,在 RAGTruth 翻译数据集上取得 0.7266 的 F1 分数,并发布模型与数据集以填补多语言 NLP 空白。
2025-09-22 cs.AI cs.CL
Supervision versus Demonstration-Based In-Context Learning for Multiword Expression Classification
University of Chicago(芝加哥大学);Fırat University(费拉特大学)
研究土耳其语多词表达分类,对比监督基线(BERTurk)与指令微调LLM在零样本、单样本和少样本提示下的表现,发现提示敏感性和演示偏差影响显著。
2026-06-05 cs.AI cs.CL
Evaluating Modern Large Language Models on Low-Resource and Morphologically Rich Languages:A Cross-Lingual Benchmark Across Cantonese, Japanese, and Turkish
University of California, Santa Cruz(加州大学圣克鲁兹分校);Carnegie Mellon University(卡内基梅隆大学);University of Pittsburgh(匹兹堡大学)
本文评估了七种先进LLMs在粤语、日语和土耳其语上的表现,发现专有模型在多语言任务中表现优异,但文化理解和形态泛化仍有不足。
2026-02-12 cs.AI cs.CL
Do LLMs Provide Consistent Answers to Health-Related Questions across Languages?
Universitat Politècnica de València(瓦伦西亚理工大学);Bonn-Aachen International Center for IT(波恩-亚琛国际信息技术中心);University of Sheffield(谢菲尔德大学);University of Trento(特伦托大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所);ValgrAI Valencian Graduate School and Research Network of Artificial Intelligence(瓦伦西亚人工智能研究生院及研究网络)
本研究考察LLMs在英语、德语、土耳其语和中文中回答健康问题的一致性,扩展HealthFC数据集并引入基于提示的评估流程,发现显著不一致性,强调改进跨语言对齐的必要性。
2025-01-24 cs.AI cs.CL cs.HC
Plausibility as Commonsense Reasoning: Humans Succeed, Large Language Models Do not
University of Chicago(芝加哥大学)
研究探讨大语言模型是否能像人类一样在歧义解析中结合世界知识与句法结构。通过土耳其前置定语从句附着歧义,发现人类表现出显著的可解释性效应,而大语言模型则表现不一致。
2026-04-20 cs.AI cs.CL
HalluVerse25: Fine-grained Multilingual Benchmark Dataset for LLM Hallucinations
Texas A&M University(德克萨斯农工大学);Hamad Bin Khalifa University(哈马德·本·哈利法大学)
本文提出多语言细粒度幻觉基准数据集HalluVerse25,覆盖英、阿、土三语,通过LLM注入与人工标注构建,并评估多个LLM的幻觉检测能力。
2025-03-10 cs.AI cs.CL
TurkishMMLU: Measuring Massive Multitask Language Understanding in Turkish
Technical University of Munich(慕尼黑工业大学);Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心);Munich Center for Machine Learning(慕尼黑机器学习中心);Language Technology Lab, University of Cambridge(剑桥大学语言技术实验室)
本文提出首个土耳其语多任务多项选择基准 TurkishMMLU,包含超1万道由课程专家编写的高中课程题目,覆盖9个科目,并通过对20多个 LLMs 的零样本、少样本及思维链评估,系统揭示当前模型在土耳其语理解上的能力与局限。
2024-10-03 cs.CL
Do LLMs Recognize me, When I is not me: Assessment of LLMs Understanding of Turkish Indexical Pronouns in Indexical Shift Contexts
USC(南加州大学)
本文构建含156道题的土耳其语 Indexical Shift Dataset,在少样本设置下评估多款多语言LLM,发现即使 GPT-4 也难以准确理解索引词移位。
2024-06-08 cs.CL
Automating Turkish Educational Quiz Generation Using Large Language Models
University of Siena(锡耶纳大学)
本研究提出利用GPT-4-Turbo、GPT-3.5-Turbo及Llama-2等大型语言模型,从土耳其语教育文本自动生成测验,并构建了专用数据集Turkish-Quiz-Instruct,为非英语教育技术领域做出开创性贡献。
2024-06-05 cs.CL
Leveraging LLMs For Turkish Skill Extraction
Kariyer.net, R&D Center(Kariyer.net 研发中心);Istanbul Technical University(伊斯坦布尔技术大学)
本文利用LLMs提升土耳其语技能提取性能,提出首个土耳其语技能提取数据集,并通过端到端流程实现0.56的性能指标。
2026-01-30 cs.CL
Relation Extraction Capabilities of LLMs on Clinical Text: A Bilingual Evaluation for English and Turkish
Department of Computer Engineering, Astana IT University(阿斯塔纳IT大学计算机工程系);Department of Computer Engineering, Ege University(埃兹尔大学计算机工程系)
本研究通过双语评估揭示了LLM在临床文本关系抽取中的能力,提出Relation-Aware Retrieval方法,展示其在英语和土耳其语中的高性能表现。
2026-01-14 cs.CL
LLMs for Translation: Historical, Low-Resourced Languages and Contemporary AI Models
Stanford University(斯坦福大学)
本文评估Gemini翻译18世纪奥斯曼土耳其语战俘回忆录的表现,发现安全机制误判14%至23%内容并造成漏译,揭示LLM在历史及当代敏感文本翻译中的局限。
2025-03-14 cs.AI cs.CL
MTUncertainty: Assessing the Need for Post-editing of Machine Translation Outputs by Fine-tuning OpenAI LLMs
Logrus Global(洛格斯全球公司);The University of Manchester(曼彻斯特大学)
本研究将翻译质量评估转化为二分类任务,微调OpenAI的gpt3.5等模型,在8个语言对上验证了其判断译文是否需译后编辑的良好效果,同时发现单纯增大模型规模对该任务性能无明显提升。
2024-06-21 cs.AI cs.CL
Setting Standards in Turkish NLP: TR-MMLU for Large Language Model Evaluation
Yıldız Technical University(伊兹迪克技术大学);Yeditepe University(耶迪特佩大学);İstanbul Bilgi University(伊斯坦布尔比尔基大学);Işık University(伊什克大学)
本文提出TR-MMLU土耳其语多学科选择题基准,含6200道题并评估多款先进LLM,揭示分词与微调等挑战,为土耳其语NLP建立标准化评测工具。
2025-01-04 cs.CL
The World According to LLMs: How Geographic Origin Influences LLMs' Entity Deduction Capabilities
BITS, Pilani(比哈尔理工学院);Georgia Institute of Technology(佐治亚理工学院);Stanford University(斯坦福大学);Emory University(埃默里大学)
本研究通过20个问题游戏评估LLMs的实体推断能力,发现其存在显著的地理偏见:对全球北方和西方实体的推断成功率更高,且语言影响甚微,揭示了标准提示中隐藏的隐性偏见。
2025-08-07 cs.AI cs.CL
Evaluating Morphological Compositional Generalization in Large Language Models
EPFL(瑞士联邦理工学院);Idiap Research Institute(Idiap研究机构);Duke University(杜克大学);Brandeis University(布兰迪斯大学);LMU Munich(慕尼黑大学);University of Cambridge(剑桥大学);Johns Hopkins University(约翰霍普金斯大学);Università della Svizzera Italiana(瑞士意大利大学);New York University(纽约大学)
本文通过组合性视角系统研究大语言模型在黏着语中的形态泛化能力,设计生成式与判别式任务评估多个先进多语言模型,发现其在面对新词根和复杂形态时性能显著下降且缺乏系统性。
2025-06-05 cs.AI cs.CL
LLMs-in-the-Loop Part 2: Expert Small AI Models for Anonymization and De-identification of PHI Across Multiple Languages
本文利用LLM-in-the-loop方法开发跨八种语言的专家小型去标识化NER模型,在PHI匿名化任务中性能超越通用大语言模型如GPT-4o,实现高f1-micro分数,为医疗AI提供高效且隐私安全的解决方案。
2024-12-14 cs.AI cs.CL
Büyük Dil Modelleri için TR-MMLU Benchmarkı: Performans Değerlendirmesi, Zorluklar ve İyileştirme Fırsatları
Yıldız Technical University(伊兹密尔技术大学);Yeditepe University(耶迪特佩大学);İstanbul Bilgi University(伊斯坦布尔比尔大学);Işık University(伊斯坎德大学)
本文提出土耳其语MMLU(TR-MMLU)基准,包含62个领域共6,200道多选题,用于系统评估大语言模型的土耳其语能力,并通过实验揭示现有模型的不足与改进方向。
2025-08-18 cs.CL
Improving LLM Reliability with RAG in Religious Question-Answering: MufassirQAS
Mugla Sitki Kocman University(穆拉·萨特克·科奇曼大学);Manisa Celal Bayar University(马尼萨·切拉尔·巴亚尔大学);University of Waterloo(滑铁卢大学)
MufassirQAS通过RAG方法提升LLM在宗教问答中的可靠性,提供透明和准确的回应。
2025-12-09 cs.AI cs.CL
Introducing TrGLUE and SentiTurca: A Comprehensive Benchmark for Turkish General Language Understanding and Sentiment Analysis
Independent Researcher(独立研究者)
本文提出TrGLUE和SentiTurca两个土耳其语综合基准,用于评估自然语言理解和情感分析能力,通过半自动化流程构建高质量数据集,支持研究人员进行模型微调和评估。
2025-12-26 cs.AI cs.CL
Clause-Internal or Clause-External? Testing Turkish Reflexive Binding in Adapted versus Chain of Thought Large Language Models
University of Chicago(芝加哥大学)
本研究通过对比两种大型语言模型,探讨土耳其反身代词在不同模型中的绑定行为差异,揭示模型架构和训练数据对指代依赖表示的影响。
2026-02-09 cs.CL
Cross-Lingual Token Arbitrage: Optimizing Code Agent Context Windows via Local LLM Preprocessing
提出一种预处理的边缘端提示重写中间件,利用本地Llama 3.2模型进行跨语言翻译和结构重写,在保持或提升任务准确率的同时减少34-47%的提示令牌和最高18.8%的总令牌消耗。
2026-08-04 cs.AI
Halluverse-M^3: A multitask multilingual benchmark for hallucination in LLMs
Texas A&M University(德克萨斯农工大学);University of Maryland, Baltimore(马里兰大学巴尔的摩分校);Hamad Bin Khalifa University(哈马德·本·卡尔法大学)
Halluverse-M^3是一个多语言多任务基准测试,用于评估大型语言模型中的幻觉检测性能,涵盖四种语言和两种生成任务,揭示了不同任务和语言下的幻觉检测挑战。
2026-02-06 cs.AI cs.CL
Tiny QA Benchmark++: Ultra-Lightweight, Synthetic Multilingual Dataset Generation & Smoke-Tests for Continuous LLM Evaluation
Comet ML, Inc.(Comet ML公司)
本文提出 TQB++ 超轻量多语言冒烟测试套件,结合 52 条英文黄金集与基于 LiteLLM 的合成数据生成器,支持 CI 集成并在数秒内检测 LLM 流水线错误。
2025-05-17 cs.AI cs.CL
A Turkish Educational Crossword Puzzle Generator
University of Siena(锡耶纳大学)
本研究推出首款基于大语言模型的土耳其语教育类填字游戏生成器,构建两个专用数据集支撑线索生成,兼具娱乐与教育价值,推动土耳其语智能互动学习工具发展。
2024-05-15 cs.CL
Evaluating the Quality of Benchmark Datasets for Low-Resource Languages: A Case Study on Turkish
Middle East Technical University, Computer Engineering Department(中东部技术大学计算机工程系);Bilkent University, Computer Engineering Department(比尔肯特大学计算机工程系);Turkcell AI;Hacettepe University, Sociology Department(哈卡特佩大学社会学系);Istanbul University, Linguistics Department(伊斯坦布尔大学语言学系);Middle East Technical University, Turkish Language Department(中东部技术大学土耳其语言系)
本研究评估了17个土耳其语基准数据集的质量,发现70%未达标准,强调低资源语言数据集亟需更严格的质量控制。
2025-04-26 cs.AI cs.CL
Crafting Tomorrow's Headlines: Neural News Generation and Detection in English, Turkish, Hungarian, and Persian
Technical University of Munich(慕尼黑工业大学)
本研究构建了涵盖四种语言的多语言神经新闻检测基准数据集,并比较多种分类器,以探究机器生成新闻检测的可解释性与鲁棒性。
2024-11-04 cs.CL
Rank Reversal in Multilingual LLM Judges: A Label-Free Double-Centering Calibrator
针对多语言LLM评判器因提示语言导致排名反转的问题,提出无标签共识校准法(CBC),可提升排名一致性及与人工偏好的契合度,验证了其下游实用性。
2026-09-09 cs.AI cs.CL
OWL: Probing Cross-Lingual Recall of Memorized Texts via World Literature
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);University of Maryland, College Park(马里兰大学帕克分校);Microsoft(微软)
本文通过世界文学数据集OWL探究LLMs的跨语言记忆,发现模型能跨语言召回内容,GPT-4o在新翻译中识别作者和标题达69%。
2025-10-07 cs.AI cs.CL
When Rating Scales Fall Short: LLM-Assisted Discovery of ADHD Signals in Turkish Teacher Narratives
Department of Computer Science, University of Illinois Chicago(伊利诺伊大学芝加哥分校计算机科学系);Department of Child and Adolescent Psychiatry, Gazi University(加齐大学儿童与青少年精神病学系)
本研究通过分析土耳其教师评估表中的结构化评分和开放式叙述,利用大语言模型辅助的主题发现方法,揭示了叙述文本中未被结构化量表捕捉的ADHD互补信号。
2026-07-07 cs.CL
TurEngMix: A Text Corpus and Benchmark for Turkish-English Code-Mixed Language Identification and Named Entity Recognition
University of Maryland(马里兰大学)
针对土耳其语-英语代码混合文本,构建了TurEngMix语料库与基准,评估显示形态整合标记的错误率高,并发布资源以促进研究。
2026-09-09 cs.CL
BIRDTurk: Adaptation of the BIRD Text-to-SQL Dataset to Turkish
Roketsan Inc.(罗克桑公司);Middle East Technical University(中东技术大学)
BIRDTurk是首个将BIRD文本到SQL基准适应到土耳其语的数据集,通过受控翻译流程保持SQL逻辑结构,评估了代理推理和监督微调在土耳其语中的表现,揭示了语言差异对性能的影响。
2026-02-03 cs.AI cs.CL cs.DB
Efficient Model Development through Fine-tuning Transfer
Virginia Tech(弗吉尼亚理工大学);University of Toronto(多伦多大学);Vector Institute(向量研究所)
本文提出通过迁移模型版本间的微调 diff 向量实现高效更新,无需额外训练即可显著提升目标基础模型性能,为持续大语言模型开发提供了低成本策略。
2025-11-06 cs.AI cs.CL cs.LG
Text2Cypher Across Languages: Evaluating and Finetuning LLMs
Neo4j
该研究针对Text2Cypher任务多语言研究不足的问题,构建英、西、土三语数据集,评估发现基础模型性能随语言从英到土递减,提示翻译影响小,且多语言微调可缩小语言间性能差距,助力构建更包容的查询生成系统。
2025-09-04 cs.CL cs.IR
Inter-Rater Reliability of LLM and Rule-Based Annotation for Inferential Narrative Features: Three Studies on a Turkish Corpus
Independent Researcher(独立研究者)
本研究通过三项实验评估了LLM与规则检测器在土耳其语语料库推理叙事特征标注上的信度,发现机器与人类一致性极低,表明该特征难以自动检测或规则定义不够可操作。
2026-09-15 cs.CL
Rethinking Suicidal Ideation Detection: A Trustworthy Annotation Framework and Cross-Lingual Model Evaluation
本文针对自杀意念检测中语言覆盖有限和标注不可靠的问题,构建土耳其语语料库并提出融合人工与大语言模型的可信标注框架,通过跨语言迁移学习评估标签可靠性与模型一致性,揭示零样本迁移的局限并倡导心理健康NLP的透明与可靠性。
2025-07-19 cs.AI cs.CL cs.CY
Harnessing the Power of BERT in the Turkish Clinical Domain: Pretraining Approaches for Limited Data Scenarios
Ege University(埃格大学)
本研究探索多种预训练方法对土耳其语临床语言模型在放射学报告多标签分类任务中的影响,发现结合通用领域知识与任务特定微调(如BERTurk和TurkRadBERT-task v1)性能最佳,并首次评估了同时预训练方法。
2023-05-05 cs.CL
Tokenization Standards for Linguistic Integrity: Turkish as a Benchmark
Yıldız Technical University(伊兹密尔技术大学);Yeditepe University(耶迪特佩大学);University of Chicago(芝加哥大学);Istanbul Bilgi University(伊斯坦布尔比金大学)
本文提出一个以土耳其语为基准的分词评估框架,通过词汇量、token数量、处理时间、%TR和token纯度五个指标系统评估分词器,发现%TR与下游性能相关性更强,且更大模型参数并不必然带来更好分词质量,为形态复杂和低资源语言的分词优化提供了新标准。
2025-07-21 cs.CL
Büyük dil modellerinin Türkçe verisetleri ile eğitilmesi ve ince ayarlanması
针对开放获取 LLM 与数据集在土耳其语上覆盖不足的问题,本文构建土耳其语大数据集,训练并微调模型,报告实验问题、结果与后续方向。
2023-06-06 cs.CL
Quantifying the cross-linguistic effects of syncretism on agreement attraction
University of Maryland, College Park(马里兰大学学院公园分校);University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
研究探讨了合成对一致性吸引力的影响在不同语言中的差异,通过大规模语言模型的 surprisal 和注意力熵来分析四种语言中的表现,揭示了合成如何调节吸引力的机制。
2026-05-20 cs.CL
Doğal Dil İşlemede Tokenizasyon Standartları ve Ölçümü: Türkçe Üzerinden Büyük Dil Modellerinin Karşılaştırmalı Analizi
Yıldız Technical University(亚兹德技术大学);Yeditepe University(耶迪特佩大学);The University of Chicago(芝加哥大学);İstanbul Bilgi University(伊斯坦布尔比尔大学)
该研究针对土耳其语提出了一种新的分词评估框架,利用 TR-MMLU 数据集和语言特定 token 百分比、token 纯度等指标比较不同大语言模型的分词器,发现语言特定 token 百分比与下游性能相关性更强,并强调定制化分词方法对形态复杂语言的重要性。
2025-08-18 cs.CL
Recovered in Translation: Efficient Pipeline for Automated Translation of Benchmarks and Datasets
INSAIT, Sofia University "St. Kliment Ohridski"(INSAIT,索菲亚大学"圣克莱门特·奥赫里迪斯基");ETH Zurich(苏黎世联邦理工学院)
本文提出了一种高效自动化框架,用于高质量翻译多语言基准和数据集,以提升多语言AI评估的准确性和可靠性。
2026-02-25 cs.AI cs.CL cs.LG
NeuronMoE: Neuron-Guided Mixture-of-Experts for Efficient Multilingual LLM Extension
The University of Tokyo(东京大学);Riken(理化学研究所);Tohoku University(东北大学)
NeuronMoE通过分析神经元多样性优化专家分配,实现低资源语言模型的高效扩展,减少40%参数并保持性能。
2026-03-05 cs.CL
VerChol -- Grammar-First Tokenization for Agglutinative Languages
VerChol 提出了一种以语法优先的词法化方法,用于处理黏着语言中复杂的形态结构,以提高词法化效率和准确性。
2026-03-06 cs.CL
A multi-level multi-label text classification dataset of 19th century Ottoman and Russian literary and critical texts
Middle East Technical University(中东技术大学);University of Bologna(博洛尼亚大学)
本文介绍了一个包含3000多篇19世纪奥斯曼与俄罗斯文学批评文本的多层级多标签分类数据集,并首次用LLMs进行基线测试,发现BoW在某些情况下优于LLMs,强调低资源语言研究的重要性。
2024-07-21 cs.CL
Decomposing and Predicting Annotation Disagreement in Harmful Content Across Languages
School of Computation, Information and Technology, TU Munich(慕尼黑工业大学计算、信息与技术学院);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本研究提出通过LLM回答结构化二元问题提取语义特征,结合分类器预测跨语言有害内容的标注分歧,其性能优于基线方法,且关键线索可从文本中观测。
2026-10-14 cs.CL cs.CY cs.MM