Difficulty Estimation and Simplification of French Text Using LLMs
University of Lausanne(洛桑大学)
本文利用生成式LLMs解决外语文本难度估计与简化问题,通过标注样本和迁移学习构建高精度分类模型,并证明有限微调即可实现高质量文本简化,方法具备语言无关性。
2024-07-25 cs.AI cs.CL
RAG-QA Arena: Evaluating Domain Robustness for Long-form Retrieval Augmented Question Answering
AWS AI Labs(亚马逊人工智能实验室);Google(谷歌);University of California, Santa Barbara(加州大学圣巴巴拉分校)
本文针对RAG-QA跨领域评估不足的问题,构建了包含七个领域26K查询的长文本数据集LFRQA,并提出RAG-QA Arena评估平台,实验显示其与人类判断高度相关且极具挑战性。
2024-10-03 cs.AI cs.CL
Reasoning Arena: Trace Tournaments When Verifiable Rewards Fall Short
University of Cambridge(剑桥大学);Mistral AI
提出推理竞技场框架,通过轨迹锦标赛将无梯度信号的非多样奖励组转化为相对奖励信号,结合Bradley-Terry模型高效整合强化学习,在数学和编码基准上平均提升7.6%,加速训练27%-41%。
2026-06-08 cs.AI cs.CL cs.LG
XAI-Arena: Can LLMs Assess the Quality of XAI Explanations?
Humboldt-Universität zu Berlin(柏林洪堡大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文提出XAI-Arena框架,利用LLM作为评判者,从多维度可扩展地评估XAI解释质量,并经人工验证其评分与人类高度相关。
2026-09-10 cs.AI
Inclusion Arena: An Open Platform for Evaluating Large Foundation Models with Real-World Apps
Shanghai Jiao Tong University(上海交通大学);Zhejiang University(浙江大学);Westlake University(西湖大学)
针对现有模型评估基准难以反映真实应用性能的问题,研究推出Inclusion Arena实时排行榜平台,基于应用端人类反馈,结合带两项创新的Bradley-Terry模型实现稳健排名,提升可靠性与抗操纵性,推动面向实际的大模型发展。
2025-09-02 cs.AI cs.CL cs.HC
A Benchmark Evaluation of Clinical Named Entity Recognition in French
Université Paris-Saclay(巴黎-萨克雷大学);CNRS(法国国家科学研究中心);LISN(计算机科学与数字技术跨学科实验室);Sorbonne Université(索邦大学);Inserm(法国国家健康与医学研究院);Université Sorbonne Paris Nord(索邦巴黎北大学);LIMICS(医学信息学与知识工程实验室)
本文首次对法语临床命名实体识别中的生物医学掩码语言模型进行基准评估,比较CamemBERT-bio、DrBERT及多个标准和多语言模型,发现CamemBERT-bio性能最佳、FlauBERT具有竞争力、FrAlBERT碳足迹最低。
2024-03-28 cs.AI cs.CL q-bio.QM
The Invisible Language Tax: Token Premiums of French and Regional Languages in 2026 LLM Tokenizers, and a French-Optimized Prototype
Baracoda AI Labs(Baracoda AI实验室);NEOMA Business School(NEOMA商学院)
本研究测量了2026年主流大语言模型分词器中法语的令牌溢价(比英语多31%-58%),并提出了法语优化的字节级BPE原型Baracoda FR v1.2,在法语上比Tekken少用11.5%的令牌,但其他语言表现较差。
2026-10-01 cs.AI cs.CL
Emotion Identification for French in Written Texts: Considering their Modes of Expression as a Step Towards Text Complexity Analysis
Univ. Paris-Nanterre(巴黎第十大学);CNRS(法国国家科学研究中心);Orange(法国电信橙公司)
本文提出一个模型和数据集,用于预测法语书面文本中句子的情感表达与否、方式、基本/复杂类别及情感类别,并考虑直接与间接表达方式,实验结果显示优于无微调的大型语言模型。
2024-05-23 cs.AI cs.CL
Automatic ICD-10 Code Association: A Challenging Task on French Clinical Texts
Université de Franche-Comté(弗朗什-孔泰大学);CNRS(法国国家科学研究中心);Institut FEMTO-ST(FEMTO-ST研究所);Nord Franche-Comté Hospital(北弗朗什-孔泰医院)
本文针对法语临床文本的ICD-10代码自动关联任务,提出结合NLP最新进展与多标签分类的神经网络模型,有效应对大量输入tokens和标签挑战,使$F_1$-score较现有最优结果提升55%以上。
2023-04-06 cs.AI cs.CL
MTalk-Bench: Evaluating Speech-to-Speech Models in Multi-Turn Dialogues via Arena-style and Rubrics Protocols
School of Data Science, The Chinese University of Hong Kong, Shenzhen(数据科学学院,香港中文大学(深圳))
针对语音到语音模型在多轮对话中评估不足的问题,提出MTalk-Bench基准,结合竞技场式与评分准则双方法评估,发现模型在副语言和环境音感知上较弱,且LLM评估存在偏差。
2025-09-15 cs.AI cs.CL
Arena 4.0: A Comprehensive ROS2 Development and Benchmarking Platform for Human-centric Navigation Using Generative-Model-based Environment Generation
Technical University Berlin (TUB)(柏林工业大学);National University of Singapore (NUS)(新加坡国立大学);Technical University Munich (TUM)(慕尼黑工业大学)
Arena 4.0是面向以人为本导航的ROS2平台,利用生成模型动态创建复杂环境,提供可扩展3D资产库,并迁移至ROS2,经用户研究验证其可用性和效率显著提升。
2024-09-19 cs.AI cs.RO
Comparing Natural and Synthetic Structured Data: A Study of the Passive Verb Alternation in French and Italian
研究比较自然与合成数据对大语言模型训练与评估的影响,探讨法语和意大利语中被动语动词交替的处理能力,发现自然数据训练模型在自然和合成测试中表现更稳健。
2026-03-26 cs.CL
LLM-as-a-Prophet: Understanding Predictive Intelligence with Prophet Arena
University of Southern California(南加州大学);Meta;The University of Chicago(芝加哥大学);New York University(纽约大学)
本文通过Prophet Arena评估了LLMs在预测任务中的表现,揭示了其预测能力及存在的瓶颈。
2025-12-21 cs.AI cs.CL cs.LG
UNO Arena for Evaluating Sequential Decision-Making Capability of Large Language Models
Harbin Institute of Technology(哈尔滨工业大学);Anhui University(安徽大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
该研究提出基于UNO卡牌游戏的UNO Arena评估框架,采用蒙特卡洛方法的新指标动态评测大语言模型的序列决策能力,并提出结合历史总结与策略反思的TUTRI玩家,显著提升了大语言模型的序列决策表现。
2024-06-24 cs.CL
Music Arena: Live Evaluation for Text-to-Music
Carnegie Mellon University(卡内基梅隆大学);LMArena;Sony AI(索尼人工智能);Georgia Tech(佐治亚理工学院)
本文提出Music Arena,一个用于文本到音乐模型人类偏好评估的开放实时平台,通过标准化协议、LLM路由系统及详细偏好收集,解决了TTM评估成本高、难比较及缺乏开放数据源的问题。
2025-11-02 cs.AI cs.MM cs.SD
Trade-offs in Medical LLM Adaptation: An Empirical Study in French QA
Aix-Marseille Univ., CNRS, LIS UMR 7020(艾克斯-马赛大学,法国国家科学研究中心,LIS UMR 7020);Nantes Univ., École Centrale Nantes, CNRS, LS2N UMR 6004(南特大学,南特中央理工大学,法国国家科学研究中心,LS2N UMR 6004);Grenoble Alpes Univ., CNRS, INRIA, Grenoble INP, LIG UMR 5217(格勒诺布尔阿尔卑斯大学,法国国家科学研究中心,INRIA,格勒诺布尔INP,LIG UMR 5217)
通过法语医学问答任务,实证比较持续预训练(CPT)和监督微调(SFT)在多个模型家族和规模下的效果,发现CPT+SFT在多项选择问答上最优但增益小,SFT是强且经济的默认选择,而CPT在开放式问答中提升重叠指标。
2026-06-18 cs.AI cs.CL
Ideation Arena: Evaluating LLM Generated Research Ideas with Battle-style Human Expert Assessment
Fudan University(复旦大学);Zhongguancun Academy(中关村学院);Tsinghua University(清华大学);Zhongguancun Institute of Artificial Intelligence(中关村人工智能研究院)
本研究提出Ideation Arena平台,通过105名计算机科学研究者的双盲成对比较构建LLM生成研究创意的Elo评级排行榜,发现部分智能体框架可提升创意质量,而现有LLM评判者难以复现专家偏好。
2026-09-01 cs.AI
Multilingual VLM Training: Adapting an English-Trained VLM to French
Ecole Polytechnique(巴黎政治学院);Mila - Quebec AI Institute(魁北克人工智能研究所);McGill University(麦吉尔大学)
本文研究了将英语训练的视觉语言模型适应到法语等其他语言的挑战,通过比较不同方法的性能和计算成本,发现数据翻译是多语言VLM性能的主要瓶颈。
2025-12-11 cs.AI cs.CL
Game Reasoning Arena: A Framework and Benchmark for Assessing Reasoning Capabilities of Large Language Models via Game Play
LAION Juelich Supercomputing Center (JSC)(LAION尤利奇超级计算机中心(JSC));Research Center Juelich (FZJ)(尤利奇研究中心(FZJ))
本文提出游戏推理竞技场框架,基于OpenSpiel封装多种游戏并支持多种智能体,通过API、本地部署和分布式执行系统评估大语言模型的决策推理与博弈论行为。
2025-08-18 cs.AI cs.GT
S2S-Arena: Evaluating Paralinguistic Instruction Following in Speech-to-Speech Models
Artificial Intelligence Research Institute, Shenzhen University of Advanced Technology(深圳先进技术研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Nanjing University(南京大学);Shenzhen Loop Area Institute(深圳河套学院);CentraleSupélec, Université Paris-Saclay(巴黎萨克雷大学CentraleSupélec分校);National University of Singapore(新加坡国立大学)
S2S-Arena通过四级交互协议和双阶段数据构建流程,评估语音模型在语义理解和副语言表达上的能力,揭示了现有系统在复杂副语言需求下的性能差距。
2026-05-07 cs.CL cs.SD eess.AS
ChatGPT as speechwriter for the French presidents
Science Po(巴黎政治学院);Laboratoire LIG(LIG实验室);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);University of Neuchatel(纳沙泰尔大学)
本研究通过对比 ChatGPT 生成的年终致辞与法国四位总统的真实致辞,分析其写作风格特征,发现其存在词汇使用失衡、句子标准化等特点,且在给定示例时能生成风格接近的文本。
2024-11-27 cs.AI cs.CL cs.CY
The Lucie-7B LLM and the Lucie Training Dataset: Open resources for multilingual language generation
LINAGORA(林阿戈拉公司);LORIA(洛里亚研究所);CEA List(法国原子能和替代能源委员会清单实验室)
本文发布以法语为中心、注重数据权利的多语言 Lucie Training Dataset,以及法英数据各约33%训练的 Lucie-7B 和两个指令微调模型,验证开放合规路线仍具竞争力。
2025-03-15 cs.AI cs.CL
Business Arena: Benchmarking LLM Agents in a Realistic Marketplace
Alibaba Group(阿里巴巴集团);Yale University(耶鲁大学)
研究人员推出Business Arena测试平台,评估15个前沿LLM智能体在跨境商店运营中的表现,发现其平均最终净资产差9倍,最优模型仍逊于人类策略,为商业智能体评估提供了现实测试基准。
2026-08-11 cs.AI
Arena-T2I Hard: Benchmarking and Improving Faithfulness with Dependency-Aware Checklist
Arena Intelligence Inc;UCLA(加州大学洛杉矶分校)
针对现有忠实性基准在复杂指令上的不足,提出310条压力测试提示集Arena-T2I Hard,并设计依赖感知清单奖励结合美学奖励,显著提升文本到图像模型的忠实性-美学权衡。
2026-10-20 cs.AI
Is Biomedical Specialization Still Worth It? Insights from Domain-Adaptive Language Modelling with a New French Health Corpus
Université Grenoble Alpes, CNRS, Grenoble INP, LIG(格勒诺布尔阿尔卑斯大学,法国国家科学研究中心,格勒诺布尔国立理工学院,格勒诺布尔信息学实验室);Sorbonne Université, LIMICS(索邦大学,医学信息学与知识工程实验室)
本文探讨了在法语生物医学领域通过持续预训练对小型至中型LLM进行专业化的方法,发现DAPT在资源受限情况下有效,但需通过模型合并缓解泛化权衡。
2026-04-08 cs.CL
DrBERT: A Robust Pre-trained Model in French for Biomedical and Clinical domains
Avignon Université(阿维尼翁大学);Zenidoc;Nantes Université(南特大学);CHU de Nantes(南特大学医院)
本研究针对法语生物医学领域开展预训练语言模型原创研究,对比不同数据源训练的模型性能、评估多种学习策略,提出利用外域生物医学PLM进一步预训练的方法,发布了首个法语专用模型DrBERT及最大自由许可医学语料库。
2023-05-04 cs.CL
Improving Social Determinants of Health Documentation in French EHRs Using Large Language Models
University Hospital of Nantes(南特大学医院);Nantes Université(南特大学);École Centrale Nantes(南特中央理工学院);CNRS(法国国家科学研究中心);INSERM(法国国家健康与医学研究院)
本研究利用大语言模型从法国临床笔记中提取13类健康社会决定因素,在多个数据集上验证其有效性,并公开两个数据集,显著提升了非英语EHR中SDoH记录的完整性。
2025-07-04 cs.AI cs.CL
Evaluating RAG for French immigration law: a benchmark and baseline study
Talan(塔兰公司)
研究法国国际招聘的法律框架,通过公开基准比较参数化语言模型基线与密集检索增强在两种模型规模下对52个合成档案的效果,发现检索能改进行政指导,凸显检索基础的重要性,推动混合检索策略研究。
2026-07-28 cs.AI cs.IR
Politicians vs ChatGPT. A study of presuppositions in French and Italian political communication
Zürcher Hochschule für Angewandte Wissenschaften(苏黎世应用科学大学);Università Roma Tre(罗马第三大学);Universität Innsbruck(因斯布鲁克大学)
本文对比法意政治家与ChatGPT 3.5就极化议题生成文本中的预设(文献视为潜在操纵性语言特征),聚焦隐性传播,旨在为大型语言模型语用能力研究添砖加瓦。
2024-11-27 cs.CL cs.CY
Windows Agent Arena: Evaluating Multi-Modal OS Agents at Scale
Microsoft(微软公司);Carnegie Mellon University(卡内基梅隆大学);Columbia University(哥伦比亚大学)
针对现有OS智能体基准领域受限、评估速度慢的问题,微软推出可复现、可并行的Windows Agent Arena基准,适配OSWorld构建150余项Windows任务,同时提出多模态智能体Navi并验证其性能,为相关研究提供支撑。
2024-09-13 cs.AI
Few-shot clinical entity recognition in English, French and Spanish: masked language models outperform generative model prompting
Université Paris-Saclay(巴黎-萨克雷大学);Sorbonne Université(索邦大学)
本研究针对临床领域小样本命名实体识别任务,对比生成式大模型提示学习与掩码模型微调方法,发现轻量掩码biLSTM-CRF模型在英、法、西三语临床NER上F1更优且环境影响更低,提示当前LLM提示学习暂不适合临床NER生产。
2024-10-08 cs.CL
CV-Arena: An Open Benchmark for Instructional Computer Vision Problem Solving with Human-AI Collaborative Preferences
Texas A&M University(德克萨斯A&M大学);Worcester Polytechnic Institute(沃斯特理工大学);Tohoku University(东北大学);Georgia Institute of Technology(佐治亚理工学院);NVIDIA(英伟达);UCSB(加州大学圣塔芭芭拉分校);UC Merced(加州大学默塞德分校)
提出CV-Arena基准,包含12K高分辨率真实图像指令对,覆盖16种任务类型,并采用Active Elo协议结合人类与AI偏好评估21个系统,揭示指令遵循、物理推理等方面的差距,同时开发CV-Agent代理模型展示闭环推理的潜力。
2026-05-30 cs.AI cs.CV
LLM Content Moderation and User Satisfaction: Evidence from Response Refusals in Chatbot Arena
Hankuk University of Foreign Studies(韩国外国语大学)
该研究基于Chatbot Arena的近5万组模型比较,用RoBERTa分类器区分伦理与技术拒绝,发现伦理拒绝会显著降低用户满意度,但敏感场景下表述贴合语境的拒绝评价更高,凸显LLM安全与用户预期的矛盾及对自适应审核的需求。
2025-05-16 cs.AI cs.CL cs.CY
LLM-Based Data Generation and Clinical Skills Evaluation for Low-Resource French OSCEs
本文提出利用大语言模型生成和评估法语OSCE对话,通过合成数据缓解资源限制,展示中等规模模型在医疗教育中的可行性。
2026-04-09 cs.CL
DrBenchmark: A Large Language Understanding Evaluation Benchmark for French Biomedical Domain
LIA, Avignon Université(阿维尼翁大学计算机科学与人工智能实验室);Zenidoc(Zenidoc公司);Nantes Université, CHU Nantes, Clinique des données, INSERM, CIC 1413(南特大学、南特大学医院、数据诊所、法国国家健康与医学研究院、临床研究中心1413);Nantes Université, École Centrale Nantes, CNRS, LS2N, UMR 6004(南特大学、南特中央理工学院、法国国家科学研究中心、数字科学实验室、联合研究单位6004);Nantes Université, CHU Nantes, Service de Neuroradiologie diagnostique et interventionnelle, CNRS, INSERM, l’institut du thorax(南特大学、南特大学医院、诊断与介入神经放射科、法国国家科学研究中心、法国国家健康与医学研究院、胸科研究所);UMR 8163 – STL CNRS, Université de Lille(法国国家科学研究中心语言科学实验室、里尔大学)
本文提出首个公开的法语生物医学语言理解基准DrBenchmark,涵盖20个多样化任务,并通过评估8个最先进MLMs及英语MLMs的跨语言能力,揭示了无单一模型能在所有任务上全面领先、通用模型仍具竞争力的结论。
2024-02-20 cs.AI cs.CL cs.LG
RecSys Arena: Pair-wise Recommender System Evaluation with Large Language Models
School of New Media and Communication, Tianjin University(天津大学新媒体与传播学院);College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文提出RecSys Arena,利用大语言模型模拟用户对两个推荐系统结果进行成对评估,生成细粒度反馈,实验证明其与离线指标一致且能更好区分性能相近的算法。
2024-12-15 cs.AI cs.IR
Learning structures of the French clinical language:development and validation of word embedding models using 21 million clinical reports from electronic health records
Assistance Publique – Hôpitaux de Paris(巴黎公共援助医院);Sorbonne Université(索邦大学);Inserm(法国国家健康与医学研究院);Université Sorbonne Paris Nord(索邦巴黎北大学);Centre de Recherche des Cordeliers(科德利埃研究中心);INRIA(法国国家信息与自动化研究所)
使用真实世界数据的临床研究可能受益于利用临床报告,这是一种特别丰富但非结构化的媒介。为此,自然语言处理可以提取相关信息。基于使用预训练的语言模型的迁移学习的方法在大多数NLP应用中取得了最先进的结果;然而,公开可用的模型缺乏对专业语言的接触,特别是在医学领域。目的:我们的目的是评估适应语言模型的影响,以法国的临床报告的下游医学NLP任务。方法我们利用从2017年8月至2021年7月在大巴黎大学医院(APHP)收集的2100万份临床报告的语料库,在专业语言上生成两个CamemBERT架构:一个从头开始重新训练,另一个使用CamemBERT作为其初始化。我们使用两个法语注释的医学数据集来比较我们的语言模型与原始CamemBERT网络,并使用Wilcoxon检验评估改进的统计学显著性。结果我们的模型在临床报告上进行了预训练,将APMed(APHP特定任务)的平均F1分数提高了3个百分点,达到91%,这是一个统计学上的显著改善。它们还实现了与QUAERO上的原始CamemBERT相当的性能。这些结果适用于微调和从头开始的版本,从很少的预训练样本开始。结论我们证实了以前的文献表明,适应通才预训练语言模型,如专业语料库上的CamenBERT提高了他们的性能,为下游临床NLP任务。我们的研究结果表明,从头再培训不会引起统计上显着的性能增益相比,微调。
2022-07-26 cs.CL stat.ML
GenAI Arena: An Open Evaluation Platform for Generative Models
University of Waterloo(滑铁卢大学)
本文提出开放评估平台GenAI-Arena,通过用户投票评估图像和视频生成模型,并发布偏好数据集GenAI-Bench,发现现有GPT-4o等多模态模型在评估视觉内容时准确率仅49.19%。
2024-11-11 cs.AI cs.CV
Improving French Synthetic Speech Quality via SSML Prosody Control
École Polytechnique(巴黎高等理工学院);Hi! PARIS Research Center(Hi!巴黎研究中心);McGill University(麦吉尔大学)
针对商业TTS系统合成法语语音缺乏表现力的问题,提出首个端到端SSML韵律控制流水线,通过两个QLoRA微调的Qwen 2.5-7B模型生成SSML标签,显著提升合成语音自然度与韵律准确性。
2025-08-24 cs.CL cs.SD
WildVision: Evaluating Vision-Language Models in the Wild with Human Preferences
Allen Institute of AI(艾伦人工智能研究所);University of Washington(华盛顿大学);University of California, Santa Barbara(加州大学圣巴巴拉分校);University of Waterloo(滑铁卢大学)
本文提出 WV-Arena 与 WV-Bench,通过真实人类偏好和 GPT-4 裁判评估 VLM,并揭示顶尖模型的能力短板与安全风险。
2024-06-16 cs.AI cs.CL cs.CV
VIRENA: Virtual Arena for Research, Education, and Democratic Innovation
University of Zurich(苏黎世大学)
VIRENA是一个基于开源技术的无代码平台,用于在现实社交环境中进行受控实验,研究人类与AI的互动、审核干预比较及群体 deliberation。
2026-10-06 cs.AI cs.HC cs.SI
Will LLMs be Professional at Fund Investment? DeepFund: A Live Arena Perspective
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
针对现有金融基准在评估LLMs交易能力上的四大缺陷,本文提出DeepFund平台,通过多智能体框架在实时环境中还原真实投资决策,并利用Web界面可视化不同市场条件下的基金投资表现,为LLMs在金融市场的应用提供更公平、现实的评估。
2025-06-26 cs.AI cs.CE cs.HC
Who Judges the Judge? Evaluating LLM-as-a-Judge for French Medical open-ended QA
Aix-Marseille Univ., CNRS, LIS UMR 7020(艾克斯-马赛大学,法国国家科学研究中心,LIS UMR 7020);Nantes Univ., École Centrale Nantes, CNRS, LS2N, UMR 6004(南特大学,中央理工学院南特校区,法国国家科学研究中心,LS2N,UMR 6004);Nantes Université, CHU Nantes, PHU 11: Santé Publique, Clinique des données, INSERM, CIC 1413(南特大学,南特大学医院,PHU 11:公共卫生,数据诊所,法国国家卫生与医学研究院,CIC 1413);Nantes Université, CNRS, INSERM, L’institut du thorax(南特大学,法国国家科学研究中心,法国国家卫生与医学研究院,胸科研究所);Université Grenoble Alpes, CNRS, INRIA, Grenoble INP, LIG UMR 5217(格勒诺布尔阿尔卑斯大学,法国国家科学研究中心,INRIA,格勒诺布尔INP,LIG UMR 5217)
本研究评估了LLM在法语医学开放性问答中作为评判者的有效性,发现领域适应模型在与专家注释一致方面表现最佳,并通过微调和GRPO提升了性能。
2026-03-04 cs.CL
ASTRA: Automated Synthesis of agentic Trajectories and Reinforcement Arenas
Beike Language and Intelligence(北溪语言与智能)
ASTRA通过可扩展数据合成和可验证强化学习,自动化训练工具增强语言模型代理,实现多轮稳定学习和高性能工具使用。
2026-01-30 cs.CL
The Model's Language Matters: A Comparative Privacy Analysis of LLMs
Inria(法国国家信息与自动化研究所);INSA Lyon(里昂国立应用科学学院);CITI(信息与技术研究所)
本研究首次定量证明语言结构影响大语言模型的隐私泄露,意大利语泄露最强,法语和西班牙语更稳健,需语言感知的隐私保护机制。
2025-10-09 cs.CL cs.CR
The Model Arena for Cross-lingual Sentiment Analysis: A Comparative Study in the Era of Large Language Models
Dialpad Inc.(戴尔德公司)
本文在英语等多语言情感分析任务中实证比较了小型多语言模型与大语言模型,发现公开SMLM零样本性能更优,而公开LLM及GPT系列在少样本场景下适应力或表现存在差异。
2024-06-27 cs.CL
SimPO: Simple Preference Optimization with a Reference-Free Reward
University of Virginia(弗吉尼亚大学);Princeton University(普林斯顿大学)
本研究提出无需参考模型的SimPO偏好优化算法,以序列平均对数概率为隐式奖励并引入目标奖励间隔,在多个基准和主流模型上显著优于DPO等现有方法,小参数模型性能突出。
2024-11-01 cs.CL cs.LG
Bilingual BSARD: Extending Statutory Article Retrieval to Dutch
CLiPS University of Antwerp(安特卫普大学CLiPS研究中心)
本研究推出法语-荷兰语双语法条检索数据集bBSARD,基于该数据集对多类检索模型开展基准测试,验证了BM25的竞争力及微调小语种模型的性能优势。
2024-12-10 cs.CL cs.IR
Can Large Models Fool the Eye? A New Turing Test for Biological Animation
本文提出BioMotion Arena框架,通过视觉动画和点光源成像对LLMs和MLLMs进行成对比较评估,发现超90%的主流模型无法生成基本人形点光组,为模型性能差异提供了直观判别性反馈。
2025-08-08 cs.AI cs.CV
Learning from Child-Directed Speech in Two-Language Scenarios: A French-English Case Study
本文研究了在严格数据匹配条件下,扩展BabyBERTa至英法双语场景的紧凑语言模型,对比儿童口语与多领域语料对语法和语义任务的影响,发现儿童口语在单语任务中表现更优,双语预训练对文本蕴含任务有显著提升。
2026-03-13 cs.AI cs.CL
Benchmarking Transformers-based models on French Spoken Language Understanding tasks
CNRS(法国国家科学研究中心);LISN(跨学科数字科学实验室);QWANT(QWANT公司)
在过去的五年中,基于自注意力transformer的架构的兴起导致了许多自然语言任务的最先进性能。虽然这些方法越来越受欢迎,但它们需要大量的数据和计算资源。在数据稀缺的应用条件下,仍然非常需要对资源不足的语言进行基准测试。大多数预先训练的语言模型都是使用英语进行大规模研究的,只有少数是用法语进行评估的。在本文中,我们提出了一个统一的基准,侧重于评估模型的质量和生态影响两个著名的法语口语语言理解任务。特别是,我们基准十三个完善的基于变压器的模型上的两个可用的口语语言理解任务的法语:媒体和ATIS-FR。在这个框架内,我们表明,紧凑的模型可以达到可比的结果,而他们的生态影响是相当低的。然而,这种假设是微妙的,并取决于所考虑的压缩方法。
2022-07-19 cs.AI cs.CL
Luth: Efficient French Specialization for Small Language Models and Cross-Lingual Transfer
LightOn, Paris Inria Paris(LightOn 巴黎 国家信息与自动化所巴黎)
Luth通过定向后训练提升法语小语言模型性能,同时保留英语能力,并通过模型合并增强跨语言迁移效果。
2026-02-09 cs.CL
Zero-Shot Cross-Lingual Transfer in Legal Domain Using Transformer Models
ITMO University(圣彼得堡国立信息技术机械与光学大学)
Zero-shot跨语言迁移是现代NLP模型和架构中支持低资源语言的重要特征。本文研究了多标签文本分类中英语到法语和德语的zero-shot跨语言迁移问题,使用英语训练集训练分类器,使用法语和德语测试集进行测试。我们扩展了EURLEX 57 K数据集,英语数据集的主题分类的法律文件,法语和德语的官方翻译。我们研究了使用一些训练技术,即逐步解冻和语言模型微调,对zero-shot跨语言迁移质量的影响。我们发现,多语言预训练模型(M-DistilBERT,M-BERT)的语言模型微调分别导致法语和德语测试集的32.0- 34.94%,76.15-87.54%的相对改善。此外,在训练过程中,预训练模型的层的逐渐解冻导致法语的38-45%和德语的58-70%的相对提高。与使用英语、法语和德语训练集在联合训练方案中训练模型相比,基于zero-shot BERT的分类模型达到了联合训练的BERT分类模型的86%。
2021-12-11 cs.AI cs.CL
Classification of Human- and AI-Generated Texts for English, French, German, and Spanish
IU International University of Applied Sciences(IU国际应用科学大学)
本研究构建多语言文本语料库,分析人类与AI生成文本的分类特征,对比两种检测场景下的特征效果,验证了特征的跨语言迁移性并得出各语言最优特征组合。
2023-12-08 cs.AI cs.CL