Neural Text Generation with Artificial Negative Examples
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）；Graduate School of Science and Engineering, Ehime University（爱媛大学理工学研究生院）；Academic Center for Computing and Media Studies, Kyoto University（京都大学计算与媒体研究学术中心）；Salesforce Research（Salesforce研究院）；Microsoft Research（微软研究院）
Keisuke Shirai, Kazuma Hashimoto, Akiko Eriguchi, Takashi Ninomiya, Shinsuke Mori
Neural text generation models conditioning on given input (e.g. machine translation and image captioning) are usually trained by maximum likelihood estimation of target text. However, the trained models suffer from various types of errors at inference time. In this paper, we propose to suppress an arbitrary type of errors by training the text generation model in a reinforcement learning framework, where we use a trainable reward function that is capable of discriminating between references and sentences containing the targeted type of errors. We create such negative examples by artificially injecting the targeted errors to the references. In experiments, we focus on two error types, repeated and dropped tokens in model-generated text. The experimental results show that our method can suppress the generation errors and achieve significant improvements on two machine translation and two image captioning tasks.
Artificial Intelligence and the Structure of Mathematics
Meta Superintelligence Labs, Fundamental AI Research（Meta超级智能实验室，基础人工智能研究）；Department of Physics and Joint Quantum Institute, University of Maryland, College Park（马里兰大学帕克分校物理系与联合量子研究所）；Center for Mathematical Sciences and Applications, Harvard University（哈佛大学数学科学与应用中心）
Artificial Text Detection with Multiple Training Strategies
College of Electrical and Information Engineering, Hunan University（湖南大学电气与信息工程学院）；Experimental High School Affiliated to Beijing Normal University（北京师范大学附属实验中学）
Findings of the The RuATD Shared Task 2022 on Artificial Text Detection in Russian
ABBYY（ABBYY公司）；SberDevices（俄联邦储蓄银行设备部门）；AIRI（AIRI研究所）；Skolkovo Institute of Science and Technology（斯科尔科沃科技学院）；Sber AI（俄联邦储蓄银行人工智能部）；HSE University（高等经济大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Kazan Federal University（喀山联邦大学）
SimANS: Simple Ambiguous Negatives Sampling for Dense Text Retrieval
Renmin University of China（中国人民大学）；Microsoft Research（微软研究院）；Microsoft（微软公司）
从大型文档池中抽取适当的底片对于有效地训练稠密检索模型至关重要。然而，现有的负采样策略遭受无信息或假阴性的问题。在这项工作中，我们凭经验表明，根据测量的相关性得分，排名在积极周围的负面信息一般更丰富，不太可能是假阴性。直觉上，这些底片不是太硬（\emph{may be false negatives}）或太容易（\emph{uninformative}）。它们是模糊的消极因素，需要在训练中更多地注意。因此，我们提出了一个简单的模糊否定抽样方法，SimANS，它采用了一个新的抽样概率分布，以采样更多的模糊否定。在四个公共数据集和一个行业数据集上的实验表明了该方法的有效性。我们在\url{https://github.com/microsoft/SimXNS}中公开了代码和模型。
Feature-Level Insights into Artificial Text Detection with Sparse Autoencoders
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；AI Foundation and Algorithm Lab（人工智能基金会与算法实验室）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；CNRS（法国国家科学研究中心）；Université Paris Cité（巴黎西岱大学）；Artificial Intelligence Research Institute (AIRI)（人工智能研究所（AIRI））
Artificial Text Detection via Examining the Topology of Attention Maps
Huawei Noah’s Ark lab（华为诺亚方舟实验室）；Skolkovo Institute of Science and Technology（斯科尔科沃科技学院）；SberDevices（俄联邦储蓄银行设备公司）；HSE University（高等经济大学）；CNRS（法国国家科学研究中心）
Artificial intelligence to improve clinical coding practice in Scandinavia: a crossover randomized controlled trial
Norwegian Centre for E-health Research（挪威电子健康研究中心）；UiT The Arctic University of Norway（挪威北极大学）；University Hospital of North Norway（北挪威大学医院）；The Norwegian Centre for Clinical Artificial Intelligence（挪威临床人工智能中心）
GPT-D: Inducing Dementia-related Linguistic Anomalies by Deliberate Degradation of Artificial Neural Language Models
Institute of Health Informatics, University of Minnesota（明尼苏达大学健康信息学研究所）；Mayo Clinic（妙佑医疗国际（梅奥诊所））；Biomedical and Health Informatics, University of Washington（华盛顿大学生物医学与健康信息学系）；Pharmaceutical Care and Health Systems, University of Minnesota（明尼苏达大学药学保健与卫生系统系）
Equilibrium (Zipf) and Dynamic (Grasseberg-Procaccia) method based analyses of human texts. A comparison of natural (english) and artificial (esperanto) languages
GRAPES（GRAPES研究组）；U. Liege（列日大学）
本文通过对刘易斯·卡罗尔的两篇英文作品《爱丽丝梦游仙境》（Alice in wonderland）和《透过镜子》（Through a looking glass）的比较，来观察自然语言和人工语言之间是否存在显著差异。像信号这样的一维时间序列仅使用字频率（FTS）或字长度（LTS）来构造。通过（i）Zipf方法来研究数据，用于整理FTS中的相关性，以及（ii）基于Grassberger-Procaccia（GP）技术的方法来寻找LTS中的相关性。特点比较：观察到不同的幂律，其具有用于排序性质的特征指数和{ \it相空间吸引子维数}。Zipf指数可以取远小于1的值（$ca.$ 0.50或0.30），这取决于句子的定义方式。这种非普遍性被证明是对作者$style$的一种衡量。此外，吸引子维数$r$是所谓的相空间维数$n$的简单函数，即，$r = n^λ$和$λ= 0.79$。这样一个指数也应该推测是作者$creativity$的一个度量。然而，尽管英文原文和世界语译文在数量上存在差异，但在质量上的差异是非常微小的，这表明在这种情况下，翻译相对较好地尊重了作者的写作内容。
