Recently, Large Language Models (LLMs) have demonstrated outstanding performance across a wide range of downstream language tasks. Temperature sampling is a commonly used decoding strategy for LLMs' generation process. However, a fixed temperature parameter is used in most cases, which may not always be an optimal choice for balancing generation quality and diversity. In this paper, we propose an effective Entropy-based Dynamic Temperature (EDT) Sampling method, to achieve a more balanced performance in terms of both generation quality and diversity by dynamically selecting the temperature parameter. Additionally, we also show model performance and comprehensive analyses for 4 different generation benchmarks. Our experiments show that EDT significantly outperforms the existing strategies across different tasks.
Ten Words Only Still Help: Improving Black-Box AI-Generated Text Detection via Proxy-Guided Efficient Re-Sampling
Key Lab of Intelligent Information Processing of Chinese Academy of Sciences（中国科学院智能信息处理重点实验室）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Xi’an Jiaotong University（西安交通大学）
PANDAS: Improving Many-shot Jailbreaking via Positive Affirmation, Negative Demonstration, and Adaptive Sampling
University of Toronto, Vector Institute（多伦多大学，向量研究所）；University of Oxford（牛津大学）；Polytechnique Montréal, Mila - Quebec AI Institute, University of Toronto（蒙特利尔理工学院，魁北克人工智能研究所，多伦多大学）
Improving Sampling Methods for Fine-tuning SentenceBERT in Text Streams
Instituto Federal de Santa Catarina (IFSC)（圣卡塔琳娜联邦学院（IFSC））；Pontifícia Universidade Católica do Paraná (PUCPR)（巴拉那天主教大学（PUCPR））；École de Technologie Supérieure (ÉTS), Université du Québec（魁北克大学高等技术学院（ÉTS））；Universidade Estadual de Ponta Grossa (UEPG)（庞塔格罗萨州立大学（UEPG））
Improving Word Representations: A Sub-sampled Unigram Distribution for Negative Sampling
The Chinese University of Hong Kong（香港中文大学）
Word 2 Vec是最流行的词表示模型，在文献中得到了广泛的研究。然而，其负采样噪声分布是由经验试验决定的，其最优性一直被忽视。我们认为，该分布是一个次优的选择，并建议使用子采样的unigram分布更好的负采样。我们的贡献包括：（1）提出了语义量化的概念，并推导出了适合不同训练语料的次采样率;（2）通过大量的评价任务，证明了该方法在负采样和噪声对比估计方面的优势;（3）提出了一种语义加权模型，用于MSR句子完成任务，结果有了很大的改进。我们的工作不仅提高了词向量的质量，而且有利于当前对Word 2 Vec的理解。
Improving Simultaneous Machine Translation with Monolingual Data
JD Explore Academy（京东探索研究院）
同步机器翻译（SiMT）通常通过从整句神经机器翻译（NMT）模型中提取序列级知识（Seq-KD）来完成。然而，NMT和SiMT之间仍然存在显著的性能差距。在这项工作中，我们建议利用单语数据来改进SiMT，该SiMT学生将Seq-KD提取的双语数据和外部单语数据相结合。在En-Zh和En-Ja新闻领域语料库上的初步实验表明，单语数据可以显着提高翻译质量（例如，+3.15 BLEU on En-Zh）。受同声传译人员行为的启发，我们提出了一种新的SiMT单语采样策略，同时考虑块长度和单调性。实验结果表明，该采样策略避免了SiMT的关键问题--幻觉，性能优于随机采样策略（以及其他传统的典型NMT单语采样策略），并具有更好的可扩展性。我们在En-Zh和En-Ja上实现了平均+0.72 BLEU改进。数据和代码可以在https://github.com/hexuandeng/Mono4SiMT上找到。
Improving Sampling for Masked Diffusion Models via Information Gain
Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；Massachusetts Institute of Technology（麻省理工学院）；Shanghai Jiao Tong University（上海交通大学）；Beihang University（北航）；College of AI, Tsinghua University（清华大学人工智能学院）
