smoltalk-chinese – OpenCSG 开源专为中文大型语言模型设计的合成数据集-爱论文

smoltalk-chinese是什么

smoltalk-chinese 是OpenCSG开源的专为中文大型语言模型（LLM）设计的合成数据集，该数据集包含超过 70 万条合成数据，涵盖了信息查询、推理、计划、编辑、编程、数学、角色扮演、数据分析、创意写作、咨询和头脑风暴等多种任务类型。这些多样化的任务设计旨在提升模型的多功能性和适应性，在不同应用场景中表现更佳。数据集的生成过程严格遵循高标准，采用先进的生成模型和去重技术，确保数据的质量和多样性。

smoltalk-chinese的主要功能

提升语言模型性能：数据集专为中文大型语言模型（LLM）设计，通过高质量的合成数据支持模型的监督微调（SFT），提高模型在多种任务上的表现。多样化任务覆盖：数据集涵盖了信息查询、推理、计划、编辑、编程、数学、角色扮演、数据分析、创意写作、咨询和头脑风暴等多种任务类型，增强了模型的多功能性和适应性。高质量数据生成：基于先进的生成模型和去重技术，确保数据的质量和多样性，避免数据重复和冗余。支持多种应用场景：通过模拟日常生活中的对话风格和包含数学题数据等，模型能更好地适应实际应用场景。

smoltalk-chinese的技术原理

数据生成：使用 Magpie 合成原始数据，结合 deepseek-v2.5 和 qwen2.5-72b-instruct 等生成模型，以及 Distilabel 库进行数据生成。这些工具和模型的组合确保了生成数据的丰富性和多样性.数据筛选：基于 qwen2-7b-instruct 模型对对话数据的第一条指令进行清晰度和流畅度评分，仅保留评分在2分及以上的数据，保证数据的质量。去重处理：使用 gte-large-zh 模型对对话数据的第一条指令进行编码，根据嵌入相似度（阈值设定为0.8）进行去重处理，确保数据的独特性和多样性。数据分类统计：对生成的数据进行分类和统计，更好地理解数据的分布和特性。

smoltalk-chinese的项目地址

HuggingFace模型库：https://huggingface.co/datasets/opencsg/smoltalk-chinese

smoltalk-chinese的应用场景

语言模型微调：数据集专为中文大型语言模型的监督微调（SFT）设计，通过高质量的合成数据支持模型在多种任务上的表现提升。多样化任务训练：数据集涵盖了信息查询、推理、计划、编辑、编程、数学、角色扮演、数据分析、创意写作、咨询和头脑风暴等多种任务类型，能够帮助模型在这些领域中更好地理解和生成文本。对话系统优化：通过模拟真实的用户交互场景，smoltalk-chinese 为对话系统提供了丰富的训练材料，使其能够更好地理解和生成自然语言对话。数学推理能力提升：数据集中包含来自 Math23K 中文版的数学题数据，有助于增强模型在数学推理和问题解决方面的能力。