训练的数据集构造方式

训练数据集构造方式

文档概述

本文档介绍大模型微调训练数据集的构造方式和最佳实践。

相关文档：

• 基于 MLX-LM 框架的 Qwen8 微调方案

---

参考资料

• Fetching Data#pnab - 知乎专栏

数据集构造流程图

---

常见数据格式

1. Instruction 格式

{
    "instruction": "任务指令描述",
    "input": "用户输入内容",
    "output": "期望的模型输出"
}

2. Chat 格式（推荐）

{
    "messages": [
        {"role": "system", "content": "系统提示词"},
        {"role": "user", "content": "用户问题"},
        {"role": "assistant", "content": "助手回答"}
    ]
}

3. Completion 格式

{
    "prompt": "输入提示",
    "completion": "期望的补全内容"
}

数据质量建议

• 确保数据格式一致性
• 覆盖各种边界情况
• 数据量建议：1000-10000 条高质量样本
• 训练集/验证集/测试集比例：8:1:1