前言：

如何从头开始训练一个自己的语言模型呢？相信有不少人好奇，现如今大语言模型层出不穷，但都属于大而全的模型。假如有一些私有化的数据，出于安全不想公开。那么训练一个私有化的专用模型，完全可以满足私有化的使用场景岂不是更好。

那么如何自己训练一个语言模型呢？今天给大家分享一个轻量级的语言模型训练项目—Minimind，该项目教你如何从头开始训练一个自己的轻量级语言模型。

背景：

Minimind开源的初衷是拉低LLM的学习门槛，让每个人都能从理解每一行代码开始， 从零开始亲手训练一个极小的语言模型。是的，从零开始训练，而不是仅仅进行推理！ 最低只需3块钱不到的服务器成本，就能亲身体验从0到1构建一个语言模型的全过程。

特点：

1. Minimind项目训练模型简单、提供完整的详细操作步骤。
2. 收集、蒸馏、整理并清洗去重所有阶段的高质量数据集，且全部开源。
3. 可视化UI界面：支持基于streamlit实现最简聊天WebUI前端，训练完成即可在可视化页面测试效果。
4. 同时支持API：实现Openai-Api协议的极简服务端，便于集成到第三方ChatUI使用（FastGPT、Open-WebUI等）。
5. 训练：支持单机单卡、单机多卡(DDP、DeepSpeed)训练，支持wandb可视化训练流程。支持动态启停训练。
6. 兼容主流框架：同时兼容transformers、trl、peft等第三方主流框架。
7. 多种方式支持：从0实现预训练、指令微调、LoRA、DPO强化学习，白盒模型蒸馏。关键算法几乎不依赖第三方封装的框架，且全部开源。

开始：

第一步：克隆项目

git clone https://github.com/jingyaogong/minimind.git

第二步：环境准备

pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple

第三步：下载模型

git clone https://huggingface.co/jingyaogong/MiniMind2

第四步：命令行问答

# load=0: load from pytorch model, load=1: load from transformers-hf model
python eval_model.py --load 1 --model_mode 2

或者，你喜欢界面操作可以使用如下命令，启动WebUI界面：

# 可能需要`python>=3.10` 安装 `pip install streamlit`
# cd scripts
streamlit run web_demo.py

模型训练：

前面介绍是使用该项目已经训练好的模型，进行体验效果。下面正式开始介绍如何使用该项目训练自己的模型。

第一步：环境准备

前面的第一步：克隆项目，第二步：环境准备，已经操作过，因此这里不需要再进行操作。前提测试Torch是否可用cuda，以下代码输出为true即可。

import torch
print(torch.cuda.is_available())

第二步：数据下载

从下文提供的下载链接，下载数据集。 下载需要的数据文件（创建./dataset目录）并放到./dataset下。

https://www.modelscope.cn/datasets/gongjy/minimind_dataset/files

注意：默认推荐下载pretrain_hq.jsonl + sft_mini_512.jsonl最快速度复现Zero聊天模型。

数据文件可自由选择，下文提供了多种搭配方案，可根据自己手头的训练需求和GPU资源进行适当组合。

当然你也可以按照该格式，准备自己的数据集。这里只是为了快速训练，方便进行使用开源数据集。

第三步：开始训练

一切准备就绪后，即可开始训练，使用如下脚本进行训练。

python train_pretrain.py

或监督微调训练：

python train_full_sft.py

第四步：测试模型效果

模型训练结束后，确保需要测试的模型*.pth文件位于./out/目录下。

python eval_model.py --model_mode 1 # 默认为0：测试pretrain模型效果，设置为1：测试full_sft模型效果

其他更多，参考官方的详细的说明文档。