注意事项
- 2.0版本的模型需要大概10GB以上的显存，确保自己的显存够
环境准备
- 创建虚拟环境
conda create -n your_env_name python==3.10
- 克隆swift仓库
git clone https://github.com/modelscope/swift.git
- 进入仓库，安装必要的环境
cd swift
pip install -e ‘.[llm]’
推荐用清华源装
pip install -e ‘.[llm]’ -i https://pypi.tuna.tsinghua.edu.cn/simple
- 还需要安装一个特别的包，timm，这是一个图像分类库
pip install timm
推荐用清华源装
pip install timm -i https://pypi.tuna.tsinghua.edu.cn/simple
上传模型
- 我喜欢将模型下载到本地，然后上传到服务器，看个人喜好，你也可以推理的时候直接下载，但是huggingface的访问速度很慢，你可以设置镜像
export HF_ENDPOINT=https://hf-mirror.com
模型下载链接：MiniCPM-V-2
我将模型上传到新建的model目录（上传到那，随意，只要空间够）下，如下图：
上传数据
- 训练的数据格式如下,支持多轮对话，但是每轮对话只能上传一张图片，我的数据都是单轮问答，所以我的格式就只是第一行的格式。
{"query": "55555", "response": "66666", "images": ["image_path"]}
{"query": "eeeee", "response": "fffff", "history": [], "images": ["image_path"]}
{"query": "EEEEE", "response": "FFFFF", "history": [["AAAAA", "BBBBB"], ["CCCCC", "DDDDD"]], "images": ["image_path"]}
我的数据集格式如下：
- 上传数据集的时候确保你的图片和数据集的json文件在同一目录，以确保使用相对路径可以找到他们。
开始微调
命令如下：
CUDA_VISIBLE_DEVICES=0
swift sft
–model_type minicpm-v-v2-chat
–dataset “/home/fanzhengjie/fsy/swift/swift.json”
–model_id_or_path “/home/fanzhengjie/fsy/swift/model/MiniCPM-V-2/”
- CUDA_VISIBLE_DEVICES=0 指定哪一张卡来跑
- swift sft 运行sft脚本
- –dataset 给出数据集路径
- –model_id_or_path 给出本地模型路径
跑起来是这样的
- 可以看到他使用的是一个脚本
- 日志和输出保存在output
- 下图可以看出正在训练，可以看到他的各种参数保存的路径
跑完之后可以发现检查点有一个最新一个best，可以都去试试合并
模型合并
- 也可以直接推理，这里就不演示了
模型合并如下：可以在输出中找到最新的检查点，或者最好的检查点进行合并。
合并命令：
CUDA_VISIBLE_DEVICES=0 swift export
–ckpt_dir output/minicpm-v-v2-chat/vx-xxx/checkpoint-xxx
–merge_lora true
合并后推理
CUDA_VISIBLE_DEVICES=0 swift infer
–ckpt_dir output/minicpm-v-v2-chat/vx-xxx/checkpoint-xxx-merged
–load_dataset_config true
可能遇到的错误
- NotImplementedError: Using RTX 4000 series doesn’t support faster communication broadband via P2P or IB. Please set
NCCL_P2P_DISAB LE="1"andNCCL_IB_DISABLE="1" or useaccelerate launch` which will do this automatically.
详细错误如下图：
- 解决方案,设置两个环境变量：
export NCCL_P2P_DISABLE=1
export NCCL_IB_DISABLE=1
