由于参数文件比较大,因此onnx、engine等大文件弃用LFS管理,改用dvc管理:
minio就是存储用的
- 启动minio
sudo netstat -ntpl#查看端口号 sudo kill -9 $(sudo lsof -i:5061 -t) 关闭端口对应进程 ./minio server --console-address ":6570" --address ":6571" /home/lxxx/dataset/minio #启动
- 登录
http://127.0.0.1:6570/login 默认账户名 RootUser: minioadmin RootPass: minioadmin
- 创建创建buket
- 启动minio
DVC
安装
pip install dvc pip install dvc_s3
初始化
dvc init #会创建一个.dvc的文件
创建一个git提交
git commit -m "Initialize DVC"
dvc追踪
dvc add onnx git add .gitignore #.gitignore 中直接设置 onnx dvc config core.autostage true #大意就是直接存储 # 有提示则还需要删除一些git的追踪 git rm -r --cached 'onnx\xxx.onnx' git commit -m "stop tracking onnx\xxx.onnx"
追加dvc远端信息;实际上就是.dvc/config中
dvc remote add -d minio s3://model/onnx -f dvc remote modify minio endpointurl http://xxxx:6571 dvc remote modify minio access_key_id xxxx dvc remote modify minio secret_access_key xxxx dvc push
dvc拉去
dvc pull