该教程从零开始配置,包括换源,安装下载等全部内容
一、虚拟环境anaconda的下载与安装(换源)
进入到虚拟环境
docker exec -it ID
新建一个文件夹保存下载的文件
mkdir download
通过使用wget来下载anacodna安装包,建议使用清华镜像下载
官网下载:
wget https://repo.anaconda.com/archive/Anaconda3-2023.07-2-Linux-x86_64.sh
镜像下载:
wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2023.07-1-Linux-x86_64.sh
本地宿主机复制到容器中(修改路径即可)
docker cp /path/to/local/file container_id:/path/in/container/
安装应用
bash Anaconda3-2023.07-1-Linux-x86_64.sh
按照流程进行安装
确认协议和默认安装路径即可
二、给系统的pip和conda换源
安装新系统的第一件事情就是换源,加快下载速度
1.pip换源
docker中安装pip
apt-get update
apt-get install -y python3-pip
验证安装的结果
pip3 --version
/root/目录下创建 .pip 文件夹与 pip.conf 文件
mkdir .pip
vim .pip/pip.conf
## 添加如下内容,设置pip源为阿里云源
[global]
index-url = https://mirrors.aliyun.com/pypi/simple/
[install]
trusted-host=mirrors.aliyun.com
## :wq!保存退出即可
2.conda换源(不建议阿里源)
命令行换源:
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
conda config --add https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/
conda config --set show_channel_urls yes
修改文件方式: .condarc
channels:
- defaults
show_channel_urls: true
default_channels:
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2
custom_channels:
conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
pytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud
deepmodeling: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/
auto_activate_base: false
三、安装pytorch
进入pytorch的官方网站
找到对应的版本进行安装
https://pytorch.org/get-started/previous-versions/
训练过程中遇到的问题
1、虚拟共享内存不够
报错:ERROR: Unexpected bus error encountered in worker. This might be caused by insufficient shared memor
通过df -h查看shm的大小
可见容器默认的shared memory只有64MB。但训练程序中,data_loader设置的workers数目比较多,该程序中为8,这些workers通过共享内存进行协作,导致默认的共享内存不够用。
解决方法:
基于以上原因,解决方法可从两个方面入手:
将workers数量降低,例如设置num_workers=0;
将容器的共享内存加大,由上面英文提示,可通过–ipc=host或–shm-size进行设置。
这里,我选择的是第二种方式,加大容器的共享内存:
docker run ... --shm-size 8G ...
2、数据集的加载路径
建议使用绝对的路径,相对路径在容器中可能会报错
3、报错内容:ImportError: libGL.so.1: cannot open shared object file: No such file or directory。
这通常是因为你的系统缺少该库,它是 OpenGL 的一部分,许多图形相关的应用程序和库都需要它。
解决方法,安装相应的库文件
apt-get update && apt-get install libgl1
4、报错内容:ImportError: libgthread-2.0.so.0: cannot open shared object file: No such file or directory
解决方法:
sudo apt-get install libglib2.0-0