文章目录
前言
在编程中,等待进程结束或许是一个很长时间,特别是深度学习。那么这种等待发生在晚上是一个不友好现象,为避免等待情况。我写了一个sh脚本,帮助监听PID,一旦PID进程结束,立即启动我们想运行程序(通常为模型训练),这样我们就不必监控此进程了。当然,深度学习也会涉及自动启动虚拟环境等状况,使其更加智能,我也会在本文中给出sh文件书写方式。
一、等待进程结束自动运行新进程
在这个修改后的Shell脚本中,我们设置了要监听的PID为29455(你可以根据实际情况更改为其他PID),然后在循环中检查该PID是否在运行。如果PID不再运行,则会打印一条消息并立即运行scripts/v1_5/finetune_lora.sh文件。需要说明,如果你执行 scripts/v1_5/finetune_lora.sh此命令需要用什么环境,可提前conda activte “你的环境”,随后类似服务器命令执行方法一样。其sh文件脚本如下:
# 设置要监听的PID
pid_to_monitor=29455
while true; do
if ! ps -p $pid_to_monitor > /dev/null; then
echo "PID $pid_to_monitor is not running. Starting lora.sh..."
sh scripts/v1_5/finetune_lora.sh
echo "lora.sh started."
break
fi
sleep 5
done
二、智能环境切换
本部分以yolov5的方式来说明,如何切换虚拟环境,如何获得当前路径,如何执行命令等内容。其sh脚本如下:
# train.sh
echo -e "\n"train time $(date "+%Y-%m-%d")"\n"
# 更换虚拟环境
__conda_setup="$('/home/anaconda3/bin/conda' 'shell.bash' 'hook' 2> /dev/null)"
if [ $? -eq 0 ]; then
eval "$__conda_setup"
else
if [ -f "/home/anaconda3/etc/profile.d/conda.sh" ]; then
. "/home/anaconda3/etc/profile.d/conda.sh"
else
export PATH="/home/anaconda3/bin:$PATH"
fi
fi
unset __conda_setup
conda activate yolov5 # 激活环境
cur_dir=$(cd `dirname $0`;pwd) # 获得当前路径
echo -e "\ncur_dir:"${cur_dir}"\n"
yaml_dir=$cur_dir/coco128_hncy.yaml
echo -e "\nyaml_dir:"${yaml_dir}"\n"
save_dir=$cur_dir/runs/train
echo -e "\nsave_dir:"$save_dir"\n"
# 判断并构建文件夹
if [ -d ${save_dir} ];then
echo "save_dir 文件存在"
else
echo "save_dir文件不存在-->创建文件"
mkdir -p $save_dir
fi
# cd 进入模型路径位置
model_dir=/home/Project/yolov5-6.0
cd ${model_dir}
ls
echo -e "\n\n\n\t\t\t start train ... \n\n\n"
python train.py --data $yaml_dir # 执行命令
总结
当然想智能切换环境整合到进程上面,也是可以的。请读者自行整合。