linux部署dagu和benthos作为调度平台+数据处理框架

准备文件

dagu和benthos下载地址(根据版本自行修改)
dagu: https://github.com/dagu-dev/dagu/releases/download/v1.12.11/dagu_1.12.11_linux_amd64.tar.gz
benthos: https://github.com/benthosdev/benthos/releases/download/v4.26.0/benthos_4.26.0_linux_amd64.tar.gz

上传文件到服务器的/tmp目录

创建etl用户

密码自行修改

useradd etl
echo 'etl:etlpwd' | chpasswd

部署脚本(使用etl用户创建)

dagu认证信息 部分按需修改
创建部署脚本 etlInstall.sh,内容如下

#!/bin/bash

set -Eeuo pipefail

#dagu认证信息(可按需修改)
export DAGU_BASICAUTH_USERNAME="admin"
export DAGU_BASICAUTH_PASSWORD="admin"
export DAGU_AUTHTOKEN="daguApiToken"

mkdir $HOME/bin
mkdir -p $HOME/etlDir/dagu
mkdir -p $HOME/etlDir/benthos

cd /tmp

tar -xf benthos_4.26.0_linux_amd64.tar.gz
tar -xf dagu_1.12.11_linux_amd64.tar.gz

cp dagu $HOME/bin
cp benthos $HOME/bin

cat >> $HOME/.bash_profile <<"EOF"

#ETL-ENV
export BENTHOS_HOME=$HOME/etlDir/benthos
export DAGU_HOME=$HOME/etlDir/dagu
export DAGU_HOST=0.0.0.0
export DAGU_PORT=9033
export DAGU_IS_BASICAUTH=1
export DAGU_IS_AUTHTOKEN=1
export DAGU_NAVBAR_COLOR="#a0aeba"
export DAGU_NAVBAR_TITLE="Dagu"

EOF


cat > $HOME/bin/startDagu <<EOF
#!/bin/bash

export DAGU_BASICAUTH_USERNAME="$DAGU_BASICAUTH_USERNAME"
export DAGU_BASICAUTH_PASSWORD="$DAGU_BASICAUTH_PASSWORD"
export DAGU_AUTHTOKEN="$DAGU_AUTHTOKEN"

nohup dagu start-all &> "\$DAGU_HOME/start-all.log" &

EOF

chmod 755 $HOME/bin/startDagu

部署

赋予etlInstall.sh执行权限
使用etl用户执行部署脚本 etlInstall.sh

chmod 755 etlInstall.sh
./etlInstall.sh

启动dagu调度服务及web服务

etl用户执行

source $HOME/.bash_profile
startDagu

使用浏览器访问dagu

http://192.168.2.57:9033
注意：用户名和密码是环境变量指定的

export DAGU_BASICAUTH_USERNAME="admin"
export DAGU_BASICAUTH_PASSWORD="admin"