6. dolphinscheduler-3.0.0伪集群部署

环境说明:

主机名:cmc01为例 

操作系统:centos7

安装部署软件 版本 部署方式
centos 7
zookeeper zookeeper-3.4.10 伪分布式
hadoop hadoop-3.1.3 伪分布式
hive hive-3.1.3-bin 伪分布式
clickhouse 21.11.10.1-2 单节点多实例
dolphinscheduler 3.0.0 单节点
kettle pdi-ce-9.3.0.0 单节点
sqoop sqoop-1.4.7 单节点
seatunnel seatunnel-incubating-2.1.2 单节点
spark spark-2.4.8 单节点

1.下载dolphinscheduler: 

   官网:https://dolphinscheduler.apache.org/zh-cn/download/download.html

   解压:

# 解压
tar -zxvf /opt/package/apache-dolphinscheduler-3.0.0-alpha-bin.tar.gz -C /opt/software/

2.配置环境变量

vim ~/.bash_profile
 
# hive
export HIVE_HOME=/opt/software/hive-3.1.3-bin
export HIVE_CONF_DIR=${HIVE_HOME}/conf
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*
export PATH=$PATH:${HIVE_HOME}/bin

# 使用环境变量生效
source ~/.bash_profile

3.配置用户免密及权限

# 创建用户需使用 root 登录
useradd dolphinscheduler

# 添加密码
echo "dolphinscheduler" | passwd --stdin dolphinscheduler

# 配置 sudo 免密
sed -i '$adolphinscheduler  ALL=(ALL)  NOPASSWD: NOPASSWD: ALL' /etc/sudoers
sed -i 's/Defaults    requirett/#Defaults    requirett/g' /etc/sudoers

# 修改目录权限
chown -R dolphinscheduler:dolphinscheduler /opt/software/apache-dolphinscheduler-3.0.0-alpha-bin

# 测试用户免密是否成功
su dolphinscheduler
sudo ls  # 如果此命令不需要输入密码则成功

# 退出当前用户
exit

4.配置机器SSH免密登陆

su dolphinscheduler

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

5.修改配置文件

  1.修改 install_env.sh 文件

cd /opt/software/apache-dolphinscheduler-3.0.0-alpha-bin/bin/env

# 修改 install_env.sh 文件
vim install_env.sh

相关推荐

  1. DolphinScheduler3.2.1 部署[二]

    2024-07-22 05:20:03       27 阅读
  2. 海豚调度 Dolphinscheduler-3.2.0 离线部署 模式

    2024-07-22 05:20:03       80 阅读
  3. dolphinscheduler独立部署文档(海豚调度)

    2024-07-22 05:20:03       23 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-07-22 05:20:03       52 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-07-22 05:20:03       54 阅读
  3. 在Django里面运行非项目文件

    2024-07-22 05:20:03       45 阅读
  4. Python语言-面向对象

    2024-07-22 05:20:03       55 阅读

热门阅读

  1. kafka 基础知识

    2024-07-22 05:20:03       16 阅读
  2. 欧拉路径与欧拉回路

    2024-07-22 05:20:03       19 阅读
  3. Linux grep技巧 提取log中的json数据

    2024-07-22 05:20:03       13 阅读
  4. Python 异常处理

    2024-07-22 05:20:03       14 阅读
  5. Python中的__new__方法及实现单例模式

    2024-07-22 05:20:03       14 阅读
  6. FlowUs横向对比几款笔记应用的优势所在

    2024-07-22 05:20:03       16 阅读
  7. 公式推导类

    2024-07-22 05:20:03       17 阅读
  8. 【C++】C++内存泄漏介绍及解决方案

    2024-07-22 05:20:03       15 阅读
  9. 后台接口的配置

    2024-07-22 05:20:03       15 阅读
  10. Optional 中 map 和 flatMap 区别是啥?

    2024-07-22 05:20:03       15 阅读