CDH6.3.2集成Flink1.12.2

一、Linux下载httpd服务并开启
yum install y httpd
systemctl start httpd
systemctl enable httpd
二、获取已制作好的安装包
flink-1.12.2-bin-scala_2.11.tar
​
FLINK_ON_YARN-1.12.2.jar
​
flink-shaded-hadoop-2-uber-3.0.0-cdh6.3.2-10.0.jar
三、集成CM
1.上传编译好的parcel

将编译好的flink-1.12.2-bin-scala_2.11.tar解压到/var/www/html并重命名

# 将flink-1.12.2-bin-scala_2.11.tar解压到/var/www/html
[root@bigdata1 html] tar -xvf /opt/software/flink-parcel/flink-1.12.2-bin-scala_2.11.tar -C /var/www/html/
[root@bigdata1 html] cd /var/www/html/
# 重命名目录名称
[root@bigdata1 html] mv FLINK-1.12.2-BIN-SCALA_2.11_build/ flink1.12.2-on-cdh6.3.2
[root@bigdata1 html] cd flink1.12.2-on-cdh6.3.2
# 创建flink-on-cdh的本地仓库,确保createrepo工具已经安装
[root@bigdata1 flink1.12.2-on-cdh6.3.2] yum install -y createrepo
[root@bigdata1 flink1.12.2-on-cdh6.3.2] createrepo .

开启httpd服务后,可以通过以下网址查看是否正常上传

http://bigdata1/flink1.12.2-on-cdh6.3.2/

配置局域网flink的yum

[root@bigdata1 html] vim /etc/yum.repos.d/flink-on-cdh.repo

添加如下配置

[flink-on-cdh]
name=flink-on-cdh
baseurl=http://bigdata1/flink1.12.2-on-cdh6.3.2/
enabled=1
gpgcheck=0

将上述配置repo配置文件分发到所有节点上

所有节点上清除yum并建立yum缓存

yum clean all
yum makecache

CM-Server主节点上,将FLINK_ON_YARN-1.12.2.jar包复制到/opt/cloudera/csd/目录下(目的是让cm识别)

[root@bigdata1 bin] cp /opt/software/flink-parcel/FLINK_ON_YARN-1.12.2.jar /opt/cloudera/csd/

重启集群的CM-Server及CM-agent

service cloudera-scm-server restart
service cloudera-scm-agent restart
2.配置parcel库

CM页面—>主机—> parcel —> 配置,添加上传的parcel的位置

添加上传的parcel的位置

http://bigdata1/flink1.12.2-on-cdh6.3.2/

检查新Parcel ,然后下载—>分配—>激活

下载后报哈希验证失败错误

需要修改httpd配置文件

[root@bigdata1 flink1.12.2-on-cdh6.3.2] cp /etc/httpd/conf/httpd.conf /etc/httpd/conf/httpd.conf.bak
[root@bigdata1 flink1.12.2-on-cdh6.3.2] vim /etc/httpd/conf/httpd.conf

在AddType中添加.parcel

重启httpd服务

[root@bigdata1 flink1.12.2-on-cdh6.3.2] systemctl restart httpd

再次下载—>分配—>激活成功

3.部署flink-yarn服务

点击添加服务

添加Flink-yarn服务

配置参数,kerberos的配置默认值清除掉,不填

其他参数按默认值继续安装

安装完成后,登录部署flink-yarn服务的后台上传flink-shaded-hadoop-2-uber-3.0.0-cdh6.3.2-10.0.jar

将其上传到/opt/cloudera/parcels/FLINK/lib/flink/lib目录下

然后启动flink-yarn服务

启动服务后,需要重启cm后端

service cloudera-scm-server restart
4.webUI

进入YARN

查看应用程序,其中的Flink session cluster即为Flink on yarn进程

相关推荐

  1. <span style='color:red;'>Flink</span> <span style='color:red;'>CDC</span>

    Flink CDC

    2024-06-07 01:50:02      45 阅读
  2. <span style='color:red;'>Flink</span> <span style='color:red;'>CDC</span>

    Flink CDC

    2024-06-07 01:50:02      36 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-06-07 01:50:02       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-06-07 01:50:02       100 阅读
  3. 在Django里面运行非项目文件

    2024-06-07 01:50:02       82 阅读
  4. Python语言-面向对象

    2024-06-07 01:50:02       91 阅读

热门阅读

  1. Go 语言的控制结构:条件与循环

    2024-06-07 01:50:02       31 阅读
  2. python opencv运行报错

    2024-06-07 01:50:02       32 阅读
  3. python pytorch之torch.flip 按轴翻转/倒叙排列 方法

    2024-06-07 01:50:02       27 阅读
  4. mysql like 查询优化

    2024-06-07 01:50:02       25 阅读
  5. c++ 函数作为参数

    2024-06-07 01:50:02       31 阅读
  6. MTK 平台增加分区流程 及 注意事项

    2024-06-07 01:50:02       26 阅读
  7. 高通Android 12/Android 13截屏

    2024-06-07 01:50:02       30 阅读
  8. vue3中函数必须有返回值么?

    2024-06-07 01:50:02       31 阅读