大数据学习十二天（补hadoop基础1）

1、 分布式的基础架构分析[重要]

集群架构模式:

主从架构(中心化):

• 主角色 master: 发号施令,负责任务的接受和分配

• 从角色 slave: 负责干活

主备架构:可以解决中心化存在的问题

• 主角色active : 正常工作

• 备角色standby : 观察主角色工作,并实时备份主角色数据,当主角色宕机后,立即上位.

去中心化模式 : 例如区块链

hadoop中的HDFS集群和Yarn集群都是主从模式架构.

2、HDFS的基础架构[重要]

HDFS的角色分配:

NameNode:是集群中的主角色或主节点,负责 DataNode的管理工作

DataNode:是集群中的从角色或从节点, 负责数据文件的读或写

SecondaryNameNode: 是集群中的辅助角色或辅助节点,负责帮助NameNode完成管理工作(负责元数据的合并工作).

---

NN在开发中只有一个主服务，容易出现单点故障，在主从架构中，一旦主服务不可用，整个服务都不可用

使用主备方式解决单点故障

运行多个NN，但是对外处理请求的只有一个

一般公司选择是一主一备方案

---

一个典型的HDFS集群中会有多个DataNode,但是活跃的NameNode只能有一个,如果集群资源不足,则需要扩展DataNode节点数量.如果元数据管理能力不足,则需要给namenode提升服务器性能.

HDFS是一个标准的主从架构

注意: 通常情况下, NameNode的服务器性能,要比DataNode高.(cpu和内存大)

 3、服务的启动

        1）一键启动hdfs集群

                start-dfs.sh

        2）一键关闭hdfs集群

                stop-dfs.sh

        3）如果遇到命令未找到的错误，表明环境变量未配置好，可以以绝对路径执行

                /export/server/hadoop/sbin/start-dfs.sh

                /export/server/hadoop/sbin/stop-dfs.sh

服务启动后可以使用jps查看服务进程

4、使用浏览器访问服务，验证服务器是否启动

        namenode所在服务器的ip地址:9870

        192.168.88.100:9870

        可以在浏览器看虚拟服务器的内容

5、使用ls指令查看hdfs中的文件目录信息

        1）hdfs dfs -ls 路径        //路径要从根路径指定

        2）hadoop fs -ls 路径

6、hdfs的文件目录操作

        1）hdfs dfs -mkdir /路径

        2）hdfs dfs -touch /路径/文件

        3）hdfs dfs -mv 原始路径 目录路径

        4）hdfs dfs -cp 原始路径 目录路径

        5）hdfs dfs -rm -r /路径

7、文件的上传和下载

        1）put指令：从linux服务器本地上传到hdfs文件系统中

                hdfs dfs -put 本地文件路径（写绝对路径）hdfs的路径

                如：hdfs dfs -put /var/log/messages /

        2）get命令：从hdfs文件系统将文件下载到linux文件系统中

                hdfs dfs -get hdfs的文件路径 本地文件路径

                hdfs dfs -get /sparklog/a.txt /root

注意：在hdfs中使用任何文件或者目录，要使用绝对路径进行查找，在hdfs中没有工作目录的概念，更没有绝对路径的概念

8、一些简单的练习

        1）在hdfs中创建文件夹：/it/a，如果存在请删除

                 hdfs dfs -mkdir -p /it/a

        2）上传/etc/hosts文件到hdfs的it/a内

                hdfs dfs -put /etc/hosts /it/a

        3）向hdfs中上传的文件追加：ldafjlfd到最后一行

                touch /a.txt

                echo ldafjlfd > /a.txt

                hdfs dfs -appendToFile /a.txt /it/a/hosts

        4）下载hdfs中上传的文件到本地目录

                hdfs dfs -get /it/a/hosts /

        5）将/it/a/hosts文件复制根目录下

                hdfs dfs -cp /it/a/hosts /

        6）将/it/a/hosts文件重命名为/it/mvhosts

                 hdfs dfs -mv /hosts /it/mvhosts

        7）在hdfs中删除/it文件夹

                hdfs dfs -rm -rf /it

9、HDFS webUI的使用(掌握)

我们可以使用node1:9870打开hdfs的网页端,但是前提是必须配置windows系统下的主机映射,否则只能使用ip访问

192.168.88.100:9870

打开C:\Windows\System32\drivers\etc\hosts文件

在下方写入主机映射内容

192.168.88.100 node1 node1.itcast.cn
192.168.88.101 node2 node2.itcast.cn
192.168.88.102 node3 node3.itcast.cn

在这里面可以可视化上传下载修改文件，比较方便