安装配置sqoop

一、了解Sqoop

1、Sqoop产生的原因

A. 多数使用hadoop技术的处理大数据业务的企业,有大量的数据存储在关系型数据中。

B. 由于没有工具支持,对hadoop和关系型数据库之间数据传输是一个很困难的事。

以上是sqoop产生的主要原因,也因此Sqoop主要用于hadoop与关系型数据库之间的数据交换。

2、Sqoop的介绍

sqoop是连接关系型数据库和hadoop的桥梁,主要有两个方面(导入和导出):

A. 将关系型数据库的数据导入到Hadoop 及其相关的系统中,如 Hive和HBase

B. 将数据从Hadoop 系统里抽取并导出到关系型数据库

3、Sqoop的优点

A. 可以高效、可控的利用资源,可以通过调整任务数来控制任务的并发度。

B. 可以自动的完成数据映射和转换。由于导入数据库是有类型的,它可以自动根据数据库中的类型转换到Hadoop 中,当然用户也可以自定义它们之间的映射关系

C.支持多种数据库,如mysql,orcale等数据库

4、Sqoop工作的机制

将导入或导出命令翻译成MapReduce程序来实现在,MapReduce 中主要是对InputFormat和OutputFormat进行定制。

5、Sqoop的使用

1) 查看数据库的名称

sqoop list-databases --connect jdbc:mysql://ip:3306/ --username 用户名 --password 密码

2) 列举出数据库中的表名

sqoop list-tables --connect jdbc:mysql://ip:3306/数据库名称 --username 用户名 --password 密码

3) 导入

sqoop im

相关推荐

  1. sqoop安装与使用

    2024-02-01 17:02:02       38 阅读
  2. 华为配置 dhcp snooping

    2024-02-01 17:02:02       32 阅读
  3. Windows 11 安装 Scoop

    2024-02-01 17:02:02       39 阅读
  4. scoop安装在D盘

    2024-02-01 17:02:02       23 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-02-01 17:02:02       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-02-01 17:02:02       100 阅读
  3. 在Django里面运行非项目文件

    2024-02-01 17:02:02       82 阅读
  4. Python语言-面向对象

    2024-02-01 17:02:02       91 阅读

热门阅读

  1. unity 讯飞webapi在线语音合成

    2024-02-01 17:02:02       54 阅读
  2. pip install matplotlib

    2024-02-01 17:02:02       68 阅读
  3. 小白Linux学习笔记-1.基础命令

    2024-02-01 17:02:02       40 阅读
  4. MySQL必看表设计经验汇总-下(精华版)

    2024-02-01 17:02:02       60 阅读
  5. 代码随想录算法训练营第六天 - 哈希表part02

    2024-02-01 17:02:02       46 阅读
  6. 超时引发的牛角尖一(hystrix概述)

    2024-02-01 17:02:02       50 阅读