Spark SQL将Hive表中的数据写入到MySQL数据库中

import org.apache.spark.sql.SparkSession

object HiveToMySQL {
  def main(args: Array[String]): Unit = {
    // 创建SparkSession
    val spark = SparkSession.builder()
      .appName("HiveToMySQL")
      .enableHiveSupport()
      .getOrCreate()

    // 读取Hive表数据
    val hiveDF = spark.table("hive_table_name")

    // 写入MySQL表
    hiveDF.write
      .format("jdbc")
      .option("url", "jdbc:mysql://localhost:3306/database_name")
      .option("dbtable", "mysql_table_name")
      .option("user", "mysql_username")
      .option("password", "mysql_password")
      .save()
    
    // 关闭SparkSession
    spark.stop()
  }
}
  • "hive_table_name":Hive表的名称。
  • "jdbc:mysql://localhost:3306/database_name":MySQL数据库的连接URL,包括主机名、端口号和数据库名称。
  • "mysql_table_name":要写入的MySQL表的名称。
  • "mysql_username":MySQL数据库的用户名。
  • "mysql_password":MySQL数据库的密码。

确保替换这些参数后,运行代码即可将Hive表中的数据写入到MySQL表中。

相关推荐

  1. Spark SQLHive数据写入MySQL数据库

    2023-12-12 17:00:08       40 阅读
  2. Python数据写入Mysql

    2023-12-12 17:00:08       20 阅读
  3. 使用Spark写入数据数据库

    2023-12-12 17:00:08       36 阅读
  4. Mysql数据库中表名和数据导入hive数据库

    2023-12-12 17:00:08       26 阅读
  5. Android开发String数据写入本地文件

    2023-12-12 17:00:08       43 阅读

最近更新

  1. TCP协议是安全的吗?

    2023-12-12 17:00:08       18 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2023-12-12 17:00:08       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2023-12-12 17:00:08       18 阅读
  4. 通过文章id递归查询所有评论(xml)

    2023-12-12 17:00:08       20 阅读

热门阅读

  1. 2023小红书Android面试之旅

    2023-12-12 17:00:08       50 阅读
  2. 数据处理生产环境_获取当前日期的前一天日期

    2023-12-12 17:00:08       37 阅读
  3. String转Date,Date转String

    2023-12-12 17:00:08       39 阅读
  4. XSLVGL2.0 User Manual 资源管理器(v2.0)

    2023-12-12 17:00:08       40 阅读
  5. PTA-列出所有祖先结点

    2023-12-12 17:00:08       33 阅读
  6. 分布式下如何实现配置管理?

    2023-12-12 17:00:08       33 阅读
  7. linux中jdk导入第三方https的ca证书

    2023-12-12 17:00:08       48 阅读
  8. K8S学习指南(9)-k8s核心对象init pod

    2023-12-12 17:00:08       39 阅读
  9. linux通信

    2023-12-12 17:00:08       31 阅读
  10. Nginx的stream配置

    2023-12-12 17:00:08       39 阅读