Spark将execl表格文件导入到mysql中

实现代码

excel所需的pom依赖 

案例实现 


实现代码

package excel_mysql

import org.apache.spark.sql.SparkSession
import java.util.Properties

object t1 {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder()
      .appName("ExcelToMySQL") //项目名
      .master("local[*]")
      .getOrCreate()

    // 读取Excel表
    val df = spark.read
      .format("com.crealytics.spark.excel") //需要的包
      .option("header", "true")
      .load("file:///D:\\sparks\\src\\main\\datas\\d.xlsx") //本地excel文件路径

    // 创建MySQL连接配置
    val jdbcHostname = "192.168.10.137" //连接主机ip
    val jdbcPort = 3306 //端口
    val jdbcDatabase = "test" //数据库名
    val jdbcUsername = "root" //用户名
    val jdbcPassword = "123456" //mysql密码
    val jdbcUrl = s"jdbc:mysql://${jdbcHostname}:${jdbcPort}/${jdbcDatabase}"
    val connectionProperties = new Properties()
    connectionProperties.put("user", s"${jdbcUsername}")
    connectionProperties.put("password", s"${jdbcPassword}")

    // 将DataFrame写入MySQL表中
    df.write
      .mode("overwrite")
      .jdbc(jdbcUrl, "user_info", connectionProperties) //导入目标的mysql数据库下的表名
    spark.stop()
  }
}


excel所需的pom依赖 

        <dependency>
            <groupId>com.crealytics</groupId>
            <artifactId>spark-excel_2.12</artifactId>
            <version>0.13.7</version>
        </dependency>

案例实现 

        准备的excel表: 

        放在路径下面: 

 

 执行代码:

 在mysql中查看:

 

相关推荐

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2023-12-06 16:16:06       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2023-12-06 16:16:06       100 阅读
  3. 在Django里面运行非项目文件

    2023-12-06 16:16:06       82 阅读
  4. Python语言-面向对象

    2023-12-06 16:16:06       91 阅读

热门阅读

  1. Android AIDL实现开放系统级API 提供三方app调用

    2023-12-06 16:16:06       39 阅读
  2. spark不同结构Dataset合并

    2023-12-06 16:16:06       50 阅读
  3. 云原生高级--shell自动化脚本备份

    2023-12-06 16:16:06       65 阅读
  4. SCAU:18043 找出3个数中最大的数

    2023-12-06 16:16:06       55 阅读
  5. 关于python vue influxdb的一切 笔记

    2023-12-06 16:16:06       61 阅读
  6. SD-WAN异地组网提升多元企业网络体验

    2023-12-06 16:16:06       61 阅读
  7. 数据结构--堆排序

    2023-12-06 16:16:06       41 阅读
  8. swiper/vue 获取 swiper实例方法

    2023-12-06 16:16:06       62 阅读
  9. 【华为交换】交换机MSTP+VRRP配置

    2023-12-06 16:16:06       64 阅读
  10. jvm 调优参数

    2023-12-06 16:16:06       46 阅读
  11. ElasticSearch之Search settings

    2023-12-06 16:16:06       63 阅读