sparksql的SQL风格编程

我们前面的文章介绍了DSL风格的编程,现在介绍以下两种编程风格之一的sql风格编程。

sql风格编程简介

sql风格编程就是我们可以通过spark.sql来执行sql语句进行查询,这时的DataFrame就像是一张关系型数据表。返回的是DataFrame。
如果我们想用sql风格的编程,需要先将DataFrame注册成表,注册表的方式有以下3种:

# 注册临时表
df.createTempView("score")
# 注册临时表,如果存在则替换
df.createOrReplaceTempView("score")
# 注册全局表
df.createGlobalTempview("score")

值得注意的是,全局表是可以跨sparksession对象使用的,在一个程序内,多个sparksession对象都可以使用,临时表只能在当前的sparksession中使用,全局表的查询需带上前缀global_temp.xxx

将dataframe注册成表之后就可以用sql语句来查询了

spark.sql("SELECT subject, COUNT(*) AS cnt FROM score GROUP BY subject").show()

相关推荐

  1. sparksqlSQL风格编程

    2024-03-18 11:38:03       44 阅读
  2. sparksql DSL编程风格

    2024-03-18 11:38:03       40 阅读
  3. (二)PySpark3:SparkSQL编程

    2024-03-18 11:38:03       37 阅读
  4. es6编程风格

    2024-03-18 11:38:03       32 阅读
  5. 2.面向对象编程风格

    2024-03-18 11:38:03       48 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-03-18 11:38:03       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-03-18 11:38:03       100 阅读
  3. 在Django里面运行非项目文件

    2024-03-18 11:38:03       82 阅读
  4. Python语言-面向对象

    2024-03-18 11:38:03       91 阅读

热门阅读

  1. ES6:可迭代对象(Iterable object)

    2024-03-18 11:38:03       42 阅读
  2. SQL server 构建索引的demo

    2024-03-18 11:38:03       38 阅读
  3. ES6 数组常用方法

    2024-03-18 11:38:03       43 阅读
  4. 【Vue2源码】响应式原理

    2024-03-18 11:38:03       41 阅读
  5. HBase常用命令

    2024-03-18 11:38:03       36 阅读
  6. 安装vscode及插件

    2024-03-18 11:38:03       44 阅读
  7. SpringBoot整合ElasticSearch应用

    2024-03-18 11:38:03       35 阅读
  8. CSS学习

    2024-03-18 11:38:03       41 阅读
  9. lua gc垃圾回收知识记录

    2024-03-18 11:38:03       47 阅读
  10. IOS面试题object-c 131-135

    2024-03-18 11:38:03       37 阅读
  11. 生成动态指定条件的拼接SQL

    2024-03-18 11:38:03       43 阅读
  12. Photoshop_00000

    2024-03-18 11:38:03       43 阅读
  13. RUST egui部署到github

    2024-03-18 11:38:03       37 阅读