sparksession对象简介

什么是sparksession对象

spark2.0之后,sparksession对象是spark编码的统一入口对象,通常我们在rdd编程时,需要SparkContext对象作为RDD编程入口,但sparksession对象既可以作为RDD编程对象入口,在sparkcore编程中可以通过它来获取sparkcontext对象进行rdd编程,也可以直接作为sparksql编程入口对象
在这里插入图片描述

sparksession对象构建案例

# coding:utf8
# sparksql中入口对象是SparkSession对象
from pyspark.sql import SparkSession

if __name__ == '__main__':
    # 构建sparksession对象,构建器模式
    spark = SparkSession.builder.\
        appName("mysparkTest").\
        master("local[*]").\
        config("spark.sql.shuffle.partitions", "4").\
        getOrCreate()
    # appName设置程序名称
    # local: 表示 Spark 将在本地模式下运行,即不会连接到任何集群管理器(如 YARN、Mesos 或 Kubernetes)。这通常用于开发和测试目的。
    # [*]: 这是一个特殊的语法,它告诉 Spark 使用所有可用的处理器核心来执行。星号 (*) 是一个占位符,它会被替换为当前机器上的处理器核心数。

    # config设置一些常用属性,不想设置可以不用写
    # getOrCreate创建sparksession对象

    # 通过SparkSession来获取SparkContext对象
    sc = spark.SparkContext
    # 读取csv格式文件,返回DataFrame格式的数据
    df = spark.read.csv("my_csv_file.csv", sep=',', header = False)
    # 给df加上表头,并赋值给新的df2
    df2 = df.toDF("id", "name", "age")
    # 打印df2表结构
    df2.printSchema()
    # 展示df2
    df2.show()
    # 创建临时视图,用于sql操作
    df2.createTempView("score")
    # SQL风格操作
    spark.sql("SELECT * FROM score where age=11 limit 5").show()
    # DSL风格
    df2.where("age=11").limit(5).show()
    

相关推荐

  1. ES6简化对象

    2024-03-17 05:48:04       33 阅读

最近更新

  1. TCP协议是安全的吗?

    2024-03-17 05:48:04       17 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-03-17 05:48:04       16 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-03-17 05:48:04       15 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-03-17 05:48:04       18 阅读

热门阅读

  1. redisson分布式锁

    2024-03-17 05:48:04       20 阅读
  2. python opencv的最基础初学

    2024-03-17 05:48:04       18 阅读
  3. C---流

    C---流

    2024-03-17 05:48:04      16 阅读
  4. Linux-centos系统中如何去除配置文件中的注释部分

    2024-03-17 05:48:04       16 阅读
  5. LLMOps:机器学习运营的下一个前沿

    2024-03-17 05:48:04       21 阅读