📋 博主简介
- 💖 作者简介：大家好，我是wux_labs。😜
热衷于各种主流技术，热爱数据科学、机器学习、云计算、人工智能。
通过了TiDB数据库专员（PCTA）、TiDB数据库专家（PCTP）、TiDB数据库认证SQL开发专家（PCSD）认证。
通过了微软Azure开发人员、Azure数据工程师、Azure解决方案架构师专家认证。
对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究，对Databricks的使用有丰富的经验。- 📝 个人主页：wux_labs，如果您对我还算满意，请关注一下吧~🔥
- 📝 个人社区：数据科学社区，如果您是数据科学爱好者，一起来交流吧~🔥
- 🎉 请支持我：欢迎大家 点赞👍+收藏⭐️+吐槽📝，您的支持是我持续创作的动力~🔥
《PySpark大数据分析实战》-17.云服务模式Databricks介绍运行作业
《PySpark大数据分析实战》-17.云服务模式Databricks介绍运行作业
前言
大家好！今天为大家分享的是《PySpark大数据分析实战》第2章第5节的内容：云服务模式Databricks介绍运行作业。
除了交互式执行代码，还可以采用Job的方式运行Python脚本，修改WordCount.py脚本，去掉sc的创建、修改words.txt的路径，代码如下：
from pyspark import SparkConf, SparkContext
if __name__ == '__main__':
# 通过SparkContext对象读取文件
fileRdd = sc.textFile("dbfs:/FileStore/tables/words.txt")
# 将文件中的每一行按照空格拆分成单词
wordsRdd = fileRdd.flatMap(lambda line: line.split(" "))
# 将每一个单词转换为元组，
wordRdd = wordsRdd.map(lambda x: (x, 1))
# 根据元组的key分组，将value相加
resultRdd = wordRdd.reduceByKey(lambda a, b: a + b)
# 将结果收集到Driver并打印输出
print(resultRdd.collect())
将修改后的脚本上传到DBFS上或者工作区中，方便后续使用。
创建作业
笔记本编写的代码适合交互式方式执行。要定时运行或者长时间运行Spark应用程序，需要创建作业进行运行。通过左侧菜单栏Workflows菜单打开Jobs列表界面，如图所示。
点击Create Job按钮，打开作业配置界面，如图所示。
在配置界面配置好作业的信息，Type选择Python script，Source选择DBFS，Path指定Python脚本的路径，Cluster选择已创建的集群，点击Create按钮创建作业，如图所示。
创建完成后，可以从Jobs列表中看到创建的作业，如图所示。
运行作业
通过列表中Actions列的运行按钮直接运行作业，作业运行以后，在详情界面可以监控作业的运行情况，如图所示。
在列表中，点击Spark UI链接可以打开Spark Master Web UI界面；点击Logs链接可以打开日志界面查看运行日志及结果，如图所示。
其他类型的作业
Workflows中的作业除了支持笔记本、Python脚本外，还支持多种其他方式，包括JAR、Spark Submit等，如图所示。
Spark Submit方式运行的作业，不支持在已创建的集群上运行，仅支持在运行作业的时候自动创建新集群来运行，运行作业所需要的参数全部通过Parameters文本框以列表的形式指定，如图所示。
结束语
好了，感谢大家的关注，今天就分享到这里了，更多详细内容，请阅读原书或持续关注专栏。
