Spark使用map函数出现:Python worker exited unexpectedly (crashed)

目录

1. 版本异常处理

2. 环境变量异常


1. 版本异常处理

版本问题;

本编使用的是python12.exe解释器,解决问题,将python.exe版本降低即可,我这里降低到了python10.exe;

这是错误日志:

官方下载python解释器:Download Python | Python.org

下载好后在开发工具中(idea)去修改python解释器版本:

运行结果(map使用):

2. 环境变量异常

给Spark设置环境变量(不设置的时候,控制台会报错,出现找不到python.exe解释器的情况)

字符串中输入当前项目python.exe解释器路径;

from pyspark import SparkConf, SparkContext
import os

# 配置Spark环境变量
os.environ['PYSPARK_PYTHON'] = 'C:/Users/Administrator/AppData/Local/Programs/Python/Python310/python.exe'

# 检查PYSPARK_PYTHON路径
print(os.path.exists('C:/Users/Administrator/AppData/Local/Programs/Python/Python310/python.exe'))
# 检查PYSPARK_DRIVER_PYTHON路径
print(os.path.exists('C:/Users/Administrator/AppData/Local/Programs/Python/Python310/python.exe'))

相关推荐

  1. python中map()函数使用

    2024-06-12 07:50:01       35 阅读
  2. spy(间谍)----map函数使用

    2024-06-12 07:50:01       40 阅读
  3. C++max函数使用

    2024-06-12 07:50:01       55 阅读
  4. Spark—GraphX实战 ID Mapping

    2024-06-12 07:50:01       32 阅读
  5. spark-udf函数

    2024-06-12 07:50:01       49 阅读
  6. Hive/Spark窗口函数

    2024-06-12 07:50:01       25 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-06-12 07:50:01       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-06-12 07:50:01       101 阅读
  3. 在Django里面运行非项目文件

    2024-06-12 07:50:01       82 阅读
  4. Python语言-面向对象

    2024-06-12 07:50:01       91 阅读

热门阅读

  1. 爬取京东商品图片的Python实现方法

    2024-06-12 07:50:01       34 阅读
  2. Oracle 存储过程

    2024-06-12 07:50:01       31 阅读
  3. 嵌入式Linux中OpenSSH移植到ARM开发板

    2024-06-12 07:50:01       29 阅读
  4. Redis的数据淘汰策略和集群部署

    2024-06-12 07:50:01       27 阅读
  5. 基于python的PDF文件解析器汇总

    2024-06-12 07:50:01       27 阅读
  6. Web前端开发PDF:技术与挑战的深度剖析

    2024-06-12 07:50:01       25 阅读
  7. 深度学习-使用 Bash 脚本

    2024-06-12 07:50:01       23 阅读
  8. C++中的抽象工厂模式

    2024-06-12 07:50:01       22 阅读
  9. 关于Flutter doctor里两个警告的消除

    2024-06-12 07:50:01       31 阅读
  10. 深度探索Copilot插件

    2024-06-12 07:50:01       29 阅读
  11. elasticsearch快照生成与恢复

    2024-06-12 07:50:01       23 阅读