内网已经搭建好spark环境,需要对台区负荷数据进行并发预测和保存到HUDI过程中出现py4j.handing of the above exception,another exception is empty报错,针对这一问题进行解决的记录
首先上面报错是由于机器资源限制,内存不足导致的Py4J在与JVM通信时遇到问题,连接失败。所以需要对内存进行优化。
增加执行器内存:通过增加 spark.executor.memory 配置来分配更多内存给每个 Spark 执行器。
spark.executor.memory
spark.conf.set("spark.executor.memory",