Spark调优-解决job任务运行超时或者慢的问题

1 三个参数各自的作用都配置在spark-default.conf文件中

1.1 spark.shuffle.io.connectionTimeout (默认值是120s)

这个参数设置了在 shuffle 过程中,当一个 reduce 任务尝试从 map 任务读取数据时,建立连接的超时时间。如果在这个时间内连接没有成功建立,那么 reduce 任务可能会认为 map 任务没有响应,并可能触发重试机制。这个超时时间的设置对于网络状况不佳或者集群负载较高的情况下尤为重要,因为它可以避免因为连接超时而造成的不必要的重试。

1.2 spark.rpc.numRetries  (默认值是3)

相关推荐

  1. Spark-解决job任务运行超时或者问题

    2024-04-26 02:42:03       14 阅读
  2. spark sql join

    2024-04-26 02:42:03       28 阅读
  3. Spark九:Spark之Shuffle

    2024-04-26 02:42:03       35 阅读

最近更新

  1. TCP协议是安全的吗?

    2024-04-26 02:42:03       18 阅读
  2. 阿里云服务器执行yum,一直下载docker-ce-stable失败

    2024-04-26 02:42:03       19 阅读
  3. 【Python教程】压缩PDF文件大小

    2024-04-26 02:42:03       18 阅读
  4. 通过文章id递归查询所有评论(xml)

    2024-04-26 02:42:03       20 阅读

热门阅读

  1. SQLAlchemy 2.0 中文文档翻译完成

    2024-04-26 02:42:03       12 阅读
  2. uniapp 扫码功能

    2024-04-26 02:42:03       44 阅读
  3. 【prometheus学习过程】

    2024-04-26 02:42:03       18 阅读
  4. IntelliLock.Licensing.dll在VS中的16个使用方法

    2024-04-26 02:42:03       12 阅读
  5. 【Python】模拟windows文件名排序

    2024-04-26 02:42:03       13 阅读
  6. 2024 泛娱乐企业出海音视频选型攻略

    2024-04-26 02:42:03       26 阅读
  7. Migrations

    2024-04-26 02:42:03       12 阅读
  8. CSS图像样式

    2024-04-26 02:42:03       13 阅读