【经验01】spark执行离线任务的一些坑

2024-05-09 11:56:06
开发
11

项目背景：

目前使用spark跑大体量的数据，效率还是挺高的，机器多，120多台的hadoop集群，还是相当的给力的。数据大概有10T的量。

最近在出月报数据的时候发现有一个任务节点一直跑不过去，已经超过失败次数的阈值，报警了。

预警很让人头疼，不能上班摸鱼了。

经过分析发现报错日志如下：

逻辑处理也很简单，两张表做关联，做聚合预算（聚合字段有30多个）相当于一个宽表了。

DWD层的dwd_temp

原文地址:https://blog.csdn.net/u010438126/article/details/138566607 本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：https://www.suanlizi.com/kf/1788417636430909440.html 如若内容造成侵权/违法违规/事实不符，请联系《酸梨子》网邮箱：1419361763@qq.com进行投诉反馈，一经查实，立即删除！

阅读全部