Hadoop和Spark的区别

  • 开发
  • 52

Hadoop

  • 表达能力有限。
  • 磁盘IO开销大，延迟度高。
  • 任务和任务之间的衔接涉及IO开销。
  • 前一个任务完成之前其他任务无法完成，难以胜任复杂、多阶段的计算任务。

Spark

  • Spark模型是对Mapreduce模型的改进，可以说没有HDFS、Mapreduce就没有Spark。

  • Spark可以使用Yarn作为他的资源管理器，并且可以处理HDFS数据。这对于已经部署了Hadoop集群的用户特别重要，因为他们不需要任何的数据迁移就可以使用到spark的强大功能了。 

 

阅读全部

相关推荐

  3. Spark和Hadoop作业之间的区别

    2023-12-16 05:34:03       32 阅读

  4. Hadoop、MapReduce、YARN和Spark的区别与联系

    2023-12-16 05:34:03       34 阅读

  6. Spark面试整理-Spark与Hadoop的区别

    2023-12-16 05:34:03       47 阅读

  7. flink和spark的区别

    2023-12-16 05:34:03       32 阅读

  9. [spark] coalesce() 和 repartition()的区别

    2023-12-16 05:34:03       92 阅读

  10. hive sql 和 spark sql的区别

    2023-12-16 05:34:03       48 阅读

最近更新

  3. docker php8.1+nginx base 镜像 dockerfile 配置

    2023-12-16 05:34:03       94 阅读

  4. Could not load dynamic library ‘cudart64_100.dll‘

    2023-12-16 05:34:03       100 阅读

  9. 在Django里面运行非项目文件

    2023-12-16 05:34:03       82 阅读

  19. Python语言-面向对象

    2023-12-16 05:34:03       91 阅读

  20. 如何分清楚常见的 Git 分支管理策略Git Flow、GitHub Flow 和 GitLab Flow

    2023-12-16 05:34:03       85 阅读

热门阅读

  3. 计算机犯罪与相关法规

    2023-12-16 05:34:03       61 阅读

  4. ctypes --- Python 的外部函数库

    2023-12-16 05:34:03       50 阅读

  12. 【.Net 6.0--通用帮助类--FileHelper】

    2023-12-16 05:34:03       49 阅读

  13. C++实现一些C#接口

    2023-12-16 05:34:03       54 阅读

  16. Git 命令一览

    2023-12-16 05:34:03       40 阅读

  17. 特斯拉第二代机器人：市场期待与看解

    2023-12-16 05:34:03       57 阅读

  20. HarmonyOS应用开发者基础认证【闯关习题 满分答案】

    2023-12-16 05:34:03       54 阅读

  21. LeetCode264. Ugly Number II

    2023-12-16 05:34:03       50 阅读

  22. 云原生之深入解析云原生架构的日志监控

    2023-12-16 05:34:03       53 阅读

  30. 【前端设计模式】之抽象工厂模式

    2023-12-16 05:34:03       54 阅读