hadoop，storm和spark的区别，比较

2024-12-26 00:57:37

推荐回答（1个）

回答1：

hadoop，storm和spark的区别和比较：
Hadoop 是一个生态圈。里面由很多如 mapreduce hive hbase hdfs 组成。
storm 是流式处理的老大。速度快即时通讯。淘宝的JStorm 可以达到百万级每秒。
spark 是对 hadoop 的 MR 的改进。由于 MR 需要不断的将数据落盘，互相拉取导致 IO 大。降低少量数据的运算速度（落盘是为了大量数据时出错可以在错误的地方继续处理，而 Spark 只能重来）。 spark 采用的内存计算。不需要中间数据落盘。所以速度会快，非常适合机器学习用（几G ~十几个G）。但是注意新手搞 spark 非常容易导致死机。