Storm Spark Hadoop 这三个流行并行计算框架有什么不同

2024-12-25 18:07:27
推荐回答(1个)
回答1:

storm是实时处理,spark和hadoop是批处理,两者是互补。而spark和hadoop比较的话,spark主要是充分利用内存计算并且支持的操作而不仅是map/reduce,这样有些迭代密集的算法执行效率会更高。而hadoop可能需要多个mr任务来完成。在2.0之后,hadoop使用了新的yarn框架,map/reduce只是其中一种默许了,spark也可以在hadoop的yarn框架下运行的,所以2者还会是融合的。