Sun Grid Engine 和 hadoop 是什么关系

2024-12-25 19:19:41
推荐回答(2个)
回答1:

就我的了解SGE大致相当于Hadoop-YARN,多用于超级计算机集群的管理。Hadoop的最大贡献在于HDFS解决了,分布式文件系统,和Google的GFS一样。SGE好像没有强调这一点,而且超级计算机大多数都没有本地磁盘,可能也不需要文件系统管理吧。说白了就是不实用~

回答2:

sge是十多年前的东西了,最早是sun grid engine, 开源版本是grid engine。多用于格点计算,分布式计算。在超级计算机上很流行。适用于cpu密集程序的调度。
他的设计是给了资源(节点,cpu,内存)你自己去用,sge不参与计算只做调度(启动进程,删除进程)。他的资源是按照核数来分的。
但核数使用很难做到控制,全靠自觉,所以理论上你可以申请1个核跑满整个机器。一些商用版本可以对此做监控并删除,但sge做不到。
后来sun被oracle收购了以后,sge开源版本就改成了son of grid engine。
另外超级计算机也都是有本地磁盘的,无盘工作站那是网吧。但那块本地磁盘只存系统,很少存临时文件。程序运行过程中的中间文件都是存到共享的并行文件系统上。
sge很少提只是因为你可能没用过超级计算机。