hadoop的几个问题 1.将本地文件复制到hdfs中,那么在hdfs中这个文件是存放在namenode还是分开放在datanode

2024-12-25 20:35:15
推荐回答(1个)
回答1:

试着回答:
先说明一下:
1. namenode负责管理目录和文件信息,真正的文件块是存放在datanode上。
2. 每个map和reduce(即task)都是java进程,默认是有单独的jvm的,所以不可能同一个类的对象会在不同节点上。
看你的描述是把namenode,datanode和jobtracker,tasktracker有点混了。

所以:
问题1. 分块存放在datanode上
问题2.inputformat是在datanode上,确切的说是在tasktracker中。每个map和reduce都会有自己的对象,当多个map读入一个文件时,实际上不同的map是读的文件不同的块,reduce也是一样,各个任务读入的数据是不相交的。
问题3.reduce输出肯定是在hdfs上,和普通文件一样在datanode上。
问题4.每个reducer会有自己的outputformat对象,与前面inputformat原因一样。