如何远程读取CDH的hadoop上的HDFS数据

2024-12-25 21:29:10

推荐回答（1个）

回答1：

static Configuration conf=new Configuration();
static FileSystem fs=null;
static{
try {
//默认的hadoop的fs.defaultFS的端口号为8020，这里需要跟集群里面的配置一致
conf.set("fs.defaultFS","hdfs://dnode1:8020/");
fs=FileSystem.get(conf);
} catch (IOException e) {
log.error("初始化FileSystem失败！",e);
}
}

OK，只需要这简单的一行，我们就可以读取HDFS上的数据了，另外如要注意的是，需要把hadoop的对应的host也配置在win上的host文件里，避免访问文件系统出错，只要上面这一步打通，下面的对于HDFS系统上文件和目录增删改查，以及对文件内容的读取和写入，散仙在这里就不多写了，这个很简单，大家看看FileSystem这个类的Api就能很容易掌握的。