请教yarn.nodemanager.local-dirs 的配置问题

2024-12-25 21:22:37
推荐回答(1个)
回答1:

设置dfs.name.dir 时,通过逗号分隔多个值,可以使namenode将元数据存储到多个副本,以便namenode出错时恢复。
dfs.data.dir也可设置多个目录,但是其目的不是为了冗余容错,而是可以循环写入,提高性能。
fs.checkpoint.dir也可设置多个目录,以保存检查点。和namenode一样,其支持冗余备份。
以上设置的目录,默认在hadoop.tmp.dir目录下,即/tmp/hadoop-${user.name},需要确保该目录不被操作系统清理,或者另外指定到其他目录。