如何查看Hadoop运行过程中产生日志

2024-12-26 06:08:40
推荐回答(2个)
回答1:

其实网借鉴董西博客面内容:
Hadoop HDFS服务志与Hadoop MapReduce服务志类似;
Hadoop MapReduce志两部部服务志部作业志具体介绍:
1. Hadoop 1.x版本
Hadoop 1.xMapReduce服务志包括JobTracker志各TaskTracker志志位置(Web界面查看其志址http://主节点IP:50030):
JobTracker:JobTracker安装节点默认位置
${hadoop.log.dir}/logs/*-jobtracker-*.log该文件每旧志缀期志文件缀.log其${hadoop.log.dir}默认值hadoop安装目录即${HADOOP_HOME}
TaskTracker:各TaskTracker安装节点默认位置
$HADOOP_HOME/logs/*-tasktracker-*.log该文件每旧志面跟志志文件缀.log
作业志包括jobhistory志task志两部其jobhistory志作业运行志包括作业启间、结束间每任务启间、结束间各种counter信息等用户志解析作业运行各种信息非价值信息默认存放位置JobTracker所节点${hadoop.log.dir}/history目录通参数hadoop.job.history.location配置每task志存放task运行节点存放位置${hadoop.log.dir}/userlogs//目录每task包含三志文件别stdout、stderrsyslog其stdout通标准输打印志比System.out.println注意程序通标准输打印志并直接显示终端保存文件syslog通log4j打印志通志包含用信息错误调试关键参考志

回答2:

web 50070那里可以看 集群上有个logs文件夹找到你的application的文件夹也可以看