如何通过Java程序提交yarn的MapReduce计算任务

2024-12-31 20:00:36
推荐回答(1个)
回答1:

 1、在程序中,我将文件读入格式设定为WholeFileInputFormat,即不对文件进行切分。

  2、为了控制reduce的处理过程,map的输出键的格式为组合键格式。与常规的不同,这里变为了,TextPair的格式为

  3、为了适应组合键,重新设定了分组函数,即GroupComparator。分组规则为,只要TextPair中的key1相同(不要求key2相同),则数据被分配到一个reduce容器中。这样,当相同key1的数据进入reduce容器后,key2起到了一个数据标识的作用