TeRiTeRi

Java
Hadoop

MapReduce开启压缩算法对结果进行压缩

 

2019年11月18日 0条评论 1568点热度 2人点赞 kamisamak 阅读全文
Hadoop

Hadoop MapReduce 部分代码操作

map中获取文件名 //获取数据所属文件名 FileSplit fis = (FileSplit) context.getInputSplit(); String fileName = fis.getPath().getName(); context.write(new Text(fileName), value); 压缩文件snappy  Driver中Configuration按以下设置 //设置map使用的压缩算法 conf.set("mapreduce.map.output.compress","true"…

2019年11月18日 0条评论 1581点热度 1人点赞 kamisamak 阅读全文
Hadoop

HDFS的JAVA的部分API操作代码

前置需求    

2019年11月13日 0条评论 1792点热度 1人点赞 kamisamak 阅读全文
1234
RevolverMaps

COPYRIGHT © 2023 TeRiTeRi. ALL RIGHTS RESERVED.

Theme Kratos Made By Seaton Jiang