TeRiTeRi

Java
Hadoop

MapReduce开启压缩算法对结果进行压缩

 

2019年11月18日 0条评论 1636点热度 2人点赞 kamisamak 阅读全文
Hadoop

Hadoop MapReduce 部分代码操作

map中获取文件名 //获取数据所属文件名 FileSplit fis = (FileSplit) context.getInputSplit(); String fileName = fis.getPath().getName(); context.write(new Text(fileName), value); 压缩文件snappy  Driver中Configuration按以下设置 //设置map使用的压缩算法 conf.set("mapreduce.map.output.compress","true"…

2019年11月18日 0条评论 1651点热度 1人点赞 kamisamak 阅读全文
Hadoop

HDFS的JAVA的部分API操作代码

前置需求    

2019年11月13日 0条评论 1842点热度 1人点赞 kamisamak 阅读全文
1234
Clustrmaps
ForeverBlog 萌ICP备案 萌ICP备
最近评论
whoiscall 发布于 2 年前(09月06日) Thanks.
鸟叔 发布于 3 年前(04月24日) 鸟叔来串门,通过虫洞穿梭至此,期待回访!
鸟叔 发布于 3 年前(04月20日) 鸟叔来串门,通过虫洞穿梭至此,期待回访!
yzb666 发布于 4 年前(11月21日) 来个友情链接呗,地址dfblog.freela.ml
无心木 发布于 4 年前(11月10日) 大佬是做啥的呀! :jingku: 这网站好炫酷的样子!

COPYRIGHT © 2020 TeRiTeRi. ALL RIGHTS RESERVED.

Theme Kratos Made By Seaton Jiang

萌ICP备20253336号