发布于 2019-11-19
摘要
在MR程序的开发过程中，经常会遇到输入数据不是HDFS或者数据输出目的地不是HDFS的，MapReduce的设计已经考虑到这种情况 …
centos
发布于 2019-11-18
摘要
[infobox title=”方法①:在代码中进行压缩设置”] map阶段中添加 Configuration co …
发布于 2019-11-18
摘要
map中获取文件名 //获取数据所属文件名 FileSplit fis = (FileSplit) context.getInpu …
发布于 2019-11-13
摘要
前置需求 [successbox title=”pom包导入”] <repositories> <reposit …
发布于 2019-11-11
摘要
环境说明 192.168.100.101 node01 192.168.100.102 node02 192.168.100.10 …
发布于 2019-11-07
摘要
SecondarynameNode工作原理 由于editlog记录了集群运行期间所有对HDFS的相关操作 所以这个文件会很大。 集 …
发布于 2019-11-06
摘要
环境说明 192.168.100.101 node01 192.168.100.102 node02 192.168.100.10 …
发布于 2019-11-05
摘要
①使用lsblk -f命令查看新添加的硬盘sdb [root@node04 ~]# lsblk -f NAME FSTYPE LA …
发布于 2019-11-04
摘要
FS Shell 调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。 所有的的 …
发布于 2019-10-31
摘要
环境说明 配置环境准备3台机器，四台机器环境是 CentOS 6.9，IP和主机名配置如下： 192.168.100.101 no …