WordCount案例 案例来源:https://www.cnblogs.com/frankdeng/p/9311481.html
小文件处理（自定义InputFormat） 推荐参考:https://www.blog.kamisamak.com/index.php/2019/11/19/hadoop-mapreduce自定义inputformat输入/ 案例来源:https://www.cnblogs.com/frankdeng/p/9256245.html
[collapse title="部署安装"] 下载地址:https://druid.apache.org/downloads.html 下载并解压: wget https://mirror.bit.edu.cn/apache/druid/0.18.1/apache-druid-0.18.1-bin.tar.gz tar -zxvf apache-druid-0.18.1-bin.tar.gz -C /server/soft/ PATH DESCRIPTION bin 执行脚本 conf 角色配置 extensio…
过滤日志及自定义日志输出路径（自定义OutputFormat） [collapse title="ruaDriver"] package com.kami.demo01; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.NullWritable; import org.apache.hadoop.io.Text; import org.apache.h…
共同好友计算 以下是好友列表数据，冒号前是一个用户，冒号后是该用户的所有好友（数据中的好友关系是单向的） [collapse title="数据"] A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D,M,L F:A,B,C,D,E,O,M G:A,C,D,E,F H:A,C,D,E,O I:A,O J:B,O K:A,C,D L:D,E,F M:E,F,G O:A,H,I,J [/collapse] 题目来源:https://www.cnblogs.com/fr…
TopN 输出流量使用量在前10的用户信息 [collapse title="数据"] 13470253144 180 180 360 13509468723 7335 110349 117684 13560439638 918 4938 5856 13568436656 3597 25635 29232 13590439668 1116 954 2070 13630577991 6960 690 7650 13682846555 1938 2910 4848 13729199489 240 0 240 13736…
对数据流的压缩和解压缩 CompressionCodec 有两个方法可以用于轻松地压缩或解压缩数据。要想对正在被写入一个输出流的数据进行压缩，我们可以使用createOutputStream(OutputStreamout)方法创建一个 CompressionOutputStream，将其以压缩格式写入底层的流。相反，要想对从输入流读取而来的数据进行解压缩，则调用 createInputStream(InputStreamin)函数，从而获得一个CompressionInputStream， 从而从底层的流读取未压…