WordCount案例 案例来源:https://www.cnblogs.com/frankdeng/p/9311481.html
小文件处理（自定义InputFormat） 推荐参考:https://www.blog.kamisamak.com/index.php/2019/11/19/hadoop-mapreduce自定义inputformat输入/ 案例来源:https://www.cnblogs.com/frankdeng/p/9256245.html
过滤日志及自定义日志输出路径（自定义OutputFormat） [collapse title="ruaDriver"] package com.kami.demo01; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.NullWritable; import org.apache.hadoop.io.Text; import org.apache.h…
共同好友计算 以下是好友列表数据，冒号前是一个用户，冒号后是该用户的所有好友（数据中的好友关系是单向的） [collapse title="数据"] A:B,C,D,F,E,O B:A,C,E,K C:F,A,D,I D:A,E,F,L E:B,C,D,M,L F:A,B,C,D,E,O,M G:A,C,D,E,F H:A,C,D,E,O I:A,O J:B,O K:A,C,D L:D,E,F M:E,F,G O:A,H,I,J [/collapse] 题目来源:https://www.cnblogs.com/fr…
TopN 输出流量使用量在前10的用户信息 [collapse title="数据"] 13470253144 180 180 360 13509468723 7335 110349 117684 13560439638 918 4938 5856 13568436656 3597 25635 29232 13590439668 1116 954 2070 13630577991 6960 690 7650 13682846555 1938 2910 4848 13729199489 240 0 240 13736…
对数据流的压缩和解压缩 CompressionCodec 有两个方法可以用于轻松地压缩或解压缩数据。要想对正在被写入一个输出流的数据进行压缩，我们可以使用createOutputStream(OutputStreamout)方法创建一个 CompressionOutputStream，将其以压缩格式写入底层的流。相反，要想对从输入流读取而来的数据进行解压缩，则调用 createInputStream(InputStreamin)函数，从而获得一个CompressionInputStream， 从而从底层的流读取未压…
日志清洗案例 [collapse title="数据"] 194.237.142.21 - - [18/Sep/2013:06:49:18 +0000] "GET /wp-content/uploads/2013/07/rstudio-git3.png HTTP/1.1" 304 0 "-" "Mozilla/4.0 (compatible;)" 183.49.46.228 - - [18/Sep/2013:06:49:23 +0000] "-" 400 0 "-" "-" 163.177.71.12 - - [1…