post_img

Python构建随机请求头headers

摘要

通过User-Agent构建请求头headers能够将爬虫伪装,但是有的网站会去检查请求头,所以在每次提交网站请求时可以使用随机的 …

post_img

MapReduce高级案例⑩

摘要

流量汇总程序案例 [infobox title=”标题内容”] 统计手机号耗费的总上行流量、下行流量、总流量(序列化) Map阶段 …

post_img

MapReduce高级案例⑨

摘要

辅助排序和二次排序案例(GroupingComparator) [infobox title=”案例”] 现在需要求出每一个订单中 …

post_img

MapReduce高级案例⑧

摘要

MapReduce中多表合并案例 [infobox title=”需求分析”] 将商品信息表中数据根据商品pid合并到订单数据表中 …

post_img

MapReduce高级案例⑦

摘要

小文件处理(自定义InputFormat) [infobox title=”需求分析”] 无论hdfs还是mapreduce,对于 …