发布于 2019-11-24
摘要
[successbox title=”背景”] 在Hadoop的MapReduce过程中，每个map task处理完数据后，如果存 …
大数据
发布于 2019-11-22
摘要
众所周知，Hive有三种使用方式：CLI、HWI浏览器、Thrift客户端。安装配置完Hive后无需进行额外操作即可使用CLI。但 …
发布于 2019-11-22
摘要
背景： 当我们书写一些结构相对复杂的SQL语句时，可能某个子查询在多个层级多个地方存在重复使用的情况，这个时候我们可以使用 wit …
发布于 2019-11-22
摘要
现象 hive中group by的时候 select stu.s_name,sum(sc.s_score) from score …
发布于 2019-11-22
摘要
[dangerbox title=”Hive 字段类型 “] 分类 类型 描述 字面量示例 原始类型 BOOLEAN true/f …
发布于 2019-11-21
摘要
创建数据库表语法 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col …
发布于 2019-11-19
摘要
在MR程序的开发过程中，经常会遇到输入数据不是HDFS或者数据输出目的地不是HDFS的，MapReduce的设计已经考虑到这种情况 …
发布于 2019-11-19
摘要
在MR程序的开发过程中，经常会遇到输入数据不是HDFS或者数据输出目的地不是HDFS的，MapReduce的设计已经考虑到这种情况 …
发布于 2019-11-18
摘要
[infobox title=”方法①:在代码中进行压缩设置”] map阶段中添加 Configuration co …
发布于 2019-11-18
摘要
map中获取文件名 //获取数据所属文件名 FileSplit fis = (FileSplit) context.getInpu …