背景： 当我们书写一些结构相对复杂的SQL语句时，可能某个子查询在多个层级多个地方存在重复使用的情况，这个时候我们可以使用 with as 语句将其独立出来，极大提高SQL可读性，简化SQL~ 注：目前 oracle、sql server、hive、MySQL8.0等均支持 with as 用法 原文链接：https://blog.csdn.net/Abysscarry/article/details/81322669
现象 hive中group by的时候 select stu.s_name,sum(sc.s_score) from score sc left join student stu on stu.s_id = sc.s_id group by sc.s_id; 会提示： Error: Error while compiling statement: FAILED: SemanticException [Error 10025]: Line 1:7 Expression not in GROUP BY key 's_n…
创建数据库表语法 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] [CLUSTERED BY (col_name, col_name, ...) [SORTED BY (col_name …
在MR程序的开发过程中，经常会遇到输入数据不是HDFS或者数据输出目的地不是HDFS的，MapReduce的设计已经考虑到这种情况，它为我们提供了两个组建，只需要我们自定义适合的InputFormat和OutputFormat，就可以完成这个需求。
在MR程序的开发过程中，经常会遇到输入数据不是HDFS或者数据输出目的地不是HDFS的，MapReduce的设计已经考虑到这种情况，它为我们提供了两个组建，只需要我们自定义适合的InputFormat和OutputFormat，就可以完成这个需求。 需求：根据数据的不同输出两类结果到不同目录
map中获取文件名 //获取数据所属文件名 FileSplit fis = (FileSplit) context.getInputSplit(); String fileName = fis.getPath().getName(); context.write(new Text(fileName), value); 压缩文件snappy Driver中Configuration按以下设置 //设置map使用的压缩算法 conf.set("mapreduce.map.output.compress","true"…