1.数组转化为List： String[] strArray= new String[]{"Tom", "Bob", "Jane"}; List strList= Arrays.asList(strArray); 2.数组转Set String[] strArray= new String[]{"Tom", "Bob", "Jane"}; Set staffsSet = new HashSet<>(Arrays.asList(staffs)); staffsSet.add("Mary"); // ok …
一、简介 Apache Sqoop是在Hadoop生基金会提供 核心的功能有两个： 导入、迁入 导出、迁出 导入数据：MySQL，Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统 导出数据：从 Hadoop 的文件系统中导出数据到关系数据库 mysql 等 Sqoop 的本质还是一个命令行工具，和 HDFS，Hive 相比，并没有什么高深的理论 Sqoop工作机制： 是将导入或导出命令翻译成mapreduce程序来实现；在翻译出的mapreduce中主要是对inputfor…
背景： 当我们书写一些结构相对复杂的SQL语句时，可能某个子查询在多个层级多个地方存在重复使用的情况，这个时候我们可以使用 with as 语句将其独立出来，极大提高SQL可读性，简化SQL~ 注：目前 oracle、sql server、hive、MySQL8.0等均支持 with as 用法 原文链接：https://blog.csdn.net/Abysscarry/article/details/81322669
现象 hive中group by的时候 select stu.s_name,sum(sc.s_score) from score sc left join student stu on stu.s_id = sc.s_id group by sc.s_id; 会提示： Error: Error while compiling statement: FAILED: SemanticException [Error 10025]: Line 1:7 Expression not in GROUP BY key 's_n…
创建数据库表语法 CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] [CLUSTERED BY (col_name, col_name, ...) [SORTED BY (col_name …
在MR程序的开发过程中，经常会遇到输入数据不是HDFS或者数据输出目的地不是HDFS的，MapReduce的设计已经考虑到这种情况，它为我们提供了两个组建，只需要我们自定义适合的InputFormat和OutputFormat，就可以完成这个需求。