Hive-Testbench:https://github.com/hortonworks/hive-testbench/ Tpcds-Kit:https://github.com/gregrahn/tpcds-kit 官网:http://www.tpc.org/ 针对数据库不同的使用场景TPC组织提供了多种数据集，主要的TPC数据集有如下几种 TPC-C：模拟一个库存-订单系统以及其上的多用户并发事务； TPC-DI：模拟多种类型的大数据源的ETL过程； TPC-DS：模拟大型零售业务的系统，该系统主要用于BI和…

在数据仓库的数据模型设计过程中，经常会遇到这样的需求： 1. 数据量比较大; 2. 表中的部分字段会被update,如用户的地址，产品的描述信息，订单的状态等等; 3. 需要查看某一个时间点或者时间段的历史快照信息，比如，查看某一个订单在历史某一个时间点的状态， 比如，查看某一个用户在过去某一段时间内，更新过几次等等; 4. 变化的比例和频率不是很大，比如，总共有1000万的会员，每天新增和发生变化的有10万左右; 5. 如果对这边表每天都保留一份全量，那么每次全量中会保存很多不变的信息，对存储是极大的浪费; 拉链…

官网：http://spark.apache.org/docs/latest/sql-data-sources-hive-tables.html

常见端口汇总： Hadoop：     50070：HDFS WEB UI端口     9870：3.x HDFS WEB UI端口     8020 ： 高可用的HDFS RPC端口     9000 ： 非高可用的HDFS RPC端口     8088 ： Yarn 的WEB UI 接口     8485 ： JournalNode 的RPC端口     8019 ： ZKFC端口 Zookeeper:     2181 ： 客户端连接zookeeper的端口     2888 ： zookeeper集群内通讯…

Hive内部表，语句如下 create table hbase_video( videoId string, uploader string, age int, category array, length int, views int, rate float, ratings int, comments int, relatedId array) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties("h…

众所周知，Hive有三种使用方式：CLI、HWI浏览器、Thrift客户端。安装配置完Hive后无需进行额外操作即可使用CLI。但是HWI则需要单独搭建。

背景： 当我们书写一些结构相对复杂的SQL语句时，可能某个子查询在多个层级多个地方存在重复使用的情况，这个时候我们可以使用 with as 语句将其独立出来，极大提高SQL可读性，简化SQL~ 注：目前 oracle、sql server、hive、MySQL8.0等均支持 with as 用法 原文链接：https://blog.csdn.net/Abysscarry/article/details/81322669