Hive-Testbench:https://github.com/hortonworks/hive-testbench/ Tpcds-Kit:https://github.com/gregrahn/tpcds-kit 官网:http://www.tpc.org/ 针对数据库不同的使用场景TPC组织提供了多种数据集，主要的TPC数据集有如下几种 TPC-C：模拟一个库存-订单系统以及其上的多用户并发事务； TPC-DI：模拟多种类型的大数据源的ETL过程； TPC-DS：模拟大型零售业务的系统，该系统主要用于BI和…
数据仓库维度模型设计 1 维度建模基本概念 维度模型是数据仓库领域大师Ralph Kimall所倡导，他的《数据仓库工具箱》，是数据仓库工程领域最流行的数仓建模经典。维度建模以分析决策的需求出发构建模型，构建的数据模型为分析需求服务，因此它重点解决用户如何更快速完成分析需求，同时还有较好的大规模复杂查询的响应性能。 维度建模是专门应用于分析型数据库、数据仓库、数据集市建模的方法。数据集市可以理解为是一种"小型数据仓库"。 1.1． 事实表 发生在现实世界中的操作型事件，其所产生的可度量数值，存储在事实表中。从最低的…
Hive内部表，语句如下 create table hbase_video( videoId string, uploader string, age int, category array, length int, views int, rate float, ratings int, comments int, relatedId array) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties("h…
背景： 当我们书写一些结构相对复杂的SQL语句时，可能某个子查询在多个层级多个地方存在重复使用的情况，这个时候我们可以使用 with as 语句将其独立出来，极大提高SQL可读性，简化SQL~ 注：目前 oracle、sql server、hive、MySQL8.0等均支持 with as 用法 原文链接：https://blog.csdn.net/Abysscarry/article/details/81322669
现象 hive中group by的时候 select stu.s_name,sum(sc.s_score) from score sc left join student stu on stu.s_id = sc.s_id group by sc.s_id; 会提示： Error: Error while compiling statement: FAILED: SemanticException [Error 10025]: Line 1:7 Expression not in GROUP BY key 's_n…