发布于 2020-06-15
摘要
[infobox title=”倒排索引案例（多Job串联）”] 有大量的文本（文档、网页），需要建立搜索索引 [successb …
Hadoop
发布于 2020-05-29
摘要
[hide reply_to_this=”true”][/hide]
发布于 2020-05-19
摘要
Parquet 是一种面向分析的、通用的列式存储格式，兼容各种数据处理框架比如 Spark、Hive、Impala 等，同时支持 …
发布于 2020-05-10
摘要
[infobox title=”前置配置”] nmtui 静态IP配置，host配置 ssh本机免密登录 ssh-keygen s …
发布于 2020-04-23
摘要
常见端口汇总： Hadoop： 50070：HDFS WEB UI端口 9870：3.x HDFS WEB UI端 …
发布于 2020-04-15
摘要
HDFS文件系统的目录基本都属于supergroup用户组，所以就把用户添加到该用户组，即可解决很多权限问题，例如连接Hive却无 …
发布于 2020-03-30
摘要
1、什么是Yarn 通用资源管理系统和调度平台 2、Yarn特点： 支持多计算框架 资源利用率高，运行成本低，数据共享。 &nbs …
发布于 2020-03-30
摘要
一、 Hadoop High Availability HA(High Available), 高可用，是保证业务连续性的有效解决 …
发布于 2019-12-19
摘要
HBase与MapReduce的集成中使用bulkload的方式将数据直接生成HFile格式时报错 [dangerb …
发布于 2019-11-24
摘要
[successbox title=”背景”] 在Hadoop的MapReduce过程中，每个map task处理完数据后，如果存 …