Kafka知识点总结 Kafka生态系统四大角色，生产者(Producer)、kafka集群(Broker)、消费者(Consumer)、zookeeper 每个消费者都必须属于一个消费组，一个组内的消费者可以多个。 一个Topic可以有1到多个多个分区（Partition） 一个分区可以有1到多个segment。 每个segment可以有由一个log和一个index组成。 被复制的分区叫做主副本（Leader）,复制出来的叫做从副本（Follower） 生产者只往主副本写数据，消费者只在主副本拉取数据。 从副本只…
1、redis当中对字符串string的操作 下表列出了常用的 redis 字符串命令 2、redis当中对hash列表的操作 Redis hash 是一个string类型的field和value的映射表，hash特别适合用于存储对象。 Redis 中每个 hash 可以存储 232 - 1 键值对（40多亿） 下表列出了 redis hash 基本的相关命令： 3、redis当中对list列表的操作 Redis列表是简单的字符串列表，按照插入顺序排序。你可以添加一个元素到列表的头部（左边）或者尾部（…
1、什么是redis Redis是一个基于内存的使用C语言编写的key-value开源的NOSQL存储系统。不支持SQL语句。 2、Redis持久化数据的方式有哪些 1、RDB 触发式的持久化 在配置文件中添加：save 5 2 (5秒中 有2次操作便会出发持久化) 2、AOF 日志形式的持久化 每秒钟存储一次 3、解决IT行业数据读取瓶颈的终极方案 读写分离 4、Redis如何实现读写分离？ Redis本身支持读写分离，主节点可以读数据、可以写数据、从节点只能读数据。配置redis的主…
一、 Hadoop High Availability HA(High Available), 高可用，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，分为活动节点（Active）及备用节点（Standby）。通常把正在执行业务的称为活动节点，而作为活动节点的一个备份的则称为备用节点。当活动节点出现问题，导致正在运行的业务（任务）不能正常运行时，备用节点此时就会侦测到，并立即接续活动节点来执行业务。从而实现业务的不中断或短暂中断。 Hadoop1.X版本，NN是HDFS集群的单点故障点，每一个集群只有一…
1.创建表myuser Configuration configuration = new Configuration(); configuration.set("hbase.zookeeper.quorum","node01:2181,node02:2181,node03:2181"); Connection connection = ConnectionFactory.createConnection(configuration); //获取连接对象，创建一张表 //获取管理员对象，来对数据库进行DDL的操作 …
Hive内部表，语句如下 create table hbase_video( videoId string, uploader string, age int, category array, length int, views int, rate float, ratings int, comments int, relatedId array) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties("h…
熟练掌握通过使用java代码实现HBase数据库当中的数据增删改查的操作，特别是各种查询，熟练运用 第一步：创建maven工程，导入jar包 第二步：开发javaAPI操作HBase表数据 1、创建表myuser public static void createTable() throws IOException { Configuration conf =new Configuration(); //连接hbase集群不需要指定hbase主节点的ip地址和端口号 conf.set("hbase.zookeepe…
过滤器的类型很多，但是可以分为两大类——比较过滤器，专用过滤器 过滤器的作用是在服务端判断数据是否满足条件，然后只将满足条件的数据返回给客户端； hbase过滤器的比较运算符： LESS < LESS_OR_EQUAL <= EQUAL = NOT_EQUAL <> GREATER_OR_EQUAL >= GREATER > NO_OP 排除所有 Hbase过滤器的专用过滤器（指定比较机制）： BinaryComparator 按字节索引顺序比较指定字节数组，采用Bytes.co…