Kafka安装部署 前置：jdk/zookeeper安装部署，并能正常启动。 #文件解压 tar zxvf kafka_2.11-1.0.0.tgz -C ../servers/ vim /export/servers/kafka_2.11-1.0.0/conf/server.properties #(每个节点不能相同) Broker.id=0 log.dirs=/export/servers/kafka_2.11-1.0.0/logs/ zookeeper.connect=node01:2181,node02:…
Kafka知识点总结 Kafka生态系统四大角色，生产者(Producer)、kafka集群(Broker)、消费者(Consumer)、zookeeper 每个消费者都必须属于一个消费组，一个组内的消费者可以多个。 一个Topic可以有1到多个多个分区（Partition） 一个分区可以有1到多个segment。 每个segment可以有由一个log和一个index组成。 被复制的分区叫做主副本（Leader）,复制出来的叫做从副本（Follower） 生产者只往主副本写数据，消费者只在主副本拉取数据。 从副本只…
1、redis当中对字符串string的操作 下表列出了常用的 redis 字符串命令 2、redis当中对hash列表的操作 Redis hash 是一个string类型的field和value的映射表，hash特别适合用于存储对象。 Redis 中每个 hash 可以存储 232 - 1 键值对（40多亿） 下表列出了 redis hash 基本的相关命令： 3、redis当中对list列表的操作 Redis列表是简单的字符串列表，按照插入顺序排序。你可以添加一个元素到列表的头部（左边）或者尾部（…
1、什么是redis Redis是一个基于内存的使用C语言编写的key-value开源的NOSQL存储系统。不支持SQL语句。 2、Redis持久化数据的方式有哪些 1、RDB 触发式的持久化 在配置文件中添加：save 5 2 (5秒中 有2次操作便会出发持久化) 2、AOF 日志形式的持久化 每秒钟存储一次 3、解决IT行业数据读取瓶颈的终极方案 读写分离 4、Redis如何实现读写分离？ Redis本身支持读写分离，主节点可以读数据、可以写数据、从节点只能读数据。配置redis的主…
一、 Hadoop High Availability HA(High Available), 高可用，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，分为活动节点（Active）及备用节点（Standby）。通常把正在执行业务的称为活动节点，而作为活动节点的一个备份的则称为备用节点。当活动节点出现问题，导致正在运行的业务（任务）不能正常运行时，备用节点此时就会侦测到，并立即接续活动节点来执行业务。从而实现业务的不中断或短暂中断。 Hadoop1.X版本，NN是HDFS集群的单点故障点，每一个集群只有一…
首先查看透明大页是否启用，[always] never表示已启用，always [never]表示已禁用 cat /sys/kernel/mm/transparent_hugepage/enabled [always] madvise never 如果是启用状态，修改/etc/rc.d/rc.local文件并添加以下两行 echo never > /sys/kernel/mm/transparent_hugepage/defrag echo never > /sys/kernel/mm/transpar…