20/04/15 21:46:25 WARN KafkaUtils: overriding receive.buffer.bytes to 65536 see KAFKA-3135 org.apache.spark.streaming.kafka010.DirectKafkaInputDStream@108531c2 20/04/15 21:46:25 ERROR StreamingContext: Error starting the context, marking it as stopped java.lan…

Kafka安装部署 前置：jdk/zookeeper安装部署，并能正常启动。 #文件解压 tar zxvf kafka_2.11-1.0.0.tgz  -C ../servers/ vim /export/servers/kafka_2.11-1.0.0/conf/server.properties #(每个节点不能相同) Broker.id=0 log.dirs=/export/servers/kafka_2.11-1.0.0/logs/ zookeeper.connect=node01:2181,node02:…

企业中离线业务场景实时业务场景都需要使用到kafka Kafka具备数据的计算能力和存储能力，但是两个能力相对（MR/SPARK，HDFS）较弱. Kafka角色的角色与hbase比较像，层级关系比较多。   消息：应用之间传送的数据，或点与点之间，点与多点之间传递的数据，传递的信息。 消息队列：是一种应用间的通信方式以队列的形式传递。   消息队列的应用场景 应用解耦合：多应用间通过消息队列对同一消息进行处理 异步处理：多应用对消息队列中同一消息进行处理 限流削峰：用于秒杀或抢购活动中，避免流…

Kafka知识点总结 Kafka生态系统四大角色，生产者(Producer)、kafka集群(Broker)、消费者(Consumer)、zookeeper 每个消费者都必须属于一个消费组，一个组内的消费者可以多个。 一个Topic可以有1到多个多个分区（Partition） 一个分区可以有1到多个segment。 每个segment可以有由一个log和一个index组成。 被复制的分区叫做主副本（Leader）,复制出来的叫做从副本（Follower） 生产者只往主副本写数据，消费者只在主副本拉取数据。 从副本只…