complete，把所有的DataFrame的内容输出，这种模式只能在做agg聚合操作的时候使用，比如ds.group.count，之后可以使用它 append，普通的dataframe在做完map或者filter之后可以使用。这种模式会把新的batch的数据输出出来， update，把此次新增的数据输出，并更新整个dataframe。有点类似之前的streaming的state处理。
常见端口汇总： Hadoop： 50070：HDFS WEB UI端口 9870：3.x HDFS WEB UI端口 8020 ： 高可用的HDFS RPC端口 9000 ： 非高可用的HDFS RPC端口 8088 ： Yarn 的WEB UI 接口 8485 ： JournalNode 的RPC端口 8019 ： ZKFC端口 Zookeeper: 2181 ： 客户端连接zookeeper的端口 2888 ： zookeeper集群内通讯…
什么是Spark 基于内存的，用于大规模数据处理（离线计算、实时计算、快速查询（交互式查询））的统一分析引擎。 Spark特点 快： Spark计算速度是MapReduce计算速度的10-100倍 易用：（算法多） MR支持1种计算模型，Spsark支持更多的计算模型。 通用： Spark 能够进行离线计算、交互式查询（快速查询）、实时计算、机器学习、图计算等 兼容性： Spark支持大数据中的Yarn调度，支持mesos。可以处理hadoop计算的数据。 Spark运行模式 1.local本地模式(单机)--开发…
class AreaClickUDAF extends UserDefinedAggregateFunction { // 输入数据的类型: 北京 String override def inputSchema: StructType = { StructType(StructField("city_name", StringType) :: Nil) // StructType(Array(StructField("city_name", StringType))) } // 缓存的数据的类型: 北京->1…
def main(args: Array[String]): Unit = { val sparkSession: SparkSession = SparkSession.builder().master("local[*]").appName("wula").getOrCreate() val sparkContext: SparkContext = sparkSession.sparkContext sparkContext.setLogLevel("warn") val kafkaDF: DataFrame …
