complete,把所有的DataFrame的内容输出,这种模式只能在做agg聚合操作的时候使用,比如ds.group.count,之后可以使用它 append,普通的dataframe在做完map或者filter之后可以使用。这种模式会把新的batch的数据输出出来, update,把此次新增的数据输出,并更新整个dataframe。有点类似之前的streaming的state处理。
complete,把所有的DataFrame的内容输出,这种模式只能在做agg聚合操作的时候使用,比如ds.group.count,之后可以使用它 append,普通的dataframe在做完map或者filter之后可以使用。这种模式会把新的batch的数据输出出来, update,把此次新增的数据输出,并更新整个dataframe。有点类似之前的streaming的state处理。
常见端口汇总: Hadoop: 50070:HDFS WEB UI端口 9870:3.x HDFS WEB UI端口 8020 : 高可用的HDFS RPC端口 9000 : 非高可用的HDFS RPC端口 8088 : Yarn 的WEB UI 接口 8485 : JournalNode 的RPC端口 8019 : ZKFC端口 Zookeeper: 2181 : 客户端连接zookeeper的端口 2888 : zookeeper集群内通讯…
什么是Spark 基于内存的,用于大规模数据处理(离线计算、实时计算、快速查询(交互式查询))的统一分析引擎。 Spark特点 快: Spark计算速度是MapReduce计算速度的10-100倍 易用:(算法多) MR支持1种计算模型,Spsark支持更多的计算模型。 通用: Spark 能够进行离线计算、交互式查询(快速查询)、实时计算、机器学习、图计算等 兼容性: Spark支持大数据中的Yarn调度,支持mesos。可以处理hadoop计算的数据。 Spark运行模式 1.local本地模式(单机)--开发…
class AreaClickUDAF extends UserDefinedAggregateFunction { // 输入数据的类型: 北京 String override def inputSchema: StructType = { StructType(StructField("city_name", StringType) :: Nil) // StructType(Array(StructField("city_name", StringType))) } // 缓存的数据的类型: 北京->1…
def main(args: Array[String]): Unit = { val sparkSession: SparkSession = SparkSession.builder().master("local[*]").appName("wula").getOrCreate() val sparkContext: SparkContext = sparkSession.sparkContext sparkContext.setLogLevel("warn") val kafkaDF: DataFrame …