本文为CSDN博主「初心江湖路」的原创文章，原文链接：https://blog.csdn.net/weixin_43878293/article/details/90020221
因为使用了笛卡尔积，但是在Spark2.x中是笛卡尔积操作是默认关闭，如果需要开启，则添加如下配置 val sparkSession = SparkSession.builder().master("local[*]").appName("wula") .config("spark.sql.crossJoin.enabled","true").getOrCreate()
新增功能 此版本的 VMware vSphere 7.0 包括 VMware ESXi 7.0 和 VMware vCenter Server 7.0。请阅读《vSphere 7.0 的新增功能》，了解有关此版本中的新功能和增强功能的信息。 国际化 vSphere 7.0 提供以下语言的版本： 英语 法语 德语 西班牙语 日语 韩语 简体中文 繁体中文 vSphere 7.0 的组件（包括 vCenter Server、ESXi、vSphere Client 和 vSphere Host Client）不接受非 A…
complete，把所有的DataFrame的内容输出，这种模式只能在做agg聚合操作的时候使用，比如ds.group.count，之后可以使用它 append，普通的dataframe在做完map或者filter之后可以使用。这种模式会把新的batch的数据输出出来， update，把此次新增的数据输出，并更新整个dataframe。有点类似之前的streaming的state处理。
常见端口汇总： Hadoop： 50070：HDFS WEB UI端口 9870：3.x HDFS WEB UI端口 8020 ： 高可用的HDFS RPC端口 9000 ： 非高可用的HDFS RPC端口 8088 ： Yarn 的WEB UI 接口 8485 ： JournalNode 的RPC端口 8019 ： ZKFC端口 Zookeeper: 2181 ： 客户端连接zookeeper的端口 2888 ： zookeeper集群内通讯…
什么是Spark 基于内存的，用于大规模数据处理（离线计算、实时计算、快速查询（交互式查询））的统一分析引擎。 Spark特点 快： Spark计算速度是MapReduce计算速度的10-100倍 易用：（算法多） MR支持1种计算模型，Spsark支持更多的计算模型。 通用： Spark 能够进行离线计算、交互式查询（快速查询）、实时计算、机器学习、图计算等 兼容性： Spark支持大数据中的Yarn调度，支持mesos。可以处理hadoop计算的数据。 Spark运行模式 1.local本地模式(单机)--开发…