class AreaClickUDAF extends UserDefinedAggregateFunction { // 输入数据的类型: 北京 String override def inputSchema: StructType = { StructType(StructField("city_name", StringType) :: Nil) // StructType(Array(StructField("city_name", StringType))) } // 缓存的数据的类型: 北京->1…

def main(args: Array[String]): Unit = { val sparkSession: SparkSession = SparkSession.builder().master("local[*]").appName("wula").getOrCreate() val sparkContext: SparkContext = sparkSession.sparkContext sparkContext.setLogLevel("warn") val kafkaDF: DataFrame …

20/04/15 21:46:25 WARN KafkaUtils: overriding receive.buffer.bytes to 65536 see KAFKA-3135 org.apache.spark.streaming.kafka010.DirectKafkaInputDStream@108531c2 20/04/15 21:46:25 ERROR StreamingContext: Error starting the context, marking it as stopped java.lan…

Error connecting to database: (using class org.apache.hive.jdbc.HiveDriver) Illegal Hadoop Version: Unknown (expected A.B.* format) 将自己hadoop对应版本的hadoop-common.jar（我的是hadoop-common-2.6.0-cdh5.14.0.jar)放到根目录的 lib目录下然后重启Kettle即可

HDFS文件系统的目录基本都属于supergroup用户组，所以就把用户添加到该用户组，即可解决很多权限问题，例如连接Hive却无法操作的创建库、表的问题等 1、在Linux执行如下命令增加supergroup groupadd supergroup 2、将用户增加到supergroup中 usermod -a -G supergroup root 3、同步系统的权限信息到HDFS文件系统 sudo -u hdfs hdfs dfsadmin -refreshUserToGroupsMappings 4、查看属于s…

从sqoop将hive中数据导出到mysql中，结果出现了以下情况： 查询变量后发现 show variables like 'character%'; set character_set_database=utf8; set character_set_server=utf8; 修改字符集后正常