①.Redis简介 Redis是一个使用C语言编写的key-value开源的NOSQL存储系统。（区别于MySQL的二维表格的形式存储）。 Redis是单线程+多路IO复用技术 ②.Redis特点 1、高效性：Redis读取的速度是110000次/s，写的速度是81000次/s 2、原子性：Redis的所有操作都是原子性的，不能再细化的。 3、支持杜仲数据结构：string（字符串）；list（列表）；hash（哈希），set（集合） 4、稳定性强：支持数据持久化，支持主从结构的数据备份 5、其他：支持数据有效期，…
1、什么是redis Redis是一个基于内存的使用C语言编写的key-value开源的NOSQL存储系统。不支持SQL语句。 2、Redis持久化数据的方式有哪些 1、RDB 触发式的持久化 在配置文件中添加：save 5 2 (5秒中 有2次操作便会出发持久化) 2、AOF 日志形式的持久化 每秒钟存储一次 3、解决IT行业数据读取瓶颈的终极方案 读写分离 4、Redis如何实现读写分离？ Redis本身支持读写分离，主节点可以读数据、可以写数据、从节点只能读数据。配置redis的主…
一、 Hadoop High Availability HA(High Available), 高可用，是保证业务连续性的有效解决方案，一般有两个或两个以上的节点，分为活动节点（Active）及备用节点（Standby）。通常把正在执行业务的称为活动节点，而作为活动节点的一个备份的则称为备用节点。当活动节点出现问题，导致正在运行的业务（任务）不能正常运行时，备用节点此时就会侦测到，并立即接续活动节点来执行业务。从而实现业务的不中断或短暂中断。 Hadoop1.X版本，NN是HDFS集群的单点故障点，每一个集群只有一…
首先查看透明大页是否启用，[always] never表示已启用，always [never]表示已禁用 cat /sys/kernel/mm/transparent_hugepage/enabled [always] madvise never 如果是启用状态，修改/etc/rc.d/rc.local文件并添加以下两行 echo never > /sys/kernel/mm/transparent_hugepage/defrag echo never > /sys/kernel/mm/transpar…
执行关闭swap分区 修改/etc/fstab配置文件 将注释掉 可以通过free -h确认 调整 swappiness 参数 echo 0 > /proc/sys/vm/swappiness # 临时生效 vim /etc/sysctl.conf # 永久生效 #修改 vm.swappiness 的修改为 0 vm.swappiness=0 sysctl -p # 载入sysctl配置文件
1.创建表myuser Configuration configuration = new Configuration(); configuration.set("hbase.zookeeper.quorum","node01:2181,node02:2181,node03:2181"); Connection connection = ConnectionFactory.createConnection(configuration); //获取连接对象，创建一张表 //获取管理员对象，来对数据库进行DDL的操作 …
Hive内部表，语句如下 create table hbase_video( videoId string, uploader string, age int, category array, length int, views int, rate float, ratings int, comments int, relatedId array) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties("h…
熟练掌握通过使用java代码实现HBase数据库当中的数据增删改查的操作，特别是各种查询，熟练运用 第一步：创建maven工程，导入jar包 第二步：开发javaAPI操作HBase表数据 1、创建表myuser public static void createTable() throws IOException { Configuration conf =new Configuration(); //连接hbase集群不需要指定hbase主节点的ip地址和端口号 conf.set("hbase.zookeepe…
过滤器的类型很多，但是可以分为两大类——比较过滤器，专用过滤器 过滤器的作用是在服务端判断数据是否满足条件，然后只将满足条件的数据返回给客户端； hbase过滤器的比较运算符： LESS < LESS_OR_EQUAL <= EQUAL = NOT_EQUAL <> GREATER_OR_EQUAL >= GREATER > NO_OP 排除所有 Hbase过滤器的专用过滤器（指定比较机制）： BinaryComparator 按字节索引顺序比较指定字节数组，采用Bytes.co…
https://dev.mysql.com/downloads/repo/yum/ 一、安装 MySQL 的 yum 源 # 安装源，会在 /etc/yum.repos.d/ 下生成 mysql-community.repo 文件 rpm -ivh https://repo.mysql.com//mysql80-community-release-el7-3.noarch.rpm # 查看 yum 源中是否有 mysql 安装包 yum repolist all | grep mysql [hide reply_t…