一、简介
Apache Sqoop是在Hadoop生基金会提供
核心的功能有两个：
导入、迁入
导出、迁出
导入数据：MySQL，Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统
导出数据：从 Hadoop 的文件系统中导出数据到关系数据库 mysql 等 Sqoop 的本质还是一个命令行工具，和 HDFS，Hive 相比，并没有什么高深的理论
Sqoop工作机制：
是将导入或导出命令翻译成mapreduce程序来实现；在翻译出的mapreduce中主要是对inputformat和outputformat进行定制
Hadoop生态系统包括：HDFS、Hive、Hbase等
RDBMS体系包括：Mysql、Oracle、DB2等
Sqoop可以理解为：“SQL 到 Hadoop 和 Hadoop 到SQL”
二、Sqoop安装
1.上传Sqoop包和mysql驱动包并解压
2.配置环境变量 vim /etc/profile.d/sqoop.sh
export SQOOP_HOME=/export/servers/sqoop-1.4.6.bin__hadoop-2.0.4-alpha
export PATH=:$SQOOP_HOME/bin:$PATH
3.进入sqoop的conf目录，配置sqoop-env.sh #Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
#Set the path to where bin/hive is available
export HIVE_HOME=/export/servers/hive-1.1.0-cdh5.14.0
5.加入mysql的jdbc驱动包
cp mysql-connector-java-5.1.32.jar $SQOOP_HOME/lib/
6.验证安装是否成功
sqoop-version 或者 sqoop version
文章评论