尚硅谷大数据技术之Sqoop第5章 Sqoop一些常用命令及参数
5.2.8 命令&参数:create-hive-table
生成与关系数据库表结构对应的hive表结构。
命令:
如:
$ bin/sqoop create-hive-table \ --connect jdbc:mysql://hadoop102:3306/company \ --username root \ --password 000000 \ --table staff \ --hive-table hive_staff |
参数:
序号 |
参数 |
说明 |
1 |
--hive-home <dir> |
Hive的安装目录,可以通过该参数覆盖掉默认的Hive目录 |
2 |
--hive-overwrite |
覆盖掉在Hive表中已经存在的数据 |
3 |
--create-hive-table |
默认是false,如果目标表已经存在了,那么创建任务会失败 |
4 |
--hive-table |
后面接要创建的hive表 |
5 |
--table |
指定关系数据库的表名 |
5.2.9 命令&参数:eval
可以快速的使用SQL语句对关系型数据库进行操作,经常用于在import数据之前,了解一下SQL语句是否正确,数据是否正常,并可以将结果显示在控制台。
命令:
如:
$ bin/sqoop eval \ --connect jdbc:mysql://hadoop102:3306/company \ --username root \ --password 000000 \ --query "SELECT * FROM staff" |
参数:
序号 |
参数 |
说明 |
1 |
--query或--e |
后跟查询的SQL语句 |
5.2.10 命令&参数:import-all-tables
可以将RDBMS中的所有表导入到HDFS中,每一个表都对应一个HDFS目录
命令:
如:
$ bin/sqoop import-all-tables \ --connect jdbc:mysql://hadoop102:3306/company \ --username root \ --password 000000 \ --warehouse-dir /all_tables |
参数:
序号 |
参数 |
说明 |
1 |
--as-avrodatafile |
这些参数的含义均和import对应的含义一致 |
2 |
--as-sequencefile |
|
3 |
--as-textfile |
|
4 |
--direct |
|
5 |
--direct-split-size <n> |
|
6 |
--inline-lob-limit <n> |
|
7 |
--m或—num-mappers <n> |
|
8 |
--warehouse-dir <dir> |
|
9 |
-z或--compress |
|
10 |
--compression-codec |