将数据通过shell脚本从hdfs导入到hive中
漏船载酒 2017-12-01 22:18:18 浏览1422 评论0
摘要: 在创建项目的时候 需要将数据导入 则此时的数据不能通过hql来再shell中展示 所以需要记录脚本 而这块内容应该写在一个单独的模块下面 需要注意的是对文件的明明xx_yy_zz.hqlxx 文件名 yy 表示数据库对应表明 zz分区性质如按照天则为yyyymmdd这样明明的好处就是一目了然 让人…
在创建项目的时候 需要将数据导入 则此时的数据不能通过hql来再shell中展示 所以需要记录脚本
而这块内容应该写在一个单独的模块下面
需要注意的是对文件的明明
xx_yy_zz.hql
xx 文件名 yy 表示数据库对应表明 zz分区性质如按照天则为yyyymmdd
这样明明的好处就是一目了然 让人明白它是哪的文件用于做什么的
drop table if exists ods_company_${yyyymmdd};
create external table ods_company_${yyyymmdd}(
company_id int
,company_address string
,company_attr string
,company_boss string
,company_name string
,company_phone string
)stored as parquet
location '/sqoop/btrip_pg/${yyyymmdd}/tb_company'
运行真个shell脚本 过程
启动hdfs ,yarn
sqoop2-server : 创建job 以及用于将数据从PostgreSql导入到hdfs
hiveserver2 将数据从hdfs导入到hive中
将脚本传到 linux上
通过指令执行脚本 有
hive -f ods_company_yyyymmdd.hql --hivevar yyyymmdd=20171201
yyyymmdd 为日期与脚本中的yyyym
yyyymmdd对应
转载请注明:SuperIT » 将数据通过shell脚本从hdfs导入到hive中