hdfs_to_mysql.sh 831 B

1234567891011121314151617181920212223242526272829303132333435363738394041
  1. #!/bin/bash
  2. if [ -n "$2" ] ;then
  3. echo "如果是输入的日期按照取输入日期"
  4. do_date=$2
  5. else
  6. echo "====没有输入数据的日期,取当前时间的前一天===="
  7. do_date=`date -d yesterday +"%Y-%m-%d"`
  8. fi
  9. url=$MYSQL_URL
  10. username=$MYSQL_USER
  11. password=$MYSQL_PASSWORD
  12. hdfs_to_mysql() {
  13. sqoop export -D mapred.job.queue.name=hive \
  14. --connect $1 \
  15. --username $2 \
  16. --password $3 \
  17. --table $4 \
  18. -m 1 \
  19. --hcatalog-database saga_dw \
  20. --hcatalog-table $5 \
  21. --hcatalog-partition-keys dt \
  22. --hcatalog-partition-values $do_date \
  23. --fields-terminated-by '\001' \
  24. --input-null-string '\\N' \
  25. --input-null-non-string '\\N'
  26. }
  27. app_energy(){
  28. mysql_to_hdfs_lzo $url $username $password mysql_tableName hive_tableName
  29. }
  30. case $1 in
  31. "table")
  32. app_energy
  33. ;;
  34. esac