hdfs_to_mysql.sh 1.1 KB

12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455
  1. #!/bin/bash
  2. if [ -n "$2" ] ;then
  3. echo "如果是输入的日期按照取输入日期"
  4. do_date=$2
  5. else
  6. echo "====没有输入数据的日期,取当前时间的前一天===="
  7. do_date=`date -d yesterday +"%Y-%m-%d"`
  8. fi
  9. url=$MYSQL_URL
  10. username=$MYSQL_USER
  11. password=$MYSQL_PASSWORD
  12. hdfs_to_mysql() {
  13. sqoop export -D mapred.job.queue.name=hive \
  14. --connect $1 \
  15. --username $2 \
  16. --password $3 \
  17. --table $4 \
  18. -m 1 \
  19. --hcatalog-database saga_dw \
  20. --hcatalog-table $5 \
  21. --fields-terminated-by '\001' \
  22. --input-null-string '\\N' \
  23. --input-null-non-string '\\N'
  24. }
  25. hdfs_to_mysql_by_day() {
  26. sqoop export -D mapred.job.queue.name=hive \
  27. --connect $1 \
  28. --username $2 \
  29. --password $3 \
  30. --table $4 \
  31. -m 1 \
  32. --hcatalog-database saga_dw \
  33. --hcatalog-table $5 \
  34. --hcatalog-partition-keys dt \
  35. --hcatalog-partition-values $do_date \
  36. --fields-terminated-by '\001' \
  37. --input-null-string '\\N' \
  38. --input-null-non-string '\\N'
  39. }
  40. app_energy(){
  41. hdfs_to_mysql $url $username $password "app_energy_15_min" "dwd_energy_15_min_hour"
  42. }
  43. case $1 in
  44. "app_energy")
  45. app_energy
  46. ;;
  47. esac