mysql_to_hdfs.sh 555 B

1234567891011121314151617181920212223242526272829
  1. #!/bin/bash
  2. . ./config.sh
  3. url=$MYSQL_URL
  4. username=$MYSQL_USER
  5. password=$MYSQL_PASSWORD
  6. ## 无分区
  7. collect_data_np() {
  8. sqoop import -D mapred.job.queue.name=hive \
  9. --connect $1 \
  10. --username $2 \
  11. --password $3 \
  12. --target-dir /warehouse/saga_dw/ods/$2 \
  13. --delete-target-dir \
  14. --query "$5 and \$CONDITIONS" \
  15. --num-mappers 1 \
  16. --hive-drop-import-delims \
  17. --fields-terminated-by '\001' \
  18. --compress \
  19. --compression-codec lzo \
  20. --hive-import \
  21. --hive-database saga_dw \
  22. --hive-table $4 \
  23. --hive-overwrite \
  24. --null-string '\\N' \
  25. --null-non-string '\\N'
  26. }