发帖
翼度科技»论坛 › 云主机 › LINUX › 查看内容

linux 之 shell脚本实现SFTP下载、上传文件、执行sftp命令

小福袋大棚菜

4

主题

4

帖子

12

积分

新手上路

Rank: 1

积分
12
显示全部楼层
需求

需求方通过sftp不定时的上传一批用户(SBXDS_ACC_M_任务ID_yyyymmddHHMMSS.csv)，需要我们从这些用户中找出满足条件的用户。然后把这些结果用户通过文件的形式上传到ftp。
环境说明

ip1能连接hive库环境，不能连接sftp。
ip2不能连接hive库环境，能连接sftp。
ip1和ip2是共享盘，能同时访问公共目录。
目录规划

源文件名： SBXDS_ACC_M_任务ID_yyyymmddHHMMSS.csv (例：SBXDS_ACC_M_test001_20240201103828.csv)
结果文件名： WTF_YBZ_DSGS_任务id.csv (例：WTF_YBZ_DSGS_test001.csv)
本地路径: /date/localPath/SBXDS_ACC_M
sftp下载路径(源文件):/ftpdata/preciseUpload
sftp上传路径(结果文件):/ftpdata/orderringlist
处理逻辑

1.通过sftp获取preciseUpload目录下，当天的 SBXDS_ACC_M_*_YYYYMMDD*.csv 文件名，并写入本地文件SBXDS_ACC_M.txt
2.比对SBXDS_ACC_M.txt里面的文件是否在SBXDS_ACC_M目录下存在，不存在则将文件名写入SBXDS_ACC_M_NEWFILES.txt。
3.获取SBXDS_ACC_M_NEWFILE.txt里面的文件，并写入hive表 dods_ftp_target_users partition(task_id)。
4.目标用户与通信圈用户匹配，跑出结果数据dapp_ftp_calling_txq_users partition(task_id)。
5.结果数据写入文件WTF_YBZ_DSGS_task_id.csv，并上传sftp
6.为了防止文件正在传输，内容未传输完，需求方就把文件取走了，导致漏数据的情况。在文件上传之后，对文件进行重命名处理。
hive表
  1. -- 目标用户hive表
  2. create table ods_target_users(
  3. phone_no string
  4. )
  6. -- 结果数据hive表
  7. create table dapp_target_result_users(
  8. phone_no string,
  9. msg_info string
  10. )
复制代码
脚本执行顺序

sh ftp_getTodayFiles.sh 20240201 # ip1执行，文件处理
sh ftp_getTxq_users.sh # ip2 执行，跑SQL
sh ftp_sftpPutFiles.sh # ip1 执行，文件处理
脚本

  1. #!/bin/bash
  2. # ftp_getTodayFiles.sh
  3. # ip2 执行
  4. # 调用方式 sh ftp_getTodayFiles.sh 20240201
  6. # 定义函数，获取文件名称
  7. function funcGetTodayFilesName(){
  8. dateNo=$1
  9. PORT=22
  10. HOST="ip1"  
  11. USERNAME="uname1"
  12. PASSWORD="123456"  
  13. LOCALDIR="/date/localPath/SBXDS_ACC_M"
  14. SFTPDIR="/ftpdata/preciseUpload"
  15. FILENAME="SBXDS_ACC_M_*_$dateNo*"
  16. cd $LOCALDIR
  17. /usr/bin/expect << EOF
  18. spawn sftp -P $PORT $USERNAME@$HOST
  19. expect "*Password*"
  20. send "$PASSWORD\r"
  21. expect "*#"
  22. send "cd $SFTPDIR\r"
  23. expect "*#"
  24. send "ls -1 $FILENAME\r"
  25. expect eof
  26. EOF
  27. }
  29. # 定义函数，sftp获取文件
  30. function funcSftpGetFile(){
  31. FILENAME=$1
  32. PORT=22
  33. HOST="ip1"  
  34. USERNAME="uname1"
  35. PASSWORD="123456"  
  36. LOCALDIR="/date/localPath/SBXDS_ACC_M"
  37. SFTPDIR="/ftpdata/preciseUpload"
  38. cd $LOCALDIR
  39. /usr/bin/expect << EOF
  40. spawn sftp -P $PORT $USERNAME@$HOST
  41. expect "*Password*"
  42. send "$PASSWORD\r"
  43. expect "*#"
  44. send "cd $SFTPDIR\r"
  45. expect "*#"
  46. send "get $FILENAME \r"
  47. expect eof
  48. EOF
  49. }
  51. # 调用函数，获取文件名称
  53. dateNo=$1
  54. LOCALDIR="/date/localPath/SBXDS_ACC_M"
  55. cd $LOCALDIR
  56. echo "开始获取sftp目录下当天文件名称SBXDS_ACC_M_*_$dateNo*......"
  57. funcGetTodayFilesName $dateNo|grep ".csv" > SBXDS_ACC_M_FILES.txt
  58. echo "获取sftp目录下当天文件名称结束"
  60. dayfiles=$(cat SBXDS_ACC_M_FILES.txt|wc -l)
  61. if [ $dayfiles -eq 0 ]; then
  62.   echo "sftp今日无文件。"
  63.   exit
  64. else
  65.   echo "当日所有文件："
  66.   cat SBXDS_ACC_M_FILES.txt
  67. fi
  70. echo "清空文件 SBXDS_ACC_M_NEWFILES.txt"
  71. echo "判断本地是否存在文件，不存在则将文件名写入文件SBXDS_ACC_M_NEWFILES.txt"
  72. > SBXDS_ACC_M_NEWFILES.txt
  73. for filename in $(cat SBXDS_ACC_M_FILES.txt|sed 's/\r$//')
  74. do
  75.     if [ -e $filename ];    then
  76.       echo "$filename 已存在"
  77.   else
  78.       echo "$filename 新文件"
  79.       echo $filename >> SBXDS_ACC_M_NEWFILES.txt
  80.   fi
  81. done
  83. newfiles=$(cat SBXDS_ACC_M_NEWFILES.txt|wc -l)
  84. if [ $newfiles -eq 0 ]; then
  85.   echo "无新增文件。"
  86.   exit
  87. else
  88.   echo "文件名写入SBXDS_ACC_M_NEWFILES.txt结束"
  89.   echo "当日新增文件$newfiles个："
  90.   cat SBXDS_ACC_M_NEWFILES.txt
  91. fi
  93. # 调用函数，sftp获取文件
  94. echo "开始下载文件...."
  95. LOCALDIR="/date/localPath/SBXDS_ACC_M"
  96. cd $LOCALDIR
  97. for filename in $(cat SBXDS_ACC_M_NEWFILES.txt|sed 's/\r$//')
  98. do
  99.     echo "下载$filename..."
  100.     funcSftpGetFile $filename
  101. done
  103. echo "下载文件结束,文件名如下："
  104. cat SBXDS_ACC_M_NEWFILES.txt
  106. # 验证 SBXDS_ACC_M_NEWFILES.txt
  107. newfiles2=$(cat SBXDS_ACC_M_NEWFILES.txt|wc -l)
  108. if [ $newfiles2 -eq 0 ]; then
  109.   echo "文件异常！！！"
  110.   exit 1
  111. fi
复制代码
ftp_getTodayFiles.sh
  1. #!/bin/bash
  2. # ftp_getTxq_users.sh
  3. # ip1 执行
  4. # 把SBXDS_ACC_M_NEWFILE.txt里面的文件写入hive表 dods_ftp_target_users partition(task_id)。
  5. # 匹配通信圈用户 dapp_ftp_txq_users
  6. # 结果数据导入文件WTF_YBZ_DSGS_task_id
  7. # 调用格式： sh ftp_getTxq_users.sh 20240114
  9. dateNo=$1
  10. LOCALDIR="/date/localPath/SBXDS_ACC_M"
  11. cd $LOCALDIR
  13. newfiles=$(cat SBXDS_ACC_M_NEWFILES.txt|wc -l)
  14. if [ $newfiles -eq 0 ]; then
  15.   echo "无新增文件。"
  16.   exit
  17. fi
  20. fileList=()
  21. for filename in $(cat SBXDS_ACC_M_NEWFILES.txt|sed 's/\r$//')
  22.     do
  23.     task_id=$(echo $filename|cut -d'_' -f4)
  24.     echo "文件名: $filename,任务ID: $task_id"
  25.     echo "执行命令:hadoop fs -mkdir hdfs://ns2/data//dods/dods_ftp_target_users/task_id=$task_id"
  26.     hadoop fs -mkdir hdfs://ns2/data//dods/dods_ftp_target_users/task_id=$task_id
  27.     if [ $? -eq 0 ]; then
  28.       echo "执行命令:hadoop fs -put -f $filename hdfs://ns2/data//dods/dods_ftp_target_users/task_id=$task_id"
  29.         hadoop fs -put -f $filename hdfs://ns2/data//dods/dods_ftp_target_users/task_id=$task_id
  30.   else
  31.       echo "分区 $task_id 已存在。"
  32.       echo "执行命令:hadoop fs -put -f $filename hdfs://ns2/data//dods/dods_ftp_target_users/task_id=$task_id"
  33.         hadoop fs -put -f $filename hdfs://ns2/data//dods/dods_ftp_target_users/task_id=$task_id
  34.   fi
  35.    
  36.   # 匹配通信圈用户
  37.   hive -e"
  38.   MSCK REPAIR TABLE dods_ftp_target_users;
  39.   insert overwrite table dapp_ftp_txq_users partition(task_id='${task_id}')
  40.   select a.phone_no,
  41.          b.msg_info
  42.   from   dods_ftp_target_users a,
  43.          dods_msg_info b
  44.   where  a.phone_no=b.phone_no
  45.   and    a.task_id='${task_id}'
  46.   and    b.deal_day='${dateNo}'
  47.   group  by a.phone_no,
  48.          b.msg_info
  49.   "
  50.   # 结果数据导入文件
  51.   hive -e"
  52.     select concat_ws(',',phone_no,msg_info)
  53.     from dapp_ftp_txq_users
  54.     where task_id = '${task_id}'
  55.   " > WTF_YBZ_DSGS_${task_id}
  56.   
  57.   # 文件记录数
  58.   file_rows=$(cat WTF_YBZ_DSGS_${task_id}|wc -l)
  59.   msgs="源文件$filename的结果文件WTF_YBZ_DSGS_${task_id}，记录数$file_rows。"
  60.   fileList+=$msgs
  61.   done
  63. echo "************************* 执行成功 *************************"
  64. for msg in ${fileList[*]}
  65. do
  66.     echo $msg
  67. done
复制代码
ftp_getTxq_users.sh
[code]#!/bin/bash# ftp_sftpPutFiles.sh# ip2 执行# 调用格式 sh ftp_sftpPutFiles.sh# 定义函数，sftp上传文件function sftpPutFiles(){FILENAME=$1PORT=22HOST="ip1"  USERNAME="uname1"PASSWORD="123456"  LOCALDIR="/date/localPath/SBXDS_ACC_M"SFTPDIR="/ftpdata/orderringlist"cd $LOCALDIR/usr/bin/expect

本帖子中包含更多资源

您需要 登录 才可以下载或查看，没有账号？立即注册

x

上一篇: 从零开始教你手动搭建幻兽帕鲁私服（ CentOS 版）

下一篇: 实模式和保护模式的区别

发表于 2024-2-1 22:24:00

举报 回复 使用道具

返回列表 发新帖

Archiver|手机版|小黑屋|翼度科技

Copyright © 2001-2020, Tencent Cloud.　Powered by Discuz! X3.4