このブログを検索

2014/11/20

rsyncするときに取得したくないファイルが多い場合の書き方

rsync -azr --bwlimit=1024 --exclude=*access.log* --exclude=catalina* --exclude=*error.log* --exclude=*manager* --exclude=localhost* --exclude=mod_jk*  ${remote_ip} ./${workDir}_${yyyymmdd}
のように除外ファイル名を並べるより、以下のように--exclude=* ですべて除外して取りたいものだけ指定する書き方にしましょ。
rsync -azr --bwlimit=1024 --include=filename.*${yyyymmdd}*.log* --exclude=*  ${remote_ip} ./${workDir}_${yyyymmdd}

というメモです。 

2014/10/10

Hive QL まとめ

  • change format : yyyyMMdd -> yyyy-MM-DD
select  regexp_replace(yyyymmdd, "(\\d{4})(\\d{2})(\\d{2})", "$1-$2-$3") from TABLE limit 10


  • databaseがdefault以外の場合のAlter table add/drop partitionは

    use db2;
    alter table table_name add/drop [if exists] partition (dt='yyyymmdd');
    のようにすること。

    alter table db2.table_name add/drop [if exists] partition (dt='yyyymmdd');
    は出来なかった。

    理由はhive-server2ではないから?pythonから接続したから?
    hive-server2ではないから?については
    select * from db2.table_name, insert into db2.table_name select ~が出来たから関係ないかも

2014/10/09