download

説明

データレイクからファイルをダウンロードします。FILE_ID 指定もしくは日付期間指定で対象となる全てのファイルをローカルの指定ディレクトリへ保存します。

概要

$ abeja datalake download [--help]
Usage: abeja datalake download [OPTIONS]

  Download files

Options:
  -c, --channel_id TEXT   Channel identifier  [required]
  -o, --output_path TEXT  Output directory path  [required]
  -f, --file_id TEXT      File identifier NOTE: This argument is mutually
                          exclusive with  arguments: [start, end].
  -s, --start DATESTRING  Start date NOTE: This argument is mutually exclusive
                          with  arguments: [file_id].
  -e, --end DATESTRING    End date NOTE: This argument is mutually exclusive
                          with  arguments: [file_id].
  --dry-run, --dry_run    Dry run, only shows upload candidate files
  --file-name [id|name]   Defines the output file's name type; [id|name].
  --skip-duplicate-files  Don't download file if the file whose name is same
                          already exists in output directory path.
  --help                  Show this message and exit.

オプション

-c, --channel_id

ダウンロード対象となるデータレイクの channel_id を指定します。

-o, --output_path

ダウンロードしたファイルを格納するディレクトリへの相対パスまたは絶対パスを指定します。

-f, --file_id

ダウンロード対象の file_id を指定します。file_id は複数指定することが可能です。

-s, --start

指定した日付以降にアップロードされたファイルをダウンロードします。”YYYYMMDD” 形式で指定します(例: “20170329”)。 こちらのオプションを使用する場合 --end オプションの指定が必須となり、--file_id オプションとの併用はできません。

-e, --end

指定した日付以前にアップロードされたファイルをダウンロードします。”YYYYMMDD” 形式で指定します(例: “20170329”)。 こちらのオプションを使用する場合 --start オプションの指定が必須となり、--file_id オプションとの併用はできません。

--dry-run, --dry_run

コマンドによりダウンロードされる FILE_ID の一覧を表示します。このオプションを指定した場合、実際のダウンロードは行われません。

--file-name [name|id]

ダウンロードされるファイル名の形式を指定するオプションです。 オプションはファイル名(--file-name=name)、 もしくはファイルのID(--file-name=id)を指定する事が可能です。 指定がない場合はファイル名で保存されます。

--skip-duplicate-files

出力ディレクトリパスに、名前が同じファイルが既に存在する場合、ファイルをダウンロードしないオプションです。

例

FILE_ID指定によるダウンロード

コマンド:

$ abeja datalake download --channel_id 1234567890123 \
                          --output_path ./download_dir \
                          --file_id 20171204T025103-86c30036-78c9-4c97-ba34-05e42cacf382 \
                          --file_id 20171204T025103-3b71676e-8f66-4228-b390-9edd20b4149e

期間指定によるダウンロード

コマンド:

$ abeja datalake download --channel_id 1234567890123 --start 20171203 --end 20171204 --output_path ./download_dir