curlでデータレイクへファイルをアップロードする

はじめに

このガイドでは curlコマンドを使ってファイルをデータレイクへアップロードする方法について説明します。

認証情報の確認

認証は Basic 認証で行うため、認証情報の確認が必要です。

Basic認証のユーザー名及びパスワードには、ユーザー認証（USER_IDとPERSONAL_ACCESS_TOKEN）またはデータソース認証（ DATASOURCE_IDとDATASOURCE_SECRETS）のいずれかを選択することができます。

ユーザー認証

認証情報の取得については、認証情報の確認方法を参照ください。

• ユーザー名 user-{USER_ID}
• パスワード {PERSONAL_ACCESS_TOKEN}

$ curl --user user-1234567890123:8516bee2d1f3ae3299aaf9eac11e366ce5e83799 ...

データソース認証

データソース情報の確認は、各チャンネル詳細ページから参照することができます。

チャンネルのデータソース一覧ページから、使用するDATASOURCE_IDとDATASOURCE_SECRETSを取得します。

• ユーザー名 datasource-{DATASOURCE_ID}
• パスワード {DATASOURCE_SECRETS}

$ curl --user datasource-1234567890123:8516bee2d1f3ae3299aaf9eac11e366ce5e83799 ...

ファイルの送信

以下の URL に対し POST リクエストを送ることにより、ファイルをアップロードできます。

POST https://api.abeja.io/channels/{CHANNEL_ID}/upload

以下が実際のファイル送信の発行例です。

$ curl -X POST --header "Content-Type: image/jpeg" \
               --header x-abeja-meta-filename:test.csv \
               --user datasource-1234567890123:8516bee2d1f3ae3299aaf9eac11e366ce5e83799 \
               --data-binary @/path/to/cat.jpeg \
       https://api.abeja.io/channels/1234567890123/upload

コマンド出力 (HTTP Body):

{
    "file_id": "20170704T062222-cb6750bf-e679-48a6-ab96-0f4292e09f76",
    "url_expires_on": "2017-05-17T13:24:57+00:00",
    "uploaded_at": null,
    "content_type": "image/jpeg",
    "metadata": {
        "x-abeja-meta-filename": "cat.jpeg",
        "x-abeja-meta-label": "cat"
    }
}

メターデータ

メターデータを付与する場合、アップロード用URL発行時のHTTP リクエスト・ヘッダーで x-abeja-meta-{FIELDNAME}: {FIELDVALUE} という形式で指定します。 この場合、filenameキーにcat.jpegを、labelキーにcatを登録しています。

Content-Type

Content-Typeを指定することで、データレイク上で指定したContent-Typeとして認識されます。この場合、image/jpegを指定しています。

ファイルの確認

コンソールのデータレイク詳細ページからアップロードしたファイルを確認することができます。