メイン コンテンツをスキップする 補完的コンテンツへスキップ

Snowflake APIをクエリーしてGoogle Cloud Storageにデータを送信

以下の手順で作成されるパイプラインの例。

始める前に

すでにSnowflakeデータセットでODATA APIを生成し、エンドポイントパラメーターをコピー済みであること。

手順

  1. [Connections] (接続) > [Add connection] (接続を追加)をクリックします。
  2. 開いたパネルで、作成する接続のタイプを選択します。
    ここでは、[HTTP Client] (HTTPクライアント)を選択します。
  3. [Engine] (エンジン)リストでエンジンを選択します。
  4. HTTP Clientプロパティの説明に従って、呼び出すAPIの接続プロパティとURLアドレスを入力します。
    新しいHTTP Client接続の設定。
    1. [Base URL] (ベースURL): Snowflake APIのサマリーに記載されているベースURLをコピーして貼り付けます。
    2. [Authentication type] (認証タイプ): Basicを選択します。
    3. APIへの接続に必要な認証情報(ユーザー名とパスワード)を入力します。
    4. 接続をオンにして[Next] (次へ)をクリックします。
  5. HTTPクライアント接続の説明(オプション)と表示名(必須)を入力し、[Validate] (検証)をクリックします。
  6. [Add dataset] (データセットを追加)をクリックし、対応するデータセットを作成します。
  7. [Add a new dataset] (新しいデータセットを追加)パネルで、データセットに名前を付けます。
  8. [Main] (メイン)パラメーターを設定します。
    1. [Type] (タイプ): サービスを1回だけ呼び出す場合は[Batch] (バッチ)を選択します。
    2. [HTTP method] (HTTPメソッド): GETを選択します。
    3. [Path] (パス): API作成時に既に設定済みであるエンティティ名を入力します。
    4. [Parameters] (パラメーター)、[Query parameters] (クエリーパラメーター)、[Request headers] (リクエストヘッダー)、[Request body] (リクエストボディ)の4オプションを無効にします。
    5. [Response body format] (レスポンスボディ形式): JSONを選択します。
    6. [Returned content] (返されたコンテンツ): Bodyを選択します。
  9. [Advanced] (詳細設定)パラメーターを設定します。
    1. [Accept redirections] (リダイレクトを受け入れ)オプションを有効にし、リダイレクトの最大回数を3にします。
    2. [Pagination] (ページネーション)オプションを有効にします。
    3. [Preset] (事前設定): ODATAを選択して[Load selected preset] (選択された事前設定をロード)をクリックします。
    4. [Value of the offset] (オフセットの値): 10と入力します。
    5. [Value of the limit] (制限の値): 5と入力します。
    6. [Returned content] (返されたコンテンツ): Bodyを選択します。
  10. [Validate] (検証)をクリックしてデータセットを保存します。
  11. [Connections] (接続) > [Add connection] (接続を追加)をクリックします。
  12. 開いたパネルで、作成する接続のタイプを選択します。
    ここでは、Google Cloud Storageを選択します。
  13. [Engine] (エンジン)リストでエンジンを選択します。
  14. Google Cloud Storageプロパティの説明に従って接続のプロパティ(Google認証情報)を入力し、接続をオンにして[Next] (次へ)をクリックします。
  15. Google Cloud Storage接続の説明(オプション)と表示名(必須)を入力し、[Validate] (検証)をクリックします。
  16. [Add dataset] (データセットを追加)をクリックし、対応するデータセットを作成します。
  17. データセットに名前を付け、必須のプロパティを入力し、既存のバケットにGoogle Cloud Storage Blobを作成します。
    新しいGoogle Cloud Storageデータセットの設定。
    1. [Bucket name] (バケット名): 既存のバケット名を選択します。
    2. [Blob name] (Blob名): まだ存在しない名前を入力します。
    3. [Content type format] (コンテンツタイプ形式): [CSV format] (CSV形式)を選択します。
    4. [Line separator type] (行区切りタイプ): [Linux type] (Linuxタイプ)を選択します。
    5. [Encoding type] (エンコーディングタイプ): UTF-8を選択します。
    6. [Set header] (ヘッダーを設定)オプションを有効にし、[Number of lines] (行数)に1を、[Field separator type] (フィールド区切りのタイプ)に , をそれぞれ入力します。
  18. [Validate] (検証)をクリックしてデータセットを保存します。
  19. [Pipelines] (パイプライン)ページで[Add pipeline] (パイプラインを追加)をクリックします。新しいパイプラインが開きます。
  20. パイプラインに意味のある名前を付けます。

    例

    Query Snowflake API and load data to Google Cloud Storage
  21. [ADD SOURCE] (ソースを追加)をクリックし、開いたパネルでソースデータセットであるHTTPクライアントデータセットを選択します。
  22. [ADD DESTINATION] (デスティネーションを追加)項目をクリックし、開いたパネルで、デスティネーションデータセットであるGoogle Cloud Storageデータセットを選択します。
  23. Talend Cloud Pipeline Designerの上部ツールバーで[Run] (実行)ボタンをクリックするとパネルが開き、実行プロファイルを選択できるようになります。
  24. リストで実行プロファイルを選択し(詳細は実行プロファイルをご覧ください)、[Run] (実行)をクリックしてパイプラインを実行します。

タスクの結果

パイプラインが実行中となります。Snowflakeテーブルの11行目からの行がすべてGoogle Cloud Storageのファイルにコピーされ、ODATA APIを経由して5行ずつ取得されます。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。

こちらにフィードバックをお寄せください