ジョブを設定
手順
-
tSnowflakeConnectionをダブルクリックして[Basic settings] (基本設定)ビューを開き、接続の確立に必要な情報をすべて入力します。
-
tFixedFlowInput_1をダブルクリックして[Basic settings] (基本設定)ビューを開き、以下の操作を行います。
- [Edit schema] (スキーマを編集)の横にある[...]ボタンをクリックし、firstname (String型)、lastname (String型)、dept (String型)という3つのカラムをスキーマに追加します。
-
[Use Inline Table] (インラインテーブルを使用)を選択し、[Inline Table] (インラインテーブル)フィールドに次のように入力します。
"Andrew";"Wallace";"Doc" "John";"Smith";"R&D" "Christian";"Dior";"Sales"
- 他のオプションはそのままにしておきます。
このコンポーネントによってレコードフィールドが定義され、シナリオ用にレコードが3つ作成されます。 -
tFileOutputParquet_1をダブルクリックして[Basic settings] (基本設定)ビューを開き、以下の操作を行います。
- [Sync columns] (カラムを同期)ボタンをクリックし、このコンポーネントのスキーマがtFixedFlowInputコンポーネントのものと同じカラムであることを確認します。
-
[File Name] (ファイル名)フィールドに、データの書き込み先にしたいParquetファイルへのパスを入力します。
このフィールドへのファイルパスの入力は、横にある[...]ボタンをクリックして目的のParguetファイルに移動することでも可能です。
-
[Action] (アクション)ドロップダウンリストから、ファイルに対して実行したいアクションを選択します。
[File Name] (ファイル名)フィールドに指定されているファイルが存在しない場合は、ドロップダウンリストから[Create] (作成)を選択します。それ以外の場合は、[Overwrite] (上書き)を選択します。
- 他のオプションはそのままにしておきます。
このコンポーネントによって、指定のファイルにデータが書き込まれます。 -
tFileInputParquet_1をダブルクリックして[Basic settings] (基本設定)ビューを開き、以下の操作を行います。
- [Edit schema] (スキーマを編集)の横にある[...]ボタンをクリックしてスキーマエディターを開き、tFileOutputParquetコンポーネントものと同じ3つのカラムを追加します。
-
[File name] (ファイル名)フィールドに、tFileOutputParquetコンポーネント用に指定されたファイルへのパスを入力します。
このフィールドにカーソルを置いてCtrl + スペースを押し、コンテキストメニューからtFileOutputParquet_1.FILE_PATHを選択すれば、ファイルパスを参照するグローバル変数をこのフィールドに入力することもできます。
- 他のオプションはそのままにしておきます。
このコンポーネントは、tFileOutputParquet_1がデータを書き込むファイルからデータを取得し、後続のコンポーネント(つまりtSnowflakeOutputBulkExec)にデータを渡します。 -
tSnowflakeOutputBulkExecをダブルクリックして[Basic settings] (基本設定)ビューを開き、以下の操作を行います。
- [Connection Component] (接続コンポーネント)ドロップダウンリストからtDBConnection_1 - tSnowflakeConnectionを選択します。
-
[Table] (テーブル)フィールドの横にある[...]ボタンをクリックし、表示されるダイアログボックスでテーブルを選択します。
このテーブルにデータがロードされます。リストボックスにあるテーブルは既存のテーブルです。新しいテーブルにデータをロードするためには、ダイアログボックスで[Use custom object] (カスタムオブジェクトを使う)オプションを選択し、[Object Name] (オブジェクト名)フィールドに新しいテーブルの名前を入力します。
- [Sync column] (カラムを同期)ボタンをクリックし、このコンポーネントのスキーマにあるカラムがtFileInputParquet_1コンポーネントのものと同じであることを確認します。
- [Table Action] (テーブルアクション)ドロップダウンリストから、選択されたテーブルに対して実行したいアクションを選択します。
- [Output Action] (出力アクション)ドロップダウンリストから、受信したデータ用に実行したいアクションを選択します。
- 受信したデータを内部ストレージに保存するには、[Storage] (ストレージ)ドロップダウンリストから[Internal] (内部)を選択します。
- [Stage Folder] (ステージフォルダー)フィールドに、受信したデータを保存するフォルダー名を入力します。
- 他のオプションはそのままにしておきます。
このコンポーネントは、tFileInputParquetコンポーネントからデータを受け取り、指定されたSnowflakeテーブルにデータをロードします。
-
tSnowflakeInputをダブルクリックして[Basic settings] (基本設定)ビューを開き、以下の操作を行います。
- [Connection Component] (接続コンポーネント)ドロップダウンリストからtDBConnection_1 - tSnowflakeConnectionを選択します。
- [Table] (テーブル)フィールドの横にある[...]ボタンをクリックし、tSnowflakeOutputBulkExecコンポーネントで選択されたものと同じテーブルを選択します。
- [Edit schema] (スキーマを編集)の横にある[...]ボタンをクリックしてスキーマエディターを開き、tFileOutputParquetコンポーネントものと同じ3つのカラムを追加します。
- 他のオプションはそのままにしておきます。
このコンポーネントは、tSnowflakeOutputBulkExecコンポーネントで指定されたSnowflakeテーブルからデータを取得します。 -
tLogRow_1をダブルクリックして[Basic settings] (基本設定)ビューを開き、以下の操作を行います。
- [Sync column] (カラムを同期)ボタンをクリックし、このコンポーネントのスキーマにあるカラムがtSnowflakeInputコンポーネントのものと同じであることを確認します。
- [Table (print values in cells of a table)] (テーブル(テーブルのセルの出力値))を選択します。
- 他のオプションはそのままにしておきます。
このコンポーネントは、Parquetファイルに書き込まれてSnowflakeテーブルにロードされるデータを検証します。