フライトレコードから不要なフィールドを削除

ローカルソース、Data cleansingプロセッサー、Field removerプロセッサー、テストデスティネーションを伴うパイプライン。

始める前に

ソースデータを保管するデータセットが追加済みであること。

field_remover-fields.csvファイルをダウンロードします。フライトとその情報(航空機のコールサイン、フライト番号、ICAO 24航空機アドレス、フライト登録、出発地、目的地など)のリストを持つローカルデータセットが含まれています。
接続および処理済みデータを保管する関連データセットも作成済みであること。

ここでは、テストデスティネーションデータセットを使います。

手順

[Pipelines] (パイプライン)ページで[Add pipeline] (パイプラインを追加)をクリックします。新しいパイプラインが開きます。
パイプラインに意味のある名前を付けます。
例
Remove fields from flight records
[ADD SOURCE] (ソースを追加)をクリックしてパネルを開きます。このパネルで、ソースデータ(この場合はフライト情報が含まれているローカルファイル)を選択できます。

サンプルに多くのフライト番号が欠落していることがわかります。
データセットを選択し、[Select] (選択)をクリックしてパイプラインに追加できるようにします。
必要であれば名前を変更します。
をクリックし、パイプラインにData cleansingプロセッサーを追加します。設定パネルが開きます。
プロセッサーに意味のある名前を付けます。
例
mark empty flight numbers as N/A
プロセッサーを設定します。
1. [Function name] (ファンクション名)リストで[Fill cells with value] (セルに値を入力)を選択します。
2. [Fields to process] (処理するフィールド)リストで.numberを選択または入力します。
3. フライト番号が記載されていない場所にN/Aを追加したい場合は、[Use with] (次を使用)リストで[Value] (値)を選択し、[Value] (値)フィールドにN/Aと入力します。
[Save] (保存)をクリックして設定を保存します。

プロセッサーのプレビューに注目し、クレンジング前のデータとクレンジング後のデータを比較します。
をクリックし、パイプラインにField removerプロセッサーを追加します。設定パネルが開きます。
プロセッサーに意味のある名前を付けます。
例
remove unnecessary fields
不要なフィールド(ここではICAO24航空機アドレス、ICAO航空機タイプコード、飛行日タイムスタンプ)を削除する場合は、次のようにプロセッサーを設定します。
1. [Field to remove] (削除するフィールド)リストで.icao24を選択します。
2. 新しいエレメントを追加し、[Input] (入力)リストで.typecodeを選択します。
3. 新しいエレメントを追加し、[Input] (入力)リストで.dayを選択します。
[Save] (保存)をクリックして設定を保存します。

プロセッサーのプレビューに注目し、削除前のデータと削除後のデータを比較します。

不要なフィールドは削除されます。
[ADD DESTINATION] (デスティネーションを追加)をクリックし、クレンジング済みデータを保持するデータセットを選択します。
必要であれば名前を変更します。
Talend Cloud Pipeline Designerの上部ツールバーで[Run] (実行)ボタンをクリックするとパネルが開き、実行プロファイルを選択できるようになります。
リストで実行プロファイルを選択し(詳細は実行プロファイルをご覧ください)、[Run] (実行)をクリックしてパイプラインを実行します。