メイン コンテンツをスキップする 補完的コンテンツへスキップ

フライトレコードから不要なフィールドを削除

ローカルソース、Data cleansingプロセッサー、Field removerプロセッサー、テストデスティネーションを伴うパイプライン。

始める前に

  • ソースデータを保管するデータセットが追加済みであること。

    field_remover-fields.csvファイルをダウンロードします。フライトとその情報(航空機のコールサイン、フライト番号、ICAO 24航空機アドレス、フライト登録、出発地、目的地など)のリストを持つローカルデータセットが含まれています。

  • 接続および処理済みデータを保管する関連データセットも作成済みであること。

    ここでは、テストデスティネーションデータセットを使います。

手順

  1. [Pipelines] (パイプライン)ページで[Add pipeline] (パイプラインを追加)をクリックします。新しいパイプラインが開きます。
  2. パイプラインに意味のある名前を付けます。

    例

    Remove fields from flight records
  3. [ADD SOURCE] (ソースを追加)をクリックしてパネルを開きます。このパネルで、ソースデータ(この場合はフライト情報が含まれているローカルファイル)を選択できます。
    フライトレコードを持つデータサンプルのプレビュー。

    サンプルに多くのフライト番号が欠落していることがわかります。

  4. データセットを選択し、[Select] (選択)をクリックしてパイプラインに追加できるようにします。
    必要であれば名前を変更します。
  5. +をクリックし、パイプラインにData cleansingプロセッサーを追加します。設定パネルが開きます。
  6. プロセッサーに意味のある名前を付けます。

    例

    mark empty flight numbers as N/A
  7. プロセッサーを設定します。
    1. [Function name] (ファンクション名)リストで[Fill cells with value] (セルに値を入力)を選択します。
    2. [Fields to process] (処理するフィールド)リストで.numberを選択または入力します。
    3. フライト番号が記載されていない場所にN/Aを追加したい場合は、[Use with] (次を使用)リストで[Value] (値)を選択し、[Value] (値)フィールドにN/Aと入力します。
  8. [Save] (保存)をクリックして設定を保存します。

    プロセッサーのプレビューに注目し、クレンジング前のデータとクレンジング後のデータを比較します。

    空のフライト番号を[N/A] (該当なし)のテキストに置き換えた後のData cleansingプロセッサーのプレビュー。
  9. +をクリックし、パイプラインにField removerプロセッサーを追加します。設定パネルが開きます。
  10. プロセッサーに意味のある名前を付けます。

    例

    remove unnecessary fields
  11. 不要なフィールド(ここではICAO24航空機アドレス、ICAO航空機タイプコード、飛行日タイムスタンプ)を削除する場合は、次のようにプロセッサーを設定します。
    1. [Field to remove] (削除するフィールド)リストで.icao24を選択します。
    2. 新しいエレメントを追加し、[Input] (入力)リストで.typecodeを選択します。
    3. 新しいエレメントを追加し、[Input] (入力)リストで.dayを選択します。
  12. [Save] (保存)をクリックして設定を保存します。

    プロセッサーのプレビューに注目し、削除前のデータと削除後のデータを比較します。

    レコード削除後のField removerプロセッサーのプレビュー。

    不要なフィールドは削除されます。

  13. [ADD DESTINATION] (デスティネーションを追加)をクリックし、クレンジング済みデータを保持するデータセットを選択します。
    必要であれば名前を変更します。
  14. Talend Cloud Pipeline Designerの上部ツールバーで[Run] (実行)ボタンをクリックするとパネルが開き、実行プロファイルを選択できるようになります。
  15. リストで実行プロファイルを選択し(詳細は実行プロファイルをご覧ください)、[Run] (実行)をクリックしてパイプラインを実行します。

タスクの結果

パイプラインは実行中となり、データはクレンジングされ、指定した条件に応じて不要なフィールドが削除されます。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。

こちらにフィードバックをお寄せください