メイン コンテンツをスキップする 補完的コンテンツへスキップ

Apache Spark StreamingのtFilterRowプロパティ

これらのプロパティは、Spark Streamingジョブのフレームワークで実行されているtFilterRowを設定するために使われます。

Spark StreamingtFilterRowコンポーネントは、変換処理ファミリーに属しています。

このコンポーネントはTalend Real-Time Big Data PlatformTalend Data Fabricで利用できます。

基本設定

[Schema] (スキーマ)[Edit schema] (スキーマを編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

[Logical operator used to combine conditions] (条件の結合に使用する論理演算子)

簡易な条件を結合したり、高度な条件において、両方のモードのフィルタリング結果を結合するには、論理演算子を選択します。

And: 全条件がtrueである場合、trueのブール値が戻ります。そうでない場合、falseが戻ります。論理積で2つの条件を組み合わせている場合、1番目の条件がtrueに評価される場合のみ、2番目の条件が評価されます。

Or: いずれかの条件がtrueである場合、trueのブール値が戻ります。そうでない場合、falseが戻ります論理和で2つの条件を組み合わせている場合、1番目の条件がfalseに評価される場合のみ、2番目の条件が評価されます。

[Conditions] (条件)

[+]ボタンをクリックし、必要な数の簡易な条件を追加します。選択する論理演算子に基づいて、条件が各行に対して順番どおりに評価されます。評価の際、各条件がtrueまたはfalseのブール値を返します。

[Input column] (入力カラム): ファンクションの対象とするスキーマのカラムを選択します。

[Function] (ファンクション): リストからファンクションを選択します。

[Operator] (オペレーター): 入力カラムで値をバインドする演算子を選択します。

[Value] (値): 必要に応じて、引用符の間にフィルタリングされた値を入力します。

[Use advanced mode] (上級モードの使用)

同じコンポーネント内で複数の論理演算子を使うなど、実行する内容の操作が標準ファンクションに含まれていない場合は、このチェックボックスをオンにします。必要に応じてテキストフィールドに正規表現を入力します。

高度な条件を複数定義する場合は、2つの条件間に論理演算子を使ってください。

&& (論理積): 両方の条件がtrueである場合、trueのブール値が戻ります。そうでない場合、falseが戻ります。1番目の条件がtrueに評価される場合のみ、2番目の条件が評価されます。

|| (論理和): どちらかの条件がtrueである場合、trueのブール値が戻ります。そうでない場合、falseが戻ります。1番目の条件がfalseに評価される場合のみ、2番目の条件が評価されます。

使用方法

使用ルール

このコンポーネントは中間ステップとして使用されます。

このコンポーネントは、所属するSpark Streamingのコンポーネントのパレットと共に、Spark Streamingジョブを作成している場合にだけ表示されます。

特に明記していない限り、このドキュメンテーションのシナリオでは、標準ジョブ、つまり従来の Talend Data Integrationジョブだけを扱います。

[Spark Connection] (Spark接続)

[Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。
  • Yarnモード(YarnクライアントまたはYarnクラスター):
    • Google Dataprocを使用している場合、[Spark configuration] (Spark設定)タブの[Google Storage staging bucket] (Google Storageステージングバケット)フィールドにバケットを指定します。

    • HDInsightを使用している場合、[Spark configuration] (Spark設定)タブの[Windows Azure Storage configuration] (Windows Azure Storage設定)エリアでジョブのデプロイメントに使用するブロブを指定します。

    • Altusを使用する場合は、[Spark configuration] (Spark設定)タブでジョブのデプロイにS3バケットまたはAzure Data Lake Storageを指定します。
    • オンプレミスのディストリビューションを使用する場合は、クラスターで使われているファイルシステムに対応する設定コンポーネントを使用します。一般的に、このシステムはHDFSになるため、tHDFSConfigurationを使用します。

  • [Standalone mode] (スタンドアロンモード): クラスターで使われているファイルシステム(tHDFSConfiguration Apache Spark BatchtS3Configuration Apache Spark Batchなど)に対応する設定コンポーネントを使用します。

    ジョブ内に設定コンポーネントがない状態でDatabricksを使用している場合、ビジネスデータはDBFS (Databricks Filesystem)に直接書き込まれます。

この接続は、ジョブごとに有効になります。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。