メイン コンテンツをスキップする 補完的コンテンツへスキップ

Apache Spark StreamingのtMapプロパティ

これらのプロパティは、Spark Streamingジョブのフレームワークで実行されているtMapを設定するために使われます。

Spark StreamingtMapコンポーネントは、変換処理ファミリーに属しています。

このコンポーネントは、Talend Real Time Big Data PlatformおよびTalend Data Fabricで利用できます。

基本設定

[Map Editor] (マップエディター)

tMapのルーティングと変換のプロパティを定義できます。

入力エリア上部の[Property Settings] (プロパティ設定)ボタンをクリックすると、[Property Settings] (プロパティ設定)ダイアログボックスが表示され、そこで以下のパラメーターを設定できます。

  • 実行エラーを処理しない場合は、[Die on error] (エラー発生時に強制終了)チェックボックスをオンにします(デフォルトで選択されています)。エラーが発生するとジョブが強制終了されます。

  • 大量のデータを使用して複数のルックアップ入力フローを処理するジョブでデータ変換のパフォーマンスを最大化するには、[Lookup in parallel] (並列ルックアップ)チェックボックスをオンにします。

  • [Temp data directory path] (一次データディレクトリーパス): ルックアップローディングのために生成された一時データを保存するパスを入力します。このフォルダーの詳細は、Talend Studioユーザーガイドをご覧ください。

  • [Max buffer size (nb of rows)] (最大バッファーサイズ - 行数): 処理されたデータに割り当てる物理メモリのサイズを行数で入力します。

リンクのマッピングはのように表示されます

[Auto] (自動): デフォルト設定は曲線リンクです。

[Curves] (曲線): マッピングが曲線で表示されます。

[Lines] (直線): マッピングが直線で表示されます。最後のオプションを選ぶと多少パフォーマンスが良くなります。

[Preview] (プレビュー)

プレビューはMapperデータのインスタントショットです。これは、Mapperプロパティにデータが入力されると使用可能になります。プレビューの同期は変更を保存した後にのみ有効です。

[Use replicated join] (反復結合を使用)

複数の入力フロー間で反復結合を行うには、このチェックボックスをオンにします。このタイプの結合は、各ルックアップテーブルをメモリ内に複製することで、シャッフルとソートの追加手順を必要としないため、プロセス全体が高速化されます。

ルックアップテーブル全体がメモリに入ることを確認する必要があります。

使用方法

使用ルール

これは通常、tMongoDBLookupInputなどのルックアップ入力コンポーネントと連携して、ルックアップフローを構成し、消費します。この状況では、[Reload at each row] (行ごとにリロード)または[Reload at each row (cache)] (行ごとにリロード - キャッシュ)を使用して、ルックアップフローからデータを読み取る必要があります。この方式により、重複レコードがtMapに送信される前にメモリに保存されることが防がれます。tMapがルックアップ入力コンポーネントで使用されるユースケースは、Spark Streamingジョブを使用してMongoDBでデータの読み書きを行うをご覧ください。ストリーミングジョブでの[Reload at each row] (行ごとにリロード)または[Reload at each row (cache)] (行ごとにリロード - キャッシュ)は、ルックアップ入力コンポーネントのみがサポートしています。

[Spark Connection] (Spark接続)

[Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。
  • Yarnモード(YarnクライアントまたはYarnクラスター):
    • Google Dataprocを使用している場合、[Spark configuration] (Spark設定)タブの[Google Storage staging bucket] (Google Storageステージングバケット)フィールドにバケットを指定します。

    • HDInsightを使用している場合、[Spark configuration] (Spark設定)タブの[Windows Azure Storage configuration] (Windows Azure Storage設定)エリアでジョブのデプロイメントに使用するブロブを指定します。

    • Altusを使用する場合は、[Spark configuration] (Spark設定)タブでジョブのデプロイにS3バケットまたはAzure Data Lake Storageを指定します。
    • Quboleを使用する場合は、ジョブにtS3Configurationを追加し、QuboleでS3システム内に実際のビジネスデータを書き込みます。tS3Configurationを使用しないと、このビジネスデータはQubole HDFSシステムに書き込まれ、クラスターをシャットダウンすると破棄されます。
    • オンプレミスのディストリビューションを使用する場合は、クラスターで使われているファイルシステムに対応する設定コンポーネントを使用します。一般的に、このシステムはHDFSになるため、tHDFSConfigurationを使用します。

  • [Standalone mode] (スタンドアロンモード): クラスターで使われているファイルシステム(tHDFSConfiguration Apache Spark BatchtS3Configuration Apache Spark Batchなど)に対応する設定コンポーネントを使用します。

    ジョブ内に設定コンポーネントがない状態でDatabricksを使用している場合、ビジネスデータはDBFS (Databricks Filesystem)に直接書き込まれます。

この接続は、ジョブごとに有効になります。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。