Apache Spark StreamingのtHBaseLookupInputプロパティ

これらのプロパティは、Spark Streamingジョブのフレームワークで実行されているtHBaseLookupInputを設定するために使われます。

Spark StreamingのtHBaseLookupInputコンポーネントは、データベースファミリーに属しています。

このコンポーネントのストリーミングバージョンは、Talend Real Time Big Data PlatformおよびTalend Data Fabricで利用できます。

基本設定

Storage configuration (ストレージ設定)	使用するSparkシステムにHBaseに接続するための設定情報を読み取らせるtHBaseConfigurationコンポーネントを選択します。
[Property type] (プロパティタイプ)	[Built-in] (組み込み)と[Repository] (リポジトリー)のいずれかです。 [Built-In] (組み込み): 一元的に保存されるプロパティデータはありません。 [Repository] (リポジトリー): プロパティが保存されているリポジトリーファイルを選択します。
	このアイコンをクリックすると、データベース接続ウィザードが開き、コンポーネント[Basic settings] (基本設定)ビューに設定したデータベース接続パラメーターが保存されます。データベース接続パラメーターの設定と保管の詳細は、Talend Studioユーザーガイドをご覧ください。
[Schema] (スキーマ)と[Edit schema] (スキーマを編集)	スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語の`line`を避けます。スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。 [View schema] (スキーマを表示): スキーマのみを表示する場合は、このオプションを選択します。 [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。 [Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。
	[Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。
	[Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。
[Table name] (テーブル名)	カラムを抽出するテーブルの名前を入力します。
[Define a row selection] (行選択を定義)	このチェックボックスをオンにして、[Start row] (開始行)フィールドと[End row] (終了行)フィールドに対応する行キーを入力し、現在のコンポーネントで抽出する行範囲を指定します。 [Is by filter] (フィルターによる)を使用して設定するフィルターでは、使用するレコードをフィルタリングする前にすべてのレコードをロードする必要があるのに対して、この機能では使用する行のみを直接選択できます。
[Mapping] (マッピング)	このテーブルに入力して、処理するデータフロー用に定義されているスキーマカラムに使うテーブルのカラムをマップします。
Is by filter (フィルターによる)	このチェックボックスをオンにして、フィルターを使用して、正規表現をベースとするキーまたは値の選択など、データベースからきめ細かいデータ選択を行います。選択すると、フィルタリング条件の定義に使用する[Filter] (フィルター)テーブルが利用できるようになります。この機能はHBaseから提供されているフィルターを利用しており、Apache HBaseのドキュメンテーションで説明されている制約を受けます。したがって、これらのフィルターをフルに活用するには、HBaseに関する高度な知識が必要です。
Logical operation (論理演算)	フィルター間の論理関係を定義するために使用する必要のあるオペレーターを選択します。使用可能なオペレーターは次のとおりです。 And: 定義したすべてのフィルタリング条件が満たされる必要があります。リレーションシップ: FilterList.Operator.MUST_PASS_ALLを表します。 Or: 定義済みフィルタリング条件の少なくとも1つが満たされる必要があります。リレーションシップ: FilterList.Operator.MUST_PASS_ONEを表します。
[Filter] (フィルター)	このテーブルの下にあるボタンをクリックし、必要な行数を追加します。各行は1つのフィルターを表しています。フィルターに設定する必要のあるパラメーターは、次のとおりです。 [Filter type] (フィルタータイプ): ドロップダウンリストは、HBaseによって定義済みの既存のフィルタータイプを示します。使用する必要のあるフィルターのタイプを選択します。 [Filter column] (フィルターカラム): アクティブなフィルターを適用する必要のあるカラム修飾子を入力します。このパラメーターは、使用しているフィルターやコンパレーターのタイプによっては必須となります。たとえば、[Row Filter] (行フィルター)タイプでは不要ですが、[Single Column Value Filter] (単一カラム値フィルター)タイプでは必須です。 [Filter family] (フィルターファミリー): アクティブなフィルターを適用する必要のあるカラムファミリーを入力します。このパラメーターは、使用しているフィルターやコンパレーターのタイプによっては必須となります。たとえば、[Row Filter] (行フィルター)タイプでは不要ですが、[Single Column Value Filter] (単一カラム値フィルター)タイプでは必須です。 [Filter operation] (フィルターオペレーション): ドロップダウンリストから、アクティブなフィルターに使用するオペレーションを選択します。 [Filter Value] (フィルター値): [Filter operation] (フィルターオペレーション)ドロップダウンリストから、選択したオペレーターを使用する時の値を入力します。 [Filter comparator type] (フィルターコンパレータータイプ): 使用しているフィルターと組み合わせるコンパレーターのタイプを選択します。使用している[Filter type] (フィルタータイプ)によっては、パラメーターの一部またはすべてが必須となります。詳細は、HBaseフィルターをご覧ください

使用方法

使用ルール	このコンポーネントは、開始コンポーネントとして使用され、出力リンクを必要とします。このコンポーネントは、HBaseに接続するために同じジョブ内にあるtHBaseConfigurationコンポーネントを使用します。このコンポーネントは、所属するSpark Streamingのコンポーネントのパレットと共に、Spark Streamingジョブを作成している場合にだけ表示されます。特に明記していない限り、このドキュメントのシナリオでは、標準ジョブ、つまり従来の Talend データ統合ジョブだけを扱います。
[Spark Connection] (Spark接続)	[Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。 Yarnモード(YarnクライアントまたはYarnクラスター): Google Dataprocを使用している場合、[Spark configuration] (Spark設定)タブの[Google Storage staging bucket] (Google Storageステージングバケット)フィールドにバケットを指定します。 HDInsightを使用している場合、[Spark configuration] (Spark設定)タブの[Windows Azure Storage configuration] (Windows Azure Storage設定)エリアでジョブのデプロイメントに使用するブロブを指定します。 Altusを使用する場合は、[Spark configuration] (Spark設定)タブでジョブのデプロイにS3バケットまたはAzure Data Lake Storageを指定します。 Quboleを使用する場合は、ジョブにtS3Configurationを追加し、QuboleでS3システム内に実際のビジネスデータを書き込みます。tS3Configurationを使用しないと、このビジネスデータはQubole HDFSシステムに書き込まれ、クラスターをシャットダウンすると破棄されます。オンプレミスのディストリビューションを使用する場合は、クラスターで使われているファイルシステムに対応する設定コンポーネントを使用します。一般的に、このシステムはHDFSになるため、tHDFSConfigurationを使用します。 [Standalone mode] (スタンドアロンモード): クラスターで使われているファイルシステム(tHDFSConfiguration Apache Spark BatchやtS3Configuration Apache Spark Batchなど)に対応する設定コンポーネントを使用します。ジョブ内に設定コンポーネントがない状態でDatabricksを使用している場合、ビジネスデータはDBFS (Databricks Filesystem)に直接書き込まれます。この接続は、ジョブごとに有効になります。

使用ルール

このコンポーネントは、開始コンポーネントとして使用され、出力リンクを必要とします。

このコンポーネントは、HBaseに接続するために同じジョブ内にあるtHBaseConfigurationコンポーネントを使用します。

このコンポーネントは、所属するSpark Streamingのコンポーネントのパレットと共に、Spark Streamingジョブを作成している場合にだけ表示されます。

特に明記していない限り、このドキュメントのシナリオでは、標準ジョブ、つまり従来の Talend データ統合ジョブだけを扱います。

[Spark Connection] (Spark接続)

[Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。

Yarnモード(YarnクライアントまたはYarnクラスター):
- Google Dataprocを使用している場合、[Spark configuration] (Spark設定)タブの[Google Storage staging bucket] (Google Storageステージングバケット)フィールドにバケットを指定します。
- HDInsightを使用している場合、[Spark configuration] (Spark設定)タブの[Windows Azure Storage configuration] (Windows Azure Storage設定)エリアでジョブのデプロイメントに使用するブロブを指定します。
- Altusを使用する場合は、[Spark configuration] (Spark設定)タブでジョブのデプロイにS3バケットまたはAzure Data Lake Storageを指定します。
- Quboleを使用する場合は、ジョブにtS3Configurationを追加し、QuboleでS3システム内に実際のビジネスデータを書き込みます。tS3Configurationを使用しないと、このビジネスデータはQubole HDFSシステムに書き込まれ、クラスターをシャットダウンすると破棄されます。
- オンプレミスのディストリビューションを使用する場合は、クラスターで使われているファイルシステムに対応する設定コンポーネントを使用します。一般的に、このシステムはHDFSになるため、tHDFSConfigurationを使用します。
[Standalone mode] (スタンドアロンモード): クラスターで使われているファイルシステム(tHDFSConfiguration Apache Spark BatchやtS3Configuration Apache Spark Batchなど)に対応する設定コンポーネントを使用します。

ジョブ内に設定コンポーネントがない状態でDatabricksを使用している場合、ビジネスデータはDBFS (Databricks Filesystem)に直接書き込まれます。

この接続は、ジョブごとに有効になります。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。

こちらにフィードバックをお寄せください