Apache Spark StreamingのtMapRDBLookupInputプロパティ

これらのプロパティは、Spark Streamingジョブのフレームワークで実行されているtMapRDBLookupInputを設定するために使われます。

Spark Streaming tMapRDBLookupInputコンポーネントは、データベースファミリーに属しています。

このフレームワーク内のコンポーネントは、Talend Real-Time Big Data PlatformおよびTalend Data Fabricで使用できます。

基本設定

Storage configuration (ストレージ設定)	使用するSparkシステムにMapRDBに接続するための設定情報を読み取らせるtMapRDBConfigurationコンポーネントを選択します。
[Property type] (プロパティタイプ)	[Built-in] (組み込み)と[Repository] (リポジトリー)のいずれかです。 [Built-In] (組み込み): 一元的に保存されるプロパティデータはありません。 [Repository] (リポジトリー): プロパティが保存されているリポジトリーファイルを選択します。
[Schema] (スキーマ)と[Edit schema] (スキーマを編集)	スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語の`line`を避けます。スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。 [View schema] (スキーマを表示): スキーマのみを表示する場合は、このオプションを選択します。 [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。 [Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。
	[Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。
	[Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。
テーブル名	カラムを抽出するテーブルの名前を入力します。
テーブルネームスペースマッピング	Apache HBaseテーブルとMapRテーブルの間のマッピングを構成するために使用する文字列を入力します。使用できる有効な構文については、http://doc.mapr.com/display/MapR40x/Mapping+Table+Namespace+Between+Apache+HBase+Tables+and+MapR+Tablesをご覧ください。
行選択の定義	このチェックボックスを選択して、[Start row] (開始行)フィールドと[End row] (終了行)フィールドに対応する行キーを入力し、現在のコンポーネントで抽出する行範囲を指定します。 [Is by filter] (フィルターによる)を使用して設定するフィルターでは、使用するレコードをフィルタリングする前にすべてのレコードをロードする必要があるのに対して、この機能では使用する行のみを直接選択できます。
[Mapping] (マッピング)	このテーブルに入力して、処理するデータフロー用に定義されているスキーマカラムに使うテーブルのカラムをマップします。
Is by filter (フィルターによる)	このチェックボックスを選択して、フィルターを使用して、正規表現をベースとするキーまたは値の選択など、データベースからきめ細かいデータ選択を行います。選択すると、フィルタリング条件の定義に使用する[Filter] (フィルター)テーブルが利用できるようになります。この機能はHBaseから提供されているフィルターを利用しており、Apache HBaseのドキュメンテーションで説明されている制約を受けます。したがって、これらのフィルターをフルに活用するには、HBaseに関する高度な知識が必要です。
Logical operation (論理演算)	フィルター間の論理関係を定義するために使用する必要のあるオペレーターを選択します。使用可能なオペレーターは次のとおりです。 And: 定義したすべてのフィルタリング条件が満たされる必要があります。リレーションシップ: FilterList.Operator.MUST_PASS_ALLを表します。 Or: 定義済みフィルタリング条件の少なくとも1つが満たされる必要があります。リレーションシップ: FilterList.Operator.MUST_PASS_ONEを表します。
[Filter] (フィルター)	このテーブルの下にあるボタンをクリックし、必要な行数を追加します。各行は1つのフィルターを表しています。フィルターに設定する必要のあるパラメーターは、次のとおりです。 [Filter type] (フィルタータイプ): ドロップダウンリストは、HBaseによって定義済みの既存のフィルタータイプを示します。使用する必要のあるフィルターのタイプを選択します。 [Filter column] (フィルターカラム): アクティブなフィルターを適用する必要のあるカラム修飾子を入力します。このパラメーターは、使用しているフィルターやコンパレーターのタイプによっては必須となります。たとえば、[Row Filter] (行フィルター)タイプでは不要ですが、[Single Column Value Filter] (単一カラム値フィルター)タイプでは必須です。 [Filter family] (フィルターファミリー): アクティブなフィルターを適用する必要のあるカラムファミリーを入力します。このパラメーターは、使用しているフィルターやコンパレーターのタイプによっては必須となります。たとえば、[Row Filter] (行フィルター)タイプでは不要ですが、[Single Column Value Filter] (単一カラム値フィルター)タイプでは必須です。 [Filter operation] (フィルターオペレーション): ドロップダウンリストから、アクティブなフィルターに使用するオペレーションを選択します。 [Filter Value] (フィルター値): [Filter operation] (フィルターオペレーション)ドロップダウンリストから、選択したオペレーターを使用する時の値を入力します。 [Filter comparator type] (フィルターコンパレータータイプ): 使用しているフィルターと組み合わせるコンパレーターのタイプを選択します。使用している[Filter type] (フィルタータイプ)によっては、パラメーターの一部またはすべてが必須となります。詳細については、HBaseフィルターをご覧ください

使用方法

使用ルール	このコンポーネントは、開始コンポーネントとして使用され、出力リンクを必要とします。このコンポーネントは、MapR-DBに接続するために同じジョブ内にあるtMapRDBConfigurationコンポーネントを使用します。ただし、Kerberos keytabでtMapRDBLookupInputを使う必要がある場合は、tMapRDBConfigurationコンポーネントではなく、[Spark configuration] (Spark設定)タブでkeytabを設定するために使われます。設定がランタイムにジョブ全体で使われるように、tMapRDBConfigurationと共に、実行するMapRDB関連のサブジョブを同じジョブにドロップする必要があります。
[Spark Connection] (Spark接続)	[Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。 Yarnモード(YarnクライアントまたはYarnクラスター): Google Dataprocを使用している場合、[Spark configuration] (Spark設定)タブの[Google Storage staging bucket] (Google Storageステージングバケット)フィールドにバケットを指定します。 HDInsightを使用している場合、[Spark configuration] (Spark設定)タブの[Windows Azure Storage configuration] (Windows Azure Storage設定)エリアでジョブのデプロイメントに使用するブロブを指定します。 Altusを使用する場合は、[Spark configuration] (Spark設定)タブでジョブのデプロイにS3バケットまたはAzure Data Lake Storageを指定します。オンプレミスのディストリビューションを使用する場合は、クラスターで使われているファイルシステムに対応する設定コンポーネントを使用します。一般的に、このシステムはHDFSになるため、tHDFSConfigurationを使用します。 [Standalone mode] (スタンドアロンモード): クラスターで使われているファイルシステム(tHDFSConfiguration Apache Spark BatchやtS3Configuration Apache Spark Batchなど)に対応する設定コンポーネントを使用します。ジョブ内に設定コンポーネントがない状態でDatabricksを使用している場合、ビジネスデータはDBFS (Databricks Filesystem)に直接書き込まれます。この接続は、ジョブごとに有効になります。

使用ルール

このコンポーネントは、開始コンポーネントとして使用され、出力リンクを必要とします。

このコンポーネントは、MapR-DBに接続するために同じジョブ内にあるtMapRDBConfigurationコンポーネントを使用します。

ただし、Kerberos keytabでtMapRDBLookupInputを使う必要がある場合は、tMapRDBConfigurationコンポーネントではなく、[Spark configuration] (Spark設定)タブでkeytabを設定するために使われます。

設定がランタイムにジョブ全体で使われるように、tMapRDBConfigurationと共に、実行するMapRDB関連のサブジョブを同じジョブにドロップする必要があります。

[Spark Connection] (Spark接続)

[Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。

Yarnモード(YarnクライアントまたはYarnクラスター):
- Google Dataprocを使用している場合、[Spark configuration] (Spark設定)タブの[Google Storage staging bucket] (Google Storageステージングバケット)フィールドにバケットを指定します。
- HDInsightを使用している場合、[Spark configuration] (Spark設定)タブの[Windows Azure Storage configuration] (Windows Azure Storage設定)エリアでジョブのデプロイメントに使用するブロブを指定します。
- Altusを使用する場合は、[Spark configuration] (Spark設定)タブでジョブのデプロイにS3バケットまたはAzure Data Lake Storageを指定します。
- オンプレミスのディストリビューションを使用する場合は、クラスターで使われているファイルシステムに対応する設定コンポーネントを使用します。一般的に、このシステムはHDFSになるため、tHDFSConfigurationを使用します。
[Standalone mode] (スタンドアロンモード): クラスターで使われているファイルシステム(tHDFSConfiguration Apache Spark BatchやtS3Configuration Apache Spark Batchなど)に対応する設定コンポーネントを使用します。

ジョブ内に設定コンポーネントがない状態でDatabricksを使用している場合、ビジネスデータはDBFS (Databricks Filesystem)に直接書き込まれます。

この接続は、ジョブごとに有効になります。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。

こちらにフィードバックをお寄せください