Apache Spark StreamingのtMongoDBInputプロパティ

[Property type] (プロパティタイプ)

[Built-in] (組み込み)と[Repository] (リポジトリー)のいずれかです。

[Built-In] (組み込み): 一元的に保存されるプロパティデータはありません。

[Repository] (リポジトリー): プロパティが保存されているリポジトリーファイルを選択します。

[MongoDB configuration] (MongoDB設定)

定義済みの接続の詳細を再利用する場合は、このチェックボックスを選択して、[Component List] (コンポーネントリスト)ドロップダウンリストから、目的の接続コンポーネントを選択します。

[Schema] (スキーマ)と[Edit Schema] (スキーマを編集)

スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。

スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。

• [View schema] (スキーマを表示): スキーマのみを表示する場合は、このオプションを選択します。

• [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

• [Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。

  変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

データベースのカラムがJSONドキュメントで、ドキュメント全体を読み取る必要がある場合は、引用符を使用せずに[DB column] (DBカラム)内でアスタリスク(*)を付けます。

[Collection] (コレクション)

使用するコレクションの名前を入力します。

MongoDBコレクションはRDBMSテーブルと同等であり、そこにはドキュメントが含まれています。

Number of partitions = Collection size in MB / mongo.input.split_size

mongo.input.split_size   1

[Set read preference] (読み取り環境設定の設定)

このチェックボックスを選択して、[Read preference] (読み取り環境設定)ドロップダウンリストが表示されたら、読み取りオペレーションをダイレクトする必要のあるメンバーを選択します。

このチェックボックスをオフのままにすると、ジョブはデフォルトの読み取り環境設定を使用します。すなわち、レプリカセット内のプライマリーメンバーが使用されます。

詳細は、MongoDBのドキュメンテーションで複製とその読み取り環境設定に関する説明をご覧ください。

[Query] (クエリー)

クエリーステートメントを指定して、[Collection] (コレクション)フィールドで指定したコレクションからドキュメントを選択します。たとえば、"{'id':'4'}"と入力して、idが4のレコードをコレクションから取得します。

このコンポーネントで提供されている二重引用符で囲まれたデフォルトクエリー{}は、すべてのファイルを選択することを意味します。{'filename':{'$regex':'REGEX_PATTERN'}}を使用することで正規表現を適用し、使用するファイル名を定義することもできます。

MongoDBクライアントソフトウェアで求められるクエリーステートメントとは異なり、ここのクエリーはfind()内のコンテンツを参照します。ここのクエリー{'filename':{'$regex':'REGEX_PATTERN'}}などは、MongoDBクライアントクエリーのdb.blog.find({filename:{$regex:REGEX_PATTERN}})に相当します。

[Mapping] (マッピング)

このコンポーネント用に定義されたスキーマの各カラムは、読み取るドキュメントのフィールドを表します。このテーブルで、これらのフィールドの親ノードがあればそれを指定する必要があります。

{
               _id: ObjectId("5099803df3f4948bd2f98391"),
               person: { first: "Joe", last: "Walker" }
            }

Column     Parent node path
_id
first       "person"
last        "person"

[Limit] (制限事項)

取得するレコードの最大数を入力します。

[Advanced Hadoop MongoDB properties] (高度なHadoop MongoDBのプロパティ)

プロパティを追加して、tMongoDBInputにデータの読み取り時に実行させる追加のオペレーションを定義します。

使用可能なプロパティは、MongoDB Connector for Hadoopにリスト表示され、説明されています。

Number of partitions = Collection size in MB / mongo.input.split_size

mongo.input.split_size   1

使用ルール

このコンポーネントは、ルックアップデータのサイズがジョブの実行に割り当てられたメモリ容量に収まっている場合、ルックアップデータを提供するために使用されます。MongoDBからのデータ読み取りで一度実行され、データをメモリに保管してメインフローからのマイクロバッチでデータに簡単にアクセスできるようにします。ルックアップデータが大きすぎてメモリに保管できない場合は、代わりにtMongoDBLookupInputを使用することをお勧めします。ルックアップ結合キーに一致するデータのみが読み取られます。

このコンポーネントは、開始コンポーネントとして使用され、出力リンクを必要とします。

このコンポーネントは、MongoDBデータベースに接続するために同じジョブ内にあるtMongoDBConfigurationコンポーネントを使用する必要があります。tMongoDBConfigurationを使用するには、このコンポーネントと共にtMongoDBConfigurationコンポーネントをドロップし、このコンポーネントの[Basic settings] (基本設定)を指定する必要があります。

このコンポーネントは、所属するSpark Streamingのコンポーネントのパレットと共に、Spark Streamingジョブを作成している場合にだけ表示されます。

特に明記していない限り、このドキュメンテーションのシナリオでは、標準ジョブ、つまり従来の Talend Data Integrationジョブだけを扱います。

[Spark Connection] (Spark接続)

この接続は、ジョブごとに有効になります。