Apache Spark BatchのtHiveInputプロパティ
これらのプロパティは、Spark Batchジョブのフレームワークで実行されているtHiveInputを設定するために使われます。
Spark BatchのtHiveInputコンポーネントは、データベースファミリーに属しています。
このフレームワーク内のコンポーネントは、ビッグデータ対応のTalend 製品すべて、およびTalend Data Fabricで使用できます。
基本設定
[Property Type] (プロパティタイプ) |
接続の詳細を設定する方法を選択します。
|
[Hive Storage Configuration] (Hiveストレージ設定) |
Hiveに接続するための設定の詳細をSparkに使用させるtHiveConfigurationコンポーネントを選択します。 |
[HDFS Storage configuration] (HDFSストレージ設定) |
特定のHDFSシステムに接続し、依存するjarファイルをこのHDFSシステムに転送するために、設定の詳細を取ってSparkで使用するtHDFSConfigurationコンポーネントを選択します。このフィールドは、オンプレミスのディストリビューションを使用している場合のみ該当します。 |
[Schema] (スキーマ)と[Edit Schema] (スキーマを編集) |
スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。 見えないところで行われる処理でフィールド名を強制的に小文字にする可能性もあるため、フィールドは必ず小文字で命名してください。 スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。
|
|
[Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。 |
|
[Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。 |
[Input source] (入力ソース) |
tHiveInputに読み取らせる入力データのタイプを選択します。
Hiveのクエリー言語の詳細は、https://cwiki.apache.org/confluence/display/Hive/LanguageManual (英語のみ)をご覧ください。 情報メモ注: GzipまたはBzip2の形式で圧縮されたデータは、クエリーステートメントを使用して処理できます。詳細は、https://cwiki.apache.org/confluence/display/Hive/CompressedStorage (英語のみ)をご覧ください。
Hadoopではファイルの保存に必要な領域を削減し、データ転送を高速化するための圧縮形式が異なります。圧縮ファイルを読み取る場合、Studioでは入力フローにフィードする前に展開する必要があります。 |
詳細設定
[Register Hive UDF jars] (Hive UDF jarを登録) |
tHiveInputに使用させるHiveユーザー定義ファンクション(UDF) jarを追加します。使用する各UDFのファンクションエイリアスを[Temporary UDF functions] (一時UDFファンクション)テーブルで定義する必要があります。 このテーブルに1行を追加したら、クリックして[...]ボタンを表示し、次にこのボタンをクリックしてjarインポートウィザードを表示します。このウィザードを使用して、目的のUDF jarファイルをインポートします。 登録済みのファンクションは、[Basic settings] (基本設定)ビューの[Hive Query] (Hiveクエリー)フィールドで編集するHiveクエリーでよく使用されます。この[Hive Query] (Hiveクエリー)フィールドは、[Hive query] (Hiveクエリー)を[Input source] (入力ソース)リストから選択する時のみ表示されます。 |
[Temporary UDF functions] (一時UDFファンクション) |
このテーブルに入力して、インポートされた各UDFクラスに、現在のtHiveInputコンポーネント内のHiveクエリーで使用する一時的なファンクション名を付けます。 |
使用方法
使用ルール |
このコンポーネントは、開始コンポーネントとして使用され、出力リンクを必要とします。 このコンポーネントは、Hiveに接続するために同じジョブ内にあるtHiveConfigurationコンポーネントを使用する必要があります。 このコンポーネントは、所属するSpark Batchのコンポーネントのパレットと共に、Spark Batchジョブを作成している場合にだけ表示されます。 特に明記していない限り、このドキュメントのシナリオでは、標準ジョブ、つまり従来の Talend データ統合ジョブだけを扱います。 |
[Spark Connection] (Spark接続) |
[Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。
この接続は、ジョブごとに有効になります。 |