メイン コンテンツをスキップする 補完的コンテンツへスキップ

tELTHiveOutputの標準プロパティ

これらのプロパティは、標準ジョブのフレームワークで実行されている tELTHiveOutputを設定するために使われます。

標準tELTHiveOutputコンポーネントは、ELTファミリーに属しています。

このフレームワーク内のコンポーネントは、ビッグデータ対応のTalend 製品すべて、およびTalend Data Fabricで利用できます。

基本設定

[Action on data] (データでのアクション)

Hiveテーブルに書き込むデータに対して実行するアクションを選択します。

[Insert] (挿入)オプションを使用すると、Hiveテーブルに書き込まれるデータが存在する場合は、既存のデータに追加されます。

[Schema] (スキーマ)

スキーマとは行の説明のことで、処理して次のコンポーネントに渡すフィールドの数を定義します。スキーマは[Built-in] (組み込み)か、[Repository] (リポジトリー)にリモートで保存されます。

 

[Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。

[Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。

[Edit Schema] (スキーマを編集)

スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。

  • [View schema] (スキーマを表示): スキーマのみを表示する場合は、このオプションを選択します。

  • [Change to built-in property] (組み込みのプロパティに変更): ローカルで変更を行うためにスキーマを組み込みに変更する場合は、このオプションを選択します。

  • [Update repository connection] (リポジトリー接続をアップデート): リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。変更を現在のジョブにのみ反映する場合は、変更後、[No] (いいえ)を選択し、[Repository Content] (リポジトリーコンテンツ)ウィンドウで再びこのスキーマのメタデータを選択します。

[Default table name] (デフォルトテーブル名)

データを書き込む出力テーブルのデフォルト名を入力します。

[Default schema name] (デフォルトスキーマ名)

使う出力テーブルが関連しているデフォルトのデータベーススキーマの名前を入力します。

[Table name from connection name is variable] (接続名からのテーブル名は変数である)

このコンポーネントへの接続の名前がコンテキスト変数などの変数に設定されている場合は、このチェックボックスを選択します。

別のテーブル名を使用

このチェックボックスをオンにして、表示された[Table name] (テーブル名)フィールドで、別のテーブル名を二重引用符で囲んで定義します。

このテーブルがデフォルトのテーブルとは異なるデータベーススキーマに関連している場合は、そのデータベーススキーマの名前も入力する必要があります。構文はschema_name.table_nameです。

[The target table uses the Parquet format] (ターゲットテーブルはParquet形式を使います)

データの書き込みが必要なテーブルがPARQUETテーブルの場合は、このチェックボックスをオンにします。

[Compression] (圧縮)リストが表示されたら、PARQUETファイルの処理に必要な圧縮モードを選択します。デフォルトモードは[Uncompressed] (圧縮なし)です。

[Field Partition] (フィールドパーティション)

[Partition Column] (パーティションカラム)に、データを書き込むHiveテーブルのパーティション列の名前を二重引用符で囲んで入力します。

[Partition Value] (パーティション値)には、対応するパーティションカラムに使う値を二重引用符で囲んで入力します。

[Mapping] (マッピング)

使用するデータベースにメタデータマッピングファイルを指定します。メタデータマッピングファイルは、データベースとJavaの間のデータ型変換に使用します。メタデータマッピングの詳細は、タイプのマッピングに関するドキュメンテーションをご覧ください。
情報メモ注: Hiveマッピングを使用して、Databricks Delta Lakeをサポートできます。

詳細設定

[tStatCatcher Statistics] (tStatCatcher統計)

このチェックボックスを選択すると、コンポーネントレベルでログデータを収集できます。

グローバル変数

グローバル変数

ERROR_MESSAGE: エラーが発生した時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数はコンポーネントにこのチェックボックスが存在し、[Die on error] (エラー発生時に強制終了)がオフになっている場合のみ機能します。

Flow変数はのコンポーネントの実行中に機能し、After変数はコンポーネントの実行後に機能します。

フィールドまたは式に変数を入れるには、Ctrl + スペースを押して変数リストにアクセスし、リストから使用する変数を選択します。

変数の詳細は、Talend Studioユーザーガイドをご覧ください。

使用方法

使用ルール

tELTHiveMapは、tELTHiveInputおよびtELTHiveOutputと一緒に使用してください。これらのコンポーネントと共に使用する出力リンクは、テーブル名の構文と正確に対応している必要があります。

Hiveデータベースへの接続に使用しているStudioisがWindowsマシンにインストールされている場合は、このStudioがインストールされているディスクのルートにtmpというフォルダーを手動で作成する必要があります。

情報メモ注:

ELTコンポーネントは、実際のデータフローを処理せず、スキーマ情報しか処理しません。

Dataprocとの併用

ELT Hiveのコンポーネントでは、使用するGoogle Cloud DataprocクラスターにTezをインストールする必要があります。

  • このGoogle Cloud Platformのドキュメンテーション(Apache Tez on Dataproc (英語のみ))で説明されている初期化アクションを使用します。

  • Google Cloud Dataprocクラスターにおける初期化アクションの一般的なコンセプトの詳細は、関連するGoogleのドキュメンテーション: Initialization actions (英語のみ)をご覧ください。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。