tHiveLoadの標準プロパティ

[Property type] (プロパティタイプ)

[Built-in] (組み込み)と[Repository] (リポジトリー)のいずれかです。

[Built-In] (組み込み): 一元的に保存されるプロパティデータはありません。

[Repository] (リポジトリー): プロパティが保存されているリポジトリーファイルを選択します。

[Use an existing connection] (既存の接続を使用)

定義済みの接続の詳細を再利用する場合は、このチェックボックスを選択して、[Component List] (コンポーネントリスト)ドロップダウンリストから、目的の接続コンポーネントを選択します。

ディストリビューション

1. [Import from existing version] (既存のバージョンからインポート)を選択すると、正式にサポートされているディストリビューションをベースとしてインポートしてから、ベースディストリビューションで提供されていない他の必要なjarファイルを追加できます。

2. [Import from zip] (zipからインポート)を選択すると、使用するカスタムディストリビューションの設定zipファイルをインポートできます。zipファイルには、Hadoopの各種エレメントのライブラリーおよびこれらのライブラリーのインデックスファイルが含まれている必要があります。

   Talendはカスタムバージョンを公式にサポートしていません。Talendとそのコミュニティでは、Talend Studioからカスタムバージョンに接続するための方法を紹介していますが、Hadoopのディストリビューションとバージョンの種類は幅広いため、選択したバージョンの設定がスムーズに機能するかどうかは保証できません。そのような接続のセットアップは、Hadoopについてどんな問題でもご自身で対処できる十分な経験をお持ちの場合のみ行ってください。

   情報メモ注:

   カスタムディストリビューションとこのコンポーネント間で作成する接続に関わるjarファイルがインポートされるように、このダイアログボックスのアクティブなチェックボックスをオフにしないでください。

   カスタムディストリビューションの接続方法、および接続の共有方法のステップ例は、Hortonworksをご覧ください。

[Hive version] (Hiveのバージョン)

使用しているHadoopのディストリビューションのバージョンを選択します。使用可能なオプションは、使用しているコンポーネントによって異なります。

[Load action] (ロードアクション)

指定した宛先にデータを書き込むために保持する必要があるアクションを選択します。

• [LOAD] (ロード)を選択すると、指定したディレクトリーからデータが移動またはコピーされます。

• [INSERT] (挿入)を選択すると、クエリーに基づいてデータが移動またはコピーされます。

[Execution engine] (実行エンジン)

このチェックボックスを選択して、ドロップダウンリストから、[INSERT] (挿入)アクションの実行に使用する必要のあるフレームワークを選択します。

Tezを使用する前に、使用しているHadoopクラスターがTezをサポートしていることを確認します。このコンポーネントの[Advanced settings] (詳細設定)ビューから関連するTezライブラリーへのアクセスを設定する必要があります。

TezでのHiveに関する詳細は、Apacheの関連ドキュメンテーションをご覧ください。そこには、Tezを使用してMapReduceを上回るパフォーマンスを得る方法を示すサンプルがいくつか示されています。

[Target type] (ターゲットタイプ)

このドロップダウンリストは、[Load action] (ロードアクション)リストから[INSERT] (挿入)を選択した場合にのみ表示されます。

このリストから、データを書き込む必要がある場所のタイプを選択します。

• 宛先として[Table] (テーブル)を選択した場合でも、指定したテーブルにデータを追加したり、コンテンツを上書きしたりできます。

• 宛先として[Directory] (ディレクトリー)を選択すると、指定したディレクトリーの内容が上書きされます

テーブル名

データを書き込む必要があるHiveテーブルの名前を入力します。

[INSERT] (挿入)アクションでは、このフィールドは[Target type] (ターゲットタイプ)リストで[Table](テーブル) が選択されている場合のみ利用できます。

ファイルパス

[Load action] (ロードアクション)リストから選択したアクションに応じて、データの読み取りまたは書き込みに必要なディレクトリーを入力します。

• [LOAD] (ロード)を選択した場合: これは、指定したHiveテーブルにコピーまたは移動するデータへのパスです。

• [INSERT] (挿入)を選択している場合: これは、Hiveテーブルからデータをエクスポートするディレクトリーです。このアクションでは、[File path] (ファイルパス)フィールドは[Target type] (ターゲットタイプ)リストで[Directory] (ディレクトリー)を選択している場合のみ利用できます。

[The target table uses the Parquet format] (ターゲットテーブルはParquet形式を使います)

データの書き込みが必要なテーブルがPARQUETテーブルの場合は、このチェックボックスを選択します。

[Compression] (圧縮)リストが表示されたら、PARQUETファイルの処理に必要な圧縮モードを選択します。デフォルトモードは[Uncompressed] (圧縮なし)です。

[Action on file] (ファイルに対するアクション)

データ書き込みのために実行するアクションを選択します。

このリストは、ターゲットがHiveテーブルの場合にのみ使用できます。ターゲットがディレクトリーの場合、使用されるアクションは自動的に[OVERWRITE] (上書き)になります。

クエリー

このフィールドは、 [Load action] (ロードアクション)リストから[INSERT] (挿入)を選択した場合にのみ表示されます。

指定されたHiveテーブルまたはディレクトリーにエクスポートするデータを選択するための適切なクエリーを入力します。

Local

ローカルディレクトリーにアクセスするためにHiveLOCALステートメントを使用するには、このチェックボックスをオンにします。このローカルディレクトリーは実際には、ジョブが実行されるマシン内にあります。したがって、Hiveへの接続モードが[Standalone] (スタンドアロン)の場合、ジョブはHiveアプリケーションがインストールされたマシンで実行されるので、このローカルディレクトリーはそのマシン内にあります。

このステートメントは、[File path] (ファイルパス)フィールドで定義したディレクトリーとともに使用されます。したがって、この[Local] (ローカル)チェックボックスは、[File path] (ファイルパス)フィールドが使用可能な場合のみ利用できます。

• [LOAD] (ロード)アクションを使用している場合、tHiveLoadはローカルデータをターゲットテーブルにコピーします。

• [INSERT] (挿入)アクションを使用している場合、tHiveLoadは データをローカルディレクトリーにコピーします。

• この[Local] (ローカル)チェックボックスをオフのままにしておくと、[File path] (ファイルパス)フィールドで定義されたディレクトリーが使用されるHDFSシステム内にあると見なされ、データがターゲットの場所に移動されます。

このLOCALステートメントの詳細は、Hiveの言語に関するApacheのドキュメンテーションをご覧ください。

Hiveテーブルにデータをロードまたは挿入する際にHive Partition句を使うには、このチェックボックスをオンにします。表示されるフィールドで使うパーティションキーとその値を入力する必要があります。

たとえば、contry='US', state='CA'と入力します。これにより、パーティション句の読みPartition (contry='US', state='CA')が作成されます。つまり、US and CAパーティションです。

また、重複するパーティションを作成しないようにするために、表示される[Create partition if not exist] (存在しない場合はパーティションを作成する)チェックボックスをオンにすることをお勧めします。

[Die on error] (エラー発生時に強制終了)

エラー発生時にジョブを強制終了するには、このチェックボックスをオンにします。