tHCatalogLoadの標準プロパティ

これらのプロパティは、標準ジョブのフレームワークで実行されているtHCatalogLoadを設定するために使われます。

標準のtHCatalogLoadコンポーネントは、ビッグデータファミリーに属しています。

このフレームワークのコンポーネントは、すべてのビッグデータ対応のTalend製品およびTalend Data Fabricで使用できます。

基本設定

[Property type] (プロパティタイプ)	[Built-in] (組み込み)と[Repository] (リポジトリー)のいずれかです。 [Built-in] (組み込み): 一元的に保存されるプロパティデータはありません。 [Repository] (リポジトリー): プロパティが保管されるリポジトリーファイルを選択します。後続フィールドは、取得されたデータを使用して自動的に入力されます。
[Distribution] (ディストリビューション)	ドロップダウンリストから、使用するクラスターを選択します。リストのオプションは使用するコンポーネントによって異なります。これらのオプションの中でも、以下のオプションを使用するには特定の設定が必要です。この[Distribution] (ディストリビューション)ドロップダウンリストに[Microsoft HD Insight]オプションが表示されている場合は、Microsoft HD Insightクラスターを利用できます。この場合、表示されているエリアでクラスターのHD Insightクラスター、Windows Azure Storageサービスへの接続を設定する必要があります。これらのパラメーターの詳細は、手動で接続を設定をご覧ください。 Amazon EMRを選択している場合は、Amazon EMR - Getting Startedで詳細をご覧ください。 [Custom] (カスタム)オプションを使用すれば、リストにあるディストリビューションのものとは異なるクラスター、つまり、 Talend で正式にサポートされていないクラスターに接続できます。 [Import from existing version] (既存のバージョンからインポート)を選択すると、正式にサポートされているディストリビューションをベースとしてインポートしてから、ベースディストリビューションで提供されていない他の必要なjarファイルを追加できます。 [Import from zip] (zipからインポート)を選択すると、使用するカスタムディストリビューションの設定zipファイルをインポートできます。zipファイルには、Hadoopの各種エレメントのライブラリーおよびこれらのライブラリーのインデックスファイルが含まれている必要があります。 Talendはカスタムバージョンを公式にサポートしていません。Talendとそのコミュニティでは、Talend Studioからカスタムバージョンに接続するための方法を紹介していますが、Hadoopのディストリビューションとバージョンの種類は幅広いため、選択したバージョンの設定がスムーズに機能するかどうかは保証できません。そのような接続のセットアップは、Hadoopについてどんな問題でもご自身で対処できる十分な経験をお持ちの場合のみ行ってください。情報メモ注: カスタムディストリビューションとこのコンポーネント間で作成する接続に関わるjarファイルがインポートされるように、このダイアログボックスのアクティブなチェックボックスをオフにしないでください。カスタムディストリビューションの接続方法、および接続の共有方法のステップ例は、Hortonworksをご覧ください。
HCatalog version (HCatalogバージョン)	使用しているHadoopのディストリビューションのバージョンを選択します。使用可能なオプションは、使用しているコンポーネントによって異なります。
Templeton hostname (Templetonのホスト名)	このフィールドにTempleton WebserviceのURLを入力します。情報メモ注: Templetonは、HCatalog用のWebサービスAPIです。Apacheコミュニティによって名前がWebHCatに変更されています。このサービスにより、HCatalogおよび関連するHadoopエレメント(Pigなど)へのアクセスが容易になります。Templeton (WebHCat)の詳細は、https://cwiki.apache.org/confluence/display/Hive/WebHCat+UsingWebHCatをご覧ください。
Templeton port (Templetonのポート)	このフィールドにTempleton WebserviceのURLのポートを入力します。デフォルトでは、この値は50111です。情報メモ注: Templetonは、HCatalog用のWebサービスAPIです。Apacheコミュニティによって名前がWebHCatに変更されています。このサービスにより、HCatalogおよび関連するHadoopエレメント(Pigなど)へのアクセスが容易になります。Templeton (WebHCat)の詳細は、https://cwiki.apache.org/confluence/display/Hive/WebHCat+UsingWebHCatをご覧ください。
[Use Kerberos authentication] (Kerberos認証を使用)	Kerberosセキュリティを実行しているHadoopクラスターにアクセスする場合は、このチェックボックスを選択し、表示されるフィールドにネームノードとしてKerberosのプリンシパル名を入力します。これにより、ユーザー名を使って、Kerberosに保存された認証情報に対して認証を実行できます。接続しているHadoopのディストリビューションによってはこのチェックボックスが表示されないこともあります。
[Use a keytab to authenticate] (Keytabを認証に使用)	[Use a keytab to authenticate] (Keytabを認証に使用)チェックボックスをオンにして、所定のkeytabファイルを使ってKerberos対応のシステムにログインします。keytabファイルには、Kerberosのプリンシパルと暗号化されたキーのペアが含まれています。使用するプリンシパルを[Principal] (プリンシパル)フィールドに入力し、keytabファイルへのアクセスパスを[Keytab] フィールドに入力します。このキータブファイルは、ジョブが実際に実行されているマシン(Talend JobServerなど)に保存する必要があります。 keytabが有効なジョブは、プリンシパルに任命されたユーザーでなくても実行できますが、使用するkeytabファイルの読み取り権限が必要です。たとえばuser1というユーザー名でジョブを実行し、使用するプリンシパルがguestの場合、user1に使用するキータブファイルの読み取り権限があることをご確認ください。
[Database] (データベース)	データを書き込む必要があるデータベースの名前を入力します。既存のデータベースを用意しておく必要があります。
[Table] (テーブル)	データを書き込む必要があるテーブルの名前を入力します。このテーブルは既に存在するものでなければなりません。
Partition (パーティション)	このフィールドでは、指定したテーブルでのパーティション操作対象のパーティションを1つ以上指定します。複数のパーティションを指定する場合は、コンマを使って2つ置きにパーティションを区切り、二重引用符を使ってパーティション文字列を囲みます。パーティショニングされていないテーブルを読み取る場合は、このフィールドを空にしておきます。情報メモ注: パーティションの詳細は、https://cwiki.apache.org/Hive/をご覧ください。
[Username] (ユーザー名)	このフィールドには、DB認証用のユーザー名を入力します。
[File location] (ファイルのロケーション)	データの読み取り元のHDFSの場所を指す絶対パスを入力します。
[Die on error] (エラー発生時に強制終了)	このチェックボックスはデフォルトでオフになっています。すなわち、エラーが発生した行をスキップし、エラーが発生していない行のプロセスを完了させます。

詳細設定

Retrieve the HCatalog logs (HCatalogログを取得する)	HCatalogの操作中に生成されたログファイルを取得するには、このチェックボックスをオンにします。
[Standard Output Folder] (標準出力フォルダー)	このフィールドに、ログファイルが保管されるパスを入力します。情報メモ注: [Retrieve the HCatalog logs] (HCatalogログを取得する)チェックボックスをオンにしないと、このフィールドは有効になりません。
エラー出力フォルダー	このフィールドに、エラーログファイルが保管されるパスを入力します。情報メモ注: [Retrieve the HCatalog logs] (HCatalogログを取得する)チェックボックスをオンにしないと、このフィールドは有効になりません。
[tStatCatcher Statistics] (tStatCatcher統計)	このチェックボックスを選択すると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。

グローバル変数

グローバル変数	ERROR_MESSAGE: エラーが発生した時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数はコンポーネントにこのチェックボックスが存在し、[Die on error] (エラー発生時に強制終了)がオフになっている場合のみ機能します。 Flow変数はのコンポーネントの実行中に機能し、After変数はコンポーネントの実行後に機能します。フィールドまたは式に変数を入力する場合は、Ctrl + スペースを押して変数リストにアクセスし、使用する変数を選択します。変数の詳細は、コンテキストと変数を使用をご覧ください。

ERROR_MESSAGE: エラーが発生した時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数はコンポーネントにこのチェックボックスが存在し、[Die on error] (エラー発生時に強制終了)がオフになっている場合のみ機能します。

Flow変数はのコンポーネントの実行中に機能し、After変数はコンポーネントの実行後に機能します。

フィールドまたは式に変数を入力する場合は、Ctrl + スペースを押して変数リストにアクセスし、使用する変数を選択します。

変数の詳細は、コンテキストと変数を使用をご覧ください。

使用方法

使用ルール	このコンポーネントは、単一コンポーネントサブジョブで使えます。 HCatalogはHiveメタストアの上にビルドされ、PigとMapReduceに読み取りと書き込みのインターフェイスを提供します。これは、後者のシステムがHiveのメタデータを使用して、HDFS内のデータの読み書きを容易に行うことができるようにするためです。詳細は、ApacheのドキュメンテーションでHCatalogに関する説明(https://cwiki.apache.org/confluence/display/Hive/HCatalog)をご覧ください。
前提条件	Talend Studio との操作を確実に行うには、Hadoopディストリビューションを適切にインストールする必要があります。以下のリストに、MapR関連の情報などを示します。 MapRクライアントは必ずTalend Studioのあるマシンにインストールして、そのマシンのPATH変数にMapRクライアントライブラリーを追加します。MapRのドキュメンテーションによると、各OSバージョンに対応するMapRクライアントのライブラリーは、MAPR_INSTALL\ hadoop\hadoop-VERSION\lib\nativeにあります。たとえば、Windows版のライブラリーは、\lib\native\MapRClient.dllにあるMapRクライアントのjarファイルにあります。指定のライブラリーを追加しないと、no MapRClient in java.library.pathというエラーが発生する可能性があります。たとえば、[Window] (ウィンドウ)メニューの[Preferences] (環境設定)ダイアログボックスにある[Run/Debug] (実行/デバッグ)ビューの[Job Run VM arguments] (ジョブ実行VMの引数)エリアで、-Djava.library.path引数を設定するために使われます。この引数により、そのMapRクライアントのネイティブライブラリーへのパスがTalend Studioに渡されるので、サブスクリプションベースのユーザーはデータビューアーをフルに活用して、MapRに保存されたデータをTalend Studioでローカルに表示できます。 Hadoopディストリビューションのインストール方法の詳細は、使用しているHadoopディストリビューションに対応するマニュアルをご覧ください。
制限事項	[Use kerberos authentication] (Kerberos認証を使用)をオンにすると、コンポーネントは、IBM JVMと連動できません。

使用ルール

このコンポーネントは、単一コンポーネントサブジョブで使えます。

HCatalogはHiveメタストアの上にビルドされ、PigとMapReduceに読み取りと書き込みのインターフェイスを提供します。これは、後者のシステムがHiveのメタデータを使用して、HDFS内のデータの読み書きを容易に行うことができるようにするためです。

詳細は、ApacheのドキュメンテーションでHCatalogに関する説明(https://cwiki.apache.org/confluence/display/Hive/HCatalog)をご覧ください。

前提条件

Talend Studio との操作を確実に行うには、Hadoopディストリビューションを適切にインストールする必要があります。以下のリストに、MapR関連の情報などを示します。

MapRクライアントは必ずTalend Studioのあるマシンにインストールして、そのマシンのPATH変数にMapRクライアントライブラリーを追加します。MapRのドキュメンテーションによると、各OSバージョンに対応するMapRクライアントのライブラリーは、MAPR_INSTALL\ hadoop\hadoop-VERSION\lib\nativeにあります。たとえば、Windows版のライブラリーは、\lib\native\MapRClient.dllにあるMapRクライアントのjarファイルにあります。

指定のライブラリーを追加しないと、no MapRClient in java.library.pathというエラーが発生する可能性があります。
たとえば、[Window] (ウィンドウ)メニューの[Preferences] (環境設定)ダイアログボックスにある[Run/Debug] (実行/デバッグ)ビューの[Job Run VM arguments] (ジョブ実行VMの引数)エリアで、-Djava.library.path引数を設定するために使われます。この引数により、そのMapRクライアントのネイティブライブラリーへのパスがTalend Studioに渡されるので、サブスクリプションベースのユーザーはデータビューアーをフルに活用して、MapRに保存されたデータをTalend Studioでローカルに表示できます。

Hadoopディストリビューションのインストール方法の詳細は、使用しているHadoopディストリビューションに対応するマニュアルをご覧ください。

制限事項

[Use kerberos authentication] (Kerberos認証を使用)をオンにすると、コンポーネントは、IBM JVMと連動できません。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。

こちらにフィードバックをお寄せください