tHCatalogLoadの標準プロパティ

これらのプロパティは、標準ジョブのフレームワークで実行されているtHCatalogLoadを設定するために使われます。

標準のtHCatalogLoadコンポーネントは、ビッグデータファミリーに属しています。

このフレームワーク内のコンポーネントは、ビッグデータ対応のTalend 製品すべて、およびTalend Data Fabricで利用できます。

基本設定

[Property type] (プロパティタイプ)	[Built-in] (組み込み)と[Repository] (リポジトリー)のいずれかです。 [Built-in] (組み込み): 一元的に保存されるプロパティデータはありません。 [Repository] (リポジトリー): プロパティが保管されるリポジトリーファイルを選択します。後続フィールドは、取得されたデータを使用して自動的に入力されます。
[Distribution] (ディストリビューション)	ドロップダウンリストから、使用するクラスターを選択します。リストのオプションは使用するコンポーネントによって異なります。これらのオプションの中でも、以下のオプションを使用するには特定の設定が必要です。この[Distribution] (ディストリビューション)ドロップダウンリストに[Microsoft HD Insight]オプションが表示されている場合は、Microsoft HD Insightクラスターを利用できます。この場合、表示されているエリアでクラスターのHD Insightクラスター、Windows Azure Storageサービスへの接続を設定する必要があります。これらのパラメーターの詳細は、Talend Help Center (https://help.talend.com (英語のみ))で接続の手動の設定について検索してください。 Amazon EMRを選択している場合、Amazon EMRの開始方法は、Talend Help Center (https://help.talend.com (英語のみ))をご覧ください。 [Custom] (カスタム)オプションを使用すれば、リストにあるディストリビューションのものとは異なるクラスター、つまり、 Talend で正式にサポートされていないクラスターに接続できます。 [Import from existing version] (既存のバージョンからインポート)を選択すると、正式にサポートされているディストリビューションをベースとしてインポートしてから、ベースディストリビューションで提供されていない他の必要なjarファイルを追加できます。 [Import from zip] (zipからインポート)を選択すると、使用するカスタムディストリビューションの設定zipファイルをインポートできます。zipファイルには、Hadoopの各種エレメントのライブラリーおよびこれらのライブラリーのインデックスファイルが含まれている必要があります。 Talend はカスタムバージョンを公式にサポートしていません。 Talend とそのコミュニティでは、Studioからカスタムバージョンに接続するための方法を紹介していますが、Hadoopのディストリビューションとバージョンの種類は幅広いため、選択したバージョンの設定がスムーズに機能するかどうかは保証できません。そのような接続のセットアップは、Hadoopについてどんな問題でもご自身で対処できる十分な経験をお持ちの場合のみ行ってください。情報メモ注: カスタムディストリビューションとこのコンポーネント間で作成する接続に関わるjarファイルがインポートされるように、このダイアログボックスのアクティブなチェックボックスをオフにしないでください。カスタムディストリビューションの接続方法、および接続の共有方法のステップ例は、Hortonworksをご覧ください。
HCatalog version (HCatalogバージョン)	使用しているHadoopのディストリビューションのバージョンを選択します。使用可能なオプションは、使用しているコンポーネントによって異なります。
Templeton hostname (Templetonのホスト名)	このフィールドにTempleton WebserviceのURLを入力します。情報メモ注: Templetonは、HCatalog用のWebサービスAPIです。Apacheコミュニティによって名前がWebHCatに変更されています。このサービスにより、HCatalogおよび関連するHadoopエレメント(Pigなど)へのアクセスが容易になります。Templeton (WebHCat)の詳細は、https://cwiki.apache.org/confluence/display/Hive/WebHCat+UsingWebHCat (英語のみ)をご覧ください。
Templeton port (Templetonのポート)	このフィールドにTempleton WebserviceのURLのポートを入力します。デフォルトでは、この値は50111です。情報メモ注: Templetonは、HCatalog用のWebサービスAPIです。Apacheコミュニティによって名前がWebHCatに変更されています。このサービスにより、HCatalogおよび関連するHadoopエレメント(Pigなど)へのアクセスが容易になります。Templeton (WebHCat)の詳細は、https://cwiki.apache.org/confluence/display/Hive/WebHCat+UsingWebHCat (英語のみ)をご覧ください。
[Use Kerberos authentication] (Kerberos認証を使用)	Kerberosセキュリティを実行しているHadoopクラスターにアクセスする場合は、このチェックボックスをオンにし、表示されるフィールドにネームノードとしてKerberosのプリンシパル名を入力します。これにより、ユーザー名を使って、Kerberosに保存された認証情報に対して認証を実行できます。このクラスターが5.0.0バージョン以上のMapRクラスターである場合は、「セキュリティ対応MapRへの接続」の説明に従って、MapRチケット認証設定を追加または代替として設定できます。https://help.talend.com/ja-JP/components/7.3/mapr/connecting-to-security-enabled-mapr この設定により、ジョブで定義されたユーザー名用の新しいMapRセキュリティチケットが実行ごとに生成されます。同じユーザー名に対して発行された既存のチケットを再使用する必要がある場合は、[Force MapR ticket authentication] (MapRチケット認証を強制)チェックボックスと[Use Kerberos authentication] (Kerberos認証を使用)チェックボックスをオフにすると、そのチケットを即座に自動的に見つけることができます。接続しているHadoopのディストリビューションによってはこのチェックボックスが表示されないこともあります。
[Use a keytab to authenticate] (Keytabを認証に使用)	[Use a keytab to authenticate] (Keytabを認証に使用)チェックボックスをオンにして、所定のkeytabファイルを使ってKerberos対応のシステムにログインします。keytabファイルには、Kerberosのプリンシパルと暗号化されたキーのペアが含まれています。使用するプリンシパルを[Principal] (プリンシパル)フィールドに入力し、keytabファイルへのアクセスパスを[Keytab] フィールドに入力します。このkeytabファイルは、ジョブが実際に実行されているマシン、たとえば、Talend Jobserverに保存する必要があります。 keytabが有効なジョブは、プリンシパルに任命されたユーザーでなくても実行できますが、使用するkeytabファイルの読み取り権限が必要です。たとえばuser1というユーザー名でジョブを実行し、使用するプリンシパルがguestの場合、user1に使用するキータブファイルの読み取り権限があることをご確認ください。
[Database] (データベース)	データを書き込む必要があるデータベースの名前を入力します。既存のデータベースを用意しておく必要があります。
[Table] (テーブル)	データを書き込む必要があるテーブルの名前を入力します。このテーブルは既に存在するものでなければなりません。
Partition (パーティション)	このフィールドでは、指定したテーブルでのパーティション操作対象のパーティションを1つ以上指定します。複数のパーティションを指定する場合は、コンマを使って2つ置きにパーティションを区切り、二重引用符を使ってパーティション文字列を囲みます。パーティショニングされていないテーブルを読み取る場合は、このフィールドを空にしておきます。情報メモ注: パーティションの詳細は、https://cwiki.apache.org/Hive/ (英語のみ)をご覧ください。
[Username] (ユーザー名)	このフィールドには、DB認証用のユーザー名を入力します。
[File location] (ファイルのロケーション)	データの読み取り元のHDFSの場所を指す絶対パスを入力します。
[Die on error] (エラー発生時に強制終了)	このチェックボックスはデフォルトでオフになっています。すなわち、エラーが発生した行をスキップし、エラーが発生していない行のプロセスを完了させます。

詳細設定

Retrieve the HCatalog logs (HCatalogログを取得する)	HCatalogの操作中に生成されたログファイルを取得するには、このチェックボックスをオンにします。
[Standard Output Folder] (標準出力フォルダー)	このフィールドに、ログファイルが保管されるパスを入力します。情報メモ注: [Retrieve the HCatalog logs] (HCatalogログを取得する)チェックボックスをオンにしないと、このフィールドは有効になりません。
エラー出力フォルダー	このフィールドに、エラーログファイルが保管されるパスを入力します。情報メモ注: [Retrieve the HCatalog logs] (HCatalogログを取得する)チェックボックスをオンにしないと、このフィールドは有効になりません。
[tStatCatcher Statistics] (tStatCatcher統計)	このチェックボックスを選択すると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。

グローバル変数

グローバル変数	ERROR_MESSAGE: エラーが発生した時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数はコンポーネントにこのチェックボックスが存在し、[Die on error] (エラー発生時に強制終了)がオフになっている場合のみ機能します。 Flow変数はのコンポーネントの実行中に機能し、After変数はコンポーネントの実行後に機能します。フィールドまたは式に変数を入れるには、Ctrl + スペースを押して変数リストにアクセスし、リストから使用する変数を選択します。変数の詳細は、Talend Studioユーザーガイドをご覧ください。

ERROR_MESSAGE: エラーが発生した時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数はコンポーネントにこのチェックボックスが存在し、[Die on error] (エラー発生時に強制終了)がオフになっている場合のみ機能します。

Flow変数はのコンポーネントの実行中に機能し、After変数はコンポーネントの実行後に機能します。

フィールドまたは式に変数を入れるには、Ctrl + スペースを押して変数リストにアクセスし、リストから使用する変数を選択します。

変数の詳細は、Talend Studioユーザーガイドをご覧ください。

使用方法

使用ルール	このコンポーネントは、単一コンポーネントサブジョブで使えます。 HCatalogはHiveメタストアの上にビルドされ、PigとMapReduceに読み取りと書き込みのインターフェイスを提供します。これは、後者のシステムがHiveのメタデータを使用して、HDFS内のデータの読み書きを容易に行うことができるようにするためです。詳細は、ApacheのドキュメンテーションでHCatalogに関する説明(https://cwiki.apache.org/confluence/display/Hive/HCatalog (英語のみ))をご覧ください。
前提条件	Talend Studio との操作を確実に行うには、Hadoopディストリビューションを適切にインストールする必要があります。以下のリストに、MapR関連の情報などを示します。 MapRクライアントは必ずStudioのあるマシンにインストールして、そのマシンのPATH変数にMapRクライアントライブラリーを追加します。MapRのドキュメンテーションによると、各OSバージョンに対応するMapRクライアントのライブラリーは、MAPR_INSTALL\ hadoop\hadoop-VERSION\lib\nativeにあります。たとえば、Windows版のライブラリーは、\lib\native\MapRClient.dllにあるMapRクライアントのjarファイルにあります。詳細は、MapRからhttp://www.mapr.com/blog/basic-notes-on-configuring-eclipse-as-a-hadoop-development-environment-for-mapr (英語のみ)をご覧ください。指定のライブラリーを追加しないと、no MapRClient in java.library.pathというエラーが発生する可能性があります。たとえば、[Window] (ウィンドウ)メニューの[Preferences] (環境設定)ダイアログボックスにある[Run/Debug] (実行/デバッグ)ビューの[Job Run VM arguments] (ジョブ実行VMの引数)エリアで、-Djava.library.path引数を設定するために使われます。この引数により、そのMapRクライアントのネイティブライブラリーへのパスがStudioに渡されるので、サブスクリプションベースのユーザーはデータビューアーをフルに活用して、MapRに保存されたデータをStudioでローカルに表示できます。 Hadoopディストリビューションのインストール方法は、使用しているHadoopディストリビューションに対応するマニュアルをご覧ください。
制限事項	[Use kerberos authentication] (Kerberos認証を使用)をオンにすると、コンポーネントは、IBM JVMと連動できません。

使用ルール

このコンポーネントは、単一コンポーネントサブジョブで使えます。

HCatalogはHiveメタストアの上にビルドされ、PigとMapReduceに読み取りと書き込みのインターフェイスを提供します。これは、後者のシステムがHiveのメタデータを使用して、HDFS内のデータの読み書きを容易に行うことができるようにするためです。

詳細は、ApacheのドキュメンテーションでHCatalogに関する説明(https://cwiki.apache.org/confluence/display/Hive/HCatalog (英語のみ))をご覧ください。

前提条件

Talend Studio との操作を確実に行うには、Hadoopディストリビューションを適切にインストールする必要があります。以下のリストに、MapR関連の情報などを示します。

MapRクライアントは必ずStudioのあるマシンにインストールして、そのマシンのPATH変数にMapRクライアントライブラリーを追加します。MapRのドキュメンテーションによると、各OSバージョンに対応するMapRクライアントのライブラリーは、MAPR_INSTALL\ hadoop\hadoop-VERSION\lib\nativeにあります。たとえば、Windows版のライブラリーは、\lib\native\MapRClient.dllにあるMapRクライアントのjarファイルにあります。詳細は、MapRからhttp://www.mapr.com/blog/basic-notes-on-configuring-eclipse-as-a-hadoop-development-environment-for-mapr (英語のみ)をご覧ください。

指定のライブラリーを追加しないと、no MapRClient in java.library.pathというエラーが発生する可能性があります。
たとえば、[Window] (ウィンドウ)メニューの[Preferences] (環境設定)ダイアログボックスにある[Run/Debug] (実行/デバッグ)ビューの[Job Run VM arguments] (ジョブ実行VMの引数)エリアで、-Djava.library.path引数を設定するために使われます。この引数により、そのMapRクライアントのネイティブライブラリーへのパスがStudioに渡されるので、サブスクリプションベースのユーザーはデータビューアーをフルに活用して、MapRに保存されたデータをStudioでローカルに表示できます。

Hadoopディストリビューションのインストール方法は、使用しているHadoopディストリビューションに対応するマニュアルをご覧ください。

制限事項

[Use kerberos authentication] (Kerberos認証を使用)をオンにすると、コンポーネントは、IBM JVMと連動できません。

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。

こちらにフィードバックをお寄せください