Apache Spark BatchのtMapRDBConfigurationプロパティ

[Property type] (プロパティタイプ)

[Built-in] (組み込み)と[Repository] (リポジトリー)のいずれかです。

[Built-In] (組み込み): 一元的に保存されるプロパティデータはありません。

[Repository] (リポジトリー): プロパティが保存されているリポジトリーファイルを選択します。

プロパティは、リポジトリーツリーのHadoopクラスターノードに一元的に保存されます。

[Distribution] (ディストリビューション)と[Version] (バージョン)

使用するMapRディストリビューションを選択します。MapR V5.2以上のみがMapRDBのコンポーネントでサポートされます。

MapRDBデータベースと併用する必要のあるディストリビューションがこのMapRBDのコンポーネントによって正式にサポートされていない場合、つまり、このディストリビューションがMapRでも、このコンポーネントの[Version] (バージョン)ドロップダウンリストに表示されていないか、このディストリビューションがMapRではない場合は、[Custom] (カスタム)を選択します。

1. [Import from existing version] (既存のバージョンからインポート)を選択すると、正式にサポートされているディストリビューションをベースとしてインポートしてから、ベースディストリビューションで提供されていない他の必要なjarファイルを追加できます。

2. [Import from zip] (zipからインポート)を選択すると、使用するカスタムディストリビューションの設定zipファイルをインポートできます。zipファイルには、Hadoopの各種エレメントのライブラリーおよびこれらのライブラリーのインデックスファイルが含まれている必要があります。

   Talendはカスタムバージョンを公式にサポートしていません。Talendとそのコミュニティでは、Talend Studioからカスタムバージョンに接続するための方法を紹介していますが、Hadoopのディストリビューションとバージョンの種類は幅広いため、選択したバージョンの設定がスムーズに機能するかどうかは保証できません。そのような接続のセットアップは、Hadoopについてどんな問題でもご自身で対処できる十分な経験をお持ちの場合のみ行ってください。

   情報メモ注:

   カスタムディストリビューションとこのコンポーネント間で作成する接続に関わるjarファイルがインポートされるように、このダイアログボックスのアクティブなチェックボックスをオフにしないでください。

   カスタムディストリビューションの接続方法、および接続の共有方法のステップ例は、Hortonworksをご覧ください。

[Zookeeper quorum] (Zookeeperクォーラム)

Talend Studioとデータベース間のトランザクションを調整するZooKeeperサービスの名前またはURLを入力します。ZooKeeperを設定する時に、zookeeper.znode.parentプロパティを明示的に設定して、データベースで作成および使用されているZnodeがすべて含まれているルートZnodeへのパスを定義し、[Set Zookeeper znode parent] (親Zookeeper znodeを設定)チェックボックスをオンにしてこのプロパティを定義しなければならない場合があります。

[Zookeeper client port] (Zookeeperクライアントポート)

使用しているZooKeeperサービスのクライアントリスニングポートの数を指定します。

[Use Kerberos authentication] (Kerberos認証を使用)

使用するデータベースでKerberosセキュリティが実行される場合は、このチェックボックスを選択し、[HBase Master principal] (Hbaseマスタープリンシパル)フィールドと[HBase Region Server principal] (HBaseリージョンサーバープリンシパル)フィールドにプリンシパル名を入力します。この情報は、使用するクラスターのhbase-site.xmlファイルの中にあります。

ログインにKerberosのkeytabファイルが必要な場合は、[Use a keytab to authenticate] (認証にkeytabを使用)チェックボックスをオンにします。keytabファイルには、Kerberosのプリンシパルと暗号化されたキーのペアが含まれています。使用するプリンシパルを[Principal] (プリンシパル)フィールドに入力し、keytabファイルへのアクセスパスを[Keytab] フィールドに入力します。このキータブファイルは、ジョブが実際に実行されているマシン(Talend JobServerなど)に保存する必要があります。

keytabが有効なジョブは、プリンシパルに任命されたユーザーでなくても実行できますが、使用するkeytabファイルの読み取り権限が必要です。たとえばuser1というユーザー名でジョブを実行し、使用するプリンシパルがguestの場合、user1に使用するキータブファイルの読み取り権限があることをご確認ください。

MapRクラスターでKerberosをデータベース用に設定する方法は、Kerberos認証を設定をご覧ください。

[HBase Properties] (HBaseプロパティ)

データベースにカスタム設定を使用する必要がある場合は、カスタマイズするプロパティをこのテーブルで設定します。ランタイムに、カスタマイズされたプロパティは、データベース用に以前に定義した対応するプロパティを上書きします。

たとえば、データベースの設定で、dfs.replicationプロパティの値を1に定義する必要があります。次に、プラスボタンを使用してこのテーブルに1行を追加し、このプロパティの名前と値をこの行に入力する必要があります。

使用ルール

このコンポーネントは、必ず他のMapRDBコンポーネントと共に使い、SparkへのMapR-DB接続を提供します。

前提条件

始める前に、データベースで想定されているループバックIPの前提条件を満たしていることをご確認ください。

Talend Studio との操作を確実に行うには、Hadoopディストリビューションを適切にインストールする必要があります。以下のリストに、MapR関連の情報などを示します。

• MapRクライアントは必ずTalend Studioのあるマシンにインストールして、そのマシンのPATH変数にMapRクライアントライブラリーを追加します。MapRのドキュメンテーションによると、各OSバージョンに対応するMapRクライアントのライブラリーは、MAPR_INSTALL\ hadoop\hadoop-VERSION\lib\nativeにあります。たとえば、Windows版のライブラリーは、\lib\native\MapRClient.dllにあるMapRクライアントのjarファイルにあります。

  指定のライブラリーを追加しないと、no MapRClient in java.library.pathというエラーが発生する可能性があります。

• たとえば、[Window] (ウィンドウ)メニューの[Preferences] (環境設定)ダイアログボックスにある[Run/Debug] (実行/デバッグ)ビューの[Job Run VM arguments] (ジョブ実行VMの引数)エリアで、-Djava.library.path引数を設定するために使われます。この引数により、そのMapRクライアントのネイティブライブラリーへのパスがTalend Studioに渡されるので、サブスクリプションベースのユーザーはデータビューアーをフルに活用して、MapRに保存されたデータをTalend Studioでローカルに表示できます。

Hadoopディストリビューションのインストール方法の詳細は、使用しているHadoopディストリビューションに対応するマニュアルをご覧ください。

[Spark Connection] (Spark接続)

この接続は、ジョブごとに有効になります。