# tSqoopImport (非推奨)

Availability-note[非推奨](https://help.talend.com/r/en-US/Cloud/labels-on-talend-help-center/availability-deprecated)

このコンテンツは非推奨になりました。

情報メモDeprecated: 7.3.1-R2021-06のリリース以降、このコンポーネントは非推奨になっています。

目的のデータをHDFSに書き込むためにSqoopで必要となる引数を定義します。

tSqoopImportでは、Sqoopを呼び出し、MySQLやOracleなどのリレーショナルデータベース管理システム(RDBMS)からHadoop分散ファイルシステム(HDFS)にデータを転送します。

情報メモ注:

Sqoopは通常、すべてのHadoopディストリビューションにインストールされます。ただし、使用する必要のあるHadoopディストリビューションにSqoopがインストールされていない場合は、ユーザー自身でインストールし、そのディストリビューションのPATH変数にSqoopコマンドラインを必ず追加してください。Sqoopのインストール方法は、Sqoopのドキュメンテーションをご覧ください。

デフォルトで、このコンポーネントはTalend Studioと共には出荷されていません。機能マネージャーを使ってインストールする必要があります。 詳細は、[機能マネージャーを使って機能をインストール](https://help.qlik.com/talend/r/ja-JP/8.0/studio-user-guide/install-features-to-talend-studio)をご覧ください。

## tSqoopImportの標準プロパティ

これらのプロパティは、標準ジョブのフレームワークで実行されているtSqoopImportを設定するために使われます。

標準のtSqoopImportコンポーネントは、ビッグデータファミリーとファイルファミリーに属しています。

このフレームワークのコンポーネントは、すべてのビッグデータ対応のTalend製品およびTalend Data Fabricで利用できます。

## 基本設定

| プロパティ | 説明 |
| --- | --- |
| [Mode] (モード) | Sqoopをジョブ実行で呼び出すモードを選択します。<br><br>[Use Commandline] (コマンドラインの使用): Sqoopを呼び出すためにSqoopシェルが使用されます。HDFSとHCatalogのどちらからでもデータを読み取ることができます。このモードでは、Sqoopがインストールされているホストにジョブをデプロイして実行する必要があります。したがって、サブスクリプションユーザーの場合は、Talendがそのホスト内に提供しているTalend JobServerをインストールおよび使用してジョブを実行することを推奨します。ビッグデータ対応のTalendソリューションの1つを使用している場合は、使用するTalend StudioとSqoopが同じマシン上にあることをご確認ください。<br><br>[Use Java API] (Java APIの使用): Sqoopの呼び出しにJava APIが使用されます。このモードでは、ジョブをTalend Studioでローカルに実行できますが、使用するHadoopディストリビューションへの接続を設定する必要があります。JDKにはジョブをJava APIモードで実行することが求められ、両方のマシンにインストールするJDKキットのバージョンが互いに互換性を持つ必要があります。たとえば、同じバージョンであるか、またはHadoopマシンのJDKバージョンの方がより新しいバージョンである必要があります。 |
| [Hadoop properties] (Hadoopプロパティ) | [Built-in] (組み込み)と[Repository] (リポジトリー)のいずれかです。<br><br><ul> <li> <p> <span>[Built-in] (組み込み)</span>: このコンポーネントのみにローカルに使用するHadoopディストリビューションの設定情報を入力します。</p> </li> <li> <p> <span>[Repository] (リポジトリー)</span>: Hadoop接続が作成済みで、<span>[Repository] (リポジトリー)</span>に保存されていること。したがって、コンポーネントの設定とジョブデザインに直接再利用できます。一元管理されたHadoop接続の作成方法は、<a href="https://help.qlik.com/talend/r/ja-JP/8.0/studio-user-guide/centralizing-hadoop-connection" target="_blank">Hadoop接続メタデータの一元管理</a>をご覧ください。</p> </li> </ul> |
| [Distribution] (ディストリビューション) | ドロップダウンリストから、使用するクラスターを選択します。リストのオプションは使用するコンポーネントによって異なります。これらのオプションの中でも、以下のオプションを使用するには特定の設定が必要です。<br><br><ul> <li> <p>この<span>[Distribution] (ディストリビューション)</span>ドロップダウンリストに<span>[Microsoft HD Insight]</span>オプションが表示されている場合は、Microsoft HD Insightクラスターを利用できます。この場合、表示されているエリアでクラスターのHD Insightクラスター、Windows Azure Storageサービスへの接続を設定する必要があります。これらのパラメーターの詳細は、<a href="https://help.qlik.com/talend/r/ja-JP/7.3/studio-user-guide/configuring-connection-manually" target="_blank">手動で接続を設定</a>をご覧ください。 </p> </li> <li> <p><span>Amazon EMR</span>を選択している場合は、<a href="https://help.qlik.com/talend/r/en-US/8.0/amazon-emr-getting-started" target="_blank">Amazon EMR - Getting Started</a>で詳細をご覧ください。</p> </li> <li> <p><span>[Custom] (カスタム)</span>オプションを使用すれば、リストにあるディストリビューションのものとは異なるクラスター、つまり、<span> <span>Talend</span> </span>で正式にサポートされていないクラスターに接続できます。</p> </li> </ul><br><br><ol> <li> <p><span>[Import from existing version] (既存のバージョンからインポート)</span>を選択すると、正式にサポートされているディストリビューションをベースとしてインポートしてから、ベースディストリビューションで提供されていない他の必要なjarファイルを追加できます。</p> </li> <li> <p><span>[Import from zip] (zipからインポート)</span>を選択すると、使用するカスタムディストリビューションの設定zipファイルをインポートできます。zipファイルには、Hadoopの各種エレメントのライブラリーおよびこれらのライブラリーのインデックスファイルが含まれている必要があります。 </p> <p><span><span>Talend</span></span>はカスタムバージョンを公式にサポートしていません。<span><span>Talend</span></span>とそのコミュニティでは、<span>Talend Studio</span>からカスタムバージョンに接続するための方法を紹介していますが、Hadoopのディストリビューションとバージョンの種類は幅広いため、選択したバージョンの設定がスムーズに機能するかどうかは保証できません。そのような接続のセットアップは、Hadoopについてどんな問題でもご自身で対処できる十分な経験をお持ちの場合のみ行ってください。</p> <div><span>情報メモ</span><span>注:</span> <p>カスタムディストリビューションとこのコンポーネント間で作成する接続に関わるjarファイルがインポートされるように、このダイアログボックスのアクティブなチェックボックスをオフにしないでください。</p> </div> <p>カスタムディストリビューションの接続方法、および接続の共有方法のステップ例は、<a href="https://help.qlik.com/talend/r/ja-JP/8.0/hortonworks" target="_blank">Hortonworks</a>をご覧ください。</p> </li> </ol> |
| [Hadoop version] (Hadoopのバージョン) | 使用しているディストリビューションのHBaseバージョンを選択します。 |
| [NameNode URI] (ネームノードURI) | Hadoopシステムのマスターノード、Hadoop NameNodeのURIを入力します。たとえば、NameNodeとして*masternode*という名前のマシンを選択した場合、その場所はhdfs://masternode:portnumberになります。 WebHDFSを使用している場合、ロケーションはwebhdfs://masternode:portnumberとなります。WebHDFS with SSLはまだサポートされていません。 |
| [JobTracker Host] (JobTrackerホスト) | このチェックボックスを選択して、表示されるフィールドにディストリビューションのResourceManagerのロケーションを入力します。たとえば、tal-qa114.talend.lan: 8050のようにします。<br><br>使用するクエリーがWindowsで実行され、Selectクエリーである場合、このプロパティが必要になります。たとえば、SELECT your\_column\_name FROM your\_table\_nameです。<br><br>その後、使用するHadoopクラスターの構成に応じて以下のパラメーターを引き続き設定できます (パラメーターのチェックボックスをオフのままにしておくと、実行時に、使用するHadoopクラスター内のこのパラメーターに関する設定は無視されます):<br><br><ol> <li> <p><span>[Set resourcemanager scheduler address] (リソースマネージャースケジューラーアドレスの設定)</span>チェックボックスをオンにして、表示されたフィールドにスケジューラーアドレスを入力します。</p> </li> <li> <p><span>[Set jobhistory address] (ジョブ履歴アドレスの設定)</span>チェックボックスをオンにして、使用するHadoopクラスターのJobHistoryサーバーの場所を入力します。これにより、現在のジョブのメトリックス情報がそのJobHistoryサーバーに保存されます。</p> </li> <li> <p><span>[Set staging directory] (ステージングディレクトリーの設定)</span>チェックボックスをオンにして、実行プログラムで作成される一時ファイル用のHadoopクラスターで定義されたこのディレクトリーを入力します。一般的には、このディレクトリーはディストリビューションの<em>yarn-site.xml</em>や<em>mapred-site.xml</em>などの設定ファイル内にある<em>yarn.app.mapreduce.am.staging-dir</em>プロパティの下にあります。</p> </li> <li> <p><span>[Advanced settings] (詳細設定)</span>ビューの<span>[Set memory] (メモリの設定)</span>チェックボックスをオンにして、適切なメモリ容量をYARNの<span>Map</span>と<span>Reduce</span>の計算および<span>ApplicationMaster</span>に割り当てます。</p> </li> <li> <p><span>[Set Hadoop user] (Hadoopユーザーの設定)</span>チェックボックスをオンにして、ジョブを実行するユーザー名を入力します。Hadoop内のファイルまたはディレクトリーには読み取りまたは書き込みの適切な権限を持つ特定のオーナーがあるため、このフィールドを使用して、処理するファイルまたはディレクトリーにアクセスする適切な権限を持つユーザー名の下でジョブを直接実行できます。</p> </li> <li> <p><span>[Use datanode hostname] (データノードホスト名を使用)</span>チェックボックスをオンにして、これらのホスト名によるデータノードへのアクセスをジョブに許可します。これは、実際には<em>dfs.client.use.datanode.hostname</em>プロパティを<em>true</em>に設定しています。S3Nファイルシステムに接続する場合、このチェックボックスを選択する必要があります。</p> </li> </ol><br><br><br>これらのパラメーターの詳細は、ドキュメンテーションを参照するか、使用するHadoopクラスターの管理者にお問い合わせください。<br><br>Hadoop Map/Reduceフレームワークの詳細は、[Apache Hadoopに関するドキュメンテーション](http://hadoop.apache.org/)でMap/Reduceのチュートリアルをご覧ください。 |
| [Use Kerberos authentication] (Kerberos認証を使用) | Kerberosセキュリティを実行しているHadoopクラスターにアクセスする場合は、このチェックボックスを選択し、表示されるフィールドにネームノードとしてKerberosのプリンシパル名を入力します。これにより、ユーザー名を使って、Kerberosに保存された認証情報に対して認証を実行できます。<br><br>また、このコンポーネントはMap/Reduceの計算を実行するため、対応するフィールドのディストリビューションに応じてジョブ履歴サーバーやリソースマネージャーまたはJobTrackerなど関連するサービスを認証する必要があります。これらのプリンシパルはディストリビューションの設定ファイルの中にあります。たとえばCDH4ディストリビューションでは、リソースマネージャーのプリンシパルは*yarn-site.xml*ファイルで設定され、ジョブ履歴のプリンシパルは*mapred-site.xml*ファイルで設定されています。<br><br>接続しているHadoopのディストリビューションによってはこのチェックボックスが表示されないこともあります。 |
| [Use a keytab to authenticate] (Keytabを認証に使用) | [Use a keytab to authenticate] (Keytabを認証に使用)チェックボックスをオンにして、所定のkeytabファイルを使ってKerberos対応のシステムにログインします。keytabファイルには、Kerberosのプリンシパルと暗号化されたキーのペアが含まれています。使用するプリンシパルを[Principal] (プリンシパル)フィールドに入力し、keytabファイルへのアクセスパスを[Keytab] フィールドに入力します。このキータブファイルは、ジョブが実際に実行されているマシン(Talend JobServerなど)に保存する必要があります。<br><br>keytabが有効なジョブは、プリンシパルに任命されたユーザーでなくても実行できますが、使用するkeytabファイルの読み取り権限が必要です。たとえば*user1*というユーザー名でジョブを実行し、使用するプリンシパルが*guest*の場合、*user1*に使用するキータブファイルの読み取り権限があることをご確認ください。 |
| [Hadoop user name] (Hadoopユーザー名) | ジョブを実行するユーザー名を入力します。Hadoop内のファイルまたはディレクトリーには読み取りまたは書き込みの適切な権限を持つ特定のオーナーがあるため、このフィールドを使用して、処理するファイルまたはディレクトリーにアクセスする適切な権限を持つユーザー名の下でジョブを直接実行できます。このフィールドは、使用しているディストリビューションに応じて利用できます。 |
| [JDBC property] (JDBCプロパティ) | [Built-in] (組み込み)と[Repository] (リポジトリー)のいずれかです。<br><br><ul> <li> <p> <span>[Built-in] (組み込み)</span>: このコンポーネントのみにローカルに使用するデータベースの接続情報を入力します。</p> </li> <li> <p> <span>[Repository] (リポジトリー)</span>: データベース接続が作成済みで、<span>[Repository] (リポジトリー)</span>に保存されていること。したがって、コンポーネントの設定とジョブデザインに直接再利用できます。</p> <p><span>[Repository] (リポジトリー)</span>に保存されている<span>[General JDBC] (一般JDBC)</span>接続のみがサポートされています。</p> </li> </ul> |
| [Connection] (接続) | ソースデータが保存されているデータベースに接続するために使用されているJDBC URLを入力します。 |
| [User name] (ユーザー名)および[Password] (パスワード) | ソースデータベースへの接続に使用する認証情報を入力します。<br><br>パスワードを入力するためには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符で囲んで入力して[OK]をクリックし、設定を保存します。<br><br>パスワードがファイルに保保管れている場合は、[The password is stored in a file] (パスワードをファイルで保管)チェックボックスをオンにして、[File path] (ファイルパス)フィールドが表示されたら、そのファイルへのパスを入力します。<br><br><ul> <li> <p>このファイルは、ジョブを実行するマシン内、または使用するHadoopクラスターのHDFSシステム内に保存します。</p> </li> <li> <p>このファイルに保存するパスワードには、末尾にmust not contain \n (改行のエスケープ)を含める必要があります。すなわち、この行が空の場合でも、パスワードの末尾に改行を挿入してはなりません。</p> </li> </ul><br><br><br>この機能は、Sqoopバージョン1.4.4以降で利用できます。 |
| [Driver JAR] (ドライバーJAR) | [Use Commandline] (コマンドラインの使用)モードまたは[Java API]モードのどちらかで、使用するデータベースのドライバーファイルを、使用しているHadoopディストリビューションの*lib*フォルダーに追加する必要があります。その目的で、この[Driver JAR] (ドライバーJAR)テーブルを使用して、デザインしている現在のジョブ用にそのドライバーファイルを追加します。 |
| クラス名 | 指定したドライバーのクラス名を二重引用符で囲んで入力します。たとえば、RedshiftJDBC41-1.1.13.1013.jarドライバーの場合、入力する名前はcom.amazon.redshift.jdbc41.Driverになります。<br><br>Oracleデータベースからデータをインポートするためにクエリーを実行している時に、次のようなエラーが発生した場合:<br><br>```<br>ORA-00933: SQL command not properly ended<br>```<br><br>ジョブ内の[Class name] (クラス名)フィールドにあるドライバークラス名をoracle.jdbc.driver.OracleDriverから空の文字列("")に変更します。 |
| [Table Name] (テーブル名) | HDFSに転送するテーブルの名前を入力します。<br><br>このフィールドは、[Use query] (クエリーの使用)チェックボックスをオンにして自由形式のクエリーモードを使用している場合は使用できません。 |
| [File format] (ファイル形式) | 転送するデータのファイル形式を選択します。<br><br><ul> <li> <p> <span>textfile</span> </p> </li> <li> <p> <span>[sequencefile] (シーケンスファイル)</span> </p> </li> <li> <p> <span>[Avro file] (Avroファイル)</span> </p> </li> <li> <p> <span>[Parquet file] (Parquetファイル)</span>: Sqoopのバージョンは1.4.6を使用してください。</p> </li> </ul> |
| [Delete target directory] (ターゲットディレクトリーの削除) | このチェックボックスをオンにすると、ターゲットディレクトリーが削除されます。 |
| [Append] (追加) | このチェックボックスをオンにすると、転送したデータがHDFSの既存のデータセットに追加されます。 |
| [Compress] (圧縮) | 圧縮を有効にする場合は、このチェックボックスを選択します。 |
| [Direct] (直接) | 高速インポートパスを使用する場合は、このチェックボックスを選択します。 |
| [Specify columns] (カラムの指定) | このチェックボックスをオンにすると、HDFSに転送するカラムを指定できるカラムテーブルが表示されます。 |
| [Use WHERE clause] (WHERE句の使用) | このチェックボックスをオンにすると、転送する行を制御するWHERE句を使用できます。表示されたフィールドに、必要な行を選択するための条件を入力できます。たとえば、id &gt;400と入力すると、*id*カラムの値が400より大きい行のみがインポートされます。 |
| [Use query] (クエリーの使用) | Sqoopによって提供される自由形式のクエリーモードを使用するには、このチェックボックスをオンにします。<br><br>これを選択すると、使用するクエリーを自由形式で入力できるようになります。<br><br>次に、ターゲットディレクトリーを指定し、Sqoopで並行してデータをインポートする場合は、Split by引数も指定します。<br><br>情報メモ警告:<br><br>ここでクエリーを入力した場合、[Advanced settings] (詳細設定)タブの[Additional arguments] (追加の引数)テーブルで、引数*--fields-terminated-by*の値には*"\t"*のみを設定できます。 |
| [Specify Target Dir] (ターゲットディレクトリーの指定) | このチェックボックスをオンにして、ソースデータの転送先となるHDFS内のターゲットロケーションのパスを入力します。<br><br>ディレクトリーは新規作成するか、[Append] (追加)チェックボックスをオンにする必要があります。 |
| [Specify Split by] (分割の指定) | このチェックボックスをオンにした上で必要なテーブルカラムを入力すると、ワークロードを分割する分割カラムとして使用できるようになります。<br><br>たとえば、*[id]*カラムがキーカラムになっているテーブルの場合は、*tablename.id*と入力します。次に、SqoopによりID値に基づいて転送されるデータが分割され、並行してインポートされます。 |
| [Specify Number of Mappers] (マッパー数の指定) | データ転送の実行に使用するマップタスク(並列プロセス)の数を示す場合は、このチェックボックスを選択します。<br><br>Sqoopで並列プロセスを使用しない場合は、表示されたフィールドに*1*と入力します。 |
| [Print log] (ログを印刷) | [Verbose]チェックボックスを有効にする場合は、このチェックボックスを選択します。 |
| [Verbose] (詳細) | 作業中に、デバッグ情報など、その他の情報を印刷する場合は、このチェックボックスを選択します。 |

## 詳細設定

| プロパティ | 説明 |
| --- | --- |
| [Use MySQL default delimiters] (MySQLデフォルトの区切り文字を使用) | MySQLのデフォルト区切りセットを使用する場合は、このチェックボックスを選択します。このチェックボックスは、Talend CommandLineモードでのみ利用できます。 |
| [Define Java mapping] (Javaマッピングの定義) | Sqoopは、ほとんどのSQLタイプを適切なJavaタイプにマップするデフォルト設定を提供します。ランタイムにカスタムマップを使用してデフォルトのマップを上書きする必要がある場合は、このチェックボックスを選択して、表示されるテーブル内に使用するマップを定義します。 |
| [Define Hive mapping] (Hiveマッピングの定義) | Sqoopは、ほとんどのSQLタイプを適切なHiveタイプにマップするデフォルト設定を提供します。ランタイムにカスタムマップを使用してデフォルトのマップを上書きする必要がある場合は、このチェックボックスを選択して、表示されるテーブル内に使用するマップを定義します。 |
| [Additional arguments] (追加の引数) | 必要に応じて、このテーブルに入力して追加の引数を使用します。<br><br>引数を追加することで、1回のトランザクションで複数のオペレーションを実行できます。たとえば、--hive-importと--hive-tableをTalend CommandLineモードで、またはhive.importとhive.table.nameをJava APIモードで使用して、Hiveテーブルを作成し、HDFSにデータを書き込むトランザクションのランタイムでデータを書き込むことができます。Talend CommandLineモードとJava APIモードでそれぞれ利用できるSqoop引数の詳細は、 [追加の引数](https://help.qlik.com/talend/ja-JP/components/8.0/sqoop/tsqoopexport-tsqoopexport-additional-arguments-standard-component-bigdata)をご覧ください。<br><br>Talend CommandLineモードでは、適切な形式でこのテーブルに入力することで、汎用引数が使えます(例: -D org.apache.sqoop.splitter.allow\_text\_splitter)。<br><br>情報メモ注: 先頭にハイフンが1つ付いているツール固有の引数(例: -mまたは-e)は使わず、省略なしの名前引数(例: --num-mappersまたは--query)を使います。<br><br>Java APIモードでは、Hadoopプロパティを使って適切な形式で値を入力することで、汎用引数が使えます(例: org.apache.sqoop.splitter.allow\_text\_splitter)。<br><br>情報メモ注: APIの制限のために、Java APIモードでは一部の引数がサポートされない場合があります。<br><br>汎用引数と特定の引数については、Sqoopの公式ドキュメンテーションで[Using Generic and Specific Arguments](https://sqoop.apache.org/docs/1.4.7/SqoopUserGuide.html#_using_generic_and_specific_arguments)をご覧ください。 |
| [Use speed parallel data transfers] (速度並行データ転送の使用) | TeradataデータベースとHortonworks Hadoopディストリビューションの間で並列データ転送を迅速に行う場合は、このチェックボックスを選択します。[Specific params] (パラメーターを設定)テーブルと[Use additional params] (追加パラメーターの使用)チェックボックスが表示され、並列転送に必要なTeradataパラメーターを指定できます。<br><br><ul> <li> <div><span>[Specific params] (パラメーターを設定)</span>テーブルでは、次の2つのカラムが利用できます。 <ul> <li> <p>                            ドロップダウンリストから、<span>[Argument] (引数)</span>: 必要なパラメーターを選択します。それらは並列転送用の最も一般的なパラメーターです。</p> </li> <li> <p> <span>[Value] (値)</span>: パラメーターの値を入力します。</p> </li> </ul> </div> </li> <li> <p><span>[Additional params] (追加パラメーター)</span>チェックボックスをオンにすることで、<span>[Specific additional params] (特定の追加パラメーター)</span>フィールドが表示されます。このフィールドで、使用する必要があるにもかかわらず<span>[Specific params] (パラメーターを設定)</span>テーブルに含まれていないTeradataパラメーターを入力できます。パラメーターの構文は<span>-Dparameter=value</span>で、このフィールドに複数のパラメーターを入力する場合は、ホワイトスペースで区切ります。</p> </li> </ul><br><br><br>Hortonworks Connector for TeradataがHortonworksクラスターにインストールされていることを確認する必要があります。最新のコネクターをHortonworksのWebサイトからダウンロードし、http://hortonworks.com/wp-content/uploads/2014/02/bk\_HortonworksConnectorForTeradata.pdfに記されている説明に従ってインストールします。同じドキュメントで、並列転送に使用する各パラメーターの詳細な説明も参照できます。<br><br>[Use Commandline] (コマンドラインの使用)モードでのみ使用できます。 |
| [Hadoop properties] (Hadoopプロパティ) | *Talend Studio* では、Hadoopディストリビューションの処理を実行するエンジンに、デフォルト設定を使用しています。特定の場合にカスタム設定を使用する必要がある場合は、カスタマイズするプロパティをこのテーブルで設定します。設定後、カスタマイズしたプロパティによってこれらのデフォルトのプロパティが実行時に上書きされます。<br><br><ul> <li> <p><span>[Repository] (リポジトリー)</span>に一元的に保管されたメタデータを使用している場合、テーブルにはそのメタデータで定義されたプロパティが自動的に継承されます。<span>[Property type] (プロパティタイプ)</span>を<span>[Repository] (リポジトリー)</span>から<span>[Built-in] (組み込み)</span>に変更しないと、テーブルは編集できなくなります。</p> </li> </ul><br><br>Hadoopやその関連システム(HDFS、Hiveなど)で必要なプロパティの詳細は、使用しているHadoopディストリビューションのドキュメンテーションか、[ApacheのHadoopドキュメンテーション](http://hadoop.apache.org/docs)をご覧になって、必要なバージョンのドキュメンテーションを選択してください。以下のリンクでは、一部のプロパティについて実例を紹介しています。<br><br><ul> <li> <p>通常、HDFS関連のプロパティは、 <a href="http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml" target="_blank">http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml</a>など、ディストリビューションの<em>hdfs-default.xml</em>ファイル内にあります。</p> </li> <li> <p>Apacheは、<a href="https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties" target="_blank">Hive関連のプロパティ</a>をリスト表示するページも提供しています。</p> </li> </ul> |
| [Mapred job map memory mb] (MapredジョブMapメモリmb)および[Mapred job reduce memory mb] (MapredジョブReduceメモリmb) | [Set memory] (メモリのセット)チェックボックスをオンにしてHadoopシステムでの計算実行で適切なメモリ割り当てをセットし、マッピングを調整して計算を減らすことができます。<br><br>このような場合は、必要な値を[Mapred job map memory mb] (MapredジョブのMapメモリMB)フィールドと[Mapred job reduce memory mb] (MapredジョブのReduceメモリMB)フィールドにそれぞれ入力してください。デフォルトでは、いずれのフィールドも通常は計算の実行に適切な*1024*に設定されています。<br><br>設定するメモリパラメーターは[Map (in Mb)]、[Reduce (in Mb)]、[ApplicationMaster (in Mb)]です。これらのフィールドは、MapとReduceの計算、およびYARNのApplicationMasterに動的にメモリを割り当てることができます。 |
| [Path separator in server] (サーバーのパス区切り) | サーバーのパス区切りのデフォルト値はそのままにしておきます。区切りをコロン(:)以外のHadoopディストリビューションのホストマシンで使用されているPATH変数またはその他の単語に変更している場合は除きます。その場合、値はホストで使用しているものに変更する必要があります。 |
| [tStatCatcher Statistics] (tStatCatcher統計) | このチェックボックスを選択すると、コンポーネントレベルでログデータを収集できます。 |

## グローバル変数

| 変数 | 説明 |
| --- | --- |
| グローバル変数 | ERROR\_MESSAGE: エラーが発生した時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数はコンポーネントにこのチェックボックスが存在し、[Die on error] (エラー発生時に強制終了)がオフになっている場合のみ機能します。<br><br>EXIT\_CODE: リモートコマンドの終了コード。これはAfter変数で、整数を返します。<br><br>Flow変数はのコンポーネントの実行中に機能し、After変数はコンポーネントの実行後に機能します。<br><br>フィールドまたは式に変数を入力する場合は、Ctrl + スペースを押して変数リストにアクセスし、使用する変数を選択します。<br><br>変数の詳細は、[コンテキストと変数を使用](https://help.qlik.com/talend/r/ja-JP/8.0/studio-user-guide/contexts-and-variables)をご覧ください。 |

## 使用方法

| 使用方法のガイダンス | 説明 |
| --- | --- |
| **使用ルール** | このコンポーネントは、スタンドアロンとして使用されます。Sqoopの前提条件に準拠しています。使用するには、Sqoopに関する知識が必要です。<br><br>Talendでは、コンポーネントのファンクションをフルに活用するために、バージョン1.4+のSqoopを使用することをお勧めします。<br><br>Sqoopについては、http://sqoop.apache.org/docs/でSqoopのマニュアルをご覧ください。 |
| 前提条件 | *Talend Studio* との操作を確実に行うには、Hadoopディストリビューションを適切にインストールする必要があります。以下のリストに、MapR関連の情報などを示します。<br><br><ul> <li> <p>MapRクライアントは必ず<span>Talend Studio</span>のあるマシンにインストールして、そのマシンのPATH変数にMapRクライアントライブラリーを追加します。MapRのドキュメンテーションによると、各OSバージョンに対応するMapRクライアントのライブラリーは、<em>MAPR_INSTALL\ hadoop\hadoop-VERSION\lib\native</em>にあります。たとえば、Windows版のライブラリーは、<em>\lib\native\MapRClient.dll</em>にあるMapRクライアントのjarファイルにあります。</p> <p>指定のライブラリーを追加しないと、<span>no MapRClient in java.library.path</span>というエラーが発生する可能性があります。</p> </li> <li> <p>たとえば、<span>[Window] (ウィンドウ)</span>メニューの<span>[Preferences] (環境設定)</span>ダイアログボックスにある<span>[Run/Debug] (実行/デバッグ)</span>ビューの<span>[Job Run VM arguments] (ジョブ実行VMの引数)</span>エリアで、<span>-Djava.library.path</span>引数を設定します。この引数により、そのMapRクライアントのネイティブライブラリーへのパスが<span>Talend Studio</span>に渡されるので、サブスクリプションベースのユーザーは<span>データビューアー</span>をフルに活用して、MapRに保存されたデータを<span>Talend Studio</span>でローカルに表示できます。</p> </li> </ul><br><br>Hadoopディストリビューションのインストール方法の詳細は、使用しているHadoopディストリビューションに対応するマニュアルをご覧ください。 |
| [Limitation] (制限事項) | [Use Commandline] (コマンドラインの使用)モードを選択した場合、このコンポーネントを使用してジョブを実行するには、Sqoopがインストールされているホストを使用する必要があります。 |
| [Connections] (接続) | 外部リンク(このコンポーネントから別のコンポーネントへのリンク):<br><br>[Trigger] (トリガー): サブジョブがOKの場合、サブジョブがエラーの場合に実行します。<br><br>受信リンク (あるコンポーネントからこのコンポーネントへのリンク):<br><br>[Row] (行): Iterate;<br><br>[Trigger] (トリガー): Run if; On Subjob Ok; On Subjob Error; On Component Ok; On Component Error<br><br>接続の詳細は、[ジョブにおける接続の使い方](https://help.qlik.com/talend/r/ja-JP/8.0/studio-user-guide/using-connections-in-job)をご覧ください。 |

**関連概念**

[MySQLテーブルをHDFSにインポート(非推奨)](https://help.qlik.com/talend/ja-JP/components/8.0/sqoop/tsqoopimport-importing-mysql-table-to-hdfs-standard-component-bigdata-this)

[HDFSで2つのデータセットをマージ(非推奨)](https://help.qlik.com/talend/ja-JP/components/8.0/sqoop/tsqoopmerge-tsqoopimport-tsqoopimport-merging-two-datasets-in-hdfs-standard-component-bigdata-this)