# tPartition (非推奨)

Availability-note[非推奨](https://help.talend.com/r/en-US/Cloud/labels-on-talend-help-center/availability-deprecated)

このコンテンツは非推奨になりました。

情報メモ非推奨: 8.0 R2023-02 Talendマンスリーパッチ以降、tPartitionコンポーネントは非推奨となっています。Talendは新しく作成したジョブにはtManagePartitionsコンポーネントを使用することをお勧めします。

入力データセットのパーティショニング方法を視覚的に定義できます。

tPartitionは、入力データセットを特定数のパーティションに分割します。

## Apache Spark BatchのtPartitionプロパティ

これらのプロパティは、Spark Batchジョブのフレームワークで実行されているtPartitionを設定するために使われます。

Spark BatchのtPartitionコンポーネントは、変換処理ファミリーに属しています。

このフレームワークのコンポーネントは、すべてのビッグデータ対応のTalend製品およびTalend Data Fabricで利用できます。

## 基本設定

| [Properties] (プロパティ) | 説明 |
| --- | --- |
| [Schema] (スキーマ)と[Edit Schema] (スキーマを編集) | スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。<br><br>スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。<br><br><ul> <li> <p> <span>[View schema] (スキーマを表示)</span>: スキーマのみを表示する場合は、このオプションを選択します。</p> </li> <li> <p> <span>[Change to built-in property] (組み込みのプロパティに変更)</span>: ローカルで変更を行うためにスキーマを<span>組み込み</span>に変更する場合は、このオプションを選択します。</p> </li> <li> <p> <span>[Update repository connection] (リポジトリー接続をアップデート)</span>: リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。</p> <p>変更を現在のジョブにのみ反映する場合は、変更後、<span>[No] (いいえ)</span>を選択し、<span>[Repository Content] (リポジトリーコンテンツ)</span>ウィンドウで再びこのスキーマのメタデータを選択します。</p> </li> </ul><br><br>ジョブで接続している先行コンポーネントからスキーマを取得するためには、[Sync columns] (カラムを同期)をクリックします。 |
| [Number of partitions] (パーティションの数) | 入力データセットを分割するパーティション数を入力します。 |
| [Repartition by range] (範囲ごとに再パーティショニング) | このチェックボックスをオンにして、データセットを複数のパーティションに分割します。詳細は、[の公式Sparkドキュメンテーション](https://spark.apache.org/docs/2.4.0/api/java/org/apache/spark/sql/Dataset.html#repartitionByRange-scala.collection.Seq-)をご覧ください。<br><br>このオプションは、データセットモードでのみ使用できます。<br><br>情報メモ注: tPartitionコンポーネントは、以下の時にのみSpark Dataset APIをサポートします:<br><br><ul> <li>ジョブがSparkV2以降を使用する。</li> <li>ジョブの<span>[Spark configuration] (Spark設定)</span>ビューからの<span>[Use Dataset API] (Dataset APIを使用)</span>チェックボックスが選択されている。</li> <li>ジョブがカスタムパーティショナーもカスタムコンパレーターも使用しない。</li> </ul> |
| [Use coalesce] (融合を使用) | このチェックボックスをオンにして、返されるパーティション数を減らします。詳細は、[の公式Sparkドキュメンテーション](https://spark.apache.org/docs/2.4.0/api/java/org/apache/spark/sql/Dataset.html#coalesce-int-)をご覧ください。<br><br>このオプションは、データセットモードでのみ使用できます。<br><br>情報メモ注: tPartitionコンポーネントは、以下の時にのみSpark Dataset APIをサポートします:<br><br><ul> <li>ジョブがSparkV2以降を使用する。</li> <li>ジョブの<span>[Spark configuration] (Spark設定)</span>ビューからの<span>[Use Dataset API] (Dataset APIを使用)</span>チェックボックスが選択されている。</li> <li>ジョブがカスタムパーティショナーもカスタムコンパレーターも使用しない。</li> </ul> |
| [Partition key] (パーティションキー) | このテーブルに入力して、パーティショニングに使うキーを定義します。<br><br>[Partition key] (パーティションキー)テーブルで、スキーマのカラムが[Column] (カラム)カラムに自動的に追加されます。[Partition column] (パーティションカラム)カラムでは、パーティショニングのキーとして使うカラムに対応するチェックボックスをオンにする必要があります。<br><br>このパーティショニングはハッシュモードで行われます。つまり、同じ基準(キー)を満たすレコードが同じパーティションに転送されます。 |
| [Use custom partitioner] (カスタムパーティショナーを使用) | Talend Studio外からインポートする必要があるSparkパーティショナーを使う場合は、このチェックボックスをオンにします。たとえば、自分で開発したパーティショナーです。この状況では、次の情報を提供する必要があります。<br><br><ul> <li> <p> <span>[Custom partitioner FQCN] (カスタムパーティショナーFQCN)</span>: インポートするパーティショナーの完全修飾クラス名を入力します。</p> </li> <li> <p> <span>[Custom partitioner JAR] (カスタムパーティショナーJAR)</span>: 追加する行の数と同じ回数、<span>[+]</span>ボタンをクリックします。各行で<span>[...]</span>ボタンをクリックして、このパーティショナークラスとその依存jarファイルを含むjarファイルをインポートします。</p> </li> </ul> |
| [Sort within partitions] (パーティション内でソート) | 各パーティションでレコードをソートする場合は、このチェックボックスをオンにします。<br><br>この機能は、パーティションに複数の異なるキー値が含まれている場合に役立ちます。<br><br><ul> <li> <p> <span>[Natural key order] (自然なキー順序)</span>: キーが自然な順序、たとえばアルファベット順にソートされます。 </p> </li> <li> <p> <span>[Custom comparator] (カスタムコンパレーター)</span>: キーをソートするためにカスタムプログラムが使えます。 </p> <p><span>[Custom comparator FQCN] (カスタムコンパレーターFQCN)</span>フィールドにインポートするコンパレーターの完全修飾クラス名を入力し、<span>[Custom comparator JAR] (カスタムコンパレーターJAR)</span>テーブルにロードするjarファイルを追加する必要があります。</p> </li> </ul> |

## 使用方法

| 使用方法のガイダンス | 説明 |
| --- | --- |
| **使用ルール** | このコンポーネントは中間ステップとして使用されます。<br><br>このコンポーネントは、所属するSpark Batchコンポーネントのパレットと共に、Spark Batchジョブを作成している場合にだけ表示されます。<br><br>特に明記していない限り、このドキュメンテーションのシナリオでは、標準ジョブ、つまり従来の Talend Data Integrationジョブだけを扱います。 |
| [Spark Connection] (Spark接続) | [Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。<br><br><ul> <li> <div> <span>Yarnモード</span>(YarnクライアントまたはYarnクラスター):<ul> <li> <p>Google Dataprocを使用している場合、<span>[Spark configuration] (Spark設定)</span>タブの<span>[Google Storage staging bucket] (Google Storageステージングバケット)</span>フィールドにバケットを指定します。</p> </li> <li> <p>HDInsightを使用している場合、<span>[Spark configuration] (Spark設定)</span>タブの<span>[Windows Azure Storage configuration] (Windows Azure Storage設定)</span>エリアでジョブのデプロイメントに使用するブロブを指定します。</p> </li> <li>Altusを使用する場合は、<span>[Spark configuration] (Spark設定)</span>タブでジョブのデプロイにS3バケットまたはAzure Data Lake Storageを指定します。</li> <li> <p>オンプレミスのディストリビューションを使用する場合は、クラスターで使われているファイルシステムに対応する設定コンポーネントを使用します。一般的に、このシステムはHDFSになるため、<a href="https://help.qlik.com/talend/r/ja-JP/8.0/components/hdfs/thdfsconfiguration">tHDFSConfiguration</a>を使用します。</p> </li> </ul> </div> </li> <li> <p> <span>[Standalone mode] (スタンドアロンモード)</span>: クラスターで使われているファイルシステム(<a href="https://help.qlik.com/talend/r/ja-JP/8.0/components/hdfs/thdfsconfiguration-properties-for-apache-spark-batch">tHDFSConfiguration Apache Spark Batch</a>や<a href="https://help.qlik.com/talend/r/ja-JP/8.0/components/amazon-s3/ts3configuration-properties-for-apache-spark-batch">tS3Configuration Apache Spark Batch</a>など)に対応する設定コンポーネントを使用します。</p> <p>ジョブ内に設定コンポーネントがない状態でDatabricksを使用している場合、ビジネスデータはDBFS (Databricks Filesystem)に直接書き込まれます。</p> </li> </ul><br><br>この接続は、ジョブごとに有効になります。 |