# Apache Spark BatchのtAggregateRowプロパティ

これらのプロパティは、Spark Batchジョブのフレームワークで実行されているtAggregateRowを設定するために使われます。

Spark BatchのtAggregateRowコンポーネントは、変換処理ファミリーに属しています。

このフレームワーク内のコンポーネントは、ビッグデータ対応のTalend 製品すべて、およびTalend Data Fabricで使用できます。

## 基本設定

| [Schema] (スキーマ)と[Edit Schema] (スキーマを編集) | スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。<br><br>スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。<br><br><ul> <li> <p> <span>[View schema] (スキーマを表示)</span>: スキーマのみを表示する場合は、このオプションを選択します。</p> </li> <li> <p> <span>[Change to built-in property] (組み込みのプロパティに変更)</span>: ローカルで変更を行うためにスキーマを<span>組み込み</span>に変更する場合は、このオプションを選択します。</p> </li> <li> <p> <span>[Update repository connection] (リポジトリー接続をアップデート)</span>: リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。変更を現在のジョブにのみ反映する場合は、変更後、<span>[No] (いいえ)</span>を選択し、<span>[Repository Content] (リポジトリーコンテンツ)</span>ウィンドウで再びこのスキーマのメタデータを選択します。</p> </li> </ul><br><br>情報メモヒント: デフォルトでは、SparkがBigDecimalを集計する場合に、精度とスケールがデータ型の最大値に設定されます。スキーマの対応するカラムでBigDecimalのスケールと精度を変更できます。 |
| --- | --- |
|  | [Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。 |
|  | [Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。 |
| [Group by] (グループ基準) | 集計セットを定義し、その値を計算に使用します。 |
|  | [Output Column] (出力カラム): 定義したスキーマストラクチャーに基づいて提供されるリストのカラムラベルを選択します。必要に応じて複数の出力カラムを追加することで、より正確に集計を行うことができます。<br><br>例: リストの各国の平均値を算出する場合はCountryを選択し、国内の地域ごとに値を比較する場合はCountryとRegionを選択します。 |
|  | [Input Column] (入力カラム): 集計セットの出力ラベルが異なる必要がある場合に備えて、入力カラムと出力カラムを照合します。 |
| [Operations] (操作) | 操作の種類、また計算および出力フィールドに使用する値を選択します。 |
|  | [Output Column] (出力カラム): リストの宛先フィールドを選択します。 |
|  | [Function] (ファンクション): 以下の中から演算子を選択します。<br><br><ul> <li> <p> <span>[count] (カウント)</span>: 行数を計算します</p> </li> <li> <p> <span>[count (distinct)] (カウント(重複を除く))</span>: 重複を除いた行数をカウントします。</p> </li> <li> <p> <span>[min] (最小)</span>: 最小値を選択します</p> </li> <li> <p> <span>[max] (最大)</span>: 最大値を選択します</p> </li> <li> <p> <span>[avg] (平均)</span>: 平均を計算します</p> </li> <li> <p> <span>[sum] (合計)</span>: 合計を計算します</p> </li> <li> <span>[population standard deviation] (母集団標準偏差)</span>: データ分布の広がりを計算します。計算されるデータがそれ自体で母集団と見なされる場合は、このファンクションを使います。この計算では、小数点以下39桁がサポートされています。</li> <li> <span>[sample standard deviation] (標本に基づく標準偏差)</span>: データ分布の広がりを計算します。計算されるデータがより大きな母集団からのサンプルと見なされる場合は、このファンクションを使います。この計算では、小数点以下39桁がサポートされています。</li> </ul><br><br>従来のETLジョブ内で利用できる一部のファンクション(firstやlastなど)は分散環境では意味をなさないため、Sparkジョブでは利用できません。 |
|  | [Input Column] (入力カラム): 集計対象の値を取得する入力カラムを選択します。 |
|  | [Ignore null values] (NULL値を無視): NULL値を無視するカラムの名前に対応するチェックボックスをオンにします。 |

## 詳細設定

| 金融計算精度を使用します。これはSUMおよびAVG操作の最大精度です。オプションにチェックを入れるとチェックを入れない場合と比べてヒープメモリが増加し、処理が遅くなります。 | 財務精度を使うには、このチェックボックスをオンにします。これは最大精度ですが、より多くのメモリを消費し、処理が遅くなります。<br><br>情報メモ警告:<br><br>*正確な結果を取得するために、出力にはBigDecimal型を使うことをお勧めします。* |
| --- | --- |
| [Check type overflow (slower)] (タイプのオーバーフローをチェック :低速) | データのタイプをチェックして、ジョブがクラッシュしないことを確認します。 |
| [Check ULP (Unit in the Last Place), ensure that a value will be incremented or decremented correctly, only float and double types. (slower) ] (ULP (Unit in the Last Place)をチェックし、Float型とDouble型のみ値が正しく増減することをご確認ください(低速)) | Float型とDouble型で最も正確な結果を得られるようにするには、チェックボックスをオンにします。 |

## 使用方法

| **使用ルール** | このコンポーネントは、中間ステップとして使用されます。<br><br>このコンポーネントは、所属するSpark Batchのコンポーネントのパレットと共に、Spark Batchジョブを作成している場合にだけ表示されます。<br><br>特に明記していない限り、このドキュメントのシナリオでは、標準ジョブ、つまり従来の Talend データ統合ジョブだけを扱います。 |
| --- | --- |
| [Spark Connection] (Spark接続) | [Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。<br><br><ul> <li> <div> <span>Yarnモード</span>(YarnクライアントまたはYarnクラスター):<ul> <li> <p>Google Dataprocを使用している場合、<span>[Spark configuration] (Spark設定)</span>タブの<span>[Google Storage staging bucket] (Google Storageステージングバケット)</span>フィールドにバケットを指定します。</p> </li> <li> <p>HDInsightを使用している場合、<span>[Spark configuration] (Spark設定)</span>タブの<span>[Windows Azure Storage configuration] (Windows Azure Storage設定)</span>エリアでジョブのデプロイメントに使用するブロブを指定します。</p> </li> <li>Altusを使用する場合は、<span>[Spark configuration] (Spark設定)</span>タブでジョブのデプロイにS3バケットまたはAzure Data Lake Storageを指定します。</li> <li>Quboleを使用する場合は、ジョブに<span>tS3Configuration</span>を追加し、QuboleでS3システム内に実際のビジネスデータを書き込みます。<span>tS3Configuration</span>を使用しないと、このビジネスデータはQubole HDFSシステムに書き込まれ、クラスターをシャットダウンすると破棄されます。</li> <li> <p>オンプレミスのディストリビューションを使用する場合は、クラスターで使われているファイルシステムに対応する設定コンポーネントを使用します。一般的に、このシステムはHDFSになるため、<a href="https://help.qlik.com/talend/r/ja-JP/7.3/components/hdfs/thdfsconfiguration">tHDFSConfiguration</a>を使用します。</p> </li> </ul> </div> </li> <li> <p> <span>[Standalone mode] (スタンドアロンモード)</span>: クラスターで使われているファイルシステム(<a href="https://help.qlik.com/talend/r/ja-JP/7.3/components/hdfs/thdfsconfiguration-properties-for-apache-spark-batch">tHDFSConfiguration Apache Spark Batch</a>や<a href="https://help.qlik.com/talend/r/ja-JP/7.3/components/amazon-s3/ts3configuration-properties-for-apache-spark-batch">tS3Configuration Apache Spark Batch</a>など)に対応する設定コンポーネントを使用します。</p> <p>ジョブ内に設定コンポーネントがない状態でDatabricksを使用している場合、ビジネスデータはDBFS (Databricks Filesystem)に直接書き込まれます。</p> </li> </ul><br><br>この接続は、ジョブごとに有効になります。 |