# Apache Spark BatchのtStandardizeRowプロパティ

これらのプロパティは、Spark Batchジョブのフレームワークで実行されているtStandardizeRowを設定するために使われます。

Spark Batch tStandardizeRowコンポーネントは、データクオリティファミリーに属しています。

このフレームワークのコンポーネントは、すべてのビッグデータ対応のTalendプラットフォーム製品およびTalend Data Fabricで利用できます。

## 基本設定

| プロパティ | 説明 |
| --- | --- |
| [Schema] (スキーマ)と[Edit schema] (スキーマを編集) | <ul> <li> <p>スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語の<kbd>line</kbd>を避けます。</p> </li> <li> <p> <span>[Built-in] (組み込み)</span>: そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。</p> </li> <li> <p> <span>[Repository] (リポジトリー)</span>: スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。</p> </li> </ul> |
| [Column to parse] (解析するカラム) | 受信したデータフローから解析するカラムを選択します |
| [Standardize this field] (このフィールドを標準化) | 識別されるルール準拠データを標準化するには、このチェックボックスをオンにします。つまり、識別されたデータの重複を、特定のインデックスからの対応する標準化されたデータに置き換えます。<br><br>標準化されたデータを提供するこのインデックスの詳細は、[tSynonymOutput](https://help.qlik.com/talend/ja-JP/components/8.0/synonym-index/tsynonymoutput)をご覧ください。<br><br>このチェックボックスをオンまたはオフにするたびにこのコンポーネントのスキーマが自動的に変更されるため、特定のジョブで、アクティブ化された[Sync columns] (カラムを同期)ボタンをクリックして、スキーマの不整合を修正する必要があります。 |
| [Generate analyzer code as routine] (ルーチンとしてアナライザーコードを生成する) | このボタンをクリックすると、Talend Studioのデータパーサーが[Conversion rules] (変換ルール)テーブルで定義されたルールを認識できるようになります。<br><br>特定のジョブで、ルールが作成された時、この操作はこのルールの実行に必要です。他方、ユーザーが変更した既存のルールに対するものである場合、この操作は、変更されたルールのタイプが[Enumeration] (列挙)、[Format] (フォーマット)、または[Combination] (組み合わせ)の場合にのみ必要です。すべてのルールタイプの詳細は、[ルールタイプ](https://help.qlik.com/talend/ja-JP/components/8.0/standardization/tstandardizerow-tstandardizerow-rule-types-standard-component-enterprise-two)をご覧ください。 |
| ![](https://help.qlik.com/talend/ja-JP/components/8.0/Resources/images/import.png)および![](https://help.qlik.com/talend/ja-JP/components/8.0/Resources/images/export.png) | インポートまたはエクスポートボタンをクリックして、特定の標準化ルールセットを[DQ Repository] (DQリポジトリー)と交換します。<br><br>- エクスポートボタンをクリックすると、Talend StudioがProfilingパースペクティブに切り替わり、[Parser rule Settings] (パーサールールの設定)ビューがワークスペースで開き、関連するコンテンツが自動的に入力されます。その後、必要であれば、エクスポートされたルールセットを編集し、[DQ Repository] (DQリポジトリー)ツリービューの[Libraries] (ライブラリー) &gt; [Rules] (ルール) &gt; [Parser] (パーサー)フォルダーに保存します。<br><br>- インポートボタンをクリックすると、インポートウィザードが開き、目的の標準化ルールをインポートできます。<br><br>詳細は、[パーサールールを設定および管理](https://help.qlik.com/talend/r/ja-JP/8.0/studio-user-guide/setting-and-managing-parser-rules)をご覧ください。 |
| [Conversion rules] (変換ルール) | 適用する必要があるルールを次のように定義します。<br><br>-[Name] (名前)カラムに、使うルールの名前を入力します。この名前は、XMLタグまたはJSON属性名として、また、このルールで識別される受信データにラベルを付けるためのトークン名と使われます。<br><br>-[Type] (タイプ)カラムで、適用する必要のあるルールのタイプを選択します。利用可能なルールタイプの詳細は、[ルールタイプ](https://help.qlik.com/talend/ja-JP/components/8.0/standardization/tstandardizerow-tstandardizerow-rule-types-standard-component-enterprise-two)をご覧ください。<br><br>-[Value] (値)カラムに、ルールの構文を入力します。<br><br>-[Search mode] (検索モード)カラムで、リストから検索モードを選択します。検索モードは、[Index] (インデックス)ルールタイプでのみ使用できます。利用可能な検索モードの詳細は、[インデックスルールの検索モード](https://help.qlik.com/talend/ja-JP/components/8.0/standardization/search-modes-for-index-rules)をご覧ください。<br><br>[Index] (インデックス)ルールタイプを選択した場合は、次のようにパスを設定するために使われます。<br><br><ul> <li>ローカルモードの場合:<ul> <li>Apache Spark 3.1以前のバージョンでは、<span>prefix://file path</span>または<span>file:///file path</span>となります。</li> <li>Apache Spark 3.2以降のバージョンでは、<span>file:///file path</span>となります。</li> </ul> </li> <li>スタンドアロンおよびYarnモードの場合は、<span>prefix://file path</span>となります。</li> <li>インデックスがクラスターにある場合は、<span>hdfs://hdpnameservice1/file path</span>となります。 </li> </ul><br><br>目的のパーサー規則を作成するのに役立つテストビューが提供されています。詳細は、[パーサールールを設定および管理](https://help.qlik.com/talend/r/ja-JP/8.0/studio-user-guide/setting-and-managing-parser-rules)をご覧ください。 |

## 詳細設定

| プロパティ | 説明 |
| --- | --- |
| [Advanced options for INDEX rules] (インデックスルールの詳細オプション) | - [Search UNDEFINED fields] (未定義フィールドを検索): コンポーネントを使ってインデックス実行結果内で未定義のトークンを検索する場合は、このチェックボックスをオンにします。<br><br>- [Word distance for partial match] (部分一致の単語距離) (*Match partial*モードで利用可能): インデックス内に見つかる単語のシーケンス内に許可される最大ワード数を設定します。デフォルト値は*1*です。<br><br>- [Max edits for fuzzy match] (ファジーマッチングの最大編集数) (レーベンシュタインアルゴリズムに基づいており、あいまいモードで利用可能): リストから編集距離*1*または*2*を選択します。入力データから編集距離内にあるすべての用語が一致します。たとえば最大編集距離が*2*であれば、挿入、削除、置換を2回まで行うことができます。各一致のスコアは、その用語の編集距離に基づいています。<br><br>[Max edits for fuzzy match] (ファジーマッチングの最大編集)により、ファジーマッチングのパフォーマンスが大幅に向上します。<br><br>情報メモ注: 以前のリリースからTalend Studioに移行されたジョブは正しく実行されますが、[Max edits for fuzzy match] (ファジーマッチングの最大編集)が[Minimum similarity for fuzzy match] (ファジーマッチングの最小類似度)の代わりに使われるため、結果が若干異なる場合があります。 |
| Output format (出力形式) | -XML: このオプションはデフォルトで選択されています。正規化されたデータをXML形式で出力します。<br><br>-JSON: このオプションを選択すると、正規化されたデータがJSON形式で出力されます。 |

## 使用方法

| 使用方法のガイダンス | 説明 |
| --- | --- |
| **使用ルール** | このコンポーネントは中間ステップとして使用されます。<br><br>このコンポーネントは、所属するSpark Batchのコンポーネントのパレットと共に、Spark Batchジョブを作成している場合にだけ表示されます。<br><br>特に明記していない限り、このドキュメンテーションのシナリオでは、標準ジョブ、つまり従来の Talend Data Integrationジョブだけを扱います。 |
| [Connections] (接続) | 外部リンク(このコンポーネントから別のコンポーネントへのリンク):<br><br>[Row] (行): メイン、リジェクト<br><br>受信リンク(あるコンポーネントからこのコンポーネントへのリンク):<br><br>[Row] (行): メイン、リジェクト<br><br>接続の詳細は、[ジョブにおける接続の使い方](https://help.qlik.com/talend/r/ja-JP/8.0/studio-user-guide/using-connections-in-job)をご覧ください。 |
| [Spark Connection] (Spark接続) | [Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。<br><br><ul> <li> <div> <span>Yarnモード</span>(YarnクライアントまたはYarnクラスター):<ul> <li> <p>Google Dataprocを使用している場合、<span>[Spark configuration] (Spark設定)</span>タブの<span>[Google Storage staging bucket] (Google Storageステージングバケット)</span>フィールドにバケットを指定します。</p> </li> <li> <p>HDInsightを使用している場合、<span>[Spark configuration] (Spark設定)</span>タブの<span>[Windows Azure Storage configuration] (Windows Azure Storage設定)</span>エリアでジョブのデプロイメントに使用するブロブを指定します。</p> </li> <li>Altusを使用する場合は、<span>[Spark configuration] (Spark設定)</span>タブでジョブのデプロイにS3バケットまたはAzure Data Lake Storageを指定します。</li> <li> <p>オンプレミスのディストリビューションを使用する場合は、クラスターで使われているファイルシステムに対応する設定コンポーネントを使用します。一般的に、このシステムはHDFSになるため、<a href="https://help.qlik.com/talend/r/ja-JP/8.0/components/hdfs/thdfsconfiguration">tHDFSConfiguration</a>を使用します。</p> </li> </ul> </div> </li> <li> <p> <span>[Standalone mode] (スタンドアロンモード)</span>: クラスターで使われているファイルシステム(<a href="https://help.qlik.com/talend/r/ja-JP/8.0/components/hdfs/thdfsconfiguration-properties-for-apache-spark-batch">tHDFSConfiguration Apache Spark Batch</a>や<a href="https://help.qlik.com/talend/r/ja-JP/8.0/components/amazon-s3/ts3configuration-properties-for-apache-spark-batch">tS3Configuration Apache Spark Batch</a>など)に対応する設定コンポーネントを使用します。</p> <p>ジョブ内に設定コンポーネントがない状態でDatabricksを使用している場合、ビジネスデータはDBFS (Databricks Filesystem)に直接書き込まれます。</p> </li> </ul><br><br>この接続は、ジョブごとに有効になります。 |