Apache Spark StreamingのtDataEncryptのプロパティ
これらのプロパティは、Spark Streamingジョブのフレームワークで実行されているtDataEncryptを設定するために使われます。
標準のtDataEncryptコンポーネントは、データクオリティファミリーに属しています。
このフレームワーク内のコンポーネントは、Talend Data Management Platform、Talend Big Data Platform、Talend Real Time Big Data Platform、Talend Data Services Platform、Talend Data Fabricで利用できます。
基本設定
Schema (スキーマ)とEdit schema (スキーマを編集) |
スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。 ジョブで接続している先行コンポーネントからスキーマを取得するためには、[Sync columns] (カラムを同期)をクリックします。 スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。
|
[Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。 |
|
[Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。 |
|
Password (パスワード) |
この値は二重引用符で囲む必要があります。 既存の暗号化ファイルを使う時は、そのファイルの使用に必要となるパスワードを入力します。 暗号化ファイルを生成する時は、このファイルの暗号化に使うパスワードを入力します。 このパスワードは、tDataDecryptコンポーネントを使ってデータを解読する時に必要です。 |
[Cryptographic file path] (暗号化ファイルのパス) |
既存の暗号化ファイルを使う時は、そのファイルへのパスを入力します。パスは二重引用符で囲む必要があります。 暗号化ファイルを生成する時は、デスティネーションファイルパスを入力します。これはローカルファイルパスであることが必要です。入力できる値のタイプは次の2つです。
このファイルはAES-GCMで暗号化されます。 この暗号化ファイルは、tDataDecryptコンポーネントを使ってデータを解読する時に必要です。 暗号化ファイルの詳細は、データ暗号化プロセスをご覧ください。 |
[Generate cryptographic file] (暗号化ファイルを生成) |
このボタンをクリックすると暗号化ファイルが生成されます。 ダイアログボックスで、入力データの暗号化に使われる暗号化方式を選択します。
|
[Encryption] (暗号化) |
該当する[Encrypt] (暗号)チェックボックスをオンにして、入力カラムを暗号化します。 Dynamicを除くすべてのカラムデータ型を暗号化できますが、出力された暗号化済みデータはString型となります。 コンポーネントの出力スキーマを設定し、暗号化するカラムのタイプを[String] (文字列)に変更します。 選択されないカラムは暗号化されず、コンポーネントによって現状のまま返されます。 |
詳細設定
[tStat Catcher Statistics] (tStatCatcher統計) |
このチェックボックスを選択すると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。 |
使用方法
使用ルール |
このコンポーネントは、通常、中間コンポーネントとして使用されます。入力コンポーネントと出力コンポーネントが必要です。 |
[Spark Connection] (Spark接続) |
[Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。
この接続は、ジョブごとに有効になります。 |