Apache Spark BatchのtMysqlInputプロパティ
これらのプロパティは[Spark Batch]ジョブのフレームワークで実行されているtMysqlInputを設定するために使われます。
Spark BatchのtMysqlInputコンポーネントは、データベースファミリーに属しています。
また、このコンポーネントを使用すると、RDS AuroraまたはRDS MySQLデータベースからデータを接続および読み取ることができます。
このフレームワークのコンポーネントは、すべてのサブスクリプションベースのビッグデータ対応のTalend製品およびTalend Data Fabricで使用できます。
基本設定
|
[Property type] (プロパティタイプ) |
[Built-in] (組み込み)と[Repository] (リポジトリー)のいずれかです。 [Built-In] (組み込み): 一元的に保存されるプロパティデータはありません。 [Repository] (リポジトリー): プロパティが保存されているリポジトリーファイルを選択します。 |
|
このアイコンをクリックすると、データベース接続ウィザードが開き、コンポーネント[Basic settings] (基本設定)ビューに設定したデータベース接続パラメーターが保存されます。 データベース接続パラメーターの設定と保存の詳細は、データベースメタデータを一元管理をご覧ください。 |
|
[Use an existing connection] (既存の接続を使用) |
定義済みの接続の詳細を再利用する場合は、このチェックボックスを選択して、[Component List] (コンポーネントリスト)ドロップダウンリストから、目的の接続コンポーネントを選択します。 |
|
[DB version] (データベースバージョン) |
使用するデータベースのバージョンを選択します。 使用するデータベースがRDS Auroraの場合、Mysql 5を選択する必要があります。 |
|
[Host] (ホスト) |
データベースサーバーのIPアドレス。 |
|
[Port] (ポート) |
データベースサーバーのリスニングポート番号。 |
|
[Database] (データベース) |
データベースの名前。 |
|
[Username] (ユーザー名)と[Password] (パスワード) |
データベースユーザー認証データ。 パスワードを入力するためには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符で囲んで入力して[OK]をクリックし、設定を保存します。 |
|
[Schema] (スキーマ)と[Edit schema] (スキーマを編集) |
スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。 |
|
|
[Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。 |
|
|
[Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。 |
|
スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。
|
|
|
[Table Name] (テーブル名) |
データを読み取るテーブルの名前を入力します。 このフィールドは、[Read from] (読み取り元)ドロップダウンリストから[Table] (テーブル)を選択した場合のみ利用できます。 |
|
[Read from] (読み取り元) |
読み取るデータのソースのタイプを選択します。
|
|
[Query type] (クエリータイプ)と[Query] (クエリー) |
スキーマ定義に対応する必要がある、フィールドの適切な順序に特に注意を払うデータベースクエリーステートメントを指定します。 Spark V2.0以降を使用している場合、Spark SQLはデータベーステーブルのプレフィックスを認識しません。つまり、たとえば、このテーブルが属するスキーマを示すプレフィックスを追加せずに、テーブル名のみを入力する必要があります。 たとえば、system.mytableテーブルでクエリーを実行する必要がある場合(systemプレフィックスはmytableテーブルが属するスキーマを示す)、mytableのみを入力する必要があります。 クエリーでプッシュダウン述語を使用して、データベースからのデータをフィルタリングできます。Sparkは次の演算子をサポートしています。
これらのフィールドは、[Read from] (読み取り元)ドロップダウンリストから[Query] (クエリー)を選択した場合のみ利用できます。 |
詳細設定
|
[Additional JDBC parameters] (追加のJDBCパラメーター) |
作成するデータベース接続に接続の追加プロパティを指定します。プロパティはセミコロンで区切られ、各プロパティはキー-値ペアです。たとえば、encryption=1;clientname=Talendになります。 このフィールドは、[Use an existing connection] (既存の接続を使用)チェックボックスがオンになっている場合は利用できません。 |
|
[Spark SQL JDBC parameters] (Spark SQL JDBCパラメーター) |
Spark SQLでサポートされているJDBCプロパティをこのテーブルに追加します。ユーザーが設定可能なプロパティのリストについては、JDBCと他のデータベースをご覧ください。 このコンポーネントは、url、dbtable、driverのプロパティを、[Basic settings] (基本設定)タブの設定を使って自動的に設定します。 |
|
[Trim all the String/Char columns] (すべての文字列/文字カラムをトリミング) |
すべてのStringカラム/Charカラムの先頭や末尾の空白を削除する場合は、このチェックボックスを選択します。 |
|
[Trim column] (カラムをトリミング) |
定義されたカラムから先頭や末尾の空白を削除します。 情報メモ注:
[Trim all the String/Char columns] (すべての文字列/文字カラムをトリミング)の選択を解除して、このフィールドのトリミングカラムを有効にします。 |
|
[Enable partitioning] (パーティショニングを有効化) |
このチェックボックスを選択してパーティション内のデータを読み取ります。 パーティションを設定するため、次のパラメーターを二重引用符で囲んで定義します。
たとえば、1000行を4つのパーティションに分ける場合、下限に0、上限に1000を入力すると、各パーティションには250行が含まれるので、パーティショニングは均等になります。下限に250、上限に750を入力した場合、2番目と3番目のパーティションにはそれぞれ125行ずつ保管され、最初と最後のパーティションにはそれぞれ375行入ります。この設定では、パーティションに偏りが生じます。 |
使用方法
|
使用ルール |
このコンポーネントは、開始コンポーネントとして使用され、出力リンクを必要とします。 このコンポーネントは、MySQLに接続するために同じジョブ内にあるtMysqlConfigurationコンポーネントを使用する必要があります。[Use an existing connection](既存の接続を使用)チェックボックスをオンにし、使用するtMysqlConfigurationコンポーネントを選択する必要があります。 このコンポーネントは、所属するSpark Batchのコンポーネントのパレットと共に、Spark Batchジョブを作成している場合にだけ表示されます。 特に明記していない限り、このドキュメンテーションのシナリオでは、標準ジョブ、つまり従来の Talend Data Integrationジョブだけを扱います。 |
|
[Spark Connection] (Spark接続) |
[Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。
この接続は、ジョブごとに有効になります。 |