Apache Spark BatchのtOracleInputプロパティ
これらのプロパティは、Spark Batchジョブのフレームワークで実行されているtOracleInputを設定するために使われます。
Spark BatchのtOracleInputコンポーネントは、データベースファミリーに属しています。
また、このコンポーネントを使うと、RDS Oracleデータベースから接続し、データを読み取ることができます。
このフレームワークのコンポーネントは、すべてのサブスクリプションベースのビッグデータ対応のTalend製品およびTalend Data Fabricで使用できます。
基本設定
|
[Property type] (プロパティタイプ) |
[Built-in] (組み込み)と[Repository] (リポジトリー)のいずれかです。 [Built-In] (組み込み): 一元的に保存されるプロパティデータはありません。 [Repository] (リポジトリー): プロパティが保存されているリポジトリーファイルを選択します。 |
|
このアイコンをクリックすると、データベース接続ウィザードが開き、コンポーネント[Basic settings] (基本設定)ビューに設定したデータベース接続パラメーターが保存されます。 データベース接続パラメーターの設定と保存の詳細は、データベースメタデータを一元管理をご覧ください。 |
|
[Use an existing connection] (既存の接続を使用) |
定義済みの接続の詳細を再利用する場合は、このチェックボックスを選択して、[Component List] (コンポーネントリスト)ドロップダウンリストから、目的の接続コンポーネントを選択します。 情報メモ注: ジョブに親ジョブと子ジョブが含まれている時は、親ジョブと子ジョブの間の既存の接続を共有したい場合(たとえば、親ジョブで作成した接続を子ジョブと共有するなど)には、次のように実行します。
ジョブレベル全体でデータベース接続を共有する方法の例は、データベース接続を共有をご覧ください。 |
|
[Connection type] (接続タイプ) |
利用可能なドライバーは次のとおりです。
|
|
[DB Version] (データベースバージョン) |
使用中のOracleバージョンを選択します。 |
|
[Host] (ホスト) |
データベースサーバーのIPアドレス。 |
|
[Port] (ポート) |
データベースサーバーのリスニングポート番号。 |
|
[Database] (データベース) |
データベースの名前。 |
|
[Oracle schema] (Oracleスキーマ) |
Oracleスキーマ名。 |
|
[Username] (ユーザー名)と[Password] (パスワード) |
データベースユーザー認証データ。 パスワードを入力するためには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符で囲んで入力して[OK]をクリックし、設定を保存します。 |
|
[Schema] (スキーマ)と[Edit schema] (スキーマを編集) |
スキーマとは行の説明で、処理された後に次のコンポーネントに渡されるフィールドの数を定義するものです。スキーマは[Built-in] (組み込み)か、[Repository] (リポジトリー)にリモートで保存されます。 スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。
|
|
|
[Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。 |
|
|
[Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。 |
|
[Table Name] (テーブル名) |
データを読み取るテーブルの名前を入力します。 |
|
[Query Type] (クエリータイプ)と[Query] (クエリー) |
スキーマ定義に対応する必要がある、フィールドの適切な順序に特に注意を払うデータベースクエリーステートメントを指定します。 Spark V2.0以降を使用している場合、Spark SQLはデータベーステーブルのプレフィックスを認識しません。つまり、たとえば、このテーブルが属するスキーマを示すプレフィックスを追加せずに、テーブル名のみを入力する必要があります。 たとえば、system.mytableテーブルでクエリーを実行する必要がある場合(systemプレフィックスはmytableテーブルが属するスキーマを示す)、mytableのみを入力する必要があります。 |
詳細設定
|
[Additional JDBC parameters] (追加のJDBCパラメーター) |
作成するデータベース接続に接続の追加プロパティを指定します。プロパティはセミコロンで区切られ、各プロパティはキー-値ペアです。たとえば、encryption=1;clientname=Talendになります。 このフィールドは、[Use an existing connection] (既存の接続を使用)チェックボックスがオンになっている場合は利用できません。 |
|
[Spark SQL JDBC parameters] (Spark SQL JDBCパラメーター) |
Spark SQLでサポートされているJDBCプロパティをこのテーブルに追加します。ユーザーが設定可能なプロパティのリストについては、JDBCと他のデータベースをご覧ください。 このコンポーネントは、url、dbtable、driverのプロパティを、[Basic settings] (基本設定)タブの設定を使って自動的に設定します。 |
|
[Trim all the String/Char columns] (すべての文字列/文字カラムをトリミング) |
すべてのStringカラム/Charカラムの先頭や末尾の空白を削除する場合は、このチェックボックスを選択します。 |
|
[Trim column] (カラムをトリミング) |
定義されたカラムから先頭や末尾の空白を削除します。 |
|
[Enable partitioning] (パーティショニングを有効化) |
このチェックボックスを選択してパーティション内のデータを読み取ります。 パーティションを設定するため、次のパラメーターを二重引用符で囲んで定義します。
たとえば、1000行を4つのパーティションに分ける場合、下限に0、上限に1000を入力すると、各パーティションには250行が含まれるので、パーティショニングは均等になります。下限に250、上限に750を入力した場合、2番目と3番目のパーティションにはそれぞれ125行ずつ保管され、最初と最後のパーティションにはそれぞれ375行入ります。この設定では、パーティションに偏りが生じます。 |
使用方法
|
使用ルール |
このコンポーネントは、開始コンポーネントとして使用され、出力リンクを必要とします。 このコンポーネントは、Oracleに接続するために同じジョブ内にあるtOracleConfigurationコンポーネントを使う必要があります。[Use an existing connection] (既存の接続を使用)チェックボックスをオンにして、使うtOracleConfigurationコンポーネントを選択する必要があります。 このコンポーネントは、所属するSpark Batchのコンポーネントのパレットと共に、Spark Batchジョブを作成している場合にだけ表示されます。 特に明記していない限り、このドキュメンテーションのシナリオでは、標準ジョブ、つまり従来の Talend Data Integrationジョブだけを扱います。 |
|
[Spark Connection] (Spark接続) |
[Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。
この接続は、ジョブごとに有効になります。 |