# Apache Spark BatchのtOracleInputプロパティ

これらのプロパティは、Spark Batchジョブのフレームワークで実行されているtOracleInputを設定するために使われます。

Spark BatchのtOracleInputコンポーネントは、データベースファミリーに属しています。

また、このコンポーネントを使うと、RDS Oracleデータベースから接続し、データを読み取ることができます。

このフレームワーク内のコンポーネントは、ビッグデータ対応のTalend 製品すべて、およびTalend Data Fabricで使用できます。

## 基本設定

| [Property type] (プロパティタイプ) | [Built-in] (組み込み)と[Repository] (リポジトリー)のいずれかです。<br><br>[Built-In] (組み込み): 一元的に保存されるプロパティデータはありません。<br><br>[Repository] (リポジトリー): プロパティが保存されているリポジトリーファイルを選択します。 |
| --- | --- |
| ![](https://help.qlik.com/talend/ja-JP/components/7.3/Resources/images/Save_Icon.png) | このアイコンをクリックすると、データベース接続ウィザードが開き、コンポーネント[Basic settings] (基本設定)ビューに設定したデータベース接続パラメーターが保存されます。<br><br>データベース接続パラメーターの設定と保存の詳細は、*Talend Studioユーザーガイド*をご覧ください。 |
| [Use an existing connection] (既存の接続を使用) | 定義済みの接続の詳細を再利用する場合は、このチェックボックスをオンにして、[Component List] (コンポーネントリスト)ドロップダウンリストから、目的の接続コンポーネントを選択します。<br><br>情報メモ注: ジョブに親ジョブと子ジョブが含まれている時は、2つのレベルの間の既存の接続を共有する必要がな場合(たとえば、親ジョブで作成した接続を子ジョブと共有するなど)には、以下を実行する必要があります。<br><br><ol> <li> <p>親レベルで、共有するデータベース接続を、そのデータベース接続そのものを作成する接続コンポーネントの<span>[Basic settings] (基本設定)</span>ビューに登録します。</p> </li> <li> <p>子レベルで、登録済みのそのデータベース接続を読み取るために専用の接続コンポーネントを使用します。</p> </li> </ol><br><br>ジョブレベル全体でデータベース接続を共有する方法の例は、*Talend Studioユーザーガイド*をご覧ください。 |
| [Connection type] (接続タイプ) | 利用可能なドライバーは次のとおりです。<br><br><ul> <li> <p> <span>Oracle OCI</span>: Oracleデータベースへのインターフェイスを提供する一連のC言語ソフトウェアAPIでOracle Callインターフェイスを使用するには、この接続タイプを選択します。</p> </li> <li> <p> <span>Oracle Custom</span>: クラスター化されたデータベースにアクセスするには、この接続タイプを選択します。このタイプの接続では、<span>[Username] (ユーザー名)</span>および<span>[Password] (パスワード)</span>フィールドが非アクティブになり、表示される<span>URL</span>フィールドに接続URLを入力する必要があります。</p> <p>このURLの有効な形式の詳細は、Oracleのドキュメンテーションで<a href="http://www.dba-resources.com/oracle/jdbc-connection-strings-for-oracle-thin-driver/" target="_blank">JDBC Connection strings</a><span> (英語のみ)</span>をご覧ください。</p> </li> <li> <p> <span>[Oracle Service Name] (Oracleサービス名)</span>: リモートデータベースへの接続時に指定するTNSエイリアスを使用するには、この接続タイプを選択します。 </p> </li> <li> <p> <span>WALLET</span>: Oracle Walletに認証情報を保管するには、この接続タイプを選択します。</p> </li> <li> <p> <span>Oracle SID</span>: システムの特定のデータベースを一意識別するには、この接続タイプを選択します。</p> </li> </ul> |
| [DB Version] (データベースバージョン) | 使用中のOracleバージョンを選択します。 |
| [Host] (ホスト) | データベースサーバーのIPアドレス。 |
| [Port] (ポート) | データベースサーバーのリスニングポート番号。 |
| [Database] (データベース) | データベースの名前。 |
| [Oracle schema] (Oracleスキーマ) | Oracleスキーマ名。 |
| [Username] (ユーザー名)と[Password] (パスワード) | データベースユーザー認証データ。<br><br>パスワードを入力するには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符の間に入力し、OKをクリックして設定を保存します。 |
| [Schema] (スキーマ)と[Edit schema] (スキーマを編集) | スキーマとは行の説明で、処理された後に次のコンポーネントに渡されるフィールドの数を定義するものです。スキーマは[Built-in] (組み込み)か、[Repository] (リポジトリー)にリモートで保存されます。<br><br>スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。<br><br><ul> <li> <p> <span>[View schema] (スキーマを表示)</span>: スキーマのみを表示する場合は、このオプションを選択します。</p> </li> <li> <p> <span>[Change to built-in property] (組み込みのプロパティに変更)</span>: ローカルで変更を行うためにスキーマを<span>組み込み</span>に変更する場合は、このオプションを選択します。</p> </li> <li> <p> <span>[Update repository connection] (リポジトリー接続をアップデート)</span>: リポジトリーに保存されているスキーマに変更を加え、変更後にそのコンテンツをすべてのジョブにプロパゲートするかどうかを決める場合は、このオプションを選択します。変更を現在のジョブにのみ反映する場合は、変更後、<span>[No] (いいえ)</span>を選択し、<span>[Repository Content] (リポジトリーコンテンツ)</span>ウィンドウで再びこのスキーマのメタデータを選択します。</p> </li> </ul> |
|  | [Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。 |
|  | [Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。 |
| [Table Name] (テーブル名) | データを読み取るテーブルの名前を入力します。 |
| [Query Type] (クエリータイプ)と[Query] (クエリー) | スキーマ定義に対応する必要がある、フィールドの適切な順序に特に注意を払うデータベースクエリーステートメントを指定します。<br><br>Spark V2.0以降を使用している場合、Spark SQLはデータベーステーブルのプレフィックスを認識しません。つまり、たとえば、このテーブルが属するスキーマを示すプレフィックスを追加せずに、テーブル名のみを入力する必要があります。<br><br>たとえば、*system.mytable*テーブルでクエリーを実行する必要がある場合(*system*プレフィックスは*mytable*テーブルが属するスキーマを示す)、*mytable*のみを入力する必要があります。 |

## 詳細設定

| [Additional JDBC parameters] (追加のJDBCパラメーター) | 作成するデータベース接続に接続の追加プロパティを指定します。プロパティはセミコロンで区切られ、各プロパティはキー-値ペアです。たとえば、*encryption=1;clientname=Talend*になります。<br><br>このフィールドは、[Use an existing connection] (既存の接続を使用)チェックボックスがオンになっている場合は利用できません。 |
| --- | --- |
| [Spark SQL JDBC parameters] (Spark SQL JDBCパラメーター) | Spark SQLでサポートされているJDBCプロパティをこのテーブルに追加します。ユーザーが設定可能なプロパティのリストについては、[JDBCと他のデータベース](https://spark.apache.org/docs/latest/sql-programming-guide.html#jdbc-to-other-databases) (英語のみ)をご覧ください。<br><br>このコンポーネントは、*url*、*dbtable*、*driver*のプロパティを、[Basic settings] (基本設定)タブの設定を使って自動的に設定します。 |
| [Trim all the String/Char columns] (すべての文字列/文字カラムをトリミング) | すべてのStringカラム/Charカラムの先頭や末尾の空白を削除する場合は、このチェックボックスを選択します。 |
| [Trim column] (カラムをトリミング) | 定義されたカラムから先頭や末尾の空白を削除します。 |
| [Enable partitioning] (パーティショニングを有効化) | このチェックボックスをオンにしてパーティション内のデータを読み取ります。<br><br>パーティションを設定するため、次のパラメーターを二重引用符で囲んで定義します。<br><br><ul> <li> <p> <span>[Partition column] (パーティションカラム)</span>: パーティションキーとして使用する数値のカラム。</p> </li> <li> <p> <span>[Lower bound of the partition stride] (パーティションストライドの下限)</span>と<span>[Upper bound of the partition stride] (パーティションストライドの上限)</span>: パーティションストライドを決定する上限と下限を入力します。これらの制限はテーブルの行をフィルタリングしません。テーブルのすべての行がパーティショニングされ、返されます。</p> </li> <li> <p> <span>[Number of partitions] (パーティション数)</span>: テーブルの行を分割するパーティションの数。各Sparkワーカーは一度に1つのパーティションだけを処理します。</p> </li> </ul><br><br><br>パーティションの平均サイズは、パーティションの数で分割された上限と下限から生じる相違の結果で、(upperBound - lowerBound)/partitionNumberとなります。その一方で、最初と最後のパーティションには、他のパーティションに含まれない他のすべての行もあります。<br><br>たとえば、1000行を4つのパーティションに分ける場合、下限に0、上限に1000を入力すると、各パーティションには250行が含まれるので、パーティショニングは均等になります。下限に250、上限に750を入力した場合、2番目と3番目のパーティションにはそれぞれ125行ずつ保管され、最初と最後のパーティションにはそれぞれ375行入ります。この設定では、パーティションに偏りが生じます。 |

## 使用方法

| **使用ルール** | このコンポーネントは、開始コンポーネントとして使用され、出力リンクを必要とします。<br><br>このコンポーネントは、Oracleに接続するために同じジョブ内にあるtOracleConfigurationコンポーネントを使う必要があります。[Use an existing connection] (既存の接続を使用)チェックボックスをオンにして、使うtOracleConfigurationコンポーネントを選択する必要があります。<br><br>このコンポーネントは、所属するSpark Batchのコンポーネントのパレットと共に、Spark Batchジョブを作成している場合にだけ表示されます。<br><br>特に明記していない限り、このドキュメントのシナリオでは、標準ジョブ、つまり従来の Talend データ統合ジョブだけを扱います。 |
| --- | --- |
| [Spark Connection] (Spark接続) | [Run] (実行)ビューの[Spark configuration] (Spark設定)タブで、ジョブ全体でのSparkクラスターへの接続を定義します。また、ジョブでは、依存jarファイルを実行することを想定しているため、Sparkがこれらのjarファイルにアクセスできるように、これらのファイルの転送先にするファイルシステム内のディレクトリーを指定する必要があります。<br><br><ul> <li> <div> <span>Yarnモード</span>(YarnクライアントまたはYarnクラスター):<ul> <li> <p>Google Dataprocを使用している場合、<span>[Spark configuration] (Spark設定)</span>タブの<span>[Google Storage staging bucket] (Google Storageステージングバケット)</span>フィールドにバケットを指定します。</p> </li> <li> <p>HDInsightを使用している場合、<span>[Spark configuration] (Spark設定)</span>タブの<span>[Windows Azure Storage configuration] (Windows Azure Storage設定)</span>エリアでジョブのデプロイメントに使用するブロブを指定します。</p> </li> <li>Altusを使用する場合は、<span>[Spark configuration] (Spark設定)</span>タブでジョブのデプロイにS3バケットまたはAzure Data Lake Storageを指定します。</li> <li>Quboleを使用する場合は、ジョブに<span>tS3Configuration</span>を追加し、QuboleでS3システム内に実際のビジネスデータを書き込みます。<span>tS3Configuration</span>を使用しないと、このビジネスデータはQubole HDFSシステムに書き込まれ、クラスターをシャットダウンすると破棄されます。</li> <li> <p>オンプレミスのディストリビューションを使用する場合は、クラスターで使われているファイルシステムに対応する設定コンポーネントを使用します。一般的に、このシステムはHDFSになるため、<a href="https://help.qlik.com/talend/r/ja-JP/7.3/components/hdfs/thdfsconfiguration">tHDFSConfiguration</a>を使用します。</p> </li> </ul> </div> </li> <li> <p> <span>[Standalone mode] (スタンドアロンモード)</span>: クラスターで使われているファイルシステム(<a href="https://help.qlik.com/talend/r/ja-JP/7.3/components/hdfs/thdfsconfiguration-properties-for-apache-spark-batch">tHDFSConfiguration Apache Spark Batch</a>や<a href="https://help.qlik.com/talend/r/ja-JP/7.3/components/amazon-s3/ts3configuration-properties-for-apache-spark-batch">tS3Configuration Apache Spark Batch</a>など)に対応する設定コンポーネントを使用します。</p> <p>ジョブ内に設定コンポーネントがない状態でDatabricksを使用している場合、ビジネスデータはDBFS (Databricks Filesystem)に直接書き込まれます。</p> </li> </ul><br><br>この接続は、ジョブごとに有効になります。 |