tAzureSynapseBulkExecの標準プロパティ
これらのプロパティは、標準ジョブのフレームワークで実行されているtAzureSynapseBulkExecを設定するために使われます。
標準のtAzureSynapseBulkExecコンポーネントは、Cloudファミリーとデータベースファミリーに属しています。
このフレームワーク内のコンポーネントは、すべてのTalend製品で使用できます。
基本設定
[Property Type] (プロパティタイプ) |
接続の詳細を設定する方法を選択します。
|
[Use an existing connection] (既存の接続を使用) |
定義済みの接続の詳細を再利用する場合は、このチェックボックスを選択して、[Component List] (コンポーネントリスト)ドロップダウンリストから、目的の接続コンポーネントを選択します。 ジョブに親ジョブと子ジョブが含まれている時は、2つのレベルの間の既存の接続を共有する必要がな場合(たとえば、親ジョブで作成した接続を子ジョブと共有するなど)には、以下を実行する必要があります。
ジョブレベル全体でデータベース接続を共有する方法の例は、データベース接続を共有をご覧ください。 |
[JDBC Provider] (JDBCプロバイダー) |
使うJDBCドライバーのプロバイダーを選択します。 |
[Host] (ホスト) | 使うデータベースサーバーかAzure Synapse AnalyticsのIPアドレスまたはホスト名を指定します。 サーバーが存在するマシンでSQL Server Browserサービスが実行中である場合は、このフィールドにホスト名とインスタンス名を{host_name}\{instance_name}という形式で指定すれば、TCPダイナミックポートを通じてネームドインスタンスに接続できるようになります。この場合は[Port] (ポート)フィールドを空白のまましておきます。関連情報は、SQL Server Browser serviceをご覧ください。 |
[Port] (ポート) | 使うデータベースサーバーかAzure Synapse Analyticsのリスニングポート番号を入力します。 サーバーが存在するマシンでSQL Server Browserサービスが実行中である場合は、[Host] (ホスト)フィールドにホスト名とインスタンス名を入力し、このフィールドを空にしておけば、TCPダイナミックポートを通じてネームドインスタンスに接続できるようになります。関連情報は、SQL Server Browser serviceをご覧ください。 |
[Schema] (スキーマ) | Azure Synapse Analyticsスキーマの名前を入力します。 |
[Database] (データベース) | 使うAzure Synapse Analyticsの名前を指定します。 |
[Username] (ユーザー名)と[Password] (パスワード) | 認証データを入力します。 パスワードを入力するためには、[Password] (パスワード)フィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符で囲んで入力して[OK]をクリックし、設定を保存します。 [Additional JDBC Parameters] (追加のJDBCパラメーター)フィールドにintegratedSecurity=trueを追加し、これら2つのフィールドを空にしておけば、Windowsで[Type 2 integrated authentication] (タイプ2のインテグレーション認証)を使用できるようになります。関連情報は、Building the connection URLでConnecting with integrated authentication On Windowsというセクションをご覧ください。 |
[Additional JDBC Parameters] (追加のJDBCパラメーター) |
作成するデータベース接続に接続の追加プロパティを指定します。プロパティはセミコロンで区切られ、各プロパティはキー-値ペアです。たとえばAzure SQLデータベース接続の場合は、encrypt=true;trustServerCertificate=false; hostNameInCertificate=*.database.windows.net;loginTimeout=30;となります。 |
[Table] (テーブル) | データがロードされるSQL Data Warehouseテーブルの名前を指定します。 |
[Action on table] (テーブルでのアクション) |
定義されたテーブルに対して実行する操作を選択します。
|
[Schema] (スキーマ)と[Edit schema] (スキーマを編集) |
スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。
スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。変更を加えると、スキーマは自動的に組み込みになります。
|
[Load method] (ロード方法) |
データをロードする方法を設定するために使われます。CopyとPloyBaseの2つのオプションが提供されています。関連情報は、Synapse SQLプールのデータロード戦略をご覧ください。 |
Azure Storage | データをロードするAzure Storageのタイプを選択します。 [Load method] (ロード方法)ドロップダウンリストでCopy が選択されている場合、Data Lake Storage Gen1オプションは利用できません。 [Basic settings] (基本設定)ビューで[Load method] (ロード方法)としてPloyBaseを、Azure StorageとしてData Lake Storage Gen2をそれぞれ選択し、[Advanced settings] (詳細設定)ビューで[Secure transfer required] (安全な転送が必要)を選択すると、[Basic settings] (基本設定)ビューに[Authentication with managed identity] (マネージドIDによる認証)というオプションが表示されます。関連情報は、Managed identities for Azure resourcesをご覧ください。 |
[Authentication method] (認証方式) |
ドロップダウンリストから、次の認証方式を1つ選択します。
このオプションは、[Load Method] (ロード方法)ドロップダウンリストから、Copyが選択されている場合のみ利用できます。 |
[Account Name] (アカウント名) | アクセスするAzure Blob StorageまたはAzure Data Lake Storageのアカウント名を入力します。 |
[Access key] (アクセスキー) |
アクセスする必要のあるストレージアカウントに関連付けられたキーを入力します。どのアカウントでも利用できるキーが2つあり、このアクセスにはデフォルトでどちらのキーも使用できます。ドロップダウンリストから、Azure Storageへの接続を設定するために接続の詳細を使用するコンポーネントを選択します。 このオプションは、[Azure Storage] (Azure Storage)ドロップダウンリストでBlob Storageが選択されている場合のみ利用できます。 |
[SAS token] (SASトークン) |
SASトークンの値を入力します。関連情報は、Constructing the Account SAS URIをご覧ください。このオプションは、[Authentication method] (認証方法)ドロップダウンリストから[Shared access signatures] (共有アクセス署名)が選択されている場合のみ利用できます。 |
[Endpoint suffix] (エンドポイントサフィックス) |
Azure Storageのサービスエンドポイントを入力します。 アカウント名とAzure Storageサービスエンドポイントの組み合わせにより、ストレージアカウントのエンドポイントが形成されます。 デフォルト値は、[Azure Storage] (Azure Storage)の設定に応じて異なります。Data Lake Storage Gen2の場合は"dfs.core.windows.net"、Blob Storageの場合は"blob.core.windows.net"です。 このオプションは、[Load method] (ロード方法)リストから[Copy] (コピー)が選択されている場合のみ利用できます。 |
[Container] (コンテナー) | blobコンテナーの名前を入力します。 このオプションは、[Azure Storage] (Azure Storage)ドロップダウンリストでBlob Storageが選択されている場合のみ利用できます。 |
[External paths] (外部パス) |
データの読み取り元の外部パスを入力します。下部の[+]ボタンをクリックして、複数の外部パスを追加できます。外部パスはコンテナーをルートとする相対パスです。 このオプションは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストから[Copy] (コピー)が選択されている場合のみ利用できます。 |
[Client Id] (クライアントID) | アプリケーションID (別名クライアントID)を入力します。 このオプションは、[Azure Storage] (Azure Storage)ドロップダウンリストでData Lake Storage Gen1が選択されている場合のみ利用できます。 |
[OAuth 2.0 token endpoint] (OAuth 2.0トークンエンドポイント) |
[Token endpoint] (トークンエンドポイント)フィールドで、Azureポータルの[App registrations] (アプリの登録)ページの[Endpoints] (エンドポイント)リストから取得できるOAuth 2.0トークンエンドポイントをコピーして貼り付けます。 このオプションは、[Azure Storage] (Azure Storage)ドロップダウンリストでData Lake Storage Gen1が選択されている場合のみ利用できます。 |
[Azure Storage Location] (Azure Storageの場所) | Azure Blob StorageまたはAzure Data Lakeストレージアカウントが作成されている場所を指定します。 |
詳細設定
[Secure transfer required] (安全な転送が必要) | Azure Storage接続に安全な転送を使うには、このオプションを選択します。 このオプションは、[Basic settings] (基本設定)ビューのAzure StorageドロップダウンリストでData Lake Storage Gen2を選択し、[Load method] (ロード方法)ドロップダウンリストでPloyBaseを選択した場合のみ利用できます。 |
[Authenticate using Azure Active Directory] (Azure Active Directoryを使って認証) |
このオプションを選択すると、接続を確立する時にAzure Active Directory認証を使用できます。関連情報は、Azure AD Authenticationをご覧ください。 |
[File format] (ファイル形式) | Azure BlobストレージまたはAzure Data Lakeストレージに保管されている外部データを定義するファイル形式を選択します。 このオプションは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストからPloyBaseが選択されている場合のみ利用できます。 ファイル形式の詳細は、CREATE EXTERNAL FILE FORMATをご覧ください。 |
[File type] (ファイルタイプ) | Azure BlobストレージまたはAzure Data Lakeストレージに保管されている外部データを定義するファイルタイプを選択します。[Basic settings] (基本設定)ビューで Azure StorageタイプとしてBlob Storageを選択した場合、サポートされるのはCSVファイルタイプのみです。 このオプションは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストから[Copy] (コピー)が選択されている場合のみ利用できます。 ファイル形式の詳細は、CREATE EXTERNAL FILE FORMATをご覧ください。 |
[Specify map to source table fields] (ソーステーブルフィールドにマップを指定) | このオプションを選択して、表示されるテーブルにスキーマカラムとフィールドインデックスを入力して、ソースファイルのフィールドを特定のスキーマカラムにマッピングします。ソースファイルのフィールドインデックスは、テーブル内で昇順に指定する必要があります。 このオプションが選択されていない場合、ソースファイルのフィールドは、デフォルトの順序でスキーマカラムにマップされます。 このオプションは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストから[Copy] (コピー)が選択されている場合のみ利用できます。 |
[First row] (最初の行) |
ヘッダーとして処理するソースファイルの行数を設定するために使われます。デフォルトは1です。 このオプションは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストから[Copy] (コピー)を選択し、[File type] (ファイルタイプ)ドロップダウンリストから、CSVが選択されている場合のみ利用できます。 |
[Field quote] (フィールドクォート) | ソースファイルで引用文字(文字列の区切り)として使われる文字を指定します。 このオプションは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストから[Copy] (コピー)を選択し、[File type] (ファイルタイプ)ドロップダウンリストから、CSVが選択されている場合のみ利用できます。 |
[Field terminator] (フィールドターミネーター) | ソースファイルの各フィールドの終わりを示すフィールドターミネーターを指定します。 このオプションは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストから[Copy] (コピー)を選択し、[File type] (ファイルタイプ)ドロップダウンリストから、CSVが選択されている場合のみ利用できます。 |
[Row terminator] (行ターミネーター) | ソースファイルの各行の終わりを示す行ターミネーターを指定します。 このオプションは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストから[Copy] (コピー)を選択し、[File type] (ファイルタイプ)ドロップダウンリストから、CSVが選択されている場合のみ利用できます。 |
[Date format] (日付形式) | 日付形式を指定します。デフォルトは[Session date format] (セッション日付形式)です。 このオプションは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストから[Copy] (コピー)を選択し、[File type] (ファイルタイプ)ドロップダウンリストから、CSVが選択されている場合のみ利用できます。 |
[Encoding] (エンコーディング) | リストからエンコーディングを選択します(UTF8またはUTF16)。 このオプションは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストから[Copy] (コピー)を選択し、[File type] (ファイルタイプ)ドロップダウンリストから、CSVが選択されている場合のみ利用できます。 |
[Identity insert] (ID挿入) |
ソースファイルのID値をIDカラムに挿入するには、このオプションを選択します。関連情報は、COPY (Transact-SQL)をご覧ください。 このオプションは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストから[Copy] (コピー)が選択されている場合のみ利用できます。 |
[Max errors] (最大エラー数) | プロセスを停止しない、許可される最大エラー数を入力します。 このオプションは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストから[Copy] (コピー)が選択されている場合のみ利用できます。 |
[Field separator] (フィールド区切り) | 区切り付きテキストファイルの各フィールドの終わりを示す文字を指定します。 このオプションは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストでPoly Baseを選択し、[File format] (ファイルフォーマット)ドロップダウンリストでDelimited Textを選択した場合のみ利用できます。 |
[Enclosed by] (引用符) | このチェックボックスをオンにして、その横のフィールドで、区切り付きファイル内の文字列を囲む文字を指定します。 このオプションは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストでPoly Baseを選択し、[File format] (ファイルフォーマット)ドロップダウンリストでDelimited Textを選択した場合のみ利用できます。 |
[Date format] (日付形式) | このチェックボックスをオンにし、その横のフィールドで、区切り付きファイル内のすべての日付と時刻のデータのカスタム形式を指定します。日付形式の詳細は、CREATE EXTERNAL FILE FORMATをご覧ください。 このオプションは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストでPoly Baseを選択し、[File format] (ファイルフォーマット)ドロップダウンリストでDelimited Textを選択した場合のみ利用できます。 |
[Use type default] (タイプのデフォルトを使用) | このチェックボックスをオンにすると、対応するカラムのデータ型のデフォルト値を使って各欠損値が保管されます。 このチェックボックスをオフにすると、区切り付きファイルに欠落している各値がNULLとして保管されます。 このオプションは、[Basic settings] (基本設定)ビューの[Load method] (ロード方法)ドロップダウンリストでPoly Baseを選択し、[File format] (ファイルフォーマット)ドロップダウンリストでDelimited Textを選択した場合のみ利用できます。 |
[Serde Method] (Serdeメソッド) | Hiveシリアライザーとデシリアライザーのメソッドを選択します。 このオプションは、[File format] (ファイル形式)ドロップダウンリストでHive RCFileが選択されている場合のみ利用できます。 |
[Compressed by] (圧縮方式) | 外部データが圧縮されている場合は、このチェックボックスをオンにし、横に表示されるドロップダウンリストから圧縮方式を選択します。 |
[Data import reject options] (データインポートリジェクトオプション) | このチェックボックスをオンにして、次のリジェクトオプションを指定します。
このフィールドは、[Load Method] (ロード方法)ドロップダウンリストの[Copy] (コピー)オプションでのみ利用できます。 リジェクトオプションの詳細は、CREATE EXTERNAL TABLEをご覧ください。 |
[Distribution Option] (ディストリビューションオプション) | テーブルでのデータの分散に使われるシャーディングパターンを選択します。Azure Synapse Analyticsでサポートされているシャーディングパターンの詳細は、Azure Synapse Analytics - Massively parallel processing (MPP) architectureをご覧ください。 このオプションは、[Action on table] (テーブルでのアクション)ドロップダウンリストでテーブル作成に関連するどのオプションを選択した場合のみ利用できます。 |
[Distribution Column Name] (ディストリビューションカラム名) | ハッシュディストリビューションテーブルのディストリビューションカラムの名前。 このオプションは、[Distribution Option] (ディストリビューションオプション)ドロップダウンリストで[Hash] (ハッシュ)が選択されている場合のみ利用できます。 |
[Table Option] (テーブルオプション) | テーブルのインデックスタイプを選択します。詳細は、Indexing tables in Synapse SQL poolをご覧ください。 このオプションは、[Action on table] (テーブルでのアクション)ドロップダウンリストでテーブル作成に関連するどのオプションを選択した場合のみ利用できます。 |
[Index column(s)] (インデックスカラム) | インデックス内の1つ以上のキーカラムの名前を指定します。複数のカラムを指定する場合は、コンマで区切ります。 このオプションは、[Table Option] (テーブルオプション)ドロップダウンリストで[Clustered Index] (クラスター化されたインデックス)が選択されている場合のみ利用できます。 |
[Partition] (パーティション) | このチェックボックスをオンにして、次のパターンオプションを指定します。
テーブルパターンの詳細は、Partitioning tables in Synapse SQL poolをご覧ください。 このオプションは、[Action on table] (テーブルでのアクション)ドロップダウンリストでテーブル作成に関連するどのオプションを選択した場合のみ利用できます。 |
[tStatCatcher Statistics] (tStatCatcher統計) |
このチェックボックスを選択すると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。 |
グローバル変数
ERROR_MESSAGE |
エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。 |
NB_LINE_INSERTED |
挿入された行数。これはAfter変数で、整数を返します。 |
使用方法
使用ルール |
このコンポーネントは、ジョブやサブジョブのスタンドアロンコンポーネントとして使用できます。 |
制限事項 |
他のデータベースでサポートされている機能でも、Azure Synapse Analyticsではサポートされていないものもあります。詳細については、サポートされていないテーブル機能をご覧ください。 |