tDSInput / tDataStewardshipTaskInput
Qlik Talend Data IntegrationまたはTalend Data Stewardshipに接続し、キャンペーンにタスク形式で保存されているデータを取得します。
- tDataStewardshipTaskInputはtDSInputになります。
- tDataStewardshipTaskOutputはtDSOutputになります。
- tDataStewardshipTaskDeleteはtDSDeleteになります。
これらのコンポーネントを使用すると、Talend StudioをQlik Talend Data IntegrationおよびTalend Data Stewardshipに接続できます。
tDSInputでは特定の検索条件に従ってタスクが取得されます。取得されたすべてのタスクは同じスプリント/キャンペーンに属し、同じスキーマを持つ必要があります。取得したデータは処理するか、ターゲットアプリケーションやシステムに書き込むことができます。
tSetProxyコンポーネントを使用して、Talend Data Stewardshipに接続するためのプロキシ設定を指定できます。
デフォルトで、このコンポーネントはTalend Studioと共には出荷されていません。機能マネージャーを使ってインストールする必要があります。 詳細は、機能マネージャーを使って機能をインストールをご覧ください。
標準プロパティ
これらのプロパティは、標準ジョブのフレームワークで実行されているtDSInputおよびtDataStewardshipTaskInputコンポーネントを設定するために使われます。
標準のtDSInputおよびtDataStewardshipTaskInputコンポーネントは、Data Stewardshipファミリーに属しています。
このフレームワーク内のコンポーネントは、すべてのサブスクリプションベースのTalend製品で利用できます。
Qlik Talend Data Integrationスプリントからデータを取得するための基本設定
| [Properties] (プロパティ) | 説明 |
|---|---|
| Cloud | [Qlik Data Stewardship]を選択し、[適用]をクリックします。 |
|
プロパティタイプ |
[Built-in] (組み込み)または[Repository] (リポジトリー)のいずれかで次の設定を行います。 [Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。 [Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。 |
|
[Schema] (スキーマ)と[Edit schema] (スキーマを編集) |
スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。 スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。
以下のカラムは、このコンポーネントのスキーマに自動的に追加され、読み取り専用になります。カラムはタスクのメタデータになります。
|
|
[URL] |
Qlik Cloudテナントのアドレス(例: https://qcs.us.qlikcloud.com/)を入力します。 |
| API key (APIキー) | APIキーを入力します。APIキーの生成については、APIキーを生成をご覧ください。 |
|
スプリント |
[...]をクリックし、データを取得するスプリントを選択します。 |
|
状態 |
タスクを取得するワークフロー内の状態をリストから選択します。 このリストには、スプリントワークフロー内で定義するすべての状態の名前が表示されます。ここには、最初と最後の状態、およびQlik Talend Data Integrationでスプリントを作成する時に追加する検証状態が表示されます。 |
|
[Assignee] (割り当て先) |
タスクを取得するスプリント参加者を選択します。 [No Assignee] (割り当て先なし)は、どのデータスチュワードにも割り当てられていないタスクを取得します。他方、[Any Assignee] (任意の割り当て先)は、どの割り当て先も考慮せずにタスクを取得します。 |
|
[Priority] (優先度) (オプション) |
いずれかの優先度を選択します。あるいは、[Custom] (カスタム)を選択し、表示される[Custom] (カスタム)フィールドにカスタム式を設定します。 レベルが選択されない場合、デフォルトでは[Medium] (中)が使用されます。 |
| [Tags] (タグ) (オプション) |
取得するタスクに関連付けるタグを入力します。タグはタスクのフィルタリングに使用できます。 |
Qlik Talend Data Integrationスプリントからデータを取得するための詳細設定
| [Properties] (プロパティ) | 説明 |
|---|---|
|
[tStatCatcher Statistics] (tStatCatcher統計) |
このチェックボックスをオンにすると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。 |
|
[Maximum number of retries] (最大再試行回数) |
タイムアウト例外を返し、ジョブを強制終了するまでのリクエスト再試行する回数を設定します。 |
|
[Batch Size] (バッチサイズ) |
各処理バッチに含める行数を設定します。 パフォーマンスの問題が発生している場合を除き、デフォルト値は変更しないでください。バッチサイズを大きくするとパフォーマンスが向上しますが、高すぎる値を設定すると、ジョブの失敗の原因となる可能性があります。 |
Talend Data Stewardshipからデータを取得するための基本設定
| [Properties] (プロパティ) | 説明 |
|---|---|
| Cloud | [Talend Data Stewardship]を選択し、[適用]をクリックします。 |
|
プロパティタイプ |
[Built-in] (組み込み)または[Repository] (リポジトリー)のいずれかで次の設定を行います。 [Built-in] (組み込み): そのコンポーネントに対してのみスキーマを作成し、ローカルに保管します。 [Repository] (リポジトリー): スキーマは作成済みで、リポジトリーに保管されています。さまざまなプロジェクトやジョブデザインで再利用できます。 |
|
[Schema] (スキーマ)と[Edit schema] (スキーマを編集) |
スキーマとは行の説明のことです。処理して次のコンポーネントに渡すフィールド(カラム)数を定義します。Sparkジョブを作成する場合、フィールドの命名時は予約語のlineを避けます。 スキーマを変更するには[Edit schema] (スキーマを編集)をクリックします。現在のスキーマがリポジトリータイプの場合は、3つのオプションを利用できます。
以下のカラムは、このコンポーネントのスキーマに自動的に追加され、読み取り専用になります。カラムはタスクのメタデータになります。
|
|
URL |
http://<server_address>:19999/data-stewardship/)のように、Talend Data Stewardshipサーバーにアクセスするアドレスに/data-stewardship/というサフィックスを付けて入力します。 Talend Cloud Data Stewardshipで作業している場合は、/data-stewardship/というサフィックスが付いた対応するデータセンターのURLを使ってアプリケーションにアクセスします。たとえばAWS USデータセンターの場合はhttps://tds.us.cloud.talend.com/data-stewardshipとなります。 利用できるデータセンターのURLは、Talend Cloudのアプリケーションにアクセスをご覧ください。 |
|
[Username] (ユーザー名)と[Password] (パスワード) |
Talend Data Stewardshipにログインするための認証情報を入力します。 パスワードを入力するためには、パスワードフィールドの横にある[...]ボタンをクリックし、ポップアップダイアログボックスにパスワードを二重引用符で囲んで入力して[OK]をクリックし、設定を保存します。 Talend Cloud Data Stewardshipを使用しており、
|
|
キャンペーン |
[Find a campaign] (キャンペーンの検索)をクリックして、Talend Data Stewardshipで利用可能なすべてのキャンペーンのリストを開き、タスクが保存されているキャンペーンの名前を選択します。これは情報提示の読み取り専用フィールドです。 |
|
[Type] (タイプ) |
キャンペーンの選択後に定義済みのタイプからキャンペーンタイプを表示する読み取り専用リスト。 |
|
[Override enforcement of data model] (データモデルの強制オーバーライド) |
スキーマタイプが有効でない場合でもTalend Data Stewardshipサーバーでデータを処理する場合は、このチェックボックスを選択してください。この場合、スキーマの入力検証は行われません。 |
|
[State] (状態) |
タスクを取得するワークフロー内の状態をリストから選択します。 このリストには、キャンペーンワークフロー内で定義するすべての状態の名前が表示されます。ここには、最初と最後の状態、およびTalend Data Stewardshipでキャンペーンを作成する時に追加する検証状態が表示されます。 [Any State] (任意の状態)オプションを使うと、状態に関係なくすべてのタスクが取得されます。 [Custom] (カスタム)オプションを使うと、取得するタスクのさまざまな状態をコンマで区切って指定できます(例: "New,toValidate1,Resolved")。ワークフローで定義する状態の正確なラベルを入力する必要があります。 |
|
[Assignee] (割り当て先) |
タスクを取得するキャンペーン参加者を選択します。 [No Assignee] (割り当て先なし)は、どのデータスチュワードにも割り当てられていないタスクを取得します。他方、[Any Assignee] (任意の割り当て先)は、どの割り当て先も考慮せずにタスクを取得します。 [Custom] (カスタム)を使用すると、表示されているフィールドにコンテキスト変数を定義することで、キャンペーンのデータスチュワードの部分にタスクを動的に割り当てることができます。ここで想定される値はスチュワードのログイン情報です。 このオプションを使用し、受信データの指定された属性に基づいて特定のスチュワードにタスクを割り当てることができます。たとえば、フランスの顧客にはフランス人スチュワードJacques Bocuse、米国の顧客にはアメリカ人スチュワードCale Carolinaを割り当てるようにする、顧客サポートレベルがプラチナの場合はサポートチームリードに割り当て、ゴールドの場合はエキスパートに割り当てる、などのようにできます。 |
|
[Priority] (優先度)、[Choice] (選択)および[Tags] (タグ) |
[Priority] (優先度)(任意): タスク優先度のいずれかを選択します。あるいは、[Custom] (カスタム)を選択し、表示されるフィールドにカスタムの式を設定するために使われます。 レベルが選択されていない場合は、[Any Priority] (任意の優先度)によって優先度に関わらずすべてのタスクが取得されます。 Choice (選択)(オプションでアービトレーションキャンペーンが選択されている場合のみ使用可能): キャンペーンのレコードに設定されている任意の選択オプションを選びます。 [No Choice] (選択なし)では、データスチュワードによって選択肢が選ばれていないタスクが取得されます。他方、[Any Choice] (任意の選択)では、選ばれた選択肢に関係なくすべてのタスクが取得されます。 Tags (タグ) (オプション): 取得したいタスクに関連付けるタグを入力します。タグはタスクのフィルタリングに使用できます。 |
|
クエリー |
キャンペーンから取得するタスクのフィルタリングに使用するクエリーステートメントを入力します。 条件はフィールド名、演算子、および値で構成されます。レコードのデータを参照する場合は、フィールド名の先頭にrecord.が付いていなければなりません。文字列の前後に一重引用符を使用し、文字列内の引用符の前にバックスラッシュを付ける必要があります。例: レコードにFirstNameフィールドがある場合、タスクを割り当て先と名前の値でフィルタリングするには、[Assignee] (割り当て先)フィールドでassignee='user1@talend.com'を使い、[Query] (クエリー)フィールドにrecord.firstName='De\'wayne'と入力します。 詳細は、Data StewardshipコンポーネントとREST APIで使われるクエリー言語をご覧ください。 |
|
Retrieve golden record only (ゴールデンレコードのみを取得) |
このチェックボックスをオンにすると、マージング処理の結果となるゴールデンレコードのみ読み取られます。 このオプションは、マージングキャンペーンでのみ使用でき、デフォルトで選択されています。 |
Talend Data Stewardshipからデータを取得するための詳細設定
| [Properties] (プロパティ) | 説明 |
|---|---|
|
[Campaign ID] (キャンペーンID) |
基本設定でキャンペーンを選択すると、そのキャンペーンの技術的な名前を表示します。ただし、フィールド値を変更して、たとえばコンテキストパラメーターに置き換え、ランタイムにコンテキスト変数をジョブにパスできます。この技術的な名前は、ジョブがTalend Data Stewardshipと通信する時に、[Campaign] (キャンペーン)フィールドの値に関係なく、キャンペーンの特定に常に使用されます。 |
|
[HTTP client configuration] (HTTP Client設定) |
[Connect Timeout] (接続タイムアウト): 接続の試行に失敗してジョブが強制終了するまでの時間(ミリ秒)を設定するために使われます。 [Request Timeout] (リクエストタイムアウト): リクエストの試行に失敗してジョブが強制終了するまでの時間(ミリ秒)を設定するために使われます。 値を0にすると待ち時間が無限であると解釈されます。 |
|
[Use ID based pagination] (IDベースのページネーションを使用) |
このオプションは、タスクの最後のタスクIDに依存して次のタスクを取得することでタスク取得時のパフォーマンスを向上させます。 |
|
[Batch Size] (バッチサイズ) |
各処理バッチに含める行数を設定します。 パフォーマンスの問題が発生している場合を除き、デフォルト値は変更しないでください。バッチサイズを大きくするとパフォーマンスが向上しますが、高すぎる値を設定すると、ジョブの失敗の原因となる可能性があります。 |
|
[Consume tasks when they are read] (読み取り時にタスクを使用する) |
このチェックボックスはデフォルトでオンになっており、タスクがコンポーネントによって取得されると、 Talend Data Stewardship サーバーで使用済みとしてマークされます。同じフィルター条件でジョブを再実行した場合、2回目にはタスクは取得されません。 このチェックボックスをオフにするのは特別のユースケースに対してのみ行ってください。そうしないと、同じタスクが2回処理されてしまうというリスクが非常に高くなります。
情報メモ注: このオプションは解決済みのタスクにのみ適用されます。
|
|
[Max request attempts] (最大リクエスト試行回数) |
タイムアウト例外を返し、ジョブを強制終了するまでのリクエスト試行回数を設定します。 |
|
[tStatCatcher Statistics] (tStatCatcher統計) |
このチェックボックスをオンにすると、ジョブレベルおよび各コンポーネントレベルでジョブ処理メタデータが収集されます。 |
グローバル変数
| 変数 | 説明 |
|---|---|
|
NB_LINE |
処理されたメッセージの数。これはAfter変数で、整数を返します。 |
|
NB_REJECT |
リジェクトされた行数。これはAfter変数で、整数を返します。 |
|
NB_SUCCESS |
正しく処理された行数。これはAfter変数で、整数を返します。 |
|
ERROR_MESSAGE |
エラー発生時にコンポーネントによって生成されるエラーメッセージ。これはAfter変数で、文字列を返します。この変数はコンポーネントにこのチェックボックスが存在し、[Die on error] (エラー発生時に強制終了)がオフになっている場合のみファンクションします。 |
使用方法
| 使用方法のガイダンス | 説明 |
|---|---|
|
使用ルール |
このコンポーネントは通常、ジョブまたはサブジョブの開始コンポーネントとして使い、常に出力リンクが必要です。 |