[Component-specific settings] (コンポーネント固有設定) (tKafkaInput用)
コンポーネントのsetSettings {}関数で定義できるジョブスクリプトの関数とパラメーターは、以下の表のとおりです。
関数/パラメーター | 説明 | 必須? |
---|---|---|
OUTPUT_TYPE |
次のコンポーネントに送信するデータのデータ型を指定します。
tKafkaInputは自動的に、Kafka byte[]メッセージを、ジョブが処理できる文字列に変換できるので、通常は、STRING値にすることが推奨されます。ただし、Protobufなど、tKafkaInputで認識できないKafkaメッセージ形式の場合は、BYTESを使用し、次にtJavaRowなどのカスタムコードコンポーネントを使用して、同じジョブの他のコンポーネントがこれらのメッセージを処理できるようにメッセージを文字列にデシリアライズできます。 |
いいえ |
USE_EXISTING_CONNECTION |
定義済みの接続情報を再利用する場合は、このパラメーターをtrueに設定して、CONNECTIONパラメーターを使って、関連接続コンポーネント名を指定します。 |
いいえ |
KAFKA_VERSION |
使用するKafkaクラスターのバージョンを指定します。使用できる値は次のとおりです。
|
はい |
ZOOKEEPER_CONNECT |
"\"zk1: port1、zk2: port2、...\""の形式で使用されるKafkaクラスターのZooKeeperサービスのアドレスを指定します。このパラメーターは、KafkaクラスターバージョンがKafka 0.8.2.0以上である場合のみ有効です。 |
はい |
BROKER_LIST |
"\"host1:port1、host2:port2、...\""の形式で、使用されるKafkaクラスターのブローカーノードのアドレスを指定します。 このパラメーターは、KafkaクラスターバージョンがKafka 0.9.2.1以上である場合、有効です。 |
はい |
KAFKA_TOPIC |
このコンポーネントがメッセージフィードを受け取るトピック名を指定します。 |
はい |
GROUP_ID |
現在のコンシューマーが属すコンシューマーグループの名前を指定します。 この時点でこのコンシューマーグループが存在していない場合、実行時に作成されます。 |
はい |
RESET_OFFSET |
あるコンシューマーグループを、メッセージを全く消費していない新しいグループとして処理できるように、このコンシューマーグループ用に保存されているオフセットをクリアする場合は、このパラメーターをtrueに設定します。 デフォルトでは、このパラメーターはfalseに設定されます。 |
いいえ |
AUTO_OFFSET_RESET |
消費されるトピックメッセージの開始ポイントを指定します。使用できる値は次のとおりです。
このパラメーターは、KafkaクラスターバージョンがKafka 0.8.2.0以上である場合のみ有効です。 |
いいえ |
AUTO_OFFSET_RESET_NEW |
消費されるトピックメッセージの開始ポイントを指定します。使用できる値は次のとおりです。
このパラメーターは、KafkaクラスターバージョンがKafka 0.9.2.1以上である場合、有効です。 |
いいえ |
KAFKA_OFFSET_STORAGE |
消費済みメッセージのオフセットをコミットする先のシステムを指定します。使用できる値は次のとおりです。
このパラメーターは、KafkaクラスターバージョンがKafka 0.8.2.0以上である場合のみ有効です。 |
いいえ |
KAFKA_DUAL_COMMIT_CHECK |
メッセージをZooKeeperとKafkaの両方にコミットする場合は、このパラメーターをtrueに設定します。falseに設定すると、コミット先はKafkaのみになります。 デフォルトでは、このパラメーターはtrueに設定されます。 このパラメーターは、オフセットストレージシステムがKafkaである場合のみ有効です。 |
いいえ |
AUTO_COMMIT_OFFSET |
このパラメーターをtrueに設定して、KAFKA_COMMIT_INTERVALパラメーターを使って、tKafkaInputが定期的に消費状態を自動保存する間隔を指定できます。 デフォルトでは、このパラメーターはtrueに設定され、デフォルトの間隔は5000ミリ秒です。 オフセットは、各間隔の最後にコミットされます。ジョブがこの時間間隔の途中で停止した場合、この間隔内におけるメッセージの消費状態はコミットされません。 |
いいえ |
USE_BATCH_MAX_DURATION |
このパラメーターをtrueに設定して、BATCH_MAX_DURATIONパラメーターを使って、その最後にtKafkaInputの実行が停止する期間(ミリ秒)を指定します。 デフォルトでは、このパラメーターはfalseに設定され、デフォルト期間は600000ミリ秒です。 |
いいえ |
USE_BATCH_MAX_SIZE |
このパラメーターをtrueに設定して、BATCH_MAX_SIZEパラメーターを使って、実行が自動的に停止する前にtKafkaInputが受信するメッセージの最大数を指定できます。 デフォルトでは、このパラメーターはfalseに設定され、メッセージの最大数は5000です。 |
いいえ |
USE_BATCH_MESSAGE_TIMEOUT |
このパラメーターをtrueに設定して、BATCH_MESSAGE_TIMEOUTパラメーターを使って、tKafkaInputが、実行停止前に新しいメッセージを待機する時間(ミリ秒)を指定できます。 デフォルトでは、このパラメーターはfalseに設定され、デフォルトのタイムアウト時間は10000ミリ秒です。 |
いいえ |
USE_HTTPS |
SSLまたはTLSの暗号化を有効にする場合はこのパラメーターをtrueに設定し、HTTPS_SETTINGパラメーターを使って、暗号化情報を定義するのに使用するtSetKeystoreコンポーネントを指定します。 このパラメーターは、KafkaクラスターバージョンがKafka 0.9.2.1以上である場合、有効です。 |
いいえ |
USE_KRB |
使用するKafkaクラスターをKerberosで保護する場合、このパラメーターをtrueに設定し、次のパラメーターを使って関連セキュリティ情報を定義します。
このパラメーターは、KafkaクラスターバージョンがKafka 0.9.2.1以上である場合、有効です。 |
いいえ |
KAFKA_CONSUMER_ PROPERTIES {} |
Kafkaコンシューマーのカスタム設定を使用する必要がある場合、この関数に、次のパラメーターセットを1つ以上含めて、カスタマイズするプロパティを指定します。カスタマイズされたプロパティは、実行時にTalend Studioによって使用される対応プロパティを上書きします。
|
いいえ |
KAFKA_CONSUMER_TIMEOUT |
メッセージを消費できない場合に、その最後にタイムアウト例外が返される期間を指定します。 デフォルト値-1は、タイムアウトが発生しないことを意味します。 |
いいえ |
SAVE_OFFSET |
このパラメーターをtrueに設定すると、次のコンポーネントに、消費済みメッセージのオフセットが出力されます。 このパラメーターを選択すると、offsetという名前の読み取り専用カラムがスキーマに追加されます。 |
いいえ |
CUSTOM_ENCODING |
保存データの処理時のエンコーディングエラーに備えて、このパラメーターをtrueに設定し、次のパラメーターを使って、正しいエンコーディングを指定できます。
|
いいえ |
TSTATCATCHER_STATS |
各コンポーネントレベルおよびジョブレベルで処理メタデータを収集する場合、このパラメーターをtrueに設定します。 デフォルトでは、このパラメーターはfalseに設定されます。 |
いいえ |
LABEL |
このパラメーターを使って、コンポーネントのテキストラベルを指定します。 |
いいえ |