[Component-specific settings] (コンポーネント固有設定) (tKafkaInput用)

OUTPUT_TYPE

次のコンポーネントに送信するデータのデータ型を指定します。

• STRING(デフォルト)
• BYTES

tKafkaInputは自動的に、Kafka byte[]メッセージを、ジョブが処理できる文字列に変換できるので、通常は、STRING値にすることが推奨されます。ただし、Protobufなど、tKafkaInputで認識できないKafkaメッセージ形式の場合は、BYTESを使用し、次にtJavaRowなどのカスタムコードコンポーネントを使用して、同じジョブの他のコンポーネントがこれらのメッセージを処理できるようにメッセージを文字列にデシリアライズできます。

いいえ

USE_EXISTING_CONNECTION

定義済みの接続情報を再利用する場合は、このパラメーターをtrueに設定して、CONNECTIONパラメーターを使って、関連接続コンポーネント名を指定します。

いいえ

KAFKA_VERSION

使用するKafkaクラスターのバージョンを指定します。使用できる値は次のとおりです。

• KAFKA_0_10_0_1
• KAFKA_0_9_0_1
• KAFKA_0_8_2_0

はい

ZOOKEEPER_CONNECT

"\"zk1: port1、zk2: port2、...\""の形式で使用されるKafkaクラスターのZookeeperサービスのアドレスを指定します。このパラメーターは、KafkaクラスターバージョンがKafka 0.8.2.0以上である場合のみ有効です。

はい

BROKER_LIST

"\"host1:port1、host2:port2、...\""の形式で、使用されるKafkaクラスターのブローカーノードのアドレスを指定します。

このパラメーターは、KafkaクラスターバージョンがKafka 0.9.2.1以上である場合、有効です。

はい

KAFKA_TOPIC

このコンポーネントがメッセージフィードを受け取るトピック名を指定します。

はい

GROUP_ID

現在のコンシューマーが属すコンシューマーグループの名前を指定します。

この時点でこのコンシューマーグループが存在していない場合、実行時に作成されます。

はい

RESET_OFFSET

あるコンシューマーグループを、メッセージを全く消費していない新しいグループとして処理できるように、このコンシューマーグループ用に保存されているオフセットをクリアする場合は、このパラメーターをtrueに設定します。

デフォルトでは、このパラメーターはfalseに設定されます。

いいえ

AUTO_OFFSET_RESET

このパラメーターは、KafkaクラスターバージョンがKafka 0.8.2.0以上である場合のみ有効です。

いいえ

AUTO_OFFSET_RESET_NEW

消費されるトピックメッセージの開始ポイントを指定します。使用できる値は次のとおりです。

• EARLIEST
• LATEST(デフォルト)

このパラメーターは、KafkaクラスターバージョンがKafka 0.9.2.1以上である場合、有効です。

いいえ

KAFKA_OFFSET_STORAGE

消費済みメッセージのオフセットをコミットする先のシステムを指定します。使用できる値は次のとおりです。

• ZOOKEEPER(デフォルト)
• KAFKA

このパラメーターは、KafkaクラスターバージョンがKafka 0.8.2.0以上である場合のみ有効です。

いいえ

KAFKA_DUAL_COMMIT_CHECK

メッセージをZookeeperとKafkaの両方にコミットする場合は、このパラメーターをtrueに設定します。falseに設定すると、コミット先はKafkaのみになります。

デフォルトでは、このパラメーターはtrueに設定されます。

このパラメーターは、オフセットストレージシステムがKafkaである場合のみ有効です。

いいえ

AUTO_COMMIT_OFFSET

このパラメーターをtrueに設定して、KAFKA_COMMIT_INTERVALパラメーターを使って、tKafkaInputが定期的に消費状態を自動保存する間隔を指定できます。

デフォルトでは、このパラメーターはtrueに設定され、デフォルトの間隔は5000ミリ秒です。

オフセットは、各間隔の最後にコミットされます。ジョブがこの時間間隔の途中で停止した場合、この間隔内におけるメッセージの消費状態はコミットされません。

いいえ

USE_BATCH_MAX_DURATION

このパラメーターをtrueに設定して、BATCH_MAX_DURATIONパラメーターを使って、その最後にtKafkaInputの実行が停止する期間(ミリ秒)を指定します。

デフォルトでは、このパラメーターはfalseに設定され、デフォルト期間は600000ミリ秒です。

いいえ

USE_BATCH_MAX_SIZE

このパラメーターをtrueに設定して、BATCH_MAX_SIZEパラメーターを使って、実行が自動的に停止する前にtKafkaInputが受信するメッセージの最大数を指定できます。

デフォルトでは、このパラメーターはfalseに設定され、メッセージの最大数は5000です。

いいえ

USE_BATCH_MESSAGE_TIMEOUT

このパラメーターをtrueに設定して、BATCH_MESSAGE_TIMEOUTパラメーターを使って、tKafkaInputが、実行停止前に新しいメッセージを待機する時間(ミリ秒)を指定できます。

デフォルトでは、このパラメーターはfalseに設定され、デフォルトのタイムアウト時間は10000ミリ秒です。

いいえ

USE_HTTPS

SSLまたはTLSの暗号化を有効にする場合はこのパラメーターをtrueに設定し、HTTPS_SETTINGパラメーターを使って、暗号化情報を定義するのに使用するtSetKeystoreコンポーネントを指定します。

このパラメーターは、KafkaクラスターバージョンがKafka 0.9.2.1以上である場合、有効です。

いいえ

USE_KRB

このパラメーターは、KafkaクラスターバージョンがKafka 0.9.2.1以上である場合、有効です。

いいえ

KAFKA_CONSUMER_ PROPERTIES {}

Kafkaコンシューマーのカスタム設定を使用する必要がある場合、この関数に、次のパラメーターセットを1つ以上含めて、カスタマイズするプロパティを指定します。カスタマイズされたプロパティは、ランタイムに、Studioによって使用される対応するプロパティを上書きします。

• PROPERTY: プロパティの名前を入力します。
• VALUE: プロパティの新しい値を入力します。

いいえ

KAFKA_CONSUMER_TIMEOUT

メッセージを消費できない場合に、その最後にタイムアウト例外が返される期間を指定します。

デフォルト値-1は、タイムアウトが発生しないことを意味します。

いいえ

SAVE_OFFSET

このパラメーターをtrueに設定すると、次のコンポーネントに、消費済みメッセージのオフセットが出力されます。

このパラメーターを選択すると、offsetという名前の読み取り専用カラムがスキーマに追加されます。

いいえ

CUSTOM_ENCODING

保存データの処理時のエンコーディングエラーに備えて、このパラメーターをtrueに設定し、次のパラメーターを使って、正しいエンコーディングを指定できます。

• ENCODING
• ENCODING:ENCODING_TYPE

いいえ

TSTATCATCHER_STATS

各コンポーネントレベルおよびジョブレベルで処理メタデータを収集する場合、このパラメーターをtrueに設定します。

デフォルトでは、このパラメーターはfalseに設定されます。

いいえ

LABEL

このパラメーターを使って、コンポーネントのテキストラベルを指定します。

いいえ