メイン コンテンツをスキップする

[Component-specific settings] (コンポーネント固有設定) (tKafkaInputAvro用)

コンポーネントのsetSettings {}関数で定義できるジョブスクリプトの関数とパラメーターは、以下の表のとおりです。

関数/パラメーター 説明 必須?

USE_EXISTING_CONNECTION

定義済みの接続情報を再利用する場合は、このパラメーターをtrueに設定して、CONNECTIONパラメーターを使って、関連接続コンポーネント名を指定します。

いいえ

BROKER_LIST

"\"host1:port1、host2:port2、...\""の形式で、使用されるKafkaクラスターのブローカーノードのアドレスを指定します。

このパラメーターは、KafkaクラスターバージョンがKafka 0.9.2.1以上である場合、有効です。

はい

AUTO_OFFSET_RESET

消費されるトピックメッセージの開始ポイントを指定します。使用できる値は次のとおりです。

  • SMALLEST
  • LARGEST (デフォルト)

いいえ

KAFKA_TOPIC

このコンポーネントがメッセージフィードを受け取るトピック名を指定します。

はい

GROUP_ID

現在のコンシューマーが属すコンシューマーグループの名前を指定します。

この時点でこのコンシューマーグループが存在していない場合、実行時に作成されます。

はい

KAFKA_MAX_RATE_PER_ PARTITION_CHECK

必要に応じて、このパラメーターをtrueに設定し、KAFKA_MAX_RATE_PER_PARTITIONパラメーターを使って、処理用にバッチ単位で送信される最大メッセージ数を指定できます。

デフォルトでは、このパラメーターはfalseに設定されます。この場合、1秒間で単一のバッチに全メッセージが読み込まれますが、大量のメッセージのためにジョブが応答しなくなる可能性があります。

いいえ

USE_HTTPS

SSLまたはTLSの暗号化を有効にする場合はこのパラメーターをtrueに設定し、HTTPS_SETTINGパラメーターを使って、暗号化情報を定義するのに使用するtSetKeystoreコンポーネントを指定します。

いいえ

USE_KRB

使用するKafkaクラスターをKerberosで保護する場合、このパラメーターをtrueに設定し、次のパラメーターを使って関連セキュリティ情報を定義します。

  • JAAS_CONF: ジョブがKafkaのクライアントとして認証に使用するJAAS設定ファイルのパスを指定します。

  • KRB_SERVICE_NAME: ブローカークラスターの作成時にブローカーに対して定義したKerberosプリンシパルの主要パーツを指定します。

    たとえば、プリンシパルkafka/kafka1.hostname.com@EXAMPLE.COMの場合、このパラメーター値はkafkaになります。

  • SET_KINIT_PATH: Kerberosは、デフォルトパスを使用してkinitプログラムを実行します。このパスを変更している場合は、このパラメーターをtrueに設定し、KINIT_PATHパラメーターを使ってカスタムアクセスパスを指定します。

  • SET_KRB5_CONF: Kerberosは、Kerberos 5の場合であれば、設定ファイルkrb5.conf (Windowsの場合はkrb5.ini)にデフォルトパスを使用してアクセスします。このパスを変更している場合は、このパラメーターをtrueに設定し、KRB5_CONFパラメーターを使って、Kerberos設定ファイルのカスタムアクセスパスを指定します。

いいえ

KAFKA_CONSUMER_ PROPERTIES {}

Kafkaコンシューマーのカスタム設定を使用する必要がある場合、この関数に、次のパラメーターセットを1つ以上含めて、カスタマイズするプロパティを指定します。カスタマイズされたプロパティは、ランタイムに、Studioによって使用される対応するプロパティを上書きします。

  • PROPERTY: プロパティの名前を入力します。
  • VALUE: プロパティの新しい値を入力します。

いいえ

USE_HIERARCHICAL

指定のバイナリ(階層を含む) Avroスキーマを、現在のコンポーネントのスキーマに定義されているフラットスキーマにマッピングするには、このパラメーターをtrueに設定します。処理するAvroメッセージがフラットである場合は、このメッセージをfalseに設定します(デフォルト)。このパラメーターをtrueに設定する場合、Avroスキーマファイルを指定して、マッピングを定義する必要があります。

  • SCHEMA_FILENAME: 処理するAvroデータのスキーマを定義するファイルを指定します。
  • MAPPING {}: この関数に、1つ以上のパラメーターセットを含めて、現在のコンポーネントのスキーマカラムと、処理する階層Avroメッセージに格納されるデータ間のマッピングを定義します。
    • SCHEMA_COLUMN: スキーマカラムを指定します。
    • NODE_PATH: Avroメッセージから読み込むデータを指すJSONパスを指定します。

いいえ

LABEL

このパラメーターを使って、コンポーネントのテキストラベルを指定します。

いいえ

このページは役に立ちましたか?

このページまたはコンテンツにタイポ、ステップの省略、技術的エラーなどの問題が見つかった場合はお知らせください。