Talend Data Preparationを設定
インストール後にTalend Data Preparationを設定
Procedure
-
<Data_Preparation_Path>/config/application.propertiesを開き、以下のTalend Data Preparationプロパティを編集します:
フィールド アクション public.ip Talend Data Preparationへのアクセスに使用するホスト名 server.port Talend Data Preparationユーザーインターフェイスで使用するポートを入力します。 iam.ip Talend Identity and Access ManagementインスタンスへのURLを入力します。 spring.security.oauth2.client.registration.oidc.clientId Talend Identity and Access Management OIDCクライアント識別子を入力します。 spring.security.oauth2.resourceserver.iam.opaque-token.clientId Talend Identity and Access Management OIDCクライアント識別子を入力します。 spring.security.oauth2.client.registration.oidc.clientSecret Talend Identity and Access Management OIDCクライアントパスワードを入力します。 spring.security.oauth2.resourceserver.iam.opaque-token.clientSecret Talend Identity and Access Management OIDCクライアントパスワードを入力します。 iam.uri Talend Identity and Access Managementポートが正しいことを確認します。 iam.api.uri Talend Identity and Access Managementポートが正しいことを確認します。 app.products[0].id=TDS app.products[0].name=Data Stewardship
app.products[0].url=<place_your_tds_url_here>
Talend Data StewardshipインスタンスへのURLを入力します。 プロパティファイルに入力されたパスワードはすべて、Talend Data Preparationインスタンスを開始する時に暗号化されます。
-
MongoDB基本設定の次のフィールドをアップデートします。
フィールド [Description] (説明) spring.data.mongodb.host MongoDBインスタンスのホスト名 spring.data.mongodb.port MongoDBインスタンスのポート番号 spring.data.mongodb.database Talend Data Preparationが接続されるデータベースの名前。デフォルトではdataprepになります。データベースは、Talend Data Preparationを最初に起動した時に作成されます。 spring.data.mongodb.username データベースへの接続に使用するユーザー名 spring.data.mongodb.password データベースへの接続に使われるパスワード -
Talend Data PreparationとComponents Catalogサービスのやり取りを有効にするには、Components Catalogサーバーのホストとポートを使用して次の行を編集します。
tcomp.server.url=http://<tcomp_host>:<tcomp_port>/tcomp
-
Talend Data PreparationおよびTalend Data Stewardshipのインストール後にアプリスイッチャーを有効にするには、 次の行のコメントアウトを解除し、Talend Data StewardshipインスタンスにURLを追加します。
app.products[0].id=TDS app.products[0].name=Data Stewardship app.products[0].url=<place_your_tds_url_here>
Talend Data Stewardshipの設定ファイルにはTalend Data PreparationインスタンスへのURLを追加することも必要です。詳細は、インストール後のTalend Data Stewardshipの設定に関するセクションをご覧ください。
- 監視ログはデフォルトで有効になっています。audit.propertiesファイルで正しいappender.http.urlパラメーターを指定するか、監査ログを無効化する必要があります。詳細は、Talend Data Preparationでの監視機能の有効化と設定をご覧ください。
-
Talend Dictionary Serviceへのアクセスを設定するには、次のフィールドを編集します。
- 利用対象:
- 対象製品:
- Big Data Platform
- Data Fabric
- Data Management Platform
- Data Services Platform
- MDM Platform
- Qlik Talend Cloud Enterprise Edition
- Qlik Talend Cloud Premium Edition
- Real-Time Big Data Platform
フィールド 説明 dataquality.semantic.list.enable このパラメーターの値をtrueに設定すると、Talend Data Preparationでセマンティックタイプ管理インターフェイスを表示できます。 dataquality.server.url お使いのTalend Dictionary Serviceインスタンスに、URL(http://<local machine ip>:8187/など)を入力します。 tsd.enabled このパラメーターの値をtrueに設定すると、Talend Data PreparationとTalend Dictionary Serviceの間で情報をやり取りできます。 tsd.maven.connector.s3Repository.bucket-url お使いのMinIOかS3リポジトリーバケットのURLを入力します。 たとえば、s3://talend-app-sharedとなります。
tsd.maven.connector.s3Repository.base-path お使いのMinIOかS3リポジトリーのベースパスを入力します。このプロパティはオプションなので、空にしておくこともできます。 たとえば、semantic-types-repositoryとなります。
tsd.maven.connector.s3Repository.username お使いのMinIOかS3リポジトリーのユーザー名を入力します。 たとえば、username123となります。
tsd.maven.connector.s3Repository.password お使いのMinIOかS3リポジトリーのパスワードを入力します。 たとえば、password123となります。
tsd.maven.connector.s3Repository.s3.region お使いのMinIOかS3リポジトリーのリージョンを入力します。 たとえば、us-east-1となります。
tsd.maven.connector.s3Repository.s3.endpoint お使いのMinIOかS3リポジトリーサーバーのURLを入力します。 たとえば、https://minio-company.comとなります。
tsd.dictionary-provider-facade.producer-url Talend Dictionary ServiceインスタンスへのURLを入力します。 spring.cloud.stream.kafka.binder.brokers Kafkaブローカーに対応するホストを入力します。 - セマンティックタイプを有効にするには、dataquality.semantic.list.enable=true行とdataquality.server.url=http://<local machine ip>:8187/行を編集します。
-
Talend Data Preparationを開始する前に、以下をこの順番で起動します。
- Apache Kafka
- MongoDB
- MinIO
- start.shファイルを実行してTalend Data Preparationインスタンスを起動します。
Talend Data Preparationのログを設定
About this task
Talend Data Preparationのログを使用すると、Talend Data Preparationのアクティビティを分析し、デバッグできます。
Talend Data Preparationのログは<Data_Preparation_Path>/data/logs/app.logにあります。
ログファイルの設定を構成するには、<Data_Preparation_Path>/config/log4j2.xmlを編集します。
Procedure
-
Log4j情報レベルの設定方法は、情報レベルに関するApache Log4jのドキュメンテーションをご覧ください。
-
ログローテーションの設定方法は、ログローテションに関するApache Log4jのドキュメンテーション (英語のみ)をご覧ください。