Installer Talend Data Stewardship en mode cluster

Pour installer Talend Data Stewardship en mode cluster, vous devez effectuer des modifications dans le fichier de configuration <installation_folder>/tds/config/data-stewardship.properties.

Pour effectuer cette installation, vous devez installer et configurer autant d'instances de Talend Data Stewardship et de ses dépendances que nécessaire.

Avant de commencer

Vous avez configuré un répartiteur de charge (Load Balancer) pour Talend Data Stewardship.
Vous avez configuré MongoDB en mode cluster. Pour plus d'informations, consultez la documentation de MongoDB (en anglais).
Vous avez configuré Kafka et ZooKeeper en mode cluster. Pour plus d'informations, consultez la documentation Zookeeper et la documentation Kafka (en anglais).

Procédure

Installez une première instance de Talend Data Stewardship.
Pour plus d'informations concernant la procédure d'installation, consultez Installer Talend Data Stewardship manuellement.

Dans le fichier <installation_folder>/tds/config/data-stewardship.properties, modifiez la propriété spring.data.mongodb.host pour spécifier les hôtes et ports des différentes instances de MongoDB.

Utilisez la syntaxe suivante :

spring.data.mongodb.host=<host1>:<port1>,<host2>:<port2>,...,<hostN>

Les hôtes et ports des différentes URL doivent être concaténés, sauf le dernier hôte, qui va hériter de la valeur de la propriété mongodb.port. Par exemple :

spring.data.mongodb.host=mongorep-mongodb-replica-1.mongorep-mongodbreplica.
default.svc.cluster.local:27017,
mongorep-mongodb-replica-0.mongorep-mongodbreplica.
default.svc.cluster.local:27017,
mongorep-mongodb-replica-2.mongorep-mongodbreplica.
default.svc.cluster.local:27017,
mongorep-mongodb-replica-3.mongorep-mongodbreplica.
default.svc.cluster.local
spring.data.mongodb.host=27017

Modifiez les propriétés spécifiant les hôtes et les ports des instances de Kafka et ZooKeeper.
De la même manière que pour les URL de MongoDB, les hôtes et ports Kafka et ZooKeeper doivent être concaténés, sauf le dernier port, hérité des propriétés dédiées.
```
talend.kafka.brokers=host1:9092,host2:9092,host3
talend.kafka.port=9092
talend.zookeeper.nodes=host1:2181,host2:2181,host3
talend.zookeeper.port=2181
```
Spécifiez également les paramètres des ports identifiant le nom d'hôte et le numéro de port.
```
kafka.broker=host1:9092,host2:9092,host3:9092
schema.kafka.broker=host1:9092,host2:9092,host3:9092
```
Pour augmenter la durée de la session et réduire les risques de déconnexions inattendues, ajoutez les lignes suivantes :
```
security.token.renew-after=600
security.token.invalid-after=3600
```
Répétez ces étapes d'installation et de configuration des autres instances de Talend Data Stewardship.
Incrémentez la valeur des paramètres ci-dessous dans <installation_folder>/tds/config/data-stewardship.properties pour que chaque instance de Talend Data Stewardship ait une propriété unique par instance :
```
tds.dqDictionary.group=TDSCoreDqDictionaryGroup1
schema.dqDictionary.group=SchemaServiceDqDictionaryGroup1
```
Modifiez les fichiers <installation_folder>/iam/apache-tomcat/clients/tds-client.json pour ajouter les URL de redirection dans les champs post_logout_redirect_uris et redirect_uris spécifiant les ports de répartition de charge.
Vous pouvez également ajouter les URL de redirection des autres instances dans les champs, pour accéder directement à l'une des instances de Talend Data Stewardship.
Créez des partitions pour les topics Kafka dans chaque instance de Talend Data Stewardship :
1. Démarrez une instance de Talend Data Stewardship. Cela crée automatiquement plusieurs topics Kafka.
2. Arrêtez l'instance et définissez les partitions par topic manuellement. Vous devez définir autant de partitions que de nœuds Kafka.
  Pour plus d'informations, consultez la documentation Kafka (en anglais).
3. Redémarrez l'instance.

Résultats

Vous avez installé plusieurs instances de Talend Data Stewardship et les avez configurées pour qu'elles fonctionnent en mode cluster.

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici