Accéder au contenu principal

Configuration recommandée

Description

Emplacement

Propriété de configuration

Valeur par défaut/minimale

Valeur recommandée

Nombre maximal de connexions à la base de données dans le pool de connexion Quartz

Fichier de configuration de Talend Administration Center

WEB-INF/classes/quartz.properties :

org.quartz.dataSource.QRTZ_DS.maxConnections

30

org.quartz.threadPool.threadCount + 3

Nombre maximal de Jobs simultanés gérés par l'ordonnanceur (Scheduler)

Fichier de configuration de Talend Administration Center

WEB-INF/classes/quartz.properties :

org.quartz.threadPool.threadCount

30

MAX_CONCURRENT_TASK_EXECUTIONS + MAX_CONCURRENT_PLAN_EXECUTIONS

Nombre maximal de connexions à la base de données de Talend Administration Center (excepté Quartz)

Fichier de configuration de Talend Administration Center

WEB-INF/classes/configuration.properties :

hibernate.c3p0.max_size

32

MAX_CONCURRENT_TASK_EXECUTIONS + MAX_CONCURRENT_PLAN_EXECUTIONS + MAX_CONCURRENT_LOGGED_USERS

Définit le délai entre chaque vérification de Jobs distants

Table de la base de données de Talend Administration Center configuration

scheduler.conf.taskStatusRefreshTime

1

  • Si MAX_CONCURRENT_TASK_EXECUTIONS < 20 : scheduler.conf.taskStatusRefreshTime = 1
  • Si MAX_CONCURRENT_TASK_EXECUTIONS > 20 : scheduler.conf.taskStatusRefreshTime = MAX_CONCURRENT_TASK_EXECUTIONS /20

Définit la taille du pool de threads qui vérifie les dernières exécutions au démarrage

Table de la base de données de Talend Administration Center configuration

dashboard.conf.taskExecutionsHistory.threadPoolSize

10

( MAX_CONCURRENT_TASK_EXECUTIONS + MAX_CONCURRENT_PLAN_EXECUTIONS ) / 25

Définit la taille du pool de threads qui vérifie toutes les tâches au démarrage

Table de la base de données de Talend Administration Center configuration

scheduler.conf.simultaneousThreadsForStatusRefresh

5

MAX_CONCURRENT_TASK_EXECUTIONS / 50

Définit le nombre de threads permettant de réduire le temps d'exécution lorsque plusieurs Jobs s'exécutent simultanément.

Table de la base de données de Talend Administration Center configuration

remoteDataRetriever.threadPool.size

30 Même valeur que celle du nombre maximal (pic) d'utilisateur·trices dans les Jobs s'exécutant simultanément.

Pour plus d'informations, consultez Améliorer la durée d'exécution des Jobs.

Définit le nombre maximal de fichiers ouverts lors du traitement de la base de données

Hôte du serveur de la base de données

Nombre maximal de fichiers ouverts :

Par exemple, sous Linux, paramétrez les propriétés de configuration de MySQL "open_files_limit" et assurez-vous que la limite du fichier système est supérieure ou égale (>=) à la formule à droite.

(dépend du système d'exploitation)

( MAX_CONCURRENT_TASK_EXECUTIONS + MAX_CONCURRENT_PLAN_EXECUTIONS + MAX_CONCURRENT_LOGGED_USERS ) x 3

Définit le nombre maximal de connexions autorisées à la base de données

Serveur de la base de données

Nombre maximal de connexions :

Paramétrez la propriété de configuration de MySQL, par exemple "max_connections = 10000".

(dépend du vendeur de la base de données)

(org.quartz.dataSource.QRTZ_DS.maxConnections + hibernate.c3p0.max_size) x 1.2

Définit le nombre maximal de connexions simultanées accepté par le JobServer

Fichier de configuration du JobServer

conf/TalendJobServer.properties :

org.talend.remote.server.MultiSocketServer.

MAX_CONCURRENT_CONNECTIONS

1000

MAX_CONCURRENT_JOBS_EXECUTIONS x 2

Définition des variables
Variable Description

MAX_CONCURRENT_JOBS_EXECUTIONS

Nombre maximal attendu de Jobs exécutés simultanément sur le Talend JobServer

MAX_CONCURRENT_LOGGED_USERS

Nombre maximal attendu d'utilisateurs simultanément connectés (Talend Administration Center + Studio Talend) pour Talend Administration Center

MAX_CONCURRENT_PLAN_EXECUTIONS

Nombre maximal attendu d'exécutions simultanées de plans pour Talend Administration Center

MAX_CONCURRENT_TASK_EXECUTIONS

Nombre maximal attendu d'exécutions simultanées de tâches pour Talend Administration Center

Si les propriétés ne sont pas configurées correctement, cela peut conduire à des problèmes de performances.

Les propriétés suivantes ont une grande influence sur les performances et la consommation de mémoire. Les valeurs par défaut sont :

  • hibernate.c3p0.max_size=32
  • org.quartz.threadPool.threadCount = 30.
  • org.quartz.dataSource.QRTZ_DS.maxConnections = 30

Les valeurs par défaut fonctionnent si vous avez moins de 10 tâches qui s'exécutent en même temps.

Si vous avez plus de tâches, vous pouvez trouver le nombre org.quartz.threadPool.threadCount optimal en utilisant la formule suivante :

org.quartz.threadPool.threadCount = 3 x la quantité maximale de Jobs s'exécutant au même moment

Vous n'avez pas besoin de nombreux threads redondants, car chaque thread consomme de la mémoire.

Le nombre de connexions dépend de la rapidité avec laquelle Talend Administration Center interagit avec le serveur de la base de données et du nombre de Jobs s'exécutant en même temps.

Le nombre total de connexions à la base de données = org.quartz.threadPool.threadCount + hibernate.c3p0.max_size

Le nombre total de connexions aux bases de données ne peut dépasser le nombre configuré sur le serveur, par exemple 150 dans MySQL. Le nombre optimal peut également être calculé via la formule suivante :

org.quartz.dataSource.QRTZ_DS.maxConnections = 3 x la quantité maximale de Jobs s'exécutant au même moment

hibernate.c3p0.max_size= 3 x la quantité maximale de Jobs s'exécutant au même moment

Dans certains cas, si la connexion à la base de données n'a aucune latence, vous pouvez utiliser la formule suivante :

org.quartz.dataSource.QRTZ_DS.maxConnections = 2 x la quantité maximale de Jobs s'exécutant au même moment

hibernate.c3p0.max_size= 2 x la quantité maximale de Jobs s'exécutant au même moment

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.