Accéder au contenu principal Passer au contenu complémentaire

Configurer un Dynamic Engine (Moteur Dynamique) et un environnement de Dynamic Engine (Moteur Dynamique) dans Kubernetes

Fournissez l'un de vos clusters Kubernetes sur lequel déployer un Dynamic Engine (Moteur Dynamique) et son environnement ou ses environnements.

Pour terminer le déploiement, vous devez :
  1. créer les entités logiques pour le moteur et les environnements,
  2. attribuer des environnements au moteur,
  3. générer des fichiers manifestes pour le moteur, les environnements et leurs attributions,
  4. appliquer ces fichiers à votre cluster pour configurer les entités physiques correspondantes.
Diagramme d'un workflow Dynamic Engine (Moteur Dynamique), expliqué étape par étape dans les sections suivantes afin de configurer un écosystème Dynamic Engine (Moteur Dynamique).

Ajouter un Dynamic Engine (Moteur Dynamique)

Ajoutez une entité logique de Dynamic Engine (Moteur Dynamique) pour permettre le déploiement d'un Dynamic Engine (Moteur Dynamique) dans votre cluster Kubernetes.

Before you begin

Vous avez le rôle Infrastructure Administrator (contenant l'autorisation TMC_CLUSTER_MANAGEMENT) dans Talend Management Console.

Procedure

  1. Allez sur la page Processing (Traitement).
  2. Ouvrez l'onglet Dynamic Engine (Moteur Dynamique)s.
  3. Cliquez sur Add (Ajouter) Dynamic Engine (Moteur Dynamique).
  4. Saisissez un nom et une description.
    Le nom ne peut contenir que des caractères alphanumériques, les caractères -, . et _. Les espaces et autres caractères spéciaux ne sont pas autorisés.
  5. Cliquez sur Next (Suivant).
  6. Optional: La liste de tous les environnements de Dynamic Engine (Moteur Dynamique) disponibles s'affiche. Attribuez un environnement ou plusieurs environnements de cette liste ou effectuez cette opération pus tard dapuis l'onglet Dynamic Engine (Moteur Dynamique)s de la page Processing (Traitement).
  7. Cliquez sur Create (Créer) pour confirmer la création du Dynamic Engine (Moteur Dynamique).
    La boîte de dialogue de déploiement du Moteur Dynamique s'ouvre.
  8. Sélectionnez une version dans la liste Version.
    Par défaut, la dernière version est sélectionnée.

    Un ZIP contenant deux fichiers manifestes est généré. Vous pouvez l'appliquer sur votre cluster Kubernetes pour déployer le moteur dynamique. Vous n'avez pas besoin de télécharger ce fichier ZIP pour le moment.

    Créez et attribuez d'abord des environnements de Dynamic Engine (Moteur Dynamique). Cela vous permet de télécharger tous les fichiers manifestes d'un coup.

  9. Fermez la boîte de dialogue.

Results

Le statut de votre Dynamic Engine (Moteur Dynamique) est configuré à New (Nouveau).

Ajouter un environnement de Dynamic Engine (Moteur Dynamique)

Créez un environnement dédié à un Dynamic Engine (Moteur Dynamique).

Cet environnement peut être utilisé uniquement par des Dynamic Engine (Moteur Dynamique)s et ne peut être attribué qu'à un seul Dynamic Engine (Moteur Dynamique) à la fois.

Before you begin

Vous devez avoir le rôle Environment Administrator dans Talend Management Console.

Procedure

  1. Allez à la page Environments (Environnements).
  2. Ouvrez l'onglet Dynamic Engine (Moteur Dynamique) Environments (Environnements des Moteurs Dynamiques).
  3. Cliquez sur Add environment (Ajouter un environnement).
  4. Saisissez le nom de l'environnement.
    Le nom ne peut contenir que des caractères alphanumériques, les caractères -, # et _. Les espaces en début et fin de champ et les autres caractères spéciaux ne sont pas autorisés.
  5. Saisissez le nom du premier espace de travail dans le nouvel environnement.
    Les caractères autorisés sont les mêmes que pour le nom de l'environnement.
  6. Optional: Si vous souhaitez que le propriétaire de l'espace de travail soit un autre utilisateur ou utilisatrice, sélectionnez le nom d'utilisateur ou d'utilisatrice dans la liste déroulante.
  7. Saisissez une description.
  8. Cliquez sur Add (Ajouter) pour sauvegarder vos modifications.

Results

Le statut de l'environnement de votre Dynamic Engine (Moteur Dynamique) est configuré à Not assigned (Non attribué).

L'environnement est créé avec l'espace de travail spécifié.

Pour partager l'espace de travail, cliquez sur le nom de l'environnement puis sur l'icône Share workspace (Partager l'espace de travail) près du nom de l'espace de travail, dans l'onglet Workspaces (Espaces de travail).

Pour ajouter d'autres espaces de travail à ce nouvel environnement, cliquez sur le nom de l'environnement, puis sur Add workspace (Ajouter un espace de travail) dans l'onglet Workspaces (Espaces de travail).

What to do next

Vous êtes prêt·e à attribuer votre environnement à un moteur dynamique.

Attribuer un environnement à un Dynamic Engine (Moteur Dynamique)

Attribuez un environnement ou plusieurs environnements à un Moteur Dynamique. Les prochaines exécutions de tâches dans les environnements se dérouleront dans le Moteur Dynamique.

Attribuer un environnement à un moteur dynamique écrase les paramètres existants du moteur et du profil d'exécution pour cet environnement.

Vous pouvez attribuer un environnement ou plusieurs environnements à un Moteur Dynamique depuis l'onglet Dynamic Engines (Moteurs Dynamiques), directement depuis la liste ou le panneau. Vous pouvez également attribuer un environnement ou plusieurs environnements lors de la création d'un Moteur Dynamique.

Before you begin

  • Vous devez avoir le rôle Environment Administrator dans Talend Management Console.
  • Vous avez le rôle Infrastructure Administrator (TMC_CLUSTER_MANAGEMENT) pour attribuer des environnements de Moteurs Dynamiques à un Moteur Dynamique.

Procedure

  1. Allez sur la page Processing (Traitement).
  2. Ouvrez l'onglet Dynamic Engine (Moteur Dynamique)s.
  3. Placez votre curseur sur le nom du Moteur Dynamique auquel attribuer un environnement.
  4. Cliquez sur le bouton Assign environments (Attribuer des environnements) pour ouvrir la page d'attribution des environnements.Bouton Assign environments (Attribuer des environnements).
    Vous pouvez également cliquer sur le nom du Moteur Dynamique pour ouvrir le panneau des détails, puis cliquer sur le bouton Manage (Gérer).
  5. Dans la boîte de dialogue qui s'ouvre, sélectionnez un environnement ou plusieurs environnements dans la liste.
    Sélection des environnements de Moteurs Dynamiques.
  6. Cliquez sur Assign (Attribuer).
    Environnements attribués au Moteur Dynamique.
  7. Cliquez sur Download the manifest (Télécharger le manifeste) pour télécharger ce fichier manifeste dans un zip.

Results

Appliquez les fichiers manifestes pour déployer l'instance de Dynamic Engine (Moteur Dynamique) et son environnement.

Ne modifiez pas le contenu de ces fichiers manifestes. Seule la configuration par défaut dans les fichiers est supportée.

Déployer Dynamic Engine (Moteur Dynamique) et son environnement dans Kubernetes

Appliquez les fichiers manifestes pour le déploiement de l'écosystème Dynamic Engine (Moteur Dynamique).

Procédure

  1. Dézippez le fichier téléchargé.
  2. Dans votre terminal Kubernetes, exécutez les commandes suivantes dans l'ordre indiqué pour configurer l'instance de moteur dynamique : 
    1. kubectl apply -f custom-resource-definitions.yaml

      Ce fichier manifeste crée deux définitions personnalisées de ressources Kubernetes dans votre cluster : qlikruntimeinfras.qlik.com pour les ressources des moteurs dynamiques et qlikruntimes.qlik.com pour les ressources d'environnements des moteurs dynamiques.

    2. kubectl apply -f resources.yaml

      Ce fichier manifeste crée les ressources de moteur dynamique pour enregistrer votre cluster, déployer votre moteur dynamique et attribuer le moteur à son entité logique locale dans Talend Management Console. Ces ressources appartiennent au type (kind) QlikRuntimeInfra.

    3. Après la seconde exécution, exécutez la commande suivante afin de vérifier le déploiement :
      kubectl wait --for=condition=Available=true -n qlik-dynamic-engine deployment/engine-operator-dp --timeout 60s
      Après 60 secondes, si la réponse suivante s'affiche, elle confirme que le moteur a bien été déployé : 
      deployment.apps/engine-operator-dp condition met
      Dans la commande ci-dessus, qlik-dynamic-engine est l'espace de noms regroupant les services d'infrastructure et deployment/engine-operator-dp est la ressource de déploiement monitorée.
    Cela fait avec succès, le statut de l'entité logique du Dynamic Engine (Moteur Dynamique) dans Talend Management Console devient Active.
    Dynamic Engine (Moteur Dynamique) avec le statut Active.

    Si vous souhaitez connaître les éléments installés dans votre cluster Kubernetes, allez dans votre machine Kubernetes et exxécutez les commandes présentées dans cette documentation Kubernetes officielle.

  3. Exécutez la commande suivante pour configurer les environnements. Un seul environnement a été créé et attribué dans cet exemple. 
    kubectl apply -f resources-<environment_id>.yaml
    Note InformationsConseil :

    Si le moteur est associé à plusieurs environnements, cet ID est nécessaire pour distinguer le bon fichier.

    Deux méthodes sont disponibles pour trouver l'ID de l'environnement :
    • Dans Talend Management Console, ouvrez la page des détails de l'environnement à supprimer. L'ID est visible dans l'URL. Par exemple, dans cette URL :
      https://app.eu.cloud.talend.com/tmc/environments/dynamic-engine-environments/66f2c0bb3e063d3518122259/overview
      le segment 66f2c0bb3e063d3518122259 est l'ID d'environnement.
    • Exécutez la commande :
      kubectl get qlikruntime.qlik.com
      Elle retourne le nom de la ressource ou de l'espace de noms, ID compris. Par exemple, qlik-processing-env-66f2c0bb3e063d3518122259.
    Après l'exécution, exécutez la commande suivante afin de vérifier le déploiement :
    kubectl wait --for=condition=RUNNING=true --all qlikruntime --timeout 300s
    Durant 300 secondes, cette commande recherche toutes les ressources de type QlikRuntime. Si une réponse similaire à la réponse suivante s'affiche, cela confirme que l'environnement du moteur a bien été déployé : 
    qlikruntime.qlik.com/qlik-processing-env-66f2c0bb3e063d3518122259 condition met
    Dans cette réponse, le nom de la ressource monitorée est qlik-processing-env-664b0bbd6c6f5522732e055d. Le nom est également utilisé comme nom de l'espace de noms, regroupant tous les services associés à la ressource d'environnement de Dynamic Engine (Moteur Dynamique).
  4. Facultatif : Si vous n'avez pas obtenu la confirmation ci-dessus, le déploiement a rencontré une erreur ou plusieurs erreurs. Exécutez la commande suivante pour inspecter l'objet "serviceStatus" de la ressource d'environnement : 
    kubectl get qlikruntime qlik-processing-env-664b0bbd6c6f5522732e055d -o json | jq -r '.status'
    Dans cette commande, qlikruntime représente le type (kind) de ressources personnalisées dédiées aux environnements de Dynamic Engine (Moteur Dynamique) et, comme dans l'exemple précédent, qlik-processing-env-664b0bbd6c6f5522732e055d est le nom de la ressource et de l'espace de noms de l'environnement.
    • Le message suivant affiche un exemple d'erreur sur le service "di-job-deployer" de l'objet "serviceStatus". Son champ "jobErrorMessage" donne davantage de détails concernant l'erreur observée au cours du déploiement, indiquant que le diagramme helm attendu est introuvable.

      Certaines lignes ont été ignorées dans l'exemple suivant.

      {
  "conditions": [
    {
      "lastTransitionTime": "2024-05-30T13:05:25Z",
      "message": "Service is not deployed",
      "reason": "Deployment_not_found",
      "status": "True",
      "type": "NOT_DEPLOYED"
    }
  ],
  "serviceStatus": {
    ...
    "di-job-deployer": {
      "conditions": [
        ...
        {
          "lastTransitionTime": "2024-05-30T13:06:39Z",
          "message": "Service is in error",
          "reason": "Pod_failed",
          "status": "False",
          "type": "IN_ERROR"
        }
      ],
      "creationDate": "2024-05-30T13:05:25Z",
      "jobErrorMessage": "Error: release: not found\nUpgrading...\nupgrade 
      result: Release \"di-job-deployer-92d6e127-e070-4264-a9e8-00adbbbfbc03\" does not exist. 
      Installing it now.\nError: failed to download 
      ...
      \nError: failed to download 
      \"https://artifactory.datapwn.com/artifactory/tlnd-helm-ce-dev/dpe-di-job-deployer-2.0.0.tgz\
      "\nexit_code: 1\n",
      "jobStatus": "FAILED",
      "lastUpdateDate": "2024-05-30T13:01:52Z"
    },
      ...
    }
  }
}
      Dans cette situation, contactez le Support pour une étude du fichier manifeste de l'environnement de Dynamic Engine (Moteur Dynamique). Une fois informé, désattribuez l'environnement et réattribuez-le pour générer un nouveau fichier manifeste.

Résultats

Cela fait, les services d'environnement de Dynamic Engine (Moteur Dynamique) sont installés dans votre cluster et connectés au Dynamic Engine (Moteur Dynamique).

Dans Talend Management Console, le statut de cet environnement devient Ready (Prêt), confirmant qu'il est prêt à exécuter des tâches ou des plans.

Si l'implémentation du fichier manifeste échoue, ou si les services du Dynamic Engine (Moteur Dynamique) sont dissociés du Dynamic Engine (Moteur Dynamique), le statut devient Not ready (Pas prêt).

Que faire ensuite

Comme le Dynamic Engine (Moteur Dynamique) a bien été déployé dans votre cluster Kubernetes, connecté à Talend Management Console et associé à un environnement de Dynamic Engine (Moteur Dynamique), il est à présent prêt à exécuter des tâches ou des plans de Jobs, comme un moteur standard. Pour savoir comment ajouter la tâche à l'environnement du Dynamic Engine (Moteur Dynamique) pour exécution, consultez Ajouter des tâches à un environnement de Dynamic Engine (Moteur Dynamique).

Cette page vous a-t-elle aidé ?

Si vous rencontrez des problèmes sur cette page ou dans son contenu – une faute de frappe, une étape manquante ou une erreur technique – faites-le-nous savoir.

Laissez vos commentaires ici