Prérequis à l'utilisation de Dynamic Engine
Autorisations d'accès à Talend Management Console et à Dynamic Engine
- Vous avez le rôle Infrastructure Administrator (contenant l'autorisation TMC_CLUSTER_MANAGEMENT) pour accéder à l'onglet Dynamic Engine dans Talend Management Console.
- Vous avez le rôle Environment Administrator (contenant l'autorisation TMC_ENVIRONMENT_MANAGEMENT) pour accéder à l'onglet Dynamic Engine.
Spécifications relatives à Kubernetes
- Si vous n'avez pas encore de cluster Kubernetes, créez-en un localement ou sur une plateforme Cloud, comme AWS ou Azure.
- Les nœuds worker Kubernetes doivent s'exécuter sur une architecture linux_x86_64, une architecture de processeur x86-64 (64 bits) s'exécutant sur un système d'exploitation Linux. Ce prérequis signifie que :
- les architectures de processeur basées ARM ne sont pas supportées,
- Windows Server n'est pas supporté, seul les systèmes Linux sont compatibles.
- Les nœuds worker Kubernetes doivent s'exécuter sur une architecture linux_x86_64, une architecture de processeur x86-64 (64 bits) s'exécutant sur un système d'exploitation Linux. Ce prérequis signifie que :
- Le cluster Kubernetes doit avoir l'une des versions suivantes :
- Vous devez avoir un rôle d'administration de votre cluster Kubernetes. Cela vous assure d'avoir les droits suffisants pour déployer et gérer Dynamic Engine dans ce cluster.
- Prérequis minimaux pour le cluster Kubernetes :
- Taille de l'instance : 16 Go de mémoire et 4 vCPU
- Nombre de nœuds : 3
- Taille de disque : 20 Go (y compris 2 Go minimum pour l'exécution du moteur et l'espace pour les artefacts de Jobs déployés)
Cela nécessite la disponibilité d'un fournisseur d'interface de stockage des conteneurs (CSI) et d'une classe de stockage configurée correspondante. Ce fournisseur d'interface de stockage des conteneurs (CSI) et de la classe de stockage permet à votre cluster Kubernetes de fournir un stockage persistant accessible depuis n'importe quel nœud (mode ReadWriteMany de Kubernetes).
-
Les fournisseurs d'interface de stockage des conteneurs (CSI) supportés sont :
- Amazon EFS. Pour plus d'informations concernant le montage de ce stockage persistant, consultez Pilote CSI Amazon EFS.
- Azure Files. Pour plus d'informations, consultez Créer et utiliser un volume avec Azure Files dans Azure Kubernetes Service (AKS).
- Si vous ne pouvez utiliser aucun des fournisseurs ci-dessus, installez Longhorn, un système de stockage de blocs distribué pour Kubernetes, dans votre cluster. Avec Longhorn, la taille minimale de disque requise est de 100 Go. Pour plus d'informations concernant l'installation de Longhorn, consultez (Facultatif) Configurer une solution de stockage Longhorn pour votre cluster Kubernetes.
- Pour minikube uniquement : Local Path Provisioner (en anglais).
Notez que pour tout fournisseur d'interface de stockage des conteneurs (CSI), lorsque vous configurez la classe de stockage, vous pouvez utiliser la classe de stockage Kubernetes ou choisir une classe de stockage spécifiquement pour Dynamic Engine :- Pour utiliser celle par défaut, ajoutez l'annotation suivante :Cette annotation assure que la classe de stockage configurée est bien celle par défaut dans le cluster Kubernetes. Ainsi, lorsqu'un volume persistant est requis, sans spécification d'une classe de stockage, Kubernetes utilise automatiquement cette classe de stockage par défaut.
apiVersion: storage.k8s.io/v1 kind: StorageClass metadata: annotations: storageclass.kubernetes.io/is-default-class: "true"
Pour utiliser une classe de stockage spécifique pour Dynamic Engine, consultez Provisionner une classe de stockage dédiée aux services d'environnements du Dynamic Engine.
Note InformationsConseil : Même s'ils ne sont pas officiellement supportés, les autres fournisseurs de Cloud, comme Google Cloud, Digital Ocean ou Open Shift, devraient fonctionner aussi bien que les fournisseurs supportés, car ils utilisent des distributions Kubernetes standards.
URL DNS à ajouter à la liste d'autorisation de votre proxy ou pare-feu
Région : Centre de données AWS Asie-Pacifique
Le port pour toutes ces URL est 443. Leur trafic est sortant.
URL Utilisée par Objectif Niveau de prérequis https://api.ap.cloud.talend.com/processing/runtimes/dynamic-engines Dynamic Engine Statut de la connectivité Requis https://pair.ap.cloud.talend.com Dynamic Engine Envoyer la demande d'appairage initial, ainsi que les pulsations
Requis https://engine.ap.cloud.talend.com or wss://engine.ap.cloud.talend.com
Dynamic Engine Exécutions de tâches de pipelines Requis https://vault-gateway.ap.cloud.talend.com Dynamic Engine Déchiffrer des secrets utilisés dans les exécutions de tâches de pipelines Requis https://msg.ap.cloud.talend.com Dynamic Engine Exécutions de tâches de Jobs d'intégration de données Requis https://minio-artifacts.ap.cloud.talend.com Dynamic Engine Exécutions de tâches de Jobs d'intégration de données Requis https://minio-customerlogs.ap.cloud.talend.com Dynamic Engine Exécutions de tâches de Jobs d'intégration de données Requis ghcr.io
et
docker.io
Dynamic Engine Fournir des images Docker Requis *.talend.github.io
Dynamic Engine Fournir des charts Helm Requis Région : Centre de données AWS Australie
Le port pour toutes ces URL est 443. Leur trafic est sortant.
URL Utilisée par Objectif Niveau de prérequis https://api.au.cloud.talend.com/processing/runtimes/dynamic-engines Dynamic Engine Statut de la connectivité Requis https://pair.au.cloud.talend.com Dynamic Engine Envoyer la demande d'appairage initial, ainsi que les pulsations
Requis https://engine.au.cloud.talend.com or wss://engine.au.cloud.talend.com
Dynamic Engine Exécutions de tâches de pipelines Requis https://vault-gateway.au.cloud.talend.com Dynamic Engine Déchiffrer des secrets utilisés dans les exécutions de tâches de pipelines Requis https://msg.au.cloud.talend.com Dynamic Engine Exécutions de tâches de Jobs d'intégration de données Requis https://minio-artifacts.au.cloud.talend.com Dynamic Engine Exécutions de tâches de Jobs d'intégration de données Requis https://minio-customerlogs.au.cloud.talend.com Dynamic Engine Exécutions de tâches de Jobs d'intégration de données Requis ghcr.io
et
docker.io
Dynamic Engine Fournir des images Docker Requis *.talend.github.io
Dynamic Engine Fournir des charts Helm Requis Région : Centre de données AWS Europe
Le port pour toutes ces URL est 443. Leur trafic est sortant.
URL Utilisée par Objectif Niveau de prérequis https://api.eu.cloud.talend.com/processing/runtimes/dynamic-engines Dynamic Engine Statut de la connectivité Requis https://pair.eu.cloud.talend.com Dynamic Engine Envoyer la demande d'appairage initial, ainsi que les pulsations
Requis https://engine.eu.cloud.talend.com ou wss://engine.eu.cloud.talend.com
Dynamic Engine Exécutions de tâches de pipelines Requis https://vault-gateway.eu.cloud.talend.com Dynamic Engine Déchiffrer des secrets utilisés dans les exécutions de tâches de pipelines Requis https://msg.eu.cloud.talend.com Dynamic Engine Exécutions de tâches de Jobs d'intégration de données Requis https://minio-artifacts.eu.cloud.talend.com Dynamic Engine Exécutions de tâches de Jobs d'intégration de données Requis https://minio-customerlogs.eu.cloud.talend.com Dynamic Engine Exécutions de tâches de Jobs d'intégration de données Requis ghcr.io
et
docker.io
Dynamic Engine Fournir des images Docker Requis *.talend.github.io
Dynamic Engine Fournir des charts Helm Requis Région : Centre de données AWS États-Unis
Le port pour toutes ces URL est 443. Leur trafic est sortant.
URL Utilisée par Objectif Niveau de prérequis https://api.us.cloud.talend.com/processing/runtimes/dynamic-engines Dynamic Engine Statut de la connectivité Requis https://pair.us.cloud.talend.com Dynamic Engine Envoyer la demande d'appairage initial, ainsi que les pulsations
Requis https://engine.us.cloud.talend.com ou wss://engine.us.cloud.talend.com
Dynamic Engine Exécutions de tâches de pipelines Requis https://vault-gateway.us.cloud.talend.com Dynamic Engine Déchiffrer des secrets utilisés dans les exécutions de tâches de pipelines Requis https://msg.us.cloud.talend.com Dynamic Engine Exécutions de tâches de Jobs d'intégration de données Requis https://minio-artifacts.us.cloud.talend.com Dynamic Engine Exécutions de tâches de Jobs d'intégration de données Requis https://minio-customerlogs.us.cloud.talend.com Dynamic Engine Exécutions de tâches de Jobs d'intégration de données Requis ghcr.io
et
docker.io
Dynamic Engine Fournir des images Docker Requis *.talend.github.io
Dynamic Engine Fournir des charts Helm Requis Région : Centre de données Azure US West
Le port pour toutes ces URL est 443. Leur trafic est sortant.
URL Utilisée par Objectif Niveau de prérequis https://api.us-west.cloud.talend.com/processing/runtimes/dynamic-engines Dynamic Engine Statut de la connectivité Requis https://pair.us-west.cloud.talend.com Dynamic Engine Envoyer la demande d'appairage initial, ainsi que les pulsations
Requis https://engine.us-west.cloud.talend.com
ou
wss://engine.us-west.cloud.talend.com
Dynamic Engine Exécutions de tâches de pipelines Requis https://vault-gateway.us-west.cloud.talend.com Dynamic Engine Déchiffrer des secrets utilisés dans les exécutions de tâches de pipelines Requis https://msg.us-west.cloud.talend.com Dynamic Engine Exécutions de tâches de Jobs d'intégration de données Requis https://minio-artifacts.us-west.cloud.talend.com Dynamic Engine Exécutions de tâches de Jobs d'intégration de données Requis https://minio-customerlogs.us-west.cloud.talend.com Dynamic Engine Exécutions de tâches de Jobs d'intégration de données Requis ghcr.io
et
docker.io
Dynamic Engine Fournir des images Docker Requis *.talend.github.io
Dynamic Engine Fournir des charts Helm Requis