Dépôt temporaire de données dans un lac de données

Vous pouvez configurer une tâche Déposer temporairement les données dans un lac de données pour déposer temporairement des données dans les cibles suivantes :

• Amazon S3

  Pour savoir comment configurer une connexion à Amazon S3, voir Amazon S3.

• Azure Data Lake Storage

  Pour savoir comment configurer une connexion à Azure Data Lake Storage, voir Azure Data Lake Storage.

• Google Cloud Storage

  Pour savoir comment configurer une connexion à Google Cloud Storage, voir Google Cloud Storage.

Pour des informations sur la configuration de connexions à vos sources de données, voir Connexion aux sources de données.

Pour configurer une tâche de dépôt temporaire de lac de données :

1. Cliquez sur le bouton Ajouter nouveau dans le coin supérieur droit, puis sélectionnez Créer un projet de données dans le menu déroulant.

2. Dans la boîte de dialogue Nouveau projet de données, procédez comme suit :

   1. Donnez un Nom à votre projet.

   2. Sélectionnez l'Espace dans lequel vous souhaitez créer le projet.
   3. Vous pouvez éventuellement saisir une Description.
   4. Sélectionnez Replicate comme Cas d'utilisation.
   5. Vous pouvez décocher la case Ouvrir si vous souhaitez créer un projet vide sans configurer aucun paramètre.

   6. Cliquez sur Créer.

      Il se produit une des choses suivantes :

      • Si la case Ouvrir de la boîte de dialogue Nouveau projet de données était cochée (par défaut), le projet s'ouvre.
      • Si vous avez décochez la case Ouvrir de la boîte de dialogue Nouveau projet de données, le projet est ajouté à votre liste de projets. Vous pourrez ouvrir le projet ultérieurement en sélectionnant Ouvrir dans le menu du projet.

3. Une fois le projet ouvert, cliquez sur Déposer temporairement les données dans un lac de données.

   L'assistant Déposer temporairement les données dans un lac de données s'ouvre.

4. Dans l'onglet Général, spécifiez un nom et une description pour la tâche de dépôt temporaire de lac de données. Cliquez ensuite sur Suivant.

   Note InformationsLes noms contenant une barre oblique (/) ou une barre oblique inversée (\) ne sont pas pris en charge.

5. Dans l'onglet Sélectionner une connexion source, sélectionnez une connexion aux données sources. Vous pouvez éventuellement éditer les paramètres de connexion en sélectionnant Éditer dans le menu dans la colonne Actions.

   Si vous n'avez pas encore de connexion de données aux données sources, vous devez commencer par en créer une en cliquant sur Créer une connexion dans le coin supérieur droit de l'onglet.

   Vous pouvez filtrer la liste de connexions via les filtres à gauche. Il est possible de filtrer les connexions en fonction du type de source, de la passerelle, de l'espace et du propriétaire. Le bouton Tous les filtres au-dessus de la liste de connexions affiche le nombre de filtres en cours. Vous pouvez utiliser ce bouton pour fermer ou ouvrir le panneau Filtres à gauche. Les filtres actuellement actifs sont également indiqués au-dessus de la liste de connexions de données disponibles.

   Vous pouvez également trier la liste en sélectionnant Dernière modification, Dernière création ou Alphabétiquedans la liste déroulante à droite. Cliquez sur la flèche à droite de la liste pour modifier l'ordre de tri.

   Une fois que vous avez sélectionnez une connexion de source de données, vous pouvez cliquer sur Tester la connexion dans le coin supérieur droit de l'onglet (recommandé), puis cliquez sur Suivant.

6. Dans l'onglet Sélectionner des ensembles de données, sélectionnez des tables et/ou des vues à inclure dans la tâche de dépôt temporaire de lac de données. Vous pouvez également utiliser des caractères génériques et créer des règles de sélection, comme décrit à la section Sélection de données à partir d'une base de données.

   Note InformationsLes noms de schéma ou les noms de table contenant une barre oblique (/) ou une barre oblique inversée (\) ne sont pas pris en charge.

7. Dans l'onglet Sélectionner une connexion cible, sélectionnez une cible dans la liste de connexions disponibles, puis cliquez sur Suivant. En termes de fonctionnalités, l'onglet est identique à l'onglet Sélectionner une connexion source décrit précédemment.

8. Dans l'onglet Paramètres, vous pouvez modifier les paramètres suivants, puis cliquez sur Suivant.

   Méthode de mise à jour :

   • Change Data Capture (CDC) : les tâches de dépôt temporaire de lac de données démarrent avec un chargement complet (au cours duquel toutes les tables sélectionnées sont temporairement déposées). Les données temporairement déposées sont ensuite maintenues à jour via la technologie CDC (Change Data Capture).

     Note InformationsL'opération CDC (Change Data Capture) des opérations DDL n'est pas prise en charge.
   • Charger : effectue un chargement complet des données des tables sources sélectionnées dans la plate-forme cible et crée les tables cibles, si nécessaire. Le chargement complet s'effectue automatiquement lorsque la tâche démarre, mais il peut également être effectué manuellement ou planifié de sorte à se produire périodiquement, si nécessaire.

   Si vous sélectionnez Change Data Capture (CDC) et si vos données contiennent également des tables qui ne prennent pas en charge CDC, ou des vues, deux pipelines de données seront créés. Un pipeline avec l'ensemble des tables prenant en charge CDC, et un autre pipeline avec l'ensemble des autres tables et vues utilisant Charger.

   Dossier à utiliser :

   Sélectionnez une des options suivantes, suivant le dossier de compartiment dans lequel vous souhaitez écrire les fichiers :

   • Dossier par défaut : Le format de dossier par défaut est <votre-nom-de-projet>/<votre-nom-de-tâche>.
   • Dossier racine : Les fichiers seront directement écrits dans le compartiment.

   • Dossier : Saisissez le nom de dossier. Le dossier sera créé lors de la tâche de dépôt temporaire de lac de données, s'il n'existe pas.

     Note Informations Le nom de dossier ne peut pas contenir de caractères spéciaux (par exemple, @, #, !, etc.).

9. L'onglet Récapitulatif affiche visuellement le pipeline de données. Décidez si vous souhaitez Ouvrir la tâche <nom> ou Ne rien faire. Cliquez ensuite sur Créer.

   Suivant votre sélection, la tâche s'ouvre ou une liste de projets apparaît.

10. Si vous avez décidé d'ouvrir la tâche, l'onglet Ensembles de données indique la structure et les métadonnées des tables d'ensembles de données sélectionnées. Sont concernées toutes les tables répertoriées de manière explicite ainsi que les tables correspondant aux règles de sélection.

    Si vous souhaitez ajouter d'autres tables provenant de la source de données, cliquez sur Sélectionner des données sources.

11. Vous pouvez éventuellement modifier les paramètres de tâche comme décrit à la section Paramètres de dépôt temporaire dans un lac de données.

12. Vous pouvez effectuer des transformations sur les ensembles de données, filtrer des données ou ajouter des colonnes.

    Pour plus d'informations, voir Gestion des ensembles de données.

13. Lorsque vous avez ajouté les transformations souhaitées, vous pouvez valider les ensembles de données en cliquant sur Valider les ensembles de données. Si la validation échoue, corrigez les erreurs avant de poursuivre.

    Pour plus d'informations, voir Validation et ajustement des ensembles de données.

14. Lorsque vous êtes prêt, cliquez sur Préparer pour cataloguer la tâche de dépôt temporaire et la préparer pour l'exécution.

15. Lorsque la tâche de données a été préparée, cliquez sur Exécuter.

16. La tâche de dépôt temporaire de lac de données devrait maintenant démarrer. Vous pouvez surveiller sa progression dans la vue Surveiller. Pour plus d'informations, voir Surveillance d'une tâche de données individuelle

Définition de la priorité de chargement des ensembles de données

Vous pouvez contrôler l'ordre de chargement des ensembles de données de votre tâche de données en attribuant une priorité de chargement à chaque ensemble de données. Cela peut être utile, par exemple, si vous souhaitez charger les ensembles de données plus petits avant les grands.

1. Cliquez sur Priorité de chargement.

2. Sélectionnez une priorité de chargement pour chaque ensemble de données.

   La priorité de chargement par défaut est Normale. Les ensembles de données seront chargés dans l'ordre de priorité suivant :

   • La plus élevée

   • Plus élevée

   • Élevée

   • Normale

   • Faible

   • Plus faible

   • La plus faible

   Les ensembles de données ayant la même priorité ne sont pas chargés dans un ordre particulier.

3. Cliquez sur OK.