Paramètres des cibles de stockage cloud

Vous pouvez modifier les paramètres de dépôt temporaire de lac de données par défaut en fonction de vos besoins.

Général

Méthode de mise à jour

Il existe deux modes de dépôt temporaire des données différents. Il est impossible de modifier le mode une fois la tâche de dépôt temporaire de lac de données préparée.

• Change Data Capture (CDC) : Les tâches de dépôt temporaire dans un lac de données démarrent avec un chargement complet (au cours duquel toutes les tables sélectionnées sont temporairement déposées). Les données temporairement déposées sont ensuite maintenues à jour via la technologie CDC (Change Data Capture).

  Note InformationsL'opération CDC (Change Data Capture) des opérations DDL n'est pas prise en charge.

  Lors de l'utilisation de Data Movement gateway, les modifications sont capturées auprès de la source quasiment en temps réel. Si vous travaillez sans Data Movement gateway, les modifications sont capturées en fonction des paramètres du planificateur. Pour plus d'informations, consultez Planification de tâches sans utiliser Data Movement gateway.

• Charger : effectue un chargement complet des données des tables sources sélectionnées dans la plate-forme cible et crée les tables cibles, si nécessaire. Le chargement complet s'effectue automatiquement lorsque la tâche démarre, mais il peut également être effectué manuellement ou planifié de sorte à se produire périodiquement, si nécessaire.

Dossier à utiliser

Sélectionnez une des options suivantes, suivant le dossier de compartiment dans lequel vous souhaitez écrire les fichiers :

• Dossier par défaut : Le format de dossier par défaut est <votre-nom-de-projet>/<votre-nom-de-tâche>.
• Dossier racine : Les fichiers seront directement écrits dans le compartiment.

• Dossier : Saisissez le nom de dossier. Le dossier sera créé lors de la tâche de dépôt temporaire de lac de données, s'il n'existe pas.

  Note Informations Le nom de dossier ne peut pas contenir de caractères spéciaux (par exemple, @, #, !, etc.).

Modifier la partition de données

Dans une tâche de dépôt temporaire standard, les modifications sont temporairement déposées dans la cible sans ordre particulier. L'option Modifier la partition de données permet de traiter les données de modification de nombreuses tables de manière cohérente. Vous pouvez définir la durée des partitions ainsi que l'heure de partition de base, garantissant ainsi la cohérence générale des données partitionnées (à savoir, pas de transactions partielles, pas d'en-têtes de tri sans lignes de tri, etc.).

Les informations sur les partitions sont enregistrées dans la table de contrôle attrep_cdc_partitions de la base de données cible. Vous pouvez utiliser ces informations pour identifier les données partitionnées à traiter davantage.

Les options de partitionnement sont les suivantes :

• Partition tou(te)s les - Spécifiez la longueur (en heures et en minutes) de chaque partition.

  Note Informations

  Il est recommandé de spécifier une longueur de partition de plus d'une heure. Même si la spécification d'une longueur de partition inférieure à une heure peut améliorer la latence, la création de nombreuses partitions dans la cible peut également impacter les performances (de la cible) (en particulier dans les systèmes avec de gros volumes de modifications).

  Si vous reprenez une tâche à un point PRÉCÉDANT le moment auquel la dernière partition a été créée, la tâche de dépôt temporaire de lac de données effectue l'écriture dans une partition qui a déjà été fermée.

• Heure de partition de base - Les partitions sont créées au cours d'une période de 24 heures, calculée en fonction de l'Heure de partition de base' spécifiée dans la base de données source (au format UTC). Par exemple, un intervalle de partition de 8 heures avec une valeur “Heure de partition de base” de 02h00 créera les partitions suivantes : 02h00-10h00, 10h00-18h00, 18h00-02h00, mais pas forcément dans cet ordre. Par exemple, si une tâche a démarré à 01h00, le cadre temporel de la première partition sera 18h00-02h00. De plus, si une tâche a démarré au milieu d'une partition (par ex., à 04h00), ses données de modification seront insérées dans la partition 02h00-10h00 (même si aucune modification n'a été capturée avant 04h00).

Chargement de données

Attributs de fichier

Délimiteur de champs

Délimiteur qui sera utilisé pour séparer les champs (colonnes) dans les fichiers cibles. Par défaut, il s'agit d'une virgule.

Exemple utilisant une virgule comme délimiteur :

"mike","male"

Les délimiteurs peuvent être des caractères standards ou une valeur hexadécimale (hex). Notez que le préfixe "0x" doit être utilisé pour indiquer un délimiteur hexadécimal (par ex., 0x01 = SOH). Dans les champs Délimiteur de champs, Délimiteur d'enregistrements et Valeur nulle, le délimiteur peut se composer de valeurs hex concaténées (par ex., 0x0102 = SOHSTX), tandis que dans les champs Guillemet et Caractère d'échappement de guillemet il doit s'agir d'une seule valeur hex.

Le nombre hexadécimal 0x00 n'est pas supporté (à savoir, seuls les nombres 0x01-0xFF sont supportés).

Valeur nulle

Chaîne qui sera utilisée pour indiquer une valeur nulle dans les fichiers cibles.

Exemple (où \n est le délimiteur d'enregistrements et @ la valeur nulle) :

Délimiteur d'enregistrements

Délimiteur qui sera utilisé pour séparer les enregistrements (lignes) dans les fichiers cibles. Le comportement par défaut est une nouvelle ligne (\n).

Exemple :

Caractère de guillemet

Caractère qui sera utilisé au début et à la fin d'une colonne de texte. La valeur par défaut est le caractère de guillemet double ("). Lorsqu'une colonne contenant des délimiteurs de colonnes est encadrée de guillemets doubles, les caractères de délimiteur de colonnes sont interprétés comme des données réelles et non comme des délimiteurs de colonnes.

Exemple (où @ est le caractère de guillemet) :

Caractère d'échappement de guillemet

Caractère utilisé pour échapper un caractère de guillemet dans les données réelles. La valeur par défaut est le caractère de guillemet double (").

Exemple (où " est le caractère de guillemet et \ le caractère d'échappement) :

Version de Parquet

Sélectionnez la version à utiliser en fonction de la version supportée par la plateforme cible. Note que Parquet version 1.0 supporte uniquement l'unité d'horodatage MICRO , tandis que Parquet version 2.6 supporte les unités d'horodatage MICRO et NANO.

Unité d'horodatage Parquet

Lorsque la version de Parquet est définie sur 2.6, sélectionnez MICRO ou NANO. Lorsque la version de Parquet est définie sur 1.0, seule l'unité MICRO est supportée.

Taille de LOB Parquet maximale (Ko)

La taille de LOB maximale par défaut est de 64 Ko et la valeur maximale que vous puissiez saisir dans ce champ est 10 000 Ko. Le traitement des colonnes de LOB nécessite davantage de ressources, ce qui, à son tour, a un impact sur les performances. Augmentez cette valeur uniquement si vous répliquez des données de LOB supérieures à 64 Ko et si vous devez répliquer l'ensemble des données de LOB dans la cible.

Taille de fichier maximale

Taille maximale d'un fichier avant sa fermeture (et, éventuellement, sa compression).

Taille maximale d'un fichier avant sa fermeture. Il se peut que des fichiers plus petits soient chargés plus rapidement (suivant le réseau) et améliorent les performances lors de l'utilisation en combinaison avec l'option d'exécution parallèle. Cependant, il est généralement déconseillé d'encombrer la base de données de petits fichiers.

Compresser les fichiers via

Sélectionnez une des options de compression pour compresser les fichiers cibles, ou NONE (Aucune) (la valeur par défaut) pour les laisser décompressés. Notez que les options de compression disponibles sont déterminées par le format de fichier sélectionné.

Ajouter un en-tête de métadonnées

Vous avez l'option d'ajouter une ligne d'en-tête aux fichiers de données. La ligne d'en-tête peut contenir les noms des colonnes sources et/ou les types de données intermédiaires (à savoir Qlik Talend Data Integration).

Exemple de fichier cible avec une ligne d'en-tête lorsque les deux options Avec des noms de colonne et Avec des types de données sont sélectionnées :

Position:DECIMAL(38,0),Color:VARCHAR(10)

1,"BLUE"

2,"BROWN"

3,"RED"

...

Modifier le traitement

Cette section décrit les paramètres conditionnels dans Traitement des modifications.

Appliquer/stocker les modifications lorsque

• La taille de fichier atteint : spécifiez la taille maximale de données de modification à accumuler avant le chargement du fichier dans la cible.
• Le temps écoulé atteint : le temps écoulé atteint x.

Fichiers de métadonnées

Lorsque l'option Créer des fichiers de métadonnées dans le dossier cible est sélectionnée, pour chaque fichier de données, un fichier de métadonnées correspondant avec une extension .dfm est créé sous le dossier cible spécifié. Les fichiers de métadonnées fournissent des informations supplémentaires sur la tâche/les données telles que le type de connecteur source, le nom de table source, le nombre d'enregistrements dans le fichier de données, etc.

Pour une description complète du fichier de métadonnées ainsi que des utilisations possibles, voir Description du fichier de métadonnées .

Métadonnées

Colonnes LOB

• Inclure les colonnes LOB et limiter la taille des colonnes à (Ko) :

  Vous pouvez choisir d'inclure des colonnes LOB dans la tâche et de définir la taille LOB maximale. Les LOB dépassant la taille maximale seront tronqués.

Tables de contrôle

Sélectionnez parmi les tables de contrôle suivantes celles que vous souhaitez créer sur la plateforme cible :

• État de réplication : Fournit des détails sur la tâche de dépôt temporaire active, notamment le statut de la tâche, la quantité de mémoire consommée par la tâche, le nombre de modifications non encore appliquées à la plateforme de données et la position dans la source de données à partir de laquelle les données sont actuellement lues.
• Tables suspendues : Fournit une liste de tables suspendues et la raison pour laquelle elles ont été suspendues.
• Historique des réplications : Fournit des informations sur l'historique de la tâche, notamment le nombre et le volume d'enregistrements traités lors d'une tâche de dépôt temporaire, la latence à la fin d'une tâche CDC, etc.
• Modifier les partitions de données : Fournit des enregistrements de partitions créées sur la base de données cible en raison du Modifier la partition de données. Vous pouvez utiliser ces informations pour identifier les données partitionnées à traiter davantage.

Pour une description détaillée de chacune des tables de contrôle, voir Tables de contrôle.

Chargement complet

Réglage des performances

• Nombre maximal de tables à charger en parallèle : saisissez le nombre maximal de tables à charger simultanément dans la cible. La valeur par défaut est 5.

• Délai d'expiration de la cohérence des transactions (secondes) : saisissez le nombre de secondes pendant lequel attend la clôture des transactions ouvertes avant de démarrer l'opération Chargement complet. La valeur par défaut est 600 (10 minutes). Le chargement complet démarrera après que la valeur de délai d'expiration est atteinte, même en cas de transactions encore ouvertes.

  Note InformationsPour répliquer des transactions ouvertes lors du démarrage de l'opération Chargement complet, mais validées uniquement après que la valeur du délai d'expiration a été atteinte, vous devez actualiser les tables cibles.
• Taux de commit lors du chargement complet : nombre maximal d'événements pouvant être transférés ensemble. La valeur par défaut est 10 000.

À la fin du chargement complet

Créer une clé primaire ou un index unique : sélectionnez cette option pour reporter la création de la clé primaire ou de l'index unique sur la plateforme de données à la fin du chargement complet.

Pour le chargement initial

Lors du déplacement de données depuis une source d'applications SaaS, vous pouvez définir la manière d'effectuer le chargement complet initial :

Traitement du stockage des modifications

Les colonnes d'en-tête de la table de modifications fournissent des informations sur l'opération Traitement des modifications telles que le type d'opération (par exemple, INSERT), l'heure de commit, etc. Si vous n'avez pas besoin de ces informations, vous pouvez configurer la tâche de données de sorte à créer les tables de modifications sans tout ou partie des colonnes d'en-tête, ce qui vous permet de réduire leur empreinte dans la base de données cible. Pour ce faire, décochez les cases des colonnes d'en-tête à exclure.

Notez que vous ne pouvez pas supprimer des colonnes supplémentaires ni restaurer des colonnes pendant l'exécution d'une tâche. Pour modifier votre sélection initiale, vous devez commencer par arrêter la tâche, puis modifier votre sélection et actualiser les tables cibles.

Pour une description des colonnes d'en-tête, consultez Utilisation de tables de modifications.

Traitement des erreurs

Erreurs de données

Erreurs de troncation de données

Pour les erreurs de troncation de données : Sélectionnez ce que vous souhaitez qu'il se passe en cas de troncation dans un ou plusieurs enregistrements spécifiques. Vous pouvez sélectionner un des comportements suivants dans la liste :

• Ignorer : La tâche se poursuit et l'erreur est ignorée.
• Suspendre la table : La tâche se poursuit, mais les données de la table comportant l'enregistrement d'erreur passent à l'état d'erreur et ne sont pas répliquées.
• Arrêter la tâche : La tâche est arrêtée et une intervention manuelle est requise.

Autres erreurs de données

Pour d'autres erreurs de données : Sélectionnez ce que vous souhaitez qu'il se passe en cas d'erreur dans un ou plusieurs enregistrements spécifiques. Vous pouvez sélectionner un des comportements suivants dans la liste :

• Ignorer : La tâche se poursuit et l'erreur est ignorée.
• Suspendre la table : La tâche se poursuit, mais les données de la table comportant l'enregistrement d'erreur passent à l'état d'erreur et ne sont pas répliquées.
• Arrêter la tâche : La tâche est arrêtée et une intervention manuelle est requise.

Remontée du traitement des erreurs de données

Remonter le traitement des erreurs lorsque d'autres erreurs de données atteignent (par table) : Cochez cette case pour faire remonter le traitement des erreurs lorsque le nombre d'erreurs de données hors troncation (par table) atteint la quantité spécifiée. Les valeurs valides vont de 1 à 10 000.

Action de remontée : Sélectionnez ce qui doit se produire en cas de remontée du traitement des erreurs. Notez que les actions disponibles dépendent de l'action sélectionnée dans la liste déroulante Pour d'autres erreurs de données décrite ci-dessus.

• Suspendre la table (par défaut) : La tâche se poursuit, mais les données de la table comportant l'enregistrement d'erreur passent à l'état d'erreur et ne font pas l'objet d'une tâche landed.

• Arrêter la tâche : La tâche est arrêtée et une intervention manuelle est requise.

Erreurs de table

En cas d'erreur de table : Sélectionnez un des comportements suivants dans la liste déroulante :

• Suspendre la table (par défaut) : La tâche se poursuit, mais les données de la table comportant l'enregistrement d'erreur passent à l'état d'erreur et ne sont pas répliquées.
• Arrêter la tâche : La tâche est arrêtée et une intervention manuelle est requise.

Remonter le traitement des erreurs lorsque les erreurs de table atteignent (par table) : Cochez cette case pour faire remonter le traitement des erreurs lorsque le nombre d'erreurs de table (par table) atteint la quantité spécifiée. Les valeurs valides vont de 1 à 10 000.

Action de remontée : La stratégie de remontée des erreurs de table est définie sur Arrêter la tâche et ne peut pas être modifiée.

Environnemental

• Nombre maximal de nouvelles tentatives : Sélectionnez cette option, puis spécifiez le nombre maximal de nouvelles tentatives d'exécution d'une tâche en cas d'erreur d'environnement récupérable. Une fois que l'exécution de la tâche a été tentée le nombre de fois spécifié, la tâche est arrêtée et une intervention manuelle est requise.

  Pour ne jamais retenter l'exécution d'une tâche, décochez la case ou spécifiez la valeur "0".

  Pour retenter l'exécution d'une tâche un nombre infini de fois, spécifiez la valeur "-1".

  • Intervalle entre les nouvelles tentatives (secondes) : Utilisez le compteur pour sélectionner une valeur ou saisissez le nombre de secondes pendant lequel le système attend entre les tentatives de réexécution d'une tâche.

    Les valeurs valides vont de 0 à 2 000.

• Augmenter l'intervalle de nouvelle tentative pour les longues interruptions : Cochez cette case pour augmenter l'intervalle de nouvelle tentative pour les longues interruptions. Lorsque cette option est activée, l'intervalle entre chaque nouvelle tentative et la suivante est multiplié par deux, jusqu'à atteindre l'Intervalle de nouvelle tentative maximal (et les tentatives se poursuivent conformément à l'intervalle maximal spécifié).
  • Intervalle de nouvelle tentative maximal (secondes) : Utilisez le compteur pour sélectionner une valeur ou saisissez le nombre de secondes d'attente entre les tentatives de réexécution d'une tâche lorsque l'option Augmenter l'intervalle de nouvelle tentative pour les longues interruptions est activée. Les valeurs valides vont de 0 à 2 000.

Modifier le réglage du traitement

Réglage du déchargement transactionnel

• Décharger les transactions en cours sur le disque si :

  Les données de transaction sont généralement conservées en mémoire jusqu'à ce qu'elles soient entièrement validées dans la source ou la cible. En revanche, les transactions dont la taille est supérieure à la mémoire allouée ou qui ne sont pas validées dans le délai spécifié seront déchargées sur le disque.

  • La taille de mémoire de transactions totale dépasse (Mo) : taille maximale que l'ensemble des transactions peuvent occuper en mémoire avant d'être déchargées du disque. La valeur par défaut est 1 024.
  • La durée des transactions dépasse (secondes) : durée maximale pendant laquelle chaque transaction peut rester en mémoire avant son déchargement sur le disque. La durée est calculée à partir du moment où la Qlik Talend Data Integration démarre la capture de la transaction. La valeur par défaut est 60.

Réglage des lots

• Nombre minimal de modifications par transaction : nombre minimal de modifications à inclure dans chaque transaction. La valeur par défaut est 1 000.

  Note Informations

  Les modifications seront appliquées à la cible SOIT lorsque le nombre de modifications est supérieur ou égal à la valeur Nombre minimal de modifications par transaction, SOIT lorsque la valeur Durée maximale de mise en lots des transactions avant application (secondes) décrite ci-dessous est atteinte - suivant la première occurrence. Étant donné que la fréquence des modifications appliquées à la cible est contrôlée par ces deux paramètres, il se peut que les modifications appliquées aux enregistrements sources ne soient pas immédiatement reflétées dans les enregistrements cibles.

• Durée maximale de mise en lots des transactions avant application (secondes) : durée de collecte maximale des transactions par lots avant la déclaration de l'expiration du délai. La valeur par défaut est 1.

Intervalle

Lire les modifications toutes les (minutes)

Définissez l'intervalle entre le relevé des modifications de la source en minutes. La plage valide est comprise entre 1 et 1 440.

Réglage divers

• Taille de cache des instructions (nombre d'instructions) : Nombre maximal d'instructions préparées à stocker sur le serveur pour une exécution ultérieure (lors de l'application des modifications à la cible). La valeur par défaut est 50. La valeur maximale est 200.

• DELETE et INSERT lors de la mise à jour d'une colonne de clé primaire : Cette option nécessite l'activation de la journalisation supplémentaire complète dans la base de données source.

Évolution du schéma

Substitution de caractère

Vous pouvez substituer ou supprimer des caractères sources dans la base de données cible et/ou vous pouvez substituer ou supprimer des caractères sources non pris en charge par un jeu de caractères sélectionné.

Substitution ou suppression de caractères sources

Utilisez la table Substituer ou supprimer des caractères sources pour définir les remplacements de caractères sources spécifiques. Cela peut s'avérer utile, par exemple, lorsque la représentation Unicode d'un caractère est différente sur les plates-formes source et cible. Par exemple, sous Linux, le caractère moins du jeu de caractères Shift_JIS est représenté par U+2212, alors que, sous Windows, il est représenté par U+FF0D.

Substitution ou suppression de caractères sources non pris en charge par le jeu de caractères sélectionné

Utilisez la table Caractères sources non pris en charge par jeu de caractères pour définir un seul caractère de remplacement pour tous les caractères non pris en charge par le jeu de caractères sélectionné.

Autres options

Ces options ne sont pas exposées dans l'IU, car elles s'appliquent uniquement à des versions ou des environnements spécifiques. Par conséquent, n'activez pas ces options, sauf si Qlik Support ou la documentation produits vous le demande explicitement.

Pour activer une option, il suffit de la copier dans le champ Ajouter un nom de fonction et de cliquer sur Ajouter. Définissez ensuite la valeur ou activez l'option en fonction des instructions que vous avez reçues.

Planification de tâches sans utiliser Data Movement gateway

Data Movement gateway n'est pas supporté avec un abonnement Démarreur Qlik Talend Cloud et est en option avec d'autres niveaux d'abonnement. Si vous travaillez sans Data Movement gateway, l'opération CDC (Change Data Capture) quasiment en temps réel n'est pas supportée. Vous maintenez les données cibles à jour en définissant un intervalle de planification. La planification détermine la fréquence à laquelle les jeux de données cibles seront mis à jour en fonction des modifications apportées aux jeux de données sources. Alors que la planification détermine la fréquence de mise à jour, le type du jeu de données détermine la méthode de mise à jour. Si les ensembles de données sources supportent CDC (Change Data Capture), seules les modifications apportées aux données sources seront répliquées et appliquées aux tables cibles correspondantes. Si les ensembles de données sources ne supportent pas CDC (par exemple, les Vues), les modifications seront appliquées via l'actualisation de l'ensemble des données sources dans les tables cibles correspondantes. Si certains des ensembles de données sources supportent CDC et d'autres non, deux sous-tâches distinctes seront créées (en supposant que la méthode de mise à jour Change Data Capture (CDC) soit sélectionnée) : l'une pour actualiser les ensembles de données qui ne supportent pas CDC et l'autre pour capturer les modifications apportées aux ensembles de données qui supportent CDC. Dans ce cas, pour garantir la cohérence des données, il est vivement conseillé de définir la même planification pour les deux sous-tâches.

Pour modifier la planification :

1. Ouvrez votre projet de données, puis effectuez l'une des opérations suivantes :

   • Dans la vue Tâches, cliquez sur sur une tâche de données et sélectionnez Planification.
   • Dans la vue Pipeline, cliquez sur sur une tâche de données et sélectionnez Planification.
   • Ouvrez la tâche de réplication et cliquez sur le bouton de barre d'outils Planification.
2. Modifiez les paramètres de planification selon les besoins et cliquez sur OK.