Paramètres des tâches de réplication de données

Vous pouvez configurer les paramètres de la tâche de réplication de données.

• Ouvrez la tâche de réplication et cliquez sur Paramètres dans la barre d'outils.

La boîte de dialogue Paramètres : <Nom-de-tâche> s'ouvre. Les paramètres disponibles sont décrits ci-dessous.

Général

Dans cet onglet, vous pouvez modifier le mode de réplication, les paramètres intermédiaires (le cas échéant) et le mode d'application des modifications à la cible.

Mode de réplication

Les modes de réplication suivants sont disponibles :

• Chargement complet : Charge les données des tables sources sélectionnées dans la plate-forme cible et crée les tables cibles, si nécessaire. Le chargement complet s'effectue automatiquement lorsque la tâche démarre, mais il peut également être effectué manuellement, si nécessaire.

• Appliquer les modifications : Maintient les tables cibles à jour en y ajoutant toutes les modifications apportées aux tables sources.

• Stocker les modifications : Stocke les modifications apportées aux tables sources dans les tables de modifications (une par table source).

  Pour plus d'informations, consultez Stocker les modifications.

Lors de l'utilisation de Data Movement gateway, les modifications sont capturées auprès de la source quasiment en temps réel. Si vous travaillez sans Data Movement gateway (par exemple, avec un abonnement Démarreur Qlik Talend Cloud ou si vous sélectionnez Aucune), les modifications sont capturées en fonction des paramètres du planificateur. Pour plus d'informations, consultez Planification de tâches sans utiliser Data Movement gateway.

Si vous sélectionnez Stocker les modifications ou Appliquer les modifications et si votre source de données contient des tables qui ne prennent pas en charge CDC, ou des vues, deux pipelines de données seront créés. Un pipeline pour les tables prenant en charge CDC, et un autre pipeline pour l'ensemble des autres tables et vues prenant en charge uniquement Chargement complet.

Connexion à une zone intermédiaire

Lors de la réplication dans les entrepôts de données répertoriés ci-dessous, vous devez définir une zone intermédiaire. Les données sont traitées et préparées dans la zone intermédiaire avant d'être transférées à l'entrepôt.

• Amazon Redshift
• Microsoft Fabric
• Databricks

Sélectionnez une zone intermédiaire existante ou cliquez sur Créer nouveau pour définir une nouvelle zone intermédiaire et suivez les instructions à la section Connexion au stockage cloud.

Pour modifier les paramètres de connexion, cliquez sur Modifier. Pour tester la connexion (recommandé), cliquez sur Tester la connexion.

Pour des informations sur les zones intermédiaires supportées avec tel ou tel entrepôt de données, consultez la colonne Supporté comme zone intermédiaire à la section Cas d'utilisation des plateformes cibles et versions supportées.

Mode d'application des modifications

Les modifications sont appliquées aux tables cibles via l'une des méthodes suivantes :

• Lot optimisé : Il s'agit de la valeur par défaut. Lorsque cette option est sélectionnée, les modifications sont appliquées par lots. Une action de prétraitement s'effectue pour regrouper les transactions par lots de la manière la plus efficace.
• Transactionnel : Sélectionnez cette option pour appliquer chaque transaction individuellement, dans leur ordre de validation. Dans ce cas, une stricte intégrité référentielle est garantie pour toutes les tables.

Chargement de données

Taille de fichier maximale

Taille maximale d'un fichier avant sa fermeture. Il se peut que des fichiers plus petits soient chargés plus rapidement (suivant le réseau) et améliorent les performances lors de l'utilisation en combinaison avec l'option d'exécution parallèle. Cependant, il est généralement déconseillé d'encombrer la base de données de petits fichiers.

Métadonnées

Basique

• Schéma de table cible : Schéma de la cible dans laquelle les tables sources seront répliquées si vous ne souhaitez pas utiliser le schéma de table source (ou en l'absence de schéma dans la base de données source).

  Note InformationsLors de la réplication vers une cible Oracle, le schéma de table cible par défaut est « system ». Notez également qui si vous laissez ce champ vide (auquel cas le schéma source sera utilisé), vous devez vous assurer que le schéma source existe déjà dans la cible. Sinon, la tâche échouera.
  Note InformationsLa longueur maximale autorisée, pour le nom de schéma, est de 128 caractères.

Paramètres de LOB

Les paramètres de LOB disponibles varient suivant la cible de réplication sélectionnée. Étant donné que les cibles de type entrepôt de données ne supportent pas les tailles de colonne de LOB illimitées, cette option ne sera pas disponible lors de la réplication dans un entrepôt de données.

Paramètres de LOB de cibles qui ne sont pas des entrepôts de données

• Ne pas inclure les colonnes de LOB : Sélectionnez cette option si vous ne souhaitez pas répliquer les colonnes de LOB sources.

• Limiter la taille des colonnes LOB à (Ko) : Il s'agit de l'option par défaut. Sélectionnez cette option si vous avez besoin de répliquer uniquement de petits LOB ou si la plateforme cible ne prend pas en charge la taille de LOB illimitée. La valeur maximale autorisée, pour ce champ, est de 102 400 Ko (100 Mo).

  Lors de la réplication de petits LOB, cette option est plus efficace que l'option Ne pas limiter la taille des colonnes LOB, car les LOB sont répliqués "inline" et non via une recherche "lookup" depuis la source. Lors du traitement des modifications, les petits LOB sont généralement répliqués via une recherche "lookup" depuis la source.

  La limite s'applique au nombre d'octets de LOB qui est lu à partir du point de terminaison source. Pour les colonnes BLOB, la taille de BLOB cible correspondra exactement à la limite spécifiée. Pour les colonnes CLOB et NCLOB, la taille de LOB cible peut différer de la limite spécifiée si le LOB source et le LOB cible n'ont pas le même jeu de caractères. Dans ce cas, la tâche de données effectuera une conversion de jeu de caractères, ce qui pourrait entraîner une différence entre les tailles des LOB source et cible.

  Étant donné que la valeur de l'option Limiter la taille de LOB est exprimée en octets, la taille doit être calculée conformément aux formules suivantes :

  • BLOB : longueur du plus grand LOB.
  • NCLOB : Longueur du plus long TEXTE en caractères multipliés par deux (car chaque caractère est traité comme un double octet). Si les données incluent des caractères à 4 octets, multipliez-les par quatre.
  • CLOB : Longueur du plus long TEXTE en caractères (car chaque caractère est traité comme un caractère UTF8). Si les données incluent des caractères à 4 octets, multipliez-les par deux.
  Note Informations

  • Tout LOB supérieur à la taille spécifiée sera tronqué.
  • Lors du traitement des modifications depuis une source Oracle, les BLOB inline sont répliqués inline.
  • Les modifications apportées à ce paramètre affecteront uniquement les tables existantes après leur actualisation.

• Ne pas limiter la taille des colonnes LOB : Lorsque cette option est sélectionnée, les colonnes de LOB sont répliquées, quelle que soit leur taille.

  Note InformationsLa réplication des colonnes de LOB peut avoir un impact sur les performances. Cela s'avère particulièrement vrai en cas de colonnes de LOB volumineuses nécessitant que la tâche de réplication effectue une recherche (lookup) depuis la table source pour récupérer la valeur de LOB source.

  • Optimiser lorsque la taille de LOB est inférieure à : Sélectionnez cette option si vous devez répliquer des LOB de petite et de grande tailles et si la plupart des LOB sont de petite taille.

    Note Informations

    Cette option est supportée uniquement avec les sources et cibles suivantes :

    • Sources : Oracle, Microsoft SQL server, MySQL, PostgreSQL et IBM DB2 for LUW

    • Cibles : Oracle, Microsoft SQL Server, MySQL, PostgreSQL.

    Lorsque cette option est sélectionnée, lors du processus Chargement complet, les petits LOB sont répliqués « inline » (ce qui s'avère plus efficace) et les grands LOB sont répliqués via une recherche « lookup » depuis la table source. En revanche, lors du traitement des modifications, les LOB, petits et grands, sont répliqués via une recherche "lookup" depuis la table source.

    Note Informations

    Lorsque cette option est sélectionnée, la tâche de réplication vérifie toutes les tailles de LOB pour déterminer ceux à transférer « inline ». Les LOB dont la taille est supérieure à la taille spécifiée sont répliqués en mode LOB complet.

    Par conséquent, si vous savez que la plupart des LOB sont plus volumineux que le paramètre spécifié, il est préférable d'utiliser l'option Répliquer les colonnes de LOB illimitées .

  • Taille de bloc (Ko) : Vous pouvez éventuellement modifier la taille des blocs de LOB lors de la réplication des données dans la cible. La taille de bloc par défaut devrait suffire, dans la plupart des cas, mais, si vous rencontrez des problèmes de performances, l'ajustement de la taille peut aider à les résoudre.

    Note Informations

    Avec certaines bases de données, la validation du type de données a lieu lors de l'insertion ou de la mise à jour des données. Dans de tels cas, la réplication de types de données structurés (par ex., XML, JSON, GEOGRAPHY, etc.) risque d'échouer, si les données sont plus volumineuses que la taille de bloc spécifiée.

Paramètres de LOB des cibles de type entrepôt de données supportées

• Inclure les colonnes LOB et limiter la taille des colonnes à (Ko) :

  Vous pouvez choisir d'inclure des colonnes LOB dans la tâche et de définir la taille LOB maximale. Les LOB dépassant la taille maximale seront tronqués.

Avancé

Paramètres des tables de contrôle

• Schéma des tables de contrôle : Spécifiez le schéma cible des tables de contrôle si vous ne souhaitez pas qu'elles soient créées dans le schéma source (par défaut) ou dans le schéma cible.

  Note InformationsLa longueur maximale autorisée, pour le nom de schéma, est de 128 caractères.
• Créer des tables de contrôle cibles dans l'espace de stockage (tablespace) : ​ Lorsque la cible de réplication est Oracle, spécifiez l'espace de stockage (tablespace) dans lequel créer les tables de contrôle cibles. Si vous ne saisissez aucune information dans ce champ, les tables seront créées dans l'espace de stockage (tablespace) de la base de données cible.
• Créer des index pour les tables de contrôle cibles dans l'espace de stockage (tablespace) : Lorsque la cible de réplication est Oracle, spécifiez l'espace de stockage (tablespace) dans lequel créer les index des tables de contrôle. Si vous ne saisissez aucune information dans ce champ, les index seront créés dans le même espace de stockage (tablespace) que celui des tables de contrôle.
• Créneau horaire de l'historique des réplications (minutes) : Longueur de chaque créneau horaire de la table de contrôle Historique des réplications. La valeur par défaut est 5 minutes.

Sélection des tables de contrôle

Appliquer les modifications

Ces paramètres sont disponibles uniquement lorsque le mode de réplication Appliquer les modifications est activé.

Basique

Appliquer les modifications DDL à la table cible

Les options suivantes déterminent si les opérations DDL effectuées sur la table source correspondante seront également effectuées sur la table cible.

Avancé

Consultez Modifier le réglage du traitement.

Stocker les modifications

Ces paramètres sont disponibles uniquement lorsque le mode de réplication Stocker les modifications est activé.

Basique

Options DDL

Sélectionnez une des options suivantes pour déterminer le mode de traitement des opérations DDL sur les tables sources :

• Appliquer à la table de modifications : Les opérations DDL appliquées aux tables sources (telles que l'ajout d'une colonne) le seront uniquement aux tables de modifications correspondantes.
• Ignorer : toutes les opérations DDL appliquées aux tables sources seront ignorées.

Avancé

Lors de la mise à jour

Sélectionnez Stocker l'image précédente et l'image suivante pour stocker les données pré-UPDATE et les données post-UPDATE. Si cette option n'est pas sélectionnée, seules les données post-UPDATE seront stockées.

Création de table de modifications

La section suivante décrit les options disponibles lors du stockage des modifications dans les tables de modifications.

• Suffixe : spécifie une chaîne à utiliser comme suffixe pour l'ensemble des tables de modifications. La valeur par défaut est __ct. Les noms des tables de modifications correspondent au nom de la table cible avec le suffixe ajouté. Par exemple, si on utilise la valeur par défaut, le nom de la table de modifications sera HR__ct.
• Préfixe de colonne d'en-tête : spécifie une chaîne à utiliser comme préfixe pour l'ensemble des colonnes d'en-tête des tables de modifications. La valeur par défaut est header__. Par exemple, si on utilise la valeur par défaut, la colonne d'en-tête stream_position sera intitulée header__stream_position.

Pour plus d'informations sur les tables de modifications, voir Utilisation de tables de modifications.

S'il existe une table de modifications lors du démarrage du processus Chargement complet : Sélectionnez une des options suivantes pour déterminer comment charger les tables de modifications lorsque la réplication Chargement complet démarre :

• Abandonner et créer la table de modifications : la table est abandonnée et une nouvelle table est créée à sa place.

• Supprimer les anciennes modifications et stocker les nouvelles modifications dans la table de modifications existante : les données sont tronquées et ajoutées sans affecter les métadonnées de la table.

  Note InformationsNon supporté lorsque Microsoft Fabric est la plateforme cible.
• Conserver les anciennes modifications et stocker les nouvelles modifications dans la table de modifications existante : les données et les métadonnées de la table de modifications existante ne sont pas affectées.

Colonnes d'en-tête de table

Les colonnes d'en-tête de la table de modifications fournissent des informations sur les opérations Traitement des modifications telles que le type d'opération (par ex., INSÉRER), l'heure de validation, etc. Si vous n'avez pas besoin de l'ensemble de ces informations, vous pouvez configurer la tâche déplacement de sorte à créer les tables de modifications avec les colonnes d'en-tête sélectionnées (ou aucune), ce qui vous permet de réduire leur empreinte dans la base de données cible.

Pour une description des colonnes d'en-tête, voir Tables de modifications.

Traitement des erreurs

Basique

Conflits d'application

Dupliquer la clé lors de l'application de INSÉRER : Sélectionnez l'action à entreprendre en cas de conflit avec une opération INSÉRER.

• Ignorer : la tâche se poursuit et l'erreur est ignorée.

   

• Opération UPDATE sur l'enregistrement cible existant : l'enregistrement cible présentant la même clé primaire que celle de l’enregistrement source INSÉRÉ est mis à jour.

• Consigner l'enregistrement dans la table d'exceptions (par défaut) : la tâche se poursuit et l'erreur est écrite dans la table d'exceptions.

• Suspendre la table : la tâche se poursuit, mais les données de la table comportant l'enregistrement d'erreur passent à l'état d'erreur et ne sont pas répliquées.

• Arrêter la tâche : la tâche est arrêtée et une intervention manuelle est requise.

Enregistrement introuvable pour l'application d'une opération UPDATE : Sélectionnez l'action à entreprendre en cas de conflit avec une opération UPDATE.

• Ignorer : la tâche se poursuit et l'erreur est ignorée.

• INSÉRER l'enregistrement cible manquant : l'enregistrement cible manquant sera inséré dans la table cible. Lorsque le point de terminaison source est Oracle, la sélection de cette option nécessite l'activation d'une journalisation supplémentaire pour toutes les colonnes de tables sources.

• Consigner l'enregistrement dans la table d'exceptions (par défaut) : la tâche se poursuit et l'erreur est écrite dans la table d'exceptions.

• Suspendre la table : la tâche se poursuit, mais les données de la table comportant l'enregistrement d'erreur passent à l'état d'erreur et ne sont pas répliquées.

• Arrêter la tâche : la tâche est arrêtée et une intervention manuelle est requise.

Avancé

Erreurs de données

Pour les erreurs de troncation de données : Sélectionnez ce que vous souhaitez qu'il se passe en cas de troncation dans un ou plusieurs enregistrements spécifiques. Vous pouvez sélectionner un des comportements suivants dans la liste :

• Ignorer : La tâche se poursuit et l'erreur est ignorée.
• Consigner l'enregistrement dans la table d'exceptions (par défaut) : La tâche se poursuit et l'erreur est écrite dans la table d'exceptions.
• Suspendre la table : La tâche se poursuit, mais les données de la table comportant l'enregistrement d'erreur passent à l'état d'erreur et ne sont pas répliquées.
• Arrêter la tâche : La tâche est arrêtée et une intervention manuelle est requise.

Pour d'autres erreurs de données : Sélectionnez ce que vous souhaitez qu'il se passe en cas d'erreur dans un ou plusieurs enregistrements spécifiques. Vous pouvez sélectionner un des comportements suivants dans la liste :

• Ignorer : La tâche se poursuit et l'erreur est ignorée.
• Consigner l'enregistrement dans la table d'exceptions (par défaut) : La tâche se poursuit et l'erreur est écrite dans la table d'exceptions.
• Suspendre la table : La tâche se poursuit, mais les données de la table comportant l'enregistrement d'erreur passent à l'état d'erreur et ne sont pas répliquées.
• Arrêter la tâche : La tâche est arrêtée et une intervention manuelle est requise.

Remonter le traitement des erreurs lorsque d'autres erreurs de données atteignent (par table) : Cochez cette case pour faire remonter le traitement des erreurs lorsque le nombre d'erreurs de données hors troncation (par table) atteint la quantité spécifiée. Les valeurs valides vont de 1 à 10 000.

Action de remontée : Sélectionnez ce qui doit se produire en cas de remontée du traitement des erreurs. Notez que les actions disponibles dépendent de l'action sélectionnée dans la liste déroulante Pour d'autres erreurs de données décrite ci-dessus.

• Suspendre la table (par défaut) : La tâche se poursuit, mais les données de la table comportant l'enregistrement d'erreur passent à l'état d'erreur et ne font pas l'objet d'une tâche déplacé.

  Note Informations

  Le comportement varie en fonction du mode de traitement des modifications :

  • En mode Application transactionnelle, les dernières modifications ne feront pas l'objet d'une tâche déplacé.

  • En mode Application avec optimisation par lots, il peut arriver que les données ne fassent pas l'objet d'une tâche déplacé du tout, ou qu'elles fassent l'objet d'une tâche déplacé partiellement uniquement.

• Arrêter la tâche : La tâche est arrêtée et une intervention manuelle est requise.
• Consigner l'enregistrement dans la table d'exceptions : La tâche se poursuit et l'enregistrement est écrit dans la table d'exceptions.

Erreurs de table

En cas d'erreur de table : Sélectionnez un des comportements suivants dans la liste déroulante :

• Suspendre la table (par défaut) : La tâche se poursuit, mais les données de la table comportant l'enregistrement d'erreur passent à l'état d'erreur et ne sont pas répliquées.
• Arrêter la tâche : La tâche est arrêtée et une intervention manuelle est requise.

Remonter le traitement des erreurs lorsque les erreurs de table atteignent (par table) : Cochez cette case pour faire remonter le traitement des erreurs lorsque le nombre d'erreurs de table (par table) atteint la quantité spécifiée. Les valeurs valides vont de 1 à 10 000.

Action de remontée : La stratégie de remontée des erreurs de table est définie sur Arrêter la tâche et ne peut pas être modifiée.

Conflits d'application

Enregistrement introuvable pour l'application de SUPPRIMER : sélectionnez l'action à entreprendre en cas de conflit avec une opération SUPPRIMER.

• Ignorer : la tâche se poursuit et l'erreur est ignorée.
• Consigner l'enregistrement dans la table d'exceptions : la tâche se poursuit et l'enregistrement est écrit dans la table d'exceptions.
• Suspendre la table : la tâche se poursuit, mais les données de la table comportant l'enregistrement d'erreur passent à l'état d'erreur et ne sont pas répliquées.
• Arrêter la tâche : la tâche est arrêtée et une intervention manuelle est requise.

Remonter le traitement des erreurs dans la hiérarchie lorsque des conflits d'application atteignent (par table) : cochez cette case pour faire remonter le traitement des erreurs lorsque le nombre de conflits d'application (par table) atteint la quantité spécifiée. Les valeurs valides vont de 1 à 10 000.

Action de remontée : Sélectionnez ce qui doit se produire en cas de remontée du traitement des erreurs :

• Consigner l'enregistrement dans la table d'exceptions (par défaut) : la tâche se poursuit et l'erreur est écrite dans la table d'exceptions.

• Suspendre la table : la tâche se poursuit, mais les données de la table comportant l'enregistrement d'erreur passent à l'état d'erreur et ne sont pas répliquées.

  Note Informations

  Le comportement varie en fonction du mode de traitement des modifications :

  • En mode Application transactionnelle, les dernières modifications ne seront pas répliquées.

  • En mode Application avec optimisation par lots, il est possible qu'il n'y ait pas de réplication de données ou que la réplication de données soit partielle.

• Arrêter la tâche : la tâche est arrêtée et une intervention manuelle est requise.

Erreurs d'environnement

• Nombre maximal de nouvelles tentatives : Sélectionnez cette option, puis spécifiez le nombre maximal de nouvelles tentatives d'exécution d'une tâche en cas d'erreur d'environnement récupérable. Une fois que l'exécution de la tâche a été tentée le nombre de fois spécifié, la tâche est arrêtée et une intervention manuelle est requise.

  Pour ne jamais retenter l'exécution d'une tâche, décochez la case ou spécifiez la valeur "0".

  Pour retenter l'exécution d'une tâche un nombre infini de fois, spécifiez la valeur "-1".

  • Intervalle entre les nouvelles tentatives (secondes) : Utilisez le compteur pour sélectionner une valeur ou saisissez le nombre de secondes pendant lequel le système attend entre les tentatives de réexécution d'une tâche.

    Les valeurs valides vont de 0 à 2 000.

• Augmenter l'intervalle de nouvelle tentative pour les longues interruptions : Cochez cette case pour augmenter l'intervalle de nouvelle tentative pour les longues interruptions. Lorsque cette option est activée, l'intervalle entre chaque nouvelle tentative et la suivante est multiplié par deux, jusqu'à atteindre l'Intervalle de nouvelle tentative maximal (et les tentatives se poursuivent conformément à l'intervalle maximal spécifié).
  • Intervalle de nouvelle tentative maximal (secondes) : Utilisez le compteur pour sélectionner une valeur ou saisissez le nombre de secondes d'attente entre les tentatives de réexécution d'une tâche lorsque l'option Augmenter l'intervalle de nouvelle tentative pour les longues interruptions est activée. Les valeurs valides vont de 0 à 2 000.

Modifier le réglage du traitement

Réglage du déchargement des transactions

• Décharger les transactions en cours sur le disque si :

  La tâche de réplication conserve généralement les données de transaction en mémoire jusqu'à ce qu'elles soient entièrement validées dans la source et/ou la cible. En revanche, les transactions dont la taille est supérieure à la mémoire allouée ou qui ne sont pas validées dans le délai spécifié seront déchargées sur le disque.

  • La taille de mémoire de transactions totale dépasse (Mo) : taille de mémoire maximale occupée par l'ensemble des transactions avant leur déchargement sur le disque. La valeur par défaut est 1 024.
  • La durée des transactions dépasse (secondes) : durée maximale pendant laquelle chaque transaction peut rester en mémoire avant son déchargement sur le disque. La durée est calculée à partir du moment où la tâche de réplication démarre la capture de la transaction. La valeur par défaut est 60.

Réglage des lots

Les paramètres suivants sont disponibles uniquement lorsque l'option Mode d'application est définie sur Optimisation par lots.

• Appliquer les modifications par lots par intervalles :

• Supérieur à : durée d'attente minimale entre chaque application de modifications par lots. La valeur par défaut est 1.

  L'augmentation de la valeur Supérieurs à réduit la fréquence d'application des modifications à la cible tout en augmentant la taille des lots. Cela peut améliorer les performances lors de l'application de modifications à des bases de données cibles optimisées pour le traitement de lots volumineux.

• Inférieur à : durée d'attente maximale entre chaque application de modifications par lots (avant la déclaration d'une expiration de délai). En d'autres termes, il s'agit de la latence maximale acceptable. La valeur par défaut est 30. Cette valeur détermine la durée d'attente maximale avant l'application des modifications, une fois la valeur Supérieurs à atteinte.

• Forcer l'application d'un traitement par lots lorsque la mémoire de traitement dépasse (Mo) : quantité maximale de mémoire à utiliser pour le prétraitement en mode Application avec optimisation par lots. La valeur par défaut est 500.

  Pour une taille de lot maximale, définissez cette valeur sur la plus grande quantité de mémoire que vous puissiez allouer à la tâche de réplication. Cela peut améliorer les performances lors de l'application de modifications à des bases de données cibles optimisées pour le traitement de lots volumineux.

Intervalle

• Lire les modifications toutes les (minutes)

  Définissez l'intervalle entre le relevé des modifications de la source en minutes. La plage valide est comprise entre 1 et 1 440.

  Note Informations

  Cette option est disponible uniquement dans les cas suivants :

  • En utilisant Data Movement gateway
  • Dépôt temporaire de données depuis des sources d’applications SaaS
  • La tâche est définie à l'aide de la méthode de mise à jour Change Data Capture (CDC).

Réglage divers

Taille de cache des instructions (nombre d'instructions)

Nombre maximal d'instructions préparées à stocker sur le serveur pour une exécution ultérieure (lors de l'application des modifications à la cible). La valeur par défaut est 50. La valeur maximale est 200.

Enregistrer les données de récupération de la tâche dans la base de données cible

Sélectionnez cette option pour stocker les informations de récupération propres à la tâche dans la base de données cible. Lorsque cette option est sélectionnée, la tâche de réplication crée une table nommée attrep_txn_state dans la base de données cible. Cette table contient des données de transaction qui peuvent être utilisées pour récupérer une tâche en cas de corruption des fichiers du dossier Data Data Movement gateway ou d'échec du dispositif de stockage contenant le dossier Data.

Appliquer les modifications via SQL MERGE

Lorsque cette option n'est pas sélectionnée, la tâche de réplication exécute les instructions INSERT, UPDATE et DELETE distinctes en bloc pour chacun des types de modifications différents de la table Net Changes.

Même si cette méthode est très efficace, l'activation de l'option Appliquer les modifications via SQL MERGE s'avère encore plus efficace lors de l'utilisation de points de terminaison qui supportent cette option.

Cela s'explique par les raisons suivantes :

• Cela réduit de trois à une instruction le nombre d'instructions SQL exécutées par table de trois à une. La plupart des opérations UPDATE effectuées dans des bases de données cloud à base de fichiers immuables volumineuses (telles que Google Cloud BigQuery) impliquent la réécriture des fichiers affectés. Avec des opérations de ce type, la réduction des instructions SQL par table de trois à une est considérable.
• La base de données cible n'a besoin de scanner la table Net Changes qu'une seule fois, ce qui réduit considérablement les E/S.

Optimisation des insertions

Lorsque l'option Appliquer les modifications via SQL MERGE est sélectionnée avec l'option Optimiser les insertions et que les modifications sont constituées uniquement d'opérations INSERT, la tâche de réplication effectue des opérations INSERT au lieu d'opérations SQL MERGE. Notez que même si cela améliore généralement les performances et réduit par conséquent les coûts, cela peut produire également des enregistrements en double dans la base de données cible.

Application transactionnelle

Les paramètres suivants sont disponibles uniquement lorsque le Mode d'application est défini sur Transactionnel.

• Nombre minimal de modifications par transaction : nombre minimal de modifications à inclure dans chaque transaction. La valeur par défaut est 1 000.

  Note InformationsLa tâche de réplication applique les modifications à la cible soit lorsque le nombre de modifications est supérieur ou égal à la valeur Nombre minimal de modifications par transaction, soit lorsque la valeur de délai d'expiration du lot est atteinte (voir ci-dessous) - suivant la première occurrence. Étant donné que la fréquence des modifications appliquées à la cible est contrôlée par ces deux paramètres, il se peut que les modifications appliquées aux enregistrements sources ne soient pas immédiatement reflétées dans les enregistrements cibles.
• Durée maximale de mise en lots des transactions avant application (secondes) : durée de collecte maximale des transactions par lots avant la déclaration de l'expiration du délai. La valeur par défaut est 1.

Évolution du schéma

Choisissez comment gérer les types suivants de modifications des DDL dans le schéma. Si vous avez modifié les paramètres d'évolution du schéma, vous devez préparer de nouveau la tâche. Le tableau ci-dessous décrit les actions disponibles pour les modifications des DDL supportées.

Substitution de caractère

Vous pouvez substituer ou supprimer des caractères sources dans la base de données cible et/ou vous pouvez substituer ou supprimer des caractères sources non pris en charge par un jeu de caractères sélectionné.

Substitution ou suppression de caractères sources

Utilisez la table Substituer ou supprimer des caractères sources pour définir les remplacements de caractères sources spécifiques. Cela peut s'avérer utile, par exemple, lorsque la représentation Unicode d'un caractère est différente sur les plates-formes source et cible. Par exemple, sous Linux, le caractère moins du jeu de caractères Shift_JIS est représenté par U+2212, alors que, sous Windows, il est représenté par U+FF0D.

Substitution ou suppression de caractères sources non pris en charge par le jeu de caractères sélectionné

Utilisez la table Caractères sources non pris en charge par jeu de caractères pour définir un seul caractère de remplacement pour tous les caractères non pris en charge par le jeu de caractères sélectionné.

Autres options

Ces options ne sont pas exposées dans l'IU, car elles s'appliquent uniquement à des versions ou des environnements spécifiques. Par conséquent, n'activez pas ces options, sauf si Qlik Support ou la documentation produits vous le demande explicitement.

Pour activer une option, il suffit de la copier dans le champ Ajouter un nom de fonction et de cliquer sur Ajouter. Définissez ensuite la valeur ou activez l'option en fonction des instructions que vous avez reçues.

Planification de tâches sans utiliser Data Movement gateway

Data Movement gateway n'est pas supporté avec un abonnement Démarreur Qlik Talend Cloud et est en option avec d'autres niveaux d'abonnement. Si vous travaillez sans Data Movement gateway, l'opération CDC (Change Data Capture) quasiment en temps réel n'est pas supportée. Vous maintenez les données cibles à jour en définissant un intervalle de planification. La planification détermine la fréquence à laquelle les jeux de données cibles seront mis à jour en fonction des modifications apportées aux jeux de données sources. Alors que la planification détermine la fréquence de mise à jour, le type du jeu de données détermine la méthode de mise à jour. Si les jeux de données sources supportent CDC, seules les modifications apportées aux données sources seront répliquées et appliquées aux tables cibles correspondantes. Si les jeux de données sources ne supportent pas CDC (par exemple, les Vues), les modifications seront appliquées via l'actualisation de l'ensemble des données sources dans les tables cibles correspondantes. Si certains des jeux de données sources supportent CDC et d'autres non, deux sous-tâches distinctes seront créées (en supposant que l'option de réplication Appliquer les modifications ou Stocker les modifications soit sélectionnée) : l'une pour actualiser les jeux de données qui ne supportent pas CDC et l'autre pour capturer les modifications apportées aux jeux de données qui supportent CDC. Dans ce cas, pour garantir la cohérence des données, il est vivement conseillé de définir la même planification pour les deux sous-tâches.

Pour des informations sur les intervalles de planification minimaux en fonction du type de source de données et du niveau d'abonnement, consultez Intervalles de planification minimaux autorisés.

Pour modifier la planification :

1. Ouvrez votre projet, puis effectuez l'une des opérations suivantes :

   • Dans la vue Tâches, cliquez sur sur une tâche de réplication et sélectionnez Planification.
   • Dans la vue Pipeline, cliquez sur sur une tâche de réplication et sélectionnez Planification.
   • Ouvrez la tâche de réplication et cliquez sur le bouton de barre d'outils Planification.
2. Modifiez les paramètres de planification selon les besoins et cliquez sur OK.