IBM DB2 for iSeries
Dieser Abschnitt erläutert, wie eine IBM DB2 for iSeries-Quelle in einer Datenaufgabe eingerichtet wird. Bevor Sie die Datenaufgabe starten, stellen Sie sicher, dass Sie die Voraussetzungen erfüllen, Erforderliche Berechtigungen eingerichtet und sich mit den Einschränkungen und Überlegungen vertraut gemacht haben.
Einrichten von Verbindungseigenschaften
Dieser Abschnitt beschreibt die verfügbaren Verbindungseigenschaften. Alle Eigenschaften sind erforderlich, soweit nicht anders angegeben.
Gehen Sie wie folgt vor, um den Konnektor zu öffnen:
-
Klicken Sie in Verbindungen auf Verbindung erstellen.
-
Wählen Sie den Quellkonnektor IBM DB2 for iSeries aus und geben Sie die folgenden Einstellungen an:
Datenquelle
-
Daten-Gateway
-
Server: IP-Adresse oder Hostname des IBM DB2 for iSeries-Servers
Wählen Sie ein Data Movement gateway aus, das für die Datenbewegungen verwendet werden soll.
Kontoeigenschaften
-
Benutzername: Benutzername, der für den Zugriff auf den IBM DB2 for iSeries-Server erforderlich ist
-
Kennwort: Kennwort, das für den Zugriff auf den IBM DB2 for iSeries-Server erforderlich ist
Datenbankeigenschaften
- Tabellen- und Schemasystemnamen verwenden: Der IBM DB2 for iSeries-Quell-Konnektor stellt Tabellen basierend auf deren SQL-Namen bereit (uneingeschränkte Länge). Falls Ihre IBM DB2 for iSeries-Datenbank keine SQL-Namen verwendet, möchten Sie wahrscheinlich die Systemnamen behalten.
- Relative Datensatznummer (RRN): Siehe Abbildung unten (Hinzufügen der RRN-Spalte zu Zieltabellen)
CDC-Eigenschaften
-
Journalname: Der Name des Journals mit den Quelltabellen.
Siehe auch: CDC-Voraussetzungen
-
Journalbibliothek: Der Name der Bibliothek, in der sich das Journal befindet.
Siehe auch: CDC-Voraussetzungen
- Journalvalidierung überspringen, wenn eine Aufgabe startet: Ab IBM DB2 for iSeries 7.3 validiert Qlik Talend Data Integration automatisch das angegebene Journal. Dazu gehört die Überprüfung, ob das Journal vorhanden ist und die Tabellen enthält, die für die Bereitstellung ausgewählt wurden. Wenn zahlreiche Tabellen für die Bereitstellung ausgewählt werden, kann dieser Vorgang einige Zeit in Anspruch nehmen. Wenn Sie sich sicher sind, dass das angegebene Journal vorhanden ist und die richtigen Tabellen enthält, es empfiehlt es sich, in solchen Fällen die Validierungsphase zu überspringen.
- Informationen zu den folgenden Optionen finden Sie unter Verwenden desR4I UDTF für Änderungserfassung unten:
- UDTF-Erfassung aktivieren
- UDTF-Name des CDC-Readers
- Größe des UDTF-Ergebnissatzes (MB)
- UDTF-Erfassung aktivieren
- Nach Änderungen suchen alle (s): Häufigkeit, mit der in der Quelldatenbank nach Änderungen gesucht wird.
CCSID-Zuordnung zu Codeseite überschreiben
Geben Sie im Feld CCSID to character set mapping die CCSID(s) und Codeseite(n) im folgenden Format ein (durch Kommas getrennt und ohne Leerzeichen):
CCSID1,codepage1,CCSID2,codepage2,...
Der Zeichensatz (Codeseite) muss im geeigneten Format (z. B. ibm-1148_P100-1997) angegeben werden. Eine Liste mit gültigen Formaten finden Sie im ICU Converter Explorer.
Konvertieren in eine benutzerdefinierte Codeseite
Führen Sie das folgende Verfahren durch, wenn die Quelldatensätze mit einer falschen CCSID definiert sind und die richtige Definition tatsächlich in einer UCM-Datei enthalten ist.
-
Auf dem Rechner für Data Movement gateway:
- Wenn das ICU-Paket nicht installiert ist, öffnen Sie eine Shell-Eingabeaufforderung und installieren Sie das ICU-Paket.
-
Ändern Sie das Arbeitsverzeichnis in <product_dir>/bin.
Der Standardwert für <product_dir> ist /opt/qlik/gateway/movement.
-
Erstellen Sie eine Zuordnungsdatendatei mit der Dateierweiterung .ucm.
InformationshinweisWenn Sie eine vorhandene UCM-Datei bearbeiten, müssen Sie auch die Werte der Eigenschaften <code_set_name> und <icu:alias> ändern. Wenn die Datei keine Eigenschaft <icu:alias> enthält, müssen Sie nur den Wert der Eigenschaft <code_set_name> ändern.
-
Erstellen Sie eine CNV-Datei für die UCM-Datei, indem Sie den folgenden Befehl ausführen:
makeconv -v <file_name>.ucm
Beispiel:
makeconv -v 1047_EX.ucm
Dadurch wird eine CNV-Datei mit demselben Namen wie die UCM-Datei erstellt (z.B. 1047_EX.cnv).
-
Erstellen Sie einen neuen Unterordner mit dem Namen icudt<XX>l unter <product_dir>/bin, wobei die XX der Nummer im Dateinamen icudt<XX>.dll entspricht.
Wenn die DLL-Datei zum Beispiel icudt69.dll heißt, erstellen Sie einen neuen Unterordner mit dem Namen icudt69l.
-
Kopieren Sie die CNV-Datei in den soeben erstellten Unterordner (<product_dir>/bin/icudt69l im obigen Beispiel).
-
Geben Sie im Konnektor-Dialogfeld im Feld CCSID to character set mapping die ursprüngliche CCSID-Quellnummer ein, gefolgt von dem CNV-Dateinamen ohne die Erweiterung.
Beispiel:
1047,1047_EX
-
Starten Sie auf dem Rechner mit dem Data Movement gateway den Dienst Data Movement gateway mit dem folgenden Befehl neu:
sudo systemctl restart repagent
Interne Eigenschaften
Interne Eigenschaften sind für besondere Anwendungsfälle vorgesehen und werden daher nicht im Dialogfenster angezeigt. Sie sollten sie nur verwenden, wenn Sie vom Qlik Support dazu angewiesen werden.
Verwenden Sie die Schaltflächen und
rechts neben den Feldern, um Eigenschaften wie erforderlich hinzuzufügen oder zu entfernen.
Name
Anzeigename für die Quellverbindung
Hinzufügen der RRN-Spalte zu Zieltabellen
Quelltabellen, die weder einen primären Schlüssel, einen eindeutigen Index noch eine Kombination aus Spalten, die als eindeutiger Index verwendet werden können, haben, müssen mithilfe der relativen Datensatznummern (RRN) registriert werden.
Wählen Sie eine der folgenden Optionen aus:
- Add RRN column to target tables without a primary key or unique index
-
Add RRN column to all target tables
- Do not add RNN column to target tables
Damit DELETE-Operationen im Modus zur automatischen Übertragung für Tabellen, welche mit *AFTER-Images im Journal erfasst wurden, unterstützt werden, führen Sie Folgendes aus:
- Aktivieren Sie die Option Add RRN column to all target tables.
-
Markieren Sie die neue RRN-Spalte auf dem Ziel (mithilfe einer Transformation) als alleinigen Primärschlüssel der Tabelle.
Beachten Sie, dass durch Hinzufügen einer RRN-Spalte ohne Markierung als Primärschlüssel die Tabelle vorübergehend deaktiviert wird, wenn eine DELETE-Operation durchgeführt wird.
Wenn Sie eine der Optionen „Add RRN columns“ auswählen, bekommen die Änderungstabellen und die Zieltabellen eine Extraspalte ATTREP_RRN des Typs INTEGER, die einen eindeutigen Wert für jede Zeile enthält. Diese Spalte enthält die RRN, welche jeder Zeile der Quelltabelle entspricht.
Die RRN-Werte von IBM DB2 for iSeries entsprechen der exakten Position der Zeile in der Dateistruktur, welche die Tabellendaten enthält. Wenn eine Tabelle neu organisiert wird, wird die Tabelle neu erstellt, wodurch jeder Zeile neue RRNs zugewiesen werden. In der Folge sollte, soweit möglich, eine Neuorganisierung von Tabellen vermieden werden, bei der die RRN als Zielschlüssel verwendet wird. Falls eine solche Neuorganisierung unvermeidbar ist, müssen Sie umgehend die neu organisierte Tabelle laden, um ein unvorhersehbares Verhalten zu verhindern, wenn Änderungen am Ziel (beispielsweise fehlgeschlagene DELETE-Operationen, duplizierte INSERT-Operationen usw.) übernommen werden.
Verwenden desR4I UDTF für Änderungserfassung
Standardmäßig werden von IBM DB2 for iSeries erfasste Änderungen auf dem Data Movement gateway-Rechner mithilfe der standardmäßigen Funktion display_journal gefiltert. Wenn viele Änderungen vorhanden sind, kann sich dies auf die Leistung der Änderungsverarbeitung auswirken.
Durch die Installation der R4I UDTF auf IBM DB2 for iSeries können erfasste Änderungen auf IBM DB2 for iSeries anstatt auf dem Data Movement gateway-Rechner gefiltert werden, wodurch die CDC-Leistung erheblich verbessert wird.
So richten Sie die Änderungserfassung mithilfe der R4I UDTF ein:
-
Gehen Sie zu Produkt-Downloads.
-
Wählen Sie Qlik-Datenintegration aus.
-
Scrollen Sie nach unten zur Liste Produkte und wählen Sie „Replicate“ aus.
-
Klicken Sie in der Spalte Download-Link auf den Link QlikReplicate__R4I.zip, um den Download zu beginnen.
-
Installieren Sie die R4I UDTF auf dem IBM DB2 for iSeries-Server.
- Wählen Sie die Option UDTF-Erfassung aktivieren.
- Falls Sie den UDTF-Namen des Standard-CDC-Readers während der R4I-Installation geändert haben, geben Sie den neuen Namen im Feld UDTF-Name des CDC-Readers ein.
- Im Feld UDTF-Ergebnissatzgröße (MB) können Sie die maximale Größe des Ergebnissatzpuffers festlegen, der von der R4I UDTF zurückgegeben wird. Ein größerer Ergebnissatz verbessert gewöhnlich die Leistung, wirkt sich aber auch negativ auf den DB2-Arbeitsspeicherverbrauch aus. Wenn Sie also die Ergebnissatzgröße erhöhen möchten, ist es ratsam, die Aufgabe zunächst in einer Testumgebung auszuführen, da ungenügend Arbeitsspeicher auf DB2 (aufgrund der Tatsache, dass Teildatensätze erfasst werden) zu Dateninkonsistenz auf dem Ziel führen kann.