Amazon Redshift

Amazon Redshift Bir veri işlem hattında veya çoğaltma görevinde hedef veri platformu olarak. Bir veri işlem hattında, verileri saklama, verileri dönüştürme, veri ambarları oluşturma ve veri kaydetme dahil olmak üzere hedef platformda çeşitli ELT işlemleri gerçekleştirilebilir. Diğer yandan çoğaltma görevi, temel dönüştürme yetenekleriyle ancak ELT işlemleri için destek olmadan, verilerin doğrudan bir kaynak sistemden bir hedef sisteme çoğaltılmasını içerir. kullanabilirsiniz.

Hedef olarak Amazon Redshift ayarlamak şunları içerir:

Ön koşulların yerine getirilmesi
Bulut hazırlama alanına (Amazon S3) bir bağlantı yapılandırma. Mevcut verileri kaydediyorsanız bu gerekli değildir.
Amazon Redshift bağlantısını yapılandırma

Bulut hazırlama alanı kurma

Mevcut verileri kaydediyorsanız bir bulut hazırlama alanı kurmanıza gerek yoktur.

Amazon Redshift bağlantısının yapılandırılması için ayrıca verilerin ve değişikliklerin uygulanmadan ve depolanmadan önce hazırlandığı Amazon S3 bulut hazırlama alanında bağlantılar kurmanız gerekir.

Amazon S3'e bağlantı kurma hakkında bilgi için bk. Amazon S3.

öğesine bağlantı yapılandırmaAmazon Redshift

Hazırlama ayarlarını sağladıktan sonra aşağıdakileri yapın:

Bağlantılar'da Bağlantı oluştur'a tıklayın.
Amazon Redshift hedef bağlayıcısını seçin ve ardından aşağıdaki ayarları sağlayın:

Veri hedefi

Veri ağ geçidi

Veri Hareketi ağ geçidi bu abonelik kademesiyle desteklenmediğinden bu alan, Qlik Talend Cloud Başlangıç Kılavuzu aboneliğiyle kullanılamaz.

Bir Veri Hareketi ağ geçidi yalnızca hedef veritabanına Qlik Cloud öğesinden erişilemiyorsa ve yalnızca bir Özel Bağlantı kullanılarak erişilebiliyorsa gereklidir (örneğin, bir güvenlik duvarının arkasında şirket içinde veya bir Sanal Özel Bulutta bulunuyorsa). Bu durumda, hedef veritabanına erişmek istediğiniz Veri Hareketi ağ geçidi öğesini seçin.

Kullanım durumunuza bağlı olarak, bu ya veri kaynağından veri taşımak için dağıtılanVeri Hareketi ağ geçidi ile aynı ya da farklı bir veri kaynağı olacaktır.

Veri Hareketi ağ geçidi kullanım durumları hakkında bilgi için bkz. Veri Hareketi ağ geçidi ne zaman gereklidir? ve Yaygın kullanım durumları.

Hedef veritabanına Qlik Cloud uygulamasından doğrudan erişilebiliyorsa Yok seçeneğini belirleyin.

Hedef veritabanına Veri Hareketi ağ geçidi üzerinden erişirken, Veri Hareketi ağ geçidi makinesine de uygun sürücüyü yüklemeniz gerekir. Ayrıntılar için aşağıdaki Sürücü kurulumu öğesine bakın.

Bağlantı özellikleri

Sunucu: Amazon Redshift veritabanı sunucusunun ana bilgisayar adı.
Bağlantı Noktası: Amazon Redshift veritabanınıza erişeceğiniz bağlantı noktası. Varsayılan değer 5439'dur.

Hesap özellikleri

Kullanıcı Adı ve Parola: Amazon Redshift veritabanına erişim yetkisi olan bir kullanıcının kullanıcı adı ve parolası.

Veritabanı özellikleri

Veritabanı adı: Bir veritabanını belirtmek için kullanabileceğiniz iki yöntem vardır:
- 1. Yöntem - Bir listeden seç: Veritabanı yükle'ye tıklayın ve ardından bir veritabanı seçin.
- 2. Yöntem - Manuel olarak: Veritabanı adını manuel olarak gir'i seçin ve ardından veritabanı adını girin.

Dahili özellikler

Dahili özellikler özel kullanım durumları içindir ve bu nedenle diyalog penceresinde gösterilmez. Bunları yalnızca Qlik Desteği tarafından talimat verildiği takdirde kullanmalısınız.

Gerektiği takdirde özellik eklemek veya kaldırmak için alanların sağındaki Yeni oluştur ve İptal düğmelerini kullanın.

Bağlantının görünen adı.

Önkoşullar

Gerekli izinler

Redshift veritabanında aşağıdaki izinleri verin:

COPY (kopyala) izni verin
INSERT (ekle) izni verin
UPDATE (güncelle) izni verin
DELETE (sil) izni verin
SELECT (seç) izni verin
Şema Oluştur (yalnızca şemalar mevcut değilse ve Qlik Talend Data Integration öğesinin bunları oluşturmasını istiyorsanız gereklidir)
CREATE TABLE (tablo oluştur) izni verin
ALTER TABLE (tabloyu değiştir) izni verin
DROP TABLE (tabloyu bırak) izni verin

Sürücü kurulumu

Bir sürücü yalnızca veritabanına Veri Hareketi ağ geçidi üzerinden erişiyorsanız gereklidir. Böyle bir durumda, sürücüyü Veri Hareketi ağ geçidi makinesine yüklemeniz gerekir.

driver öğesini, sürücü yükleme yardımcı programını kullanarak (önerilir) veya manuel olarak yükleyebilirsiniz. Manuel yükleme, nadir görülen şekilde sürücü yükleme yardımcı programında bir sorunla karşılaşmanız durumunda denenmelidir.

Sürücüyü yüklemek için sürücü yükleme yardımcı programı kullanma

Bu bölümde, gerekli driver öğesinin nasıl yükleneceği açıklanmıştır. Sürece, gerekli driver öğesini otomatik olarak indirecek, yükleyecek ve yapılandıracak bir komut dosyası çalıştırma işlemi dahildir. Gerektiğinde driver öğesini güncellemek ve kaldırmak için de komut dosyaları çalıştırabilirsiniz.

Yüklemeyi hazırlama

Python 3.6 veya daha yeni bir sürümünün Veri Hareketi ağ geçidi sunucusunda yüklü olduğundan emin olun.

Python, çoğu Linux dağıtımında önceden yüklenmiş şekilde sunulur. Aşağıdaki komutu çalıştırarak sisteminizde yüklü olan Python sürümünü öğrenebilirsiniz:

python3 --version

driver uygulamasını yükleme

driver öğesini indirip yüklemek için:

Veri Hareketi ağ geçidi hizmetini durdurun:

sudo systemctl stop repagent
İsteğe bağlı olarak hizmetin durduğunu doğrulayın:

sudo systemctl status repagent

Durum aşağıdaki gibi olmalıdır:

Active: inactive (dead) since <timestamp> ago
Veri Hareketi ağ geçidi makinesinde, çalışan dizini şu şekilde değiştirin:

opt/qlik/gateway/movement/drivers/bin
Şu komutu çalıştırın:

Söz Dizimi:

./install redshift

driver yüklenemiyorsa (erişim kısıtlamaları veya teknik sorunlar nedeniyle) driver öğesini nereden indireceğiniz ve Veri Hareketi ağ geçidi makinesinde nereye kopyalayacağınız konusunda size talimat veren bir mesaj görünür. Bu işlemi yaptıktan sonra install redshift komutunu tekrar çalıştırın.

Aksi durumda, driver öğesinin EULA'sı görünür.
Şunlardan birini yapın:
- EULA'da yavaşça gezinmek için [Enter] tuşuna tekrar tekrar basın.
- EULA'da hızlı bir şekilde gezinmek için Boşluk tuşuna tekrar tekrar basın.
- Lisans metninden çıkmak ve EULA kabul seçeneklerine ulaşmak için q tuşuna basın.
Şunlardan birini yapın:
- EULA'yı kabul etmek ve yükleme işlemini başlatmak için "y" yazıp [Enter] tuşuna basın.
- EULA'yı reddetmek ve yükleme işleminden çıkmak için "n" yazıp [Enter] tuşuna basın.
- EULA'yı tekrar görüntülemek için "v" yazıp [Enter] tuşuna basın.

driver yüklenir.

Yüklemenin tamamlanmasını ("Tamamlandı!" ifadesiyle belirtilir) bekleyin ve ardından Veri Hareketi ağ geçidi hizmetini başlatın:

sudo systemctl start repagent
İsteğe bağlı olarak hizmetin başladığını doğrulayın:

sudo systemctl status repagent

Durum aşağıdaki gibi olmalıdır:

Active: active (running) since <timestamp> ago

driver öğesini güncelleme

Sağlanan driver öğesini yüklemeden önce driver öğesinin eski sürümlerini kaldırmak istiyorsanız güncelleme komutunu çalıştırın.

driver öğesini indirip güncellemek için:

Veri Hareketi ağ geçidi hizmetini durdurun:

sudo systemctl stop repagent
İsteğe bağlı olarak hizmetin durduğunu doğrulayın:

sudo systemctl status repagent

Durum aşağıdaki gibi olmalıdır:

Active: inactive (dead) since <timestamp> ago
Veri Hareketi ağ geçidi makinesinde, çalışan dizini şu şekilde değiştirin:

opt/qlik/gateway/movement/drivers/bin
Şu komutu çalıştırın:

Söz Dizimi:

./update redshift

driver yüklenemiyorsa (erişim kısıtlamaları veya teknik sorunlar nedeniyle) driver öğesini nereden indireceğiniz ve Veri Hareketi ağ geçidi makinesinde nereye kopyalayacağınız konusunda size talimat veren bir mesaj görünür. Bu işlemi yaptıktan sonra update redshift komutunu tekrar çalıştırın.

Aksi durumda, driver öğesinin EULA'sı görünür.
Şunlardan birini yapın:
- EULA'da yavaşça gezinmek için [Enter] tuşuna tekrar tekrar basın.
- EULA'da hızlı bir şekilde gezinmek için Boşluk tuşuna tekrar tekrar basın.
- Lisans metninden çıkmak ve EULA kabul seçeneklerine ulaşmak için q tuşuna basın.
Şunlardan birini yapın:
- EULA'yı kabul etmek ve yükleme işlemini başlatmak için "y" yazıp [Enter] tuşuna basın.
- EULA'yı reddetmek ve yükleme işleminden çıkmak için "n" yazıp [Enter] tuşuna basın.
- EULA'yı baştan incelemek için "v" yazıp [Enter] tuşuna basın.

Eski driver kaldırılacak ve yeni driver yüklenecektir.

Yüklemenin tamamlanmasını ("Tamamlandı!" ifadesiyle belirtilir) bekleyin ve ardından Veri Hareketi ağ geçidi hizmetini başlatın:

sudo systemctl start repagent
İsteğe bağlı olarak hizmetin başladığını doğrulayın:

sudo systemctl status repagent

Durum aşağıdaki gibi olmalıdır:

Active: active (running) since <timestamp> ago

driver öğesini kaldırma

driver öğesini kaldırmak istiyorsanız kaldırma komutunu çalıştırın.

driver öğesini kaldırmak için:

Bu bağlayıcıyı kullanmak için yapılandırılan tüm görevleri durdurun.
Veri Hareketi ağ geçidi makinesinde, çalışan dizini şu şekilde değiştirin:

opt/qlik/gateway/movement/drivers/bin
Şu komutu çalıştırın:

Söz Dizimi:

./uninstall redshift

driver kaldırılacaktır.

Sürücüyü manuel olarak yükleme

driver öğesini manuel olarak yüklemeyi yalnızca otomatik sürücü yükleme başarıyla tamamlanmadığında denemelisiniz.

Veri Hareketi ağ geçidi hizmetini durdurun:

sudo systemctl stop repagent
İsteğe bağlı olarak hizmetin durduğunu doğrulayın:

sudo systemctl status repagent

Durum aşağıdaki gibi olmalıdır:

Active: inactive (dead) since <timestamp> ago

Amazon Redshift kümesine bağlanmak için gerekli Linux SQL istemci araçları öğesini indirin ve yükleyin. Qlik Data Gateway - Veri Hareketi, yalnızca Amazon Redshift ODBC Driver (x64) 1.4.65.1000 kullanır.

Sürücüyü şuradan indirin:

https://s3.amazonaws.com/redshift-downloads/drivers/odbc/1.4.65.1000/AmazonRedshiftODBC-64-bit-1.4.65.1000-1.x86_64.rpm

ODBC sürücüsünü yükledikten sonra /etc/odbcinst.ini dosyasını aşağıdaki şekilde düzenleyin:

[ODBC Drivers]

Amazon Redshift (x64)=Installed

Ayrıca:

[Amazon Redshift (x64)]

Description=Amazon Redshift ODBC Driver (64-bit)

Driver=/opt/amazon/redshiftodbc/lib/64/libamazonredshiftodbc64.so
Veri Hareketi ağ geçidi hizmetini başlatın:

sudo systemctl start repagent
İsteğe bağlı olarak hizmetin başlatıldığını doğrulayın:

sudo systemctl status repagent

Durum aşağıdaki gibi olmalıdır:

Active: active (running) since <timestamp> ago

Amazon Redshift tarafından desteklenen sürücülerin bir listesi için bk. http://docs.aws.amazon.com/redshift/latest/mgmt/configure-odbc-connection.html.

Bağlantı noktası

Bağlantı Noktası 5439'un (Amazon Redshift Kümesi) giden iletişim için açılması gerekir.

CA sertifikası

Veri Hareketi ağ geçidi, AWS'ye SSL kullanarak bağlanır. Bu, Veri Hareketi ağ geçidi makinesinde uygun bir CA sertifikası durmasını gerektirir; aksi takdirde bağlantı başarısız olur. CA sertifikasının amacı, AWS sunucu sertifikasının sahipliğini doğrulamaktır.

Gerekli CA sertifikasının Linux makinesinde şu konumda mevcut olduğundan emin olun:

/etc/pki/tls/certs/ca-bundle.crt

Mevcut değilse, en basit çözüm sertifika kümesini başka bir Linux makinesinden kopyalamaktır.

Genel önkoşullar ve dikkate alınacak noktalar

Veri kaynağınızda 4 baytlık emoji karakterleri varsa veri türünü WSTRING (n ) yerine WSTRING ( n*2 ) olarak değiştirmek için bir dönüştürme kullanın.
Veri Hareketi ağ geçidi makinesindeki zaman ve saat dilimi ayarlarının doğru olduğundan emin olun. Bu, şunların sağlanması için gereklidir:
- Tam Yükleme ve CDC görevlerinin düzgün senkronizasyonu
- İşlem günlüğü zamanının gerçek zaman ile korelasyonu
Canlı görünümleri ve geçmiş görünümlerini Qlik Talend Data Integration tarafından bir Amazon Redshift hedefinde oluşturulan veri kümelerinden Qlik Cloud Analiz Hizmetleri öğesine okuyamazsınız.

Sınırlamalar ve dikkate alınacak noktalar

Amazon Redshift bağlayıcı, yalnızca standart kimlik doğrulamasını (kullanıcı adı ve parola) destekler.

Veri türleri

Aşağıdaki tabloda Qlik Cloud kullanırken desteklenen Amazon Redshift veri türleri ve Qlik Cloud veri türlerine ait varsayılan eşleme gösteriliyor.

Yerel veri türü bilgileri korunur ve veri kümesi görünümlerinde Yerel veri türü sütununda görüntülenir. Sütun görünür değilse veri kümesi görünümünün sütun seçicisini açmanız ve Yerel veri türü sütununu seçmeniz gerekir.

Qlik Cloud içinde dize uzunluğu karakter cinsindenken Redshift'te varchar uzunluğu bayt cinsindendir. Karakter başına bayt sayısı, gerçek karakterlere ve kodlamaya bağlı olarak değişebilir. Qlik Cloud, uzunluğun karakter başına 3 bayt olduğu varsayar. Bu, wstring(10) tanımladığınızda pratikte tablonun varchar(30) olarak oluşturulacağı anlamına gelir.

Desteklenen veri türleri
Qlik Cloud veri türleri	Amazon Redshift veri türleri
BOOLEAN	BOOLEAN
BYTES	VARBINARY(uzunluk)
DATE	DATE
TIME	VARCHAR (20)
DATETIME	Ölçek => 0 ve =< 6 ise o zaman: TIMESTAMP Ölçek => 7 ve =< 12 o zaman: VARCHAR (37)
INT1	INT2
INT2	INT2
INT4	INT4
INT8	INT8
NUMERIC	Ölçek => 0 ve =< 37 ise o zaman: NUMERIC (kesinlik, ölçek) Ölçek => 38 ve =< 127 ise o zaman: VARCHAR (uzunluk)
REAL4	FLOAT4
REAL8	FLOAT8
STRING	Uzunluk => 1 ve =< 65535 ise: VARCHAR (Bayt Olarak Uzunluk) Uzunluk => 65535 ve =< 2147483647 ise: VARCHAR (65535)
UINT1	INT2
UINT2	INT4
UINT4	INT8
UINT8	SAYISAL (20,0)
WSTRING	Uzunluk => 1 ve =< 21845 ise o zaman: NVARCHAR (Bayt olarak uzunluk) Uzunluk => 21846 ve =< 2147483647 ise o zaman: NVARCHAR (65535)
BLOB	VARBYTE (16777216)
NCLOB	VARCHAR (65535)
CLOB	VARCHAR (65535)

Aşağıdaki SQL Server veri türleri desteklenmez. Veriler okunmayacaktır.

HLLSKETCH

Aşağıdaki veri türleri VARCHAR (65535)'e dönüştürülür:

GEOGRAPHY
GEOMETRY

Bu sayfa size yardımcı oldu mu?

Bu sayfa veya içeriği ile ilgili bir sorun; bir yazım hatası, eksik bir adım veya teknik bir hata bulursanız, bize bildirin, düzeltelim!

Geri bildiriminizi buradan iletin