Qlik Açık Göl Evi mimarisi

Qlik Açık Göl Evi, Iceberg tabanlı bir göl evindeki verileri almak, işlemek ve optimize etmek için Qlik Talend Cloud içinde tam olarak yönetilen, uçtan uca bir çözüm sunar. Bu çözüm, düşük gecikmeli sorgu performansı ve geniş ölçekte verimli veri işlemleri sunar.

Qlik Açık Göl Evi mimarisi, modern bir göl evi deneyimi sunmak için güvenli iletişim, ölçeklenebilir bilgi işlem ve verimli veri işlemeyi bir araya getirir. Qlik Açık Göl Evi; eC2, S3 ve Kinesis gibi AWS'ye özgü bileşenlerden yararlanır.

Temel bileşenler

Bir Qlik Açık Göl Evi oluşturmak için aşağıdaki varlıklar gereklidir.

Veri Hareketi ağ geçidi (CDC)

Data movement gateway, şirket içi veya bulut ortamınızda çalışır. RDBMS, SAP veya ana bilgisayarlar gibi kaynak sistemlerden değişiklikleri yakalar ve verileri bir Amazon S3 iniş bölgesine gönderir.

Ağ entegrasyon aracısı (EC2 örneği)

Ağ entegrasyon aracısı, buluttaki Qlik hizmetleri ile ortamınızdaki göl evi kümeleri arasında güvenli iletişimi kolaylaştıran bir EC2 örneğidir. Aracı, ağ entegrasyon süreci sırasında otomatik olarak İsteğe Bağlı Örnek olarak dağıtılır ve tamamen Qlik tarafından yönetilir. Yeni sürümler yayınlandığında otomatik olarak dağıtılır.

Ağ entegrasyonu doğru şekilde çalıştığında, Yönetim Etkinlik Merkezi'ndeki Göl evi kümeleri görünümünde Bağlandı durumu görüntülenir. Bağlantı sorunları ortaya çıkarsa durum Bağlantı Kesildi olarak değişir.

Göl evi kümesi (EC2 Otomatik Ölçekleme Grubu)

Göl evi kümesi, veri işlemeden sorumlu bir grup AWS EC2 örneğidir. Küme örnekleri, iniş alanından gelen verileri işlemek ve işledikten sonra verileri Iceberg formatında hedef konumda depolamak için iş yüklerini koordine eder ve yürütür.

Ağ entegrasyonunuzun kurulumu sırasında tek bir AWS Yerel Örnek içeren bir göl evi kümesi otomatik olarak oluşturulur. Devam eden göl evi gereksinimlerinizi desteklemek için ek kümeleri yönetebilir ve oluşturabilirsiniz. Bir kümeyi yapılandırdığınızda, veri işleme gereksinimlerini karşılamak amacıyla sunucuları oluşturmak, başlatmak, durdurmak, ölçeklendirmek veya geri almak üzere Qlik için izin verirsiniz. Her küme tek bir ağ entegrasyonu ile ilişkilidir, ancak aynı ağ entegrasyonu içinde birden fazla küme çalışabilir. Tek bir küme birçok göl evi görevini çalıştırabilir.

AWS Yerel Örnek, normal örneklerden daha düşük bir maliyetle yedek Amazon EC2 kapasitesini kullanır ancak AWS tarafından çok az bir bildirimle kesintiye uğrayabilir. Varsayılan olarak Qlik, veri işleme için geçici Yerel Örnekleri sağlar. AWS Yerel pazarında yetersiz Yerel Örnek mevcutsa Qlik, devamlılığı sağlamak için otomatik olarak İsteğe Bağlı Örnekler kullanacaktır. Sistem, kullanılabilir hale geldiklerinde Yerel Örneklere geri döner. Göl evi küme teknolojisi, işleri düğümler arasında taşıyarak Yerel ve İsteğe Bağlı örnekler arasında zarif bir şekilde geçiş yapmak üzere tasarlanmıştır. Bu işlem manuel müdahale gerektirmeden otomatik olarak gerçekleşir. Küme ayarlarında, kümede kaç Yerel ve İsteğe Bağlı örneğin kullanılması gerektiğini yapılandırabilirsiniz. Yerel Örnekleri kullanmak, Qlik Açık Göl Evi öğenizin devam eden işlem maliyetlerini azaltmaya yardımcı olur.

Kullanılacak Yerel ve İsteğe Bağlı örneklerin sayısını tanımlamanın yanı sıra projenizin iş yüküne ve bütçesine en uygun ölçeklendirme stratejisini yapılandırabilirsiniz. Bir kümeye aşağıdaki ölçeklendirme stratejileri uygulanabilir:

• Düşük maliyet: Geliştirme veya QA ortamları ve güncel, gerçek zamanlı verilere bağlı olmayan iş yükleri için idealdir. Qlik, maliyeti mümkün olduğunca düşük tutmaya çalışmakta, bu da zaman zaman yüksek gecikme sürelerine neden olmaktadır.

• Düşük gecikme: Neredeyse gerçek zamanlı veri güncelliğinin kabul edilebilir olduğu, görev açısından kritik olmayan iş yükleri için tasarlanmıştır. Bu strateji düşük gecikmeyi hedeflese de kısa süreli ani yükselmeler yaşanabilir.

• Tutarlı düşük gecikme: Gerçek zamanlı veri güncelliğine sahip olması gereken yüksek ölçekli verilere sahip üretim ortamları için uygundur. Qlik, düşük gecikmeyi sağlamak için örnekleri proaktif olarak ölçeklendirir, bu da daha yüksek maliyetlere neden olabilir.

• Ölçeklendirme yok: Tutarlı bir veri hacmini işleyen iş yükleri için iyi bir seçenek. Otomatik ölçeklendirme ve öngörülebilir maliyetler olmadan statik sayıda örneği korumak için bu seçeneği belirleyin.

Kinesis akışı (İş yükü koordinasyonu)

Qlik, göl evi kümesindeki her sunucunun durumunu harmanlamak ve iletmek için bir Kinesis akışı gerektirir. Sunucular birbirleriyle iletişim kurmadıkları için görevlerin durumunu ve CPU ve bellek gibi operasyonel ölçümleri doğrudan Kinesis'e bildirir. Her sunucu, küme içindeki diğer sunucular hakkında bilgi edinmek için Kinesis akışındaki verileri sorgular. Bu bilgi alışverişi, işin senkronize edilmesini sağlar.

Amazon S3 demetleri

Amazon S3 demetleri aşağıdaki gibi kullanılır:

• Veri yerleştirme demeti: Ham CDC verileri dönüştürülmeden önce bir S3 demetine yerleştirir.

• Yapılandırma demeti: Göl evi sistemi tarafından kullanılan meta verileri ve yapılandırmaları depolar.

• Iceberg tablo depolama: Veriler Iceberg formatındaki tablolarda saklanır ve optimize edilir.

Üst seviye akış

İlk kurulum

1. VPC ve altyapı sağlama - Qlik belgelerindeki talimatları izleyerek AWS hesabınızda alt ağlar, S3 demetleri, Kinesis akışları ve IAM rolleri ile birlikte bir VPC yapılandırın.

2. Ağ entegrasyonu yapılandırması - Kiracı yöneticisi, önceden sağlanan altyapı ayrıntılarını kullanarak Qlik Talend Cloud içinde bir ağ entegrasyonu oluşturur.

3. Qlik bileşenlerinin dağıtımı - Qlik, veri düzlemi ağ geçidini ve VPC'nizdeki bir göl evi kümesini otomatik olarak sağlar.

4. İletişim kurma - Veri düzlemi ağ geçidi, Qlik Talend Cloud ile güvenli bir şekilde iletişim kurar.

5. Ağ geçidi dağıtımı - Veri düzlemi VPC'si de dahil olmak üzere şirket içinde veya bulut ortamınızda bir Veri Taşıma Ağ Geçidi (CDC) dağıtın.

6. Çalışmaya hazır - Kurulum tamamlandığında erişim izinlerine göre Qlik Açık Göl Evi projeleri ve görevleri oluşturabilir ve yönetebilirsiniz.

Bir Qlik Açık Göl Evi projesi oluşturma

Aşağıdaki görev türleri mevcuttur:

Veri yerleştirme görevi

1. Kaynak yapılandırması - Data movement gateway; RDBMS, SAP, ana bilgisayarlar ve daha fazlası dahil olmak üzere kaynak sistemlerden gelen değişiklikleri yakalayacak şekilde yapılandırılır.

2. Veri yerleştirme - CDC görevi, ham değişiklik verilerini AWS hesabınızdaki belirlenmiş S3 yerleştirme demetine sürekli olarak gönderir.

Veri depolama görevi

1. AWS Glue Veri Kataloğu gibi bir Iceberg katalog bağlantısı kaydedin.

2. Qlik Talend Cloud içinde bir depolama görevi tanımlayın.

3. Qlik Talend Cloud, veri düzlemi ağ geçidine görev tanımları gönderir.

4. Veri düzlemi ağ geçidi, görev talimatlarını Qlik göl evi kümesine güvenli bir şekilde iletir.

5. Küme, ham verileri S3'teki bir yerleştirme demetinden sürekli olarak okur, işler ve çıktıyı S3'teki Iceberg tablolarına yazar.

6. Göl evi kümesi, göl evi kümesi ayarlarında önceden tanımlanmış tercihlere göre yüke bağlı olarak otomatik olarak yukarı veya aşağı ölçeklenir.

7. İzleme verileri, Qlik Talend Cloud hedefine gönderilir ve günlükler ve metrikler Qlik hedefine iletilir.

Veri yansıtma görevi

Veri gölünüzde depolanan verilerin Snowflake'ten çoğaltma olmadan sorgulanmasını sağlamak için harici Iceberg tabloları oluşturabilirsiniz. Bu, Snowflake analiz altyapısını S3 üzerinde Parquet gibi biçimlerde depolanan Iceberg tarafından yönetilen verilerin üzerinde kullanmanıza olanak tanır. Snowflake'e veri kopyalamak yerine harici tablolara referans vererek depolama maliyetlerini azaltır, tek bir doğruluk kaynağını korur ve göl evi ile depo ortamları arasında tutarlılık sağlar.

Ağ entegrasyonunuz ile Qlik Talend Cloud arasındaki iletişim

Ağ entegrasyonu, Qlik Talend Cloud hedefine giden güvenli bir bağlantı (HTTPS) kurar. Başarılı bir şekilde kabul edildikten sonra bağlantı güvenli bir Web soketine (WSS) dönüştürülür. Göl evine özgü görev komutlarını ve kontrollerini almak için ağ entegrasyonu ile Qlik Talend Cloud arasında ek, özel bir iletişim kanalı (WSS) kurulur. Periyodik olarak, ağ entegrasyonu veri ile ilgili olayları almak ve göndermek için Qlik Talend Cloud hedefine güvenli bir bağlantı (HTTPS) kurar. Metrikler ve günlükler göl evi kümelerinden Qlik hedefine gönderilir.

Verilerinizin güvenliğini sağlamak için aşağıdaki önlemler alınmaktadır:

• Ağ entegrasyonunuzdan Qlik Talend Cloud adresine yapılan tüm bağlantılar giden bağlantılardır. Gelen erişim gerekmez.

• Meta veriler, komutlar ve kontrol talepleri HTTPS ile güvence altına alınmış iletişim kanalları kullanılarak iletilir ve ağ entegrasyonu ile Qlik Talend Cloud arasında ek bir şifreleme katmanı oluşturulur.

• Tüm veri akışları size ait kaynaklar arasında gerçekleşir. Veriler hiçbir zaman Qlik Talend Cloud hedefine gönderilmez. Örneğin tablo ve sütun adları gibi meta veriler, görev tanımlarına izin vermek için Qlik Talend Cloud hedefine gönderilir.

• Veriler Qlik hedefine gönderilmeden önce anonimleştirilir. Qlik, günlüklerin veya metriklerin bir soruna işaret etmesi durumunda sizi proaktif olarak desteklemek için anonimleştirilmiş verileri kullanır.