Verileri bir bulut veri deposuna yansıtma

Yansıtma görevleri, size ait Qlik Açık Göl Evi hedefinden depolanan verileri bulut veri depolarınızdan sorgulamanızı sağlar. Veriler deponuza tekrarlanmadan yansıtılır. Yansıtılmış tablolar, depolama ve mühendislik maliyetlerinin minimum düzeyde olmasını ve tek bir doğruluk kaynağının korunmasını sağlar.

Verilerinizi bir Qlik Açık Göl Evi hedefine ekledikten sonra, ayna tabloları kullanarak verilerinizi bulut veri deponuza yansıtabilirsiniz. Iceberg'deki veriler, Amazon Athena gibi Iceberg'i yerel olarak destekleyen bir sorgu motoru kullanılarak sorgulanabilir. Ancak yansıtma tabloları, açık Iceberg göl evi mimarisini uygulamak ve veri ambarı sorgu altyapınızı kullanmaya devam etmek istediğinizde idealdir. Yansıtma veri görevi, Iceberg tablolarını veri ambarınızda harici tablolar ve görünümler olarak bildirerek erişilebilir hale getirme sürecini otomatikleştirir. Veri ambarı, Iceberg tablosunu harici bir görünüm olarak ifade eder çünkü tabloyu yönetmez, sadece ondan okur. Harici tablolar ve görünümler, verileri veya tablolarınızın yönetimini veri ambarınıza taşımadan Iceberg verilerinizi veri ambarınızda sorgulamanıza olanak tanır.

Yansıtma görevi, harici tabloları ve görünümleri oluşturmak için gerekli DDL deyimlerini yürütür. Tablo (şema) veri deposunda, değişiklikler ve geçmiş tablolarıyla birlikte görüntülenir, ancak tablo tanımına bakarsanız harici tablonun üstünde oluşturulan bir görünüm olarak görüntülenir. Veri tüketicileri, veriler kendi veri deposu ortamlarında depolanıyormuş gibi görünümleri sorgulayabilir. Yansıtılmış veriler yüksek performans sunar, çünkü Qlik verileri yönetmeye ve optimize etmeye devam eder.

Birden çok veri deposuna yansıtma

Tek bir veri kümesi, birden çok bulut veri deposuna yansıtılabilir. Aşağıdaki görsel, bir Qlik Açık Göl Evi işlem hattı projesinin verileri Amazon Redshift ve Snowflake'e yansıtmak için nasıl kullanılabileceğini gösterir:

• İşlem hattı, MySQL QCDI-BETA bağlantısını kullanarak bir MySQL veritabanından veri alır.

• Lake yerleştirme görevi, EnergyGen_Lake_landing, ham veriyi bir Amazon S3 demetine alır.

• Ardından, depolama görevi, EnergyGen_Storage, veriyi Apache Iceberg formatında depolamak için bir S3 konumuna kopyalar.

• Yansıtma veri görevi, Redshift Mirror, verinin Redshift'ten sorgulanabilmesini sağlamak için gerekli görünümleri oluşturur ve veriyi otomatik olarak yeniler.

• Dönüştürme görevi, Redshift_Energygen_Silver, Redshift'teki yansıtma verisini dönüştürmek ve tüketmek için kullanılır.

• İkinci bir Mirror veri görevi olan Snowflake Mirror, verilerin Snowflake'ten sorgulanabilmesini sağlamak için gerekli görünümleri oluşturmak üzere eklenir.Mirror görevi, Qlik tarafından yönetilen yenileme mekanizmasını kullanır ve bu da aşağı akış dönüşümlerine olanak tanır.

• Dönüştürme görevi olan Snowflake_Energygen_Data_Products, Snowflake'teki verileri dönüştürmek ve tüketmek için kullanılır.

Yenileme mekanizması

Size sunulan yenileme mekanizması, bulut veri deposu sağlayıcınıza bağlıdır, aşağıda ayrıntıları verildiği gibi.

Redshift

Redshift'e yansıtılan veriler otomatik olarak yenilenir ve görevi zamanlamaya veya çalıştırmaya gerek yoktur. Redshift'te tüm tablo ve görünüm adları küçük harfe dönüştürülür, çünkü Qlik Açık Göl Evi büyük/küçük harfe duyarlı nesne adlarını (veritabanı, şema, tablo veya sütun) desteklemez.

Snowflake

Snowflake, Iceberg içindeki mevcut verilerin en son anlık görüntüsünü yansıtan meta verilere işaret eder. Meta verileri yenilemenin iki yolu vardır:

1. Qlik-managed: Bu seçenek aktif bir Snowflake deposu gerektirir ve izleme ve veri önizleme içerir. Aşağı akış dönüşümleri oluşturmak, görevi izlemek ve zamanlamak istediğinizde bu seçeneği belirleyin. Qlik, meta veri yenileme işleminin sahibidir, böylece bunu manuel olarak, örneğin her 30 dakikada bir çalışacak şekilde yapılandırabilirsiniz. Bu seçenek, tüm tabloların meta verileri eş zamanlı olarak güncellendiğinden, özellikle çoklu tablo dönüşümleri için önemlidir. Snowflake tarafından yönetilen yenilemenin sunduğu gerçek zamanlı kazancın bir kısmını kaybedebilirsiniz, ancak tablolar arasındaki tutarlılığı korursunuz. Çoklu tablo dönüşümleri için yenilemeyi gereken sıklıkta tetikleyebilirsiniz. Qlik, zamanlanmış yansıtma görevini takip eden aşağı akış dönüştürme görevlerinde olay tabanlı tetikleme ayarlamanızı önerir.

2. Snowflake yönetimli: Bir bilgi işlem deposu gerektirmeden veya etkinleştirmeden Snowpipe altyapısından yararlanan sunucusuz bir işlem. Bu seçenek, aşağı akış dönüşümlerine ihtiyaç duymadığınızda önerilir. Yenileme aralığı, Snowflake katalog entegrasyonunu oluşturduğunuzda yapılandırılır. Otomatik yenilemenin durumunu izlemek için Snowflake'te SYSTEM$AUTO_REFRESH_STATUS değerini sorgulayın. Qlik, sürecin sahipliğini kaybeder ve bu tür görevleri izleyemez.

Ön koşullar

Aşağıdaki gereksinimler, desteklenen tüm veri ambarı hedefleri için geçerlidir:

• Bir Yansıtma veri görevi, yalnızca bir Qlik Açık Göl Evi projesinde bir depolama görevi oluşturulduktan sonra eklenebilir.

• Bir depolama görevi, her biri farklı bir veri ambarını hedefleyen birden çok Yansıtma veri görevine sahip olabilir.

• Bir Yansıtma veri görevi, yalnızca bir depolama göreviyle ilişkilendirilebilir.

• Dönüşümler gerçekleştirmek için bir veri ambarı projesi oluşturun ve Kaynak olarak Veri Yansıtma görevini kullanın. Proje ve yansıtma görevi, örneğin Redshift gibi aynı veri ambarı platformunu kullanmalıdır.

Verilerinizi yansıtmak için hedef veri ambarınızın ayarlarını yapılandırın.

Redshift

• Verilerinizi yansıtmak istediğiniz veri ambarı veritabanına bir bağlantı. İsteğe bağlı olarak, yansıtma görevi oluşturma sırasında yeni bir bağlantı oluşturabilirsiniz. Daha fazla bilgi için şuraya bakın: Amazon Redshift.

• Redshift tarafından üstlenilen, Glue Veri Kataloğu okuma izinlerine sahip bir IAM rolü.Aşağıdaki komut dosyası, kataloğunuza erişmek için gerekli izinleri sağlar. <ICEBERG_BUCKET_NAME> değerini kendi demet adınızla değiştirdiğinizden emin olun:

  {
  	 "Version": "2012-10-17",
          "Statement": [
               {
              	 "Effect": "Allow",
                  "Action": [
                      "glue:GetDatabase",
                      "glue:GetDatabases",
                      "glue:GetTable",
                      "glue:GetTables",
                      "glue:GetPartition",
                      "glue:GetPartitions"
                  ],
                  "Resource": "*"
               },
               {
                  "Effect": "Allow",
                  "Action": [
                      "s3:GetObject",
                      "s3:ListBucket"
                  ],
                  "Resource": [
                      "arn:aws:s3:::<ICEBERG_BUCKET_NAME>",
                      "arn:aws:s3:::<ICEBERG_BUCKET_NAME>/*"
                  ]
              }
  }

  Bu rol, aşağıdaki güven ilişkisini gerektirir:

  {
  	"Version": "2012-10-17",
          "Statement": [
               {
                   "Effect": "Allow",
                   "Principal": {
                         "Service": "redshift-serverless.amazonaws.com"
                    },
                   "Action": "sts:AssumeRole"
               },
               {
                   "Effect": "Allow",
                   "Principal": {
                      "Service": "redshift.amazonaws.com"
                      },
                      "Action": "sts:AssumeRole"
               }
        ]
  }

  Bilgi notuDaha fazla bilgi için Amazon Redshift Spectrum için IAM ilkeleri bölümüne bakın.

• Depolama görevi veritabanına işaret eden Redshift'te harici bir şema. Kaynak Iceberg depolama görevi dahili veritabanına işaret ederek ve CREATE EXTERNAL SCHEMA komutunu yürüterek harici bir Redshift şeması oluşturmanız gerekir. Harici tüketiciler, ayna görevi şeması tüketim görünümlerinden tüketmelidir. Harici şemanızı oluşturmak için, DATABASE özelliğinin depolama görevi tarafından oluşturulan veritabanı olduğundan emin olarak aşağıdaki sözdizimini kullanın:

  
  

  CREATE EXTERNAL SCHEMA <local_schema_name>
  FROM DATA CATALOG
  DATABASE '<database_name>'
  IAM_ROLE 'arn:aws:iam::<AWS account-id>:role/<role-name>'
  REGION '<aws-region>'

Snowflake

• Verilerinizi yansıtmak istediğiniz veri ambarı veritabanına bir Bağlantı. İsteğe bağlı olarak, yansıtma görevi oluşturma sırasında yeni bir bağlantı oluşturabilirsiniz. Daha fazla bilgi için şuraya bakın: Snowflake.

• Snowflake harici hacmi. Bu, Snowflake'e S3 konumunuza kısıtlı erişim sağlar. Birimi yapılandırmak üzere Amazon S3 için harici bir birim yapılandır bölümüne bakın.

• Bir AWS Glue Veri Kataloğu entegrasyonu. Bu, Snowflake'in nesne deponuzda Iceberg açık tablo biçiminde tutulan verilere bağlanmasını sağlar. Katalog entegrasyonu yapılandırmak için bkz. AWS Glue için katalog entegrasyonu yapılandır.

Bir yansıtma verisi görevi oluşturma

Verileri veri ambarınıza yansıtmak için aşağıdakileri yapın:

1. Yansıtmak istediğiniz veriler için depolama görevini içeren projeyi açın.

2. Depolama görevinde Daha fazla eylem öğesine tıklayın. Yansıtma verisi'ni seçin ve yapılandırın:

• Ad: Yansıtma göreviniz için bir ad girin.

• Açıklama: İsteğe bağlı olarak, görevin amacını açıklayın.

• Veri ambarı: Hedef veri ambarınızı seçin.

• Bağlantı: 

  • Mevcut bir bağlantıyı kullanmak için Seç'e tıklayarak Güvenli kaynak bağlantısı iletişim kutusunu açın. Bağlantınızın bulunduğu Alan'ı seçin, ardından bağlantıyı seçin. Bağlantı özelliklerini değiştirmek için Düzenle'ye tıklayın.

  • Yeni bir bağlantı oluşturmak için Bağlantı oluştur iletişim kutusunu açmak üzere Bağlantı oluştur'a tıklayın ve talimatları izleyin.

• Veritabanı: Verileri yansıtmak istediğiniz veritabanının adını girin.

• Redshift'e yansıtmak için:

  • Harici şema: Görünümlerin oluşturulacağı şemanın adını girin.

    Bilgi notuRedshift'te tüm tablo ve görünüm adları küçük harfe dönüştürülür.

• Snowflake'e yansıtmak için:

  • Snowflake harici birimi: Snowflake'te oluşturulan harici birimin adını girin.

  • Snowflake katalog entegrasyonu: Snowflake'te oluşturulan katalog entegrasyonunun adını girin.

  • Snowflake'te verilerinizin nasıl yenilenmesini istediğinizi seçin:

    • Qlik tarafından yönetilen: Aşağı akış dönüşümleri oluşturmak istiyorsanız bu seçeneği belirleyin. Bu, aktif bir Snowflake deposu gerektirir ve Qlik tarafından izlenir.

    • Snowflake tarafından yönetilen: Aşağı akış dönüşümleri gerçekleştirmek istemiyorsanız bu seçeneği belirleyin. Bir Snowflake deposu gerekli değildir ve bu nedenle Qlik tarafından izlenmez. Bu, Snowflake'te yönetilir ve izlenir.

3. Tamam'a tıklayarak yansıtma görevini oluşturun ve işlem hattınızdaki depolama görevine ekleyin.

4. Yansıtma görevinde Daha fazla eylem'e tıklayın ve Aç'ı seçin. Tasarım görünümünü görüntülediğinizden emin olun.

5. Kullanılabilir veri kümelerinin bir alt kümesini seçmek için Kaynak veri seç'e tıklayın ve istenmeyen veri kümelerini kaldırın.

6. Harici nesneleri oluşturmak ve verileri yansıtmak için Hazırla'ya tıklayın.

Dönüştürmeler gerçekleştirme

Verilerinizi dönüştürmeniz gerekiyorsa bir Redshift veya Snowflake projesi oluşturabilir ve kaynak olarak Qlik Açık Göl Evi projenizdeki bir yansıtma veri görevini kullanabilirsiniz.Yansıtma görevi kaynağı, projeyle aynı bulut veri deposu platformu olmalıdır.Örneğin, dönüşümler gerçekleştirmek için bir Redshift projesi oluşturduğunuzda, kaynak olarak bir Redshift yansıtma veri görevi kullanmanız gerekir.

Bir yansıtma veri görevini silme

Bir yansıtma görevini sildiğinizde, yansıtma görevi tarafından oluşturulan dahili şemalar ve görünümler bırakılır. Redshift'teki harici şemalar ve tablolar bırakılmaz. Bir tablo AWS Glue'dan silinirse, örneğin bir kullanıcı depolamadaki veri kümesini bıraktığında veya depolama görevinin tamamını sildiğinde, değişiklik otomatik olarak Redshift harici şemasına yansıtılır. Tablo kaldırılır ve ayrıca bırakılması gerekmez. En iyi uygulama olarak, harici şema artık kullanılmıyorsa tamamen bırakın.

Bir Yansıtma verisi görevini silmek için aşağıdakileri yapın:

1. Silmek istediğiniz Yansıtma verileri görevinde, görev üzerindeki Daha fazla eylem menüsüne tıklayın ve Sil'i seçin.

2. Onay diyalog penceresinde Sil'e tıklayın.