Google BigQuery

Google BigQuery'yi veri kümelerini indirmek ve depolamak için bir veri platformu olarak kullanabilirsiniz.

Şu bağlantı özellikleri Qlik Cloud Veri Entegrasyonu içinde bir veri bağlantısı oluşturulurken ayarlanır ve değiştirilemez:

• OAuth Mechanism, Service Authentication olarak ayarlanır.

• Allow non-Select queries etkinleştirilir.

• Enable Bulk Reader devre dışı bırakılır.

Google BigQuery bağlantısıyla ilgili daha fazla bilgi için bk. Google BigQuery bağlantısı oluşturma (yalnızca İngilizce).

Ayrıca, uygulanıp depolanmadan önce verilerin ve değişikliklerin hazırlandığı bir Google Cloud Storage bulut hazırlama alanınız olması gerekir. Daha fazla bilgi için bk. Google Cloud Storage (yalnızca İngilizce).

Yerleştirme verileri için gereken izinler

Hizmet hesabı anahtarı oluşturulurken, bağlantı bilgilerini içeren bir JSON dosyası bilgisayarınıza indirilir. OAuth Mekanizması olarak Hizmet Kimlik Doğrulaması'nı seçerseniz, indirilen JSON dosyasını göz atıp bulmanız gerekir.

Hedef veritabanını otomatik olarak oluşturmak için gereken izinler:

Veri kümesinin otomatik olarak oluşturulmasını istiyorsanız, şu izinler gerekir:

BigQuery > BigQuery İşi Kullanıcısı

BigQuery > BigQuery Verisi Düzenleyicisi

Hedef veritabanı zaten mevcut olduğunda gereken izinler:

Veri kümesi zaten mevcutsa, şu adımları gerçekleştirmeniz gerekir:

1. Şu izinle bir hizmet hesabı oluşturun:

   BigQuery > BigQuery İşi Kullanıcısı

2. Kullanmak istediğiniz veri kümesine gidin, sonra:

   1. Az önce oluşturduğunuz hizmet hesabını sorumlu olarak ekleyin.

   2. BigQuery Verisi Düzenleyicisi rolünü atayın.

Konum

Google Cloud BigQuery veri bağlantıları varsayılan olarak ABD'deki bir konum ile yapılandırılır. Başka bir konum kullanmak istiyorsanız veri bağlantısı özelliklerinde bunu ayarlamanız gerekir.

1. Veri bağlantısını düzenleyin.

2. Gelişmiş'in altına konum adında bir özellik ekleyin.

3. Özelliğin değerini kullanmak istediğiniz konuma ayarlayın.

4. Kaydet düğmesine tıklayın.

Qlik Data Gateway - Veri Hareketi önkoşulları

Veri Hareketi ağ geçidi makinesinde aşağıdaki önkoşulları karşılamanız gerekir.

Sürücü kurulumu

driver öğesini, sürücü yükleme yardımcı programını kullanarak (önerilir) veya manuel olarak yükleyebilirsiniz. Manuel yükleme, nadir görülen şekilde sürücü yükleme yardımcı programında bir sorunla karşılaşmanız durumunda denenmelidir.

Sürücüyü yüklemek için sürücü yükleme yardımcı programı kullanma

Bu bölümde, gerekli driver öğesinin nasıl yükleneceği açıklanmıştır. Sürece, gerekli driver öğesini otomatik olarak indirecek, yükleyecek ve yapılandıracak bir komut dosyası çalıştırma işlemi dahildir. Gerektiğinde driver öğesini güncellemek ve kaldırmak için de komut dosyaları çalıştırabilirsiniz.

Yüklemeyi hazırlama

• Python 3.6 veya daha yeni bir sürümünün Veri Hareketi ağ geçidi sunucusunda yüklü olduğundan emin olun.

  Python, çoğu Linux dağıtımında önceden yüklenmiş şekilde sunulur. Aşağıdaki komutu çalıştırarak sisteminizde yüklü olan Python sürümünü öğrenebilirsiniz:

  python --version

driver uygulamasını yükleme

driver öğesini indirip yüklemek için:

1. Data Movement gateway hizmetini durdurun:

   sudo service repagent stop

2. İsteğe bağlı olarak hizmetin durduğunu doğrulayın:

   sudo service repagent status

   Çıktı şu şekilde olmalıdır:

   not running: /opt/qlik/gateway/movement/bin/agentctl -d /opt/qlik/gateway/movement/data service host

3. Veri Hareketi ağ geçidi makinesinde, çalışan dizini şu şekilde değiştirin:

   opt/qlik/gateway/movement/drivers/bin

4. Şu komutu çalıştırın:

   Söz Dizimi:

   ./install gbq

   driver yüklenemiyorsa (erişim kısıtlamaları veya teknik sorunlar nedeniyle) driver öğesini nereden indireceğiniz ve Veri Hareketi ağ geçidi makinesinde nereye kopyalayacağınız konusunda size talimat veren bir mesaj görünür. Bu işlemi yaptıktan sonra install gbq komutunu tekrar çalıştırın.

   Aksi durumda, driver öğesinin EULA'sı görünür.

5. Şunlardan birini yapın:

   • EULA'da yavaşça gezinmek için [Enter] tuşuna tekrar tekrar basın.
   • EULA'da hızlı bir şekilde gezinmek için Boşluk tuşuna tekrar tekrar basın.
   • Lisans metninden çıkmak ve EULA kabul seçeneklerine ulaşmak için q tuşuna basın.

6. Şunlardan birini yapın:

   • EULA'yı kabul etmek ve yükleme işlemini başlatmak için "y" yazıp [Enter] tuşuna basın.
   • EULA'yı reddetmek ve yükleme işleminden çıkmak için "n" yazıp [Enter] tuşuna basın.

   • EULA'yı tekrar görüntülemek için "v" yazıp [Enter] tuşuna basın.

driver yüklenir.

7. Yüklemenin tamamlanmasını ("Tamamlandı!" ifadesiyle belirtilir) bekleyin ve ardından Data Movement gateway hizmetini başlatın:

   sudo service repagent start

8. İsteğe bağlı olarak hizmetin başladığını doğrulayın:

   sudo service repagent status

   Çıktı şu şekilde olmalıdır:

   running: /opt/qlik/gateway/movement/bin/agentctl -d /opt/qlik/gateway/movement/data service host

driver öğesini güncelleme

Sağlanan driver öğesini yüklemeden önce driver öğesinin eski sürümlerini kaldırmak istiyorsanız güncelleme komutunu çalıştırın.

driver öğesini indirip güncellemek için:

1. Data Movement gateway hizmetini durdurun:

   sudo service repagent stop

2. İsteğe bağlı olarak hizmetin durduğunu doğrulayın:

   sudo service repagent status

   Çıktı şu şekilde olmalıdır:

   not running: /opt/qlik/gateway/movement/bin/agentctl -d /opt/qlik/gateway/movement/data service host

3. Veri Hareketi ağ geçidi makinesinde, çalışan dizini şu şekilde değiştirin:

   opt/qlik/gateway/movement/drivers/bin

4. Şu komutu çalıştırın:

   Söz Dizimi:

   ./update gbq

   driver yüklenemiyorsa (erişim kısıtlamaları veya teknik sorunlar nedeniyle) driver öğesini nereden indireceğiniz ve Veri Hareketi ağ geçidi makinesinde nereye kopyalayacağınız konusunda size talimat veren bir mesaj görünür. Bu işlemi yaptıktan sonra install gbq komutunu tekrar çalıştırın.

   Aksi durumda, driver öğesinin EULA'sı görünür.

5. Şunlardan birini yapın:

   • EULA'da yavaşça gezinmek için [Enter] tuşuna tekrar tekrar basın.
   • EULA'da hızlı bir şekilde gezinmek için Boşluk tuşuna tekrar tekrar basın.
   • Lisans metninden çıkmak ve EULA kabul seçeneklerine ulaşmak için q tuşuna basın.

6. Şunlardan birini yapın:

   • EULA'yı kabul etmek ve yükleme işlemini başlatmak için "y" yazıp [Enter] tuşuna basın.
   • EULA'yı reddetmek ve yükleme işleminden çıkmak için "n" yazıp [Enter] tuşuna basın.
   • EULA'yı baştan incelemek için "v" yazıp [Enter] tuşuna basın.

Eski driver kaldırılacak ve yeni driver yüklenecektir.

7. Yüklemenin tamamlanmasını ("Tamamlandı!" ifadesiyle belirtilir) bekleyin ve ardından Data Movement gateway hizmetini başlatın:

   sudo service repagent start

8. İsteğe bağlı olarak hizmetin başladığını doğrulayın:

   sudo service repagent status

   Çıktı şu şekilde olmalıdır:

   running: /opt/qlik/gateway/movement/bin/agentctl -d /opt/qlik/gateway/movement/data service host

driver öğesini kaldırma

driver öğesini kaldırmak istiyorsanız kaldırma komutunu çalıştırın.

driver öğesini kaldırmak için:

1. Verileri indirmek için Veri Hareketi ağ geçidi kullanılıyorsa tüm indirme görevlerinizi durdurun. Hedef üzerinde ELT işlemlerini gerçekleştirmek için farklı bir Veri Hareketi ağ geçidi kullanılıyorsa ilgili tüm görevleri (Veri Kaydı, Depolama, Dönüşümler ve Veri Ambarları) durdurun. Yerleştirme verileri için tek bir Veri Hareketi ağ geçidi kullanılıyorsa ve hedef üzerinde ELT görevleri gerçekleştiriliyorsa yukarıda bahsedilen tüm görevleri durdurun.

2. Veri Hareketi ağ geçidi makinesinde, çalışan dizini şu şekilde değiştirin:

   opt/qlik/gateway/movement/drivers/bin

3. Şu komutu çalıştırın:

   Söz Dizimi:

   ./uninstall gbq

   driver kaldırılacaktır.

Sürücüyü manuel olarak yükleme

driver öğesini manuel olarak yüklemeyi yalnızca otomatik sürücü yükleme başarıyla tamamlanmadığında denemelisiniz.

1. Simba ODBC sürücüsü sürüm 2.3.3.1005 dosyasını Data Movement gateway makinesine indirin.

2. Data Movement gateway hizmetini durdurun:

   sudo service repagent stop

3. İsteğe bağlı olarak hizmetin durduğunu doğrulayın:

   sudo service repagent status

Çıktı şu şekilde olmalıdır:

not running: /opt/qlik/gateway/movement/bin/agentctl -d /opt/qlik/gateway/movement/data service host

4. Şu dosyayı ayıklayın:

   SimbaODBCDriverforGoogleBigQuery64_2.3.3.1005.tar.gz

   şu şekilde değiştiririz:

   /opt/SimbaODBCDriverforGoogleBigQuery_2.3.3.1005-Linux

5. GoogleBigQueryODBC.did ve simba.googlebigqueryodbc.ini dosyalarını Simba ODBC sürücüsü dizininin altındaki lib dizinine taşıyın.

   Örnek:

   Dosyaları şuradan taşıyın:

   /opt/SimbaODBCDriverforGoogleBigQuery_2.3.3.1005-Linux/setup

   şu şekilde değiştiririz:

   /opt/SimbaODBCDriverforGoogleBigQuery_2.3.3.1005-Linux/SimbaODBCDriverforGoogleBigQuery64_2.3.3.1005/lib

6. simba.googlebigqueryodbc.ini dosyasını şu şekilde düzenleyin:

   1. ErrorMessagesPath yolunu ODBC mesajlarını içeren XML dosyasının yolu olarak değiştirin. Varsayılan konum:

      ErrorMessagesPath=/opt/SimbaODBCDriverforGoogleBigQuery_2.3.3.1005-Linux/SimbaODBCDriverforGoogleBigQuery64_2.3.3.1005/ErrorMessages

   2. DriverManagerEncoding öğesini UTF-16 olarak değiştirin.

7. Aşağıdaki yolu, Data Movement gateway grup dizininde bulunan site_arep_login.sh dosyasına ekleyin:

   export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/SimbaODBCDriverforGoogleBigQuery_2.3.3.1005-Linux/SimbaODBCDriverforGoogleBigQuery64_2.3.3.1005/lib

8. /etc/odbcinst.ini dosyasını düzenleyip sürücü yolunu (yani sürücünün yüklü olduğu yol) ekleyin:

   [ODBC Drivers]

   Simba= Installed

   Simba ODBC Driver for Google BigQuery = Installed

   [Simba ODBC Driver for Google BigQuery]

   Description=Simba ODBC Driver for Google BigQuery(64-bit)

   Driver=/opt/SimbaODBCDriverforGoogleBigQuery_2.3.3.1005-Linux/SimbaODBCDriverforGoogleBigQuery64_2.3.3.1005/lib/libgooglebigqueryodbc_sb64.so

9. Google Cloud SDK 402.0.0 for Linux dosyasını Data Movement gateway makinesine indirip yükleyin.

10. Data Movement gateway hizmetini başlatın.

    sudo service repagent start

11. İsteğe bağlı olarak hizmetin başlatıldığını doğrulayın:

    sudo service repagent status

    Çıktı şu şekilde olmalıdır:

    running: /opt/qlik/gateway/movement/bin/agentctl -d /opt/qlik/gateway/movement/data service host

Bağlantı noktası

Giden iletişim için güvenlik duvarı bağlantı noktası 443'ün açılması gerekir.

Veri türleri

Parametreli veri türü uzunluğu varsayılan değerlere ayarlanır:

• STRING: 8192 (uzunluk)

• BYTES: 8192 (uzunluk)

• NUMERIC: Precision: 38, Scale: 9

• BIGDECIMAL: Precision: 76, Scale: 38

Aşağıdaki tabloda, Qlik Cloud kullanırken desteklenen Google BigQuery veri türleri ve Qlik Cloud veri türlerine ait varsayılan eşlemeler gösterilmektedir.