Ana içeriğe geç

Adım adım - Store komutunu kullanarak veri yüklemelerini artırma

BU SAYFADA

Adım adım - Store komutunu kullanarak veri yüklemelerini artırma

Bu adım adım örnek, Qlik Sense SaaS üzerinde Store komutunu kullanarak veri yüklemelerini artırmayı göstermektedir.

QVD dosyası oluşturmak için Store komutunu kullanabilir ve o dosyayı DataFiles içine yükleyebilirsiniz. Bu veriler, örneğin geçerli tarihten önceki belirli bir gün sayısı gibi, sadece sınırlı bir süre boyunca veritabanından kullanılabilen veri kayıtları olabilir. Geçmişteki veriler oluşturduğunuz QVD dosyasından yüklenebilir ve bir kaynak veritabanındaki kullanılabilir en son verilerle birleştirilebilir. Ardından en son veriler QVD dosyasına yeniden eklenebilir. Bu örnek, bu kullanım durumunu gösterir.

Ayrıca bir bağlantıdaki yalnızca bir kez depolamak istediğiniz verileri depolamak ve ardından bir veritabanından yeni veriler eklemek için Store'u kullanabilirsiniz. Bu işlem, hem sonradan gerçekleştirilen veri yükleme sürelerini hem de veritabanı sunucuları, ağınız vb. üzerindeki yükü azaltabilir. Bu örnek, bu kullanım durumunu dikkate almaz. Bununla birlikte, genellikle aynı adımlar geçerli olacaktır.

Bu örnekte Standard Search Twitter API kullanarak bir bağlantı oluşturuyoruz ve belirli bir metin terimini arıyoruz. Arama, Twitter tarafından uygulanan bir sınırlandırma olan son 7 günün tweetleri için eşleşme bulur. Dolayısıyla bu örnekte Standard Search Twitter API, Twitter veritabanından yüklenen verilerin miktarını sınırlandırmaktadır.

Store komutu kullanarak Twitter veri tablosunu QVD dosyası içinde saklayıp dosyayı DataFiles içine yükleyebiliriz. Ardından, Twitter üzerinden en yeni verileri isteriz ve verileri, QVD dosyasındaki verilerle birlikte uygulamamızın içine yükleriz. Veriler tekrar QVD dosyasına geri yüklenir ve böylece QVD dosyasını artırır.

Ardından uygulamayı yayınlarız ve yayınlanmış uygulamamızı en yeni verilerle yeniden yükleriz.

Bu örnekteki görevler ve kavramlar hakkında daha fazla bilgi için bkz.

Önkoşullar

Görevler

Bu örneği tamamlamak için aşağıdaki görevler gereklidir:

  1. Bir uygulama oluşturma Twitter'a ile bağlantı kurma
  2. Twitter uygulamasında veri seçme
  3. Twitter verilerinden QVD dosyası oluşturmak ve artırmak için kod deyimleri ekleme
  4. Kodu çalıştırma
  5. Verileri yeniden yükleme planını ayarlama

Bir uygulama oluşturma Twitter'a ile bağlantı kurma

  1. Bulut hub'ındaki çalışma alanınızda bir uygulama oluşturun.
  2. Kod düzenleyicisini açın. Kod düzenleyicisini açma seçeneği yeni bir uygulama oluşturduğunuzda gösterilir. Kod düzenleyicisine, veri yükleme düzenleyicisinden de erişebilirsiniz.
  3. Sağ menüde, Veri bağlantıları altında Yeni bağlantı oluştur'a tıklayın. Yeni bağlantı oluştur penceresi açılır.
  4. Veri kaynakları açılan listesinden Twitter 'ı seçin. Kimlik doğrulama penceresi açılır.
  5. Kimliği doğrula'ya tıklayın.  Twitter API kimlik doğrulama penceresi açılır. Tarayıcınızda açılır pencereleri etkinleştirmeniz gerekebilir.
  6. Twitter hesabınızı kullanmak üzere Qlik web bağlayıcılarına yetki vermek için Twitter kimlik bilgilerinizi girin.
  7. Oturum aç'a tıklayın. Erişim kodunu gösteren bir Twitter penceresi açılır. Kodu kopyalayın.
  8. Qlik Sense kimlik doğrulama penceresinde kodu yapıştırın ve Doğrula'ya tıklayın. Bağlantı için kimlik doğrulanmıştır.
  9. Bağlantı oluştuğunu doğrulamak için Bağlantıyı Test Et öğesine tıklayın.
  10. Bağlantıyı adlandırın ve Oluştur'a tıklayın. Bağlantı oluşturulmuştur ve veri yükleme düzenleyicisi açılır. Bağlantı, sağ menüdeki Veri bağlantıları listenize eklenir.

Twitter uygulamasında veri seçme

Bağlantınızı oluşturduktan sonra Twitter üzerinden yüklemek istediğiniz verileri seçin.

  1. Kod düzenleyicisinde kodunuza yeni bir sekme ekleyin.
  2. Sekmeyi adlandırın. Sekmeyi New Data (Twitter) olarak adlandırdık. İmlecinizi kod düzenleyicisi penceresine getirin.
  3. Veri yükleme düzenleyicisinde Twitter bağlantınız için Veri seç öğesine tıklayın.

    Yüklenecek verileri seç penceresi açılır.

  4. Search adlı tabloyu seçin ve sonra aranacak terimi seçin. Örneğimizde, "Kubernetes" kullanıyoruz.

     

    Arama tablosu seçili veri yükleme penceresi

    Data load window with Search table selected.

  5. Verileri önizle'ye tıklayın. Search tablosuna ilişkin veri alanları gösterilir. Yüklemek istediğiniz alanları seçin. Örneğimiz için şu alanları seçiyoruz: id, created_at, text, source ve user_name.

     

    Verilerin önizlemesini gösteren veri yükleme penceresi

    Data load window showing a preview of data.

  6. Kod ekle'ye tıklayın. Kod segmenti, veri yükleme düzenleyicisindeki kod düzenleyicisinde yer alan Yeni veriler (Twitter) sekmesine eklenir.

  7. Load deyiminin üstüne bir satır ekleyerek tabloyu adlandırın. Örneğimizde TwitterSearch adını veriyoruz

     

    Sekmeniz aşağıdaki ekran görüntüsüne benzer bir görünüme sahip olmalıdır (yorumlar hariç):

     

    Veri yükleme düzenleyicisinde yeni veri (Twitter) sekmesi

    New data (Twitter) tab in the data load editor.

  8. Veri yüklemenizin çalıştığını doğrulamak için üst menüde Verileri yükle'ye tıklayın. Veriler yüklenir.

     

    Veri yükleme ilerleme penceresi

    Data load progress window.

Dilerseniz tablolar ve alanlardaki verileri, veri modeli görüntüleyicisinde görüntüleyebilirsiniz. Ayrıca güncel verilerinizi görüntülemek için uygulamanızda bir tablo oluşturursunuz.

Twitter verilerinden QVD dosyası oluşturmak ve artırmak için kod deyimleri ekleme

Uygulamanızı Twitter üzerinden veri yükleyecek şekilde ayarladıktan sonra bu verileri bir QVD dosyasında depolayabilirsiniz. Twitter Standard API yalnızca önceki 7 güne ait verilerin alınmasına izin verdiğinden veriler yüklendikten sonra QVD ilk başta o verileri içerir.

  1. Kod düzenleyicisinde kodunuza yeni bir sekme ekleyin.
  2. Sekmeyi adlandırın. Sekmeyi Historical data (QVD) olarak adlandırdık.
  3. Sekmede aşağıdaki kod deyimlerini ekleyin. Yorumlar (//) başvuru amaçlıdır. Kodu çalıştırdığınızda bunlar yürütülmez.

     

    Not: Firefox üzerinden kopyalayıp yapıştırıyorsanız satır sonlarının kod düzenleyicisinde düzgün bir şekilde görünmesi için önce Word gibi başka bir belgeye yapıştırmanız gerekebilir.

     

    //QVD dosya boyutunu test etme yordamı. Dosya mevcut değilse <null> değerini döndürür let size = FileSize('lib://DataFiles/AllTweets.qvd'); //Geçmişteki verileri çekme aralığını bir değişkene ayarla LET vRollingDate = Today()-90; //Dosya mevcut ise ve bazı veriler içeriyorsa if deyimi yürütülür; //Dosya mevcut değilse, yani null ise if deyimi atlanır if not isnull(size) then TwitterSearch: LOAD * FROM ['lib://DataFiles/AllTweets.qvd'](qvd) //Twitter kimlikleri benzersizdir; yalnızca yeni tweetlerin eklenmesini sağlar WHERE NOT EXISTS (Search.id) //qvd dosyasındaki son 90 güne ait verileri yükle; //QVD dosyası 7 günlük Twitter Standart API sınırının ötesindeki geçmişe ait verileri sunar. //Ayrıca depolanan artışlı qvd dosyasının boyutunun çok fazla büyümemesini sağlar. AND FLOOR (Date([Search.created_at]))>=$(vRollingDate); end if

     

    Sekmeniz aşağıdaki ekran görüntüsüne benzer bir görünüme sahip olmalıdır:

     

    Veri yükleme düzenleyicisinde geçmişteki veriler (QVD) sekmesi

    Historical Data (QVD) in the data load editor.

  4. Kodunuza bir yeni sekme daha ekleyin.
  5. Sekmeyi adlandırın. Sekmeyi Store to QVD olarak adlandırdık.
  6. Sekmede aşağıdaki kod deyimlerini ekleyin.

     

    //QVD dosyasının önceden var olup olmadığı fark etmeksizin güncellenmiş veriler QVD'de depolanır. STORE TwitterSearch INTO [lib://DataFiles/AllTweets.qvd](qvd);

     

    Sekmeniz aşağıdaki ekran görüntüsüne benzer bir görünüme sahip olmalıdır:

     

    Veri yükleme düzenleyicisinde QVD'ye Depolama sekmesi

    Store to QVD tab in the data load editor.

Kodu çalıştırma

Kodu ilk kez çalıştırdığınızda veriler Twitter üzerinden yüklenir ve AllTweets.qvd adlı QVD dosyası, Twitter verilerinden oluşturulur. QVD dosyası DataFiles alanınıza eklenir. Kodu tekrar çalıştırdığınızda veriler, Twitter ve QVD dosyasından yüklenir. Ardından QVD dosyası, QVD dosyasından yüklediğiniz verilerle güncellenir.

  1. Verileri yükle'ye tıklayın. Kodu ilk kez çalıştırdığınızda veriler Twitter üzerinden yüklenir ve AllTweets QVD dosyası bu veriler kullanılarak oluşturulur. QVD dosyası DataFiles alanınıza eklenir ve Select data öğesine tıklanarak görüntülenebilir.

     

    Kodu ilk kez çalıştırdığınızda aşağıdakine benzer bir mesaj görmelisiniz:

     

    Veri yükleme ilerleme penceresi

    Data load progress window.

     

    İkinci ve sonraki veri yüklemelerinizde aşağıdakine benzer bir mesaj görmelisiniz:

     

    Veri yükleme ilerleme penceresi

    Data load progress window.

  2. Verilerinizi kullanarak uygulamanızda grafikler ve tablolar oluşturun.

Verileri yeniden yükleme planını ayarlama

Verilerinizi yükledikten sonra bu verileri uygulamanızda gösterebilirsiniz. Verileri yeniden yüklemenin bir yolu, gördüğümüz gibi, kod düzenleyicisini açıp Verileri yükle'ye tıklamaktır. Bununla birlikte, verileri manuel olarak veya seçtiğiniz bir zamanlamayla bulut hub'ı kullanıcı arayüzünde yeniden yükleyebilirsiniz. Daha fazla bilgi edinmek için bkz. Bulut hub'ında uygulama verilerini yeniden yükleme.