Abonelik değeri sayaçları

Analiz hacmi için Verilerin hesaplanması ve yönetilmesi

Analiz için Verilerin nasıl hesaplandığını anlamak, Qlik Cloud öğesindeki Analiz için Veri kapasitenizden en iyi şekilde yararlanmanıza yardımcı olabilir. Bu bölümde, aylık pik, veri yükleme, uygulama yeniden yüklemeleri ve veri oluşturmanın nasıl ölçüldüğünü daha yakından inceleyecek ve en iyi veri yönetimi uygulamalarını ele alacağız.

Aylık pik

Günlük pik, belirli bir gün için toplam Analiz Verisi hacmini temsil eder. Ay için maksimum günlük pik, satın aldığınız Analiz için Veri kapasitesine göre ölçülen aylık pik değerinizdir.

Günlük pik, QVD, CSV veya metin dosyaları gibi formatlar için tüm dosya boyutlarının toplamı artı o gün uygulama yeniden yüklemeleri için harici kaynaklardan alınan maksimum bayt olarak hesaplanır.

Aşağıdaki örneği inceleyelim:

Ay boyunca günlük veri kullanımı değişkenlik gösterir. 1. gün 3 GB'lik bir pike ulaşırken, 2. gün 6 GB'ye çıkıyor ve ay sonuna kadar bu şekilde devam ediyor. En yüksek günlük kullanım 2. günde 6 GB olarak kaydedilmiştir. Bu bize aylık 6 GB'lik bir pik değer verir. Örneğimizde 3. günde görüldüğü gibi, uygulamanın yeniden yüklenmediği günlerde, bir önceki günün değeri ileriye taşınır.

Verileri Qlik Cloud öğesine yükleme

Harici kaynaklardan Qlik Cloud öğesine yüklenen veriler günlük pik değerine dahil edilir. Verileri bir kiracıya yüklediğinizde, veriler bir kez sayılır ve birden çok kez analiz edilebilir ve kullanılabilir. Birden fazla kiracıya yüklenen veriler birden fazla kez sayılır.

Günlük pik değerine katkıda bulunan veriler aşağıdaki şekilde ölçülür:

• Qlik Sense uygulaması üzerinden yüklenen dosya tabanlı veriler dosya boyutuyla ölçülür.

• Sorgular veya bağlayıcılar kullanılarak yapılan uygulama yeniden yüklemeleri, veri kaynağından alınan maksimum bayt olarak sayılır. Aynı gün içinde birden fazla yeniden yükleme yapıldığında, en büyük uygulama boyutu günlük en yüksek değere doğru sayılacak olandır. Örneğin, bir uygulama bir gün boyunca sırasıyla 0,75 GB, 1,25 GB ve 1 GB ile yeniden yüklenirse o gün için kullanılan değer 1,25 GB olacaktır.

  Bir uygulama Qlik Cloud kiracısında var olduğu sürece, alınan maksimum bayt uygulama için değerlendirilir.

• Qlik Data Gateway - Veri Hareketi üzerinden Qlik Cloud öğesine yüklenen veriler, ortaya çıkan QVD dosyasının boyutuyla ölçülür.

• Analiz etkinlik merkezinde veya qlik-cli kullanılarak dosya içe aktarma yoluyla yüklenen uygulamalar, uygulamanın sabit bayt boyutuna göre ölçülür.

• Yüklenen QVD dosyaları dosya boyutlarına göre ölçülür.

Aşağıdaki durumlarda, veriler günlük pik hesaplamasına dahil edilmez:

• Kullanıcının kişisel alanına yüklenen veriler, bu alanla sınırlı olduğu sürece sayılmaz. Kullanıcı verileri başkalarıyla iş birliği yapmak için paylaşılan bir alana taşırsa bu veriler sayılacaktır.

• Yeniden yükleme başarısız olursa alınan baytlar sayılmaz. Ancak ortaya çıkan tüm QVD dosyaları sayılır.

• Halihazırda Qlik Cloud öğesinde bulunan verilerle bir uygulama yüklediğinizde, veri yüklemesi sayılmaz. Örneğin, kopyalanan veya ikili yüklenen uygulamalar (başka bir Qlik Sense uygulamasından veri yüklenmesi), harici bir kaynaktan yeniden yüklenmedikleri sürece günlük pik değerini etkilemez.

Uygulama yeniden yüklemeleri için alınan baytları ölçme

Bir Qlik Sense uygulamasını harici bir kaynaktan yeniden yüklediğinizde aşağıdakiler geçerlidir:

• Veri hacmi değişmediği sürece, bir uygulamayı aynı kaynak veri kümesinden günlük pik değerini etkilemeden birden çok kez yeniden yükleyebilirsiniz.

• Kaynak veri kümesinin boyutu artarsa günlük pik etkilenir. Veri kümesine eklenen her ek GB veri, yeniden yükleme sırasında alınan verilere eşdeğer miktarda katkıda bulunur.

• Buna karşılık, kaynak veri kümesinin boyutu azalırsa bu azalma günlük pik değerine de yansır. Örneğin, veri kümesi boyutu 0,25 GB azaltılırsa yeniden yükleme boyutu da aynı miktarda azalır. Ancak günün erken saatlerinde 1 GB'lik bir yeniden yükleme gerçekleşmişse o gün için günlük pik 1 GB olacaktır. Bu azalma sadece bir sonraki günün günlük pik değerine yansıyacaktır.

• Kaynak veri kümesinin içeriğindeki değişiklikler, boyutunu değiştirmeden, günlük pik değerini etkilemez. Günlük pik yalnızca veri hacminden etkilenir.

• Aynı veri kümesini tek bir komut dosyası içinde birden çok kez sorgularsanız tüm bu sorgular ayrı ayrı sayılır ve veri hacimleri toplanır. Örneğin, aynı veri kümesinden her biri 1 GB olan üç sorgu içeren bir yükleme komut dosyanız varsa bu sorguların üçü de ayrı ayrı sayılır. Dolayısıyla, günlük pik değeriniz için sayılan toplam veri 3 GB'dir.

• Bir uygulamanın yüklenmesi ve ardından tablonun bırakılması günlük pik değerini azaltmaz çünkü günlük pik değeri o gün için maksimum uygulama yeniden yükleme boyutunu temel alır.

• Bir uygulamayı yükledikten sonra aynı gün içinde silerseniz o gün için günlük pik değerine katkıda bulunmaya devam eder. Ancak uygulamanın artık mevcut olmadığı bir sonraki gün için günlük pik değerini düşürür.

QVD dosyalarına Qlik Talend Data Integration ile yüklenen ölçüm verileri

Aşağıdakiler, Qlik Data Gateway - Veri Hareketi kullanarak harici bir kaynaktan QVD dosyasına veri yüklediğinizde geçerlidir:

• Veri hacmi değişmediği sürece, günlük pik değerini etkilemeden birden çok kez veri kümesi yükleyebilir, içe aktarabilir veya oluşturabilirsiniz.

• Kaynak veri kümesinin boyutu artarsa günlük pik etkilenir. Veri kümesine eklenen her ek GB veri, sonuçta elde edilen QVD dosyasının boyutuna eşdeğer miktarda katkıda bulunur.

• Buna karşılık, kaynak veri kümesinin boyutu azalırsa bu azalma günlük pik değerine de yansır. Örneğin, veri kümesi boyutu 0,25 GB azaltılırsa ortaya çıkan QVD dosyasının boyutu da aynı miktarda azalır.

• Kaynak veri kümesinin içeriğindeki değişiklikler, boyutunu değiştirmeden, günlük pik değerini etkilemez. Günlük pik yalnızca veri hacminden etkilenir.

Harici ve dahili kaynaklardan uygulama yükleme

Uygulamalara yüklenen verilerin, veri kaynağına bağlı olarak günlük pik değerini nasıl etkilediğini kavramak önemlidir. Verilerin farklı kaynaklardan yüklendiği aşağıdaki senaryoları ele alalım.

• Bir uygulama harici bir kaynaktan yüklenir

  Harici bir kaynaktan bir uygulamaya veri yüklediğinizde, bu veri alınan bayt olarak sayılır. Örneğin, 10 GB yüklerseniz günlük pike katkınız 10 GB olur.

• Qlik Cloud içindeki QVD'den bir uygulama yüklenir

  Qlik Cloud içinde bulunan bir QVD dosyasından bir uygulamaya veri yüklenmesi günlük pik değerine dahil değildir. QVD'den bir uygulamaya 10 GB veri yüklenirse harici veri alımı olmadığı için hiçbir veri sayılmaz. Günlük pike katkısı 0 GB'dir.

• Qlik Cloud içindeki bir QVD'den yeni bir QVD dosyası oluşturulur

  Qlik Cloud tabanlı bir QVD'den QVD oluşturucu uygulamasına yüklenen veriler günlük en yüksek değere dahil edilmez. Ancak uygulamadan üretilen sonuç QVD dosyası sayılır. Örneğin, 10 GB'lik bir QVD dosyası yeni bir 5 GB'lik QVD'ye dönüştürülürse günlük pike katkısı iki dosyanın toplamı olan 15 GB'dir. Harici veri alımı olmadığından, QVD oluşturucu uygulamasının (bir veri modeli oluşturan ve bir QVD oluşturan özel bir uygulama) yükü sayılmaz.

• Bir uygulama hem harici hem de dahili kaynaklardan yüklenir

  Bir uygulama harici bir kaynaktan 10 GB ve Qlik Cloud içindeki bir QVD'den 5 GB yüklerse yalnızca harici kaynaktan yüklenen veriler sayıldığından, uygulamanın günlük pike toplam katkısı 10 GB olur.

Qlik Cloud içinde veri oluşturma

Veri dosyalarını kopyalayarak veya mevcut ham verileri birleştirip işleyerek Qlik Cloud öğesinde yeni veriler oluşturduğunuzda, bu veriler günlük pik değerine dahil edilir. Veri, veri oluşturma işlemi sırasında oluşturulan dosyaların toplam boyutu olarak ölçülür. Oluşturulan veriler, kaç uygulamanın kullandığına bakılmaksızın yalnızca bir kez sayılır.

Bu veri oluşturma örneklerini göz önünde bulundurun:

• STORE deyimini kullanarak 1 GB'lik bir QVD dosyası oluşturmak günlük pik değerine 1 GB ekler.

• 1 GB'lik bir QVD dosyasının kopyalanması, her iki kopya da toplama katkıda bulunduğundan günlük pike 1 GB ekler.

• Dönüştürme yoluyla 0,5 GB'lik bir QVD dosyası oluşturmak günlük pike 0,5 GB ekler. Yalnızca elde edilen QVD dosyası sayılır; QVD oluşturucu uygulaması halihazırda Qlik Cloud öğesinde bulunan verileri yüklediği için sayılmaz.

Veri yönetimi için en iyi uygulamalar

Doğru veri yönetimi performansı artırır ve Analiz için Veri kapasitenizden en iyi şekilde yararlanmanızı sağlar. Bu bölüm size Qlik Cloud öğesinde verilerin nasıl verimli bir şekilde işlendiğini gösterecektir.

• Verilerin yeniden kullanımı için QVD dosyaları oluşturma

  Birden fazla Qlik Sense uygulamasında kullanılacak verilerle uğraşırken QVD dosyaları oluşturmayı düşünebilirsiniz. QVD dosyaları, verileri bir kez yüklemenize ve günlük pike eklemeden birden fazla uygulamada yeniden kullanmanıza olanak tanır. Bu, veri alma ve depolama maliyetlerini önemli ölçüde azaltabilir.

  Örneğin, 10 GB harici veri yüklerseniz ve 5 GB QVD dosyası oluşturursanız toplamda 15 GB veri günlük pike katkıda bulunur. Aynı verileri doğrudan iki uygulamaya yüklemek 20 GB ile sonuçlanır.

  

  Genel olarak, Qlik Data Gateway - Veri Hareketi ile verilerin yeniden kullanımı için QVD dosyaları oluşturmak, verileri doğrudan uygulamalar aracılığıyla yeniden yüklemekten daha verimlidir.

• Verimli veri yükleme yöntemleri kullanın

  Veri yüklemeyi optimize etmek için SQL gönderme dönüştürmelerinden yararlanın. Bu teknik, veri dönüşümlerinin ve işlemlerinin doğrudan veri kaynağına aktarılmasını içerir. Verileri kaynakta filtreleyip dönüştürerek aktarılan veri hacmini azaltır ve yükleme verimliliğini artırırsınız.

  Örneğin, bu gönderme sorgusunda WHERE cümlesi doğrudan kaynak veriler üzerinde işlenir. Yalnızca belirli kriterleri karşılayan veri alt kümesi aktarılır ve belleğe yüklenen veri miktarı azaltılır.

  Select * from my-external-database-table where my_column = 10

  QVD dosyalarının yüklenmesi durumunda, WHERE cümlesinin dosya kaynaktan okunduktan sonra işlendiğini ve tüm dosyanın sayıldığını unutmayın.

• Büyük veri kümeleri için isteğe bağlı uygulamaları kullanın

  İsteğe bağlı uygulamalar (ODAG) büyük veri kümeleriyle çalışırken kullanışlıdır. ODAG, ana uygulama için toplu verileri yüklemenize ve yalnızca gerektiğinde daha ayrıntılı verileri almanıza olanak tanır. Kullanıcılar, ayrıntılı analiz için verilerin ilgili alt kümelerini belirlemelerine ve yüklemelerine olanak tanıyan büyük veri depolarının toplu görünümlerini elde eder. İsteğe bağlı uygulamalar

• Büyük veri kümelerini Direct Query ve Dinamik Görünümler ile işleme

  Büyük veri kümeleri için Direct Query ve Dinamik Görünümleri kullanmayı düşünebilirsiniz. Bu özellikler sayesinde, tüm verileri içe aktarmaya veya belleğe yüklemeye gerek kalmadan büyük veri kümelerinin ilgili alt kümelerini sorgulayabilir ve görüntüleyebilirsiniz. Bellek içi uygulamalarla karşılaştırıldığında bazı sınırlamalar olsa da, önemli veri kümeleriyle çalışmak için verimli bir yoldur. Daha fazla bilgi için bk. Direct Query uygulamaları ve Dinamik görünümlerle verileri yönetme.

• Kullanılmayan uygulamaları ve veri dosyalarını düzenli olarak temizleyin

  Kaynak kullanımını optimize etmek ve genel site performansını iyileştirmek için kullanılmayan uygulamaları ve veri dosyalarını düzenli olarak belirleyin ve silin. Aşağıdaki adımlar temizlemenize yardımcı olabilir:

  • Son güncellenen, Görüntüleyen ve Kullanıldığı yer sütunlarını sıralayıp kontrol ederek Katalog'daki kullanılmayan uygulamaları ve veri dosyalarını belirleyin. Bu, öğenin son 28 gün içinde açılıp açılmadığını ve bir veri dosyasının kaç uygulamada kullanıldığını görmenizi sağlar. Görüntüleyici ve öğe kullanım metrikleri

  • Etki analizi ve Köken, bir veri dosyasının nerede kullanıldığını ve belirli bir uygulamada hangi veri dosyalarının kullanıldığını bulmanıza yardımcı olur. Daha fazla bilgi için bk. Uygulamalar, komut dosyaları ve veri kümeleri için etki analizini analiz etme ve Uygulamalar, komut dosyaları ve veri kümeleri için kökeni analiz etme.

  • Uygulamaları ve veri dosyalarını etkinlik merkezlerinden silebilirsiniz. Yöneticiler uygulamaları Yönetim etkinlik merkezinden de silebilir.

Örnek: Taşınan Veri hacmini hesaplama

Bu örnekte, ürün kategorileri için bir veri kümesine sahibiz. Veri kümesi, 100 satır ve aşağıdaki sütunları içerir:

Her bir veri türü için sabit bir boyut vardır:

Artık tahmini satır boyutunu sütun boyutlarının toplamı olarak hesaplayabiliriz: 4 + 7,5 + 200 + 200 = 411,5 bayt. 100 satırla çarpıldığında, bize toplam 41.150 bayt veri hacmi verir.

Tam Kullanıcılar

Full User yetkilendirmesine sahip kullanıcılar, kullanıcı izinleri ve alan izinlerinin izin verdiği sürece uygulamalarda içerik görüntüleyebilir, düzenleyebilir ve oluşturabilir, grafikleri ve uygulamaları dışa aktarabilir, veri entegrasyonu, otomasyonlar, makine öğrenimi ile çalışabilir ve çeşitli diğer görevleri gerçekleştirebilir. Daha fazla bilgi için bk. Kullanıcı yetkilendirmelerini yönetme.

Basic Users kullanıcılar

Ücretsiz Basic User yetkilendirmesi, Qlik Cloud Analytics Premium ve Qlik Cloud Enterprise abonelikleri ile kullanılabilir. Sınırlı, salt okunur erişim için tasarlanmıştır. Basic User'lar uygulama ve diğer varlıkları oluşturamaz veya düzenleyemez, veri ekleyemez ya da Veri Entegrasyonu ile çalışamaz. Ek izinler verilmesi, onları otomatik olarak Full User seçeneğine yükseltir. Daha fazla bilgi için bk. Kullanıcı yetkilendirmelerini yönetme.