Ayrı bir veri görevini izleme
Veri görevi penceresinin sol üst kısmındaki açılır menüden İzle'yi seçerek veri görevlerinizin durumunu ve ilerlemesini izleyebilirsiniz.
Çeşitli veri görevlerini izlemek için monitör görünümleri de oluşturabilirsiniz. Veri görevlerinizi izleme ve çalıştırma
Yerleştirme ve çoğaltma görevlerini izleme
Yerleştirme ve çoğaltma görevlerini izlemek, hem ilk yüklemenin hem CDC'nin izlenebilmesi açısından benzerdir, ancak çelişen kullanım durumları nedeniyle dikkate değer farklılıklar vardır.
-
Veri işlem hattı kullanım durumu: Yerleştirme görevleri
Tüm yerleştirme görevleri, kaynak verilerinin hedefe tam yüklenmesiyle başlamalıdır. İlk tam yükleme tamamlandıktan sonra hedef veri, kaynak verideki değişikliklerle güncellenir. Bu, görev tanımına göre Yeniden yükleme ve karşılaştırma veya Değişiklik verisi yakalama (CDC) kullanılarak yapılabilir.
Yerleştirme görevleri hakkında daha fazla bilgi için bkz. Veri kaynaklarından veri yerleştirme.
-
Çoğaltma kullanım durumu: "Verileri çoğaltma" görevleri
"Verileri çoğaltma" görevleri genellikle kaynak verilerinin hedefe tam yüklenmesiyle başlar. Bu, SaaS uygulamalarından çoğaltırken zorunludur ancak veri tabanlarından çoğaltırken isteğe bağlıdır. Veri tabanlarından çoğaltırken kaynak veri zaten hedefte mevcutsa ve sadece kaynak değişikliklerini hedefe uygulamak (veya bunları daha sonra uygulamak için saklamak) istiyorsanız çoğaltma modu Değişiklikleri uygula, Değişiklikleri sakla ya da her ikisi birden olabilir. Bu çoğaltma modlarının her ikisi de CDC izleme kısmında gösterilir.
"Verileri çoğaltma" görevleri hakkında daha fazla bilgi için aşağıdaki konulara bakın:
Standard, Premium veya Enterprise abonelikle verileri çoğaltma
Qlik Talend Cloud Başlangıç Kılavuzu aboneliği ile veri çoğaltma
-
Çoğaltma kullanım durumu: "Veri gölüne veri yerleştirme" görevleri
"Veri gölüne veri yerleştirme" görevleri, tam yüklemeyle başlamasının gerekmesi açısından yerleştirme görevlerine benzer. İlk tam yükleme tamamlandıktan sonra hedef veri, kaynak verideki değişikliklerle güncellenir. Bu, Yeniden yükleme veya Değişiklik verisi yakalama (CDC) kullanılarak yapılabilir. Yerleştirme görevlerine benzemelerine rağmen "Veri gölüne veri yerleştirme" görevleri, sadece kaynaktan hedefe çoğaltmayı içerdikleri için çoğaltma görevleri olarak kabul edilir. Bir veri işlem hattında mevcut olan, verileri aşağı akışın devamında değiştirme (örneğin dönüşümleri ve veri ambarlarını kullanma) olasılığını sunmazlar.
Bilgi notuAyrı bir "Veri gölüne veri yerleştir" görevi oluşturma adımları, Qlik Talend Cloud Başlangıç Kılavuzu aboneliği için geçerli değildir. Qlik Talend Cloud Başlangıç Kılavuzu aboneliği ile bulut hedeflerine çoğaltma işlemi de standart "Verileri çoğaltma" görevi aracılığıyla yapılır."Veri gölüne veri yerleştirme" görevleri hakkında daha fazla bilgi için bkz. Standard, Premium veya Enterprise abonelikle veri gölüne veri yerleştirme.
Ayrıntıları izleme
Veri görevinin aşağıdaki ayrıntılarını Tam yükleme durumu'nda görüntüleyebilirsiniz:
-
Kuyruğa alınanlar- Kuyruğa alınmış durumdaki tabloların sayısı.
-
Yüklenenler- Yüklenmekte olan tabloların sayısı.
-
Tamamlananlar- Tamamlanan tabloların sayısı.
-
Hata- Hatalı tabloların sayısı.
Veri görevindeki her tablonun aşağıdaki ayrıntılarını görüntüleyebilirsiniz:
-
Ad
Hedef tablonun adı.
-
Eyalet
Tablo durumu şunlardan biri olur: Kuyruğa alındı, Yükleniyor, Tamamlandı veya Hata.
-
Başlatıldı
Yüklemenin başladığı zaman.
-
Bitti
Yüklemenin bittiği zaman.
-
Süre
Yüklemenin ss:dd:ss formatındaki süresi.
-
Kayıtlar
Yükleme sırasında çoğaltılan kayıtların sayısı.
-
Önbelleğe alınan değişiklikler
Ara belleğe alınan değişikliklerin sayısı.
-
Mesaj
Yükleme işlemi başarıyla yapılamadıysa bir hata mesajı görüntüler.
Veri yakalama (CDC) izleme ayrıntılarını değiştirin
Değişiklik izlemeye yönelik veri görevinin aşağıdaki CDC ayrıntılarını CDC durumu'nda görüntüleyebilirsiniz:
-
Gelen değişiklikler- Kaynakta mevcut olan ve işlenmeyi bekleyen değişikliklerin sayısı. Artık kaç tanesinin biriktiğini ve kaç tanesinin uygulanmayı beklediğini görüntüleyebilirsiniz.
-
İşlenen değişiklikler- İşlenen ve uygulanan (son 24 saat içinde) değişikliklerin sayısı.
-
Aktarım hızı- Kilobayt/saniye olarak ortalama hedef aktarım hızı. Değişiklik kayıtlarının hedef uç noktalaya ne kadar hızlı yüklendiğini gösterir.
-
Gecikme süresi- Veri varlığının geçerli gecikme süresi (ss:dd:ss). Bu süre, değişikliğin kaynakta kullanıma sunulmasından uygulanıp hedefte veya yerleştirme varlığında kullanıma sunulmasına kadar geçen zamanı temsil eder.
Veri görevindeki her tablonun aşağıdaki ayrıntılarını görüntüleyebilirsiniz:
-
Ad
Yerleştirme varlığındaki hedef tablonun adı.
-
Eyalet
Tablo durumu şunlardan biri olur: Değişiklikler toplanıyor veya Hata.
-
Son işlenen
Tabloda son değişikliklerin yapıldığı tarih ve saat.
-
Eklenenler
Ekleme işlemlerinin sayısı.
-
Güncellemeler
Güncelleme işlemlerinin sayısı.
Bilgi notuGüncellemeler SaaS uygulama kaynakları için ekleme olarak ele alınır. -
Silinenler
Silme işlemlerinin sayısı.
-
DDL işlemleri
DDL işlemlerinin sayısı
Bilgi notuSadece "Verileri çoğaltma" görevleri için kullanılabilir. -
Mesaj
Tablodaki değişiklikler başarısız olur ve işlenemezse hata mesajı görüntüler.
Şirket içi bir kaynaktan veri yerleştiriyorsanız ve Tam yükleme modunu seçtiyseniz, yerleştirme varlığı Çalıştığında tablolar otomatik olarak yeniden yüklenir.
Şirket içi bir kaynaktan veri yerleştiriyorsanız ve Tam yükleme ve CDC modunu seçtiyseniz, ilk tam yüklemeden sonra tablolar yeni verilerle sürekli olarak güncellenir.
Seçilen tabloların yeniden yüklenmesi
Seçilen tabloları kaynaktan manuel olarak yeniden yükleyebilirsiniz. Bu, hatalı tek tabloları kurtarmak istediğinizde kullanışlıdır. Tabloların yeniden yüklenmesi CDC zaman çizelgesini etkilemez, Tabloları yeniden oluştur seçeneğini kullanırsanız bu zaman çizelgesi sıfırlanır. Tablolar yeniden yüklenirken meta veri değişiklikleri yayılmaz.
-
Seçilen tabloları yeniden yüklemek için, Monitörün alt yarısında tabloları seçin ve Tabloları yeniden yükle'ye tıklayın.
Veri görevini çalıştırmak için gereken izinlerin aynısına, yani Sahip veya Çalıştırabilir rolüne ihtiyacınız vardır.
Tabloları yeniden yükle, veri görevinin ilk çalıştırılmasından sonra kullanılabilir. Güncelleme yöntemi Yeniden yükle ve karşılaştır ise veri görevi çalışırken Tabloları yeniden yükle seçeneği kullanılamaz.
Aşağı akış depolama veri görevleri bir sonraki çalıştırılmalarında senkronize edilecektir. Depolama görevinde geçmiş etkinleştirilmişse geçmiş korunur.
Tabloları yeniden yükleyerek kurtarmak mümkün değilse sonraki adım, veri görevini onarmaktır.
Tüm tabloları hedefe yeniden yükleme
Belirli tabloları yeniden yükleyerek çözülemeyen CDC sorunları yaşıyorsanız tüm tabloları hedefe yeniden yükleyebilirsiniz. Sorun örnekleri; eksik olaylar, kaynak veri tabanı yeniden düzenlemesinden kaynaklanan sorunlar veya kaynak veri tabanı olaylarını okurken hata oluşmasıdır.
- Veri görevini ve veri görevini tüketen tüm görevlerini durdurun.
-
Veri görevini açın ve Monitör sekmesini seçin.
-
... ve ardından Hedefi yeniden yükle'ye tıklayın.
Bu, Bırak-Oluştur işlemini kullanarak tüm tabloları hedefe yeniden yükler ve şu andan itibaren tüm değişiklik verisi yakalama işlemlerini yeniden başlatır.
-
Yerleştirme veri görevini tüketen depolama görevleri, senkronize edilmek üzere bir sonraki çalıştırmada karşılaştırma ve uygulama aracılığıyla yeniden yüklenecektir. Mevcut geçmiş saklanacaktır. 2. tür geçmiş, yeniden yükleme ve karşılaştırma işlemi gerçekleştirildikten sonra değişiklikleri yansıtacak şekilde güncellenecektir.
2. tür geçmişteki başlangıç tarihinin zaman damgası, yeniden yükleme tarihini yansıtacaktır, ancak değişikliğin kaynakta gerçekleştiği tarihi yansıtmayabilir.
-
Depolama canlı görünümleri, hedefi yeniden yükleme işlemi sırasında ve depolama senkronize olana kadar güvenilir olmayacaktır. Depolama aşağıdaki durumlarda tam olarak senkronize olacaktır:
-
Tüm tablolar karşılaştır ve uygula işlemi kullanılarak yeniden yüklendiğinde,
-
Her tablo için bir değişiklik döngüsü gerçekleştirildiğinde.
-
Depolama, dönüştürme ve alt veri ambarı görevlerini izleme
Bir Depolama, Dönüştürme veya Alt veri ambarı görevinin durumunu ve ilerlemesini izleyebilirsiniz.
-
İlk yükleme çalışırken, Tam yükleme durumu'nda ilerlemeyi görüntüleyebilirsiniz.
-
Değişiklikler işlenirken Geçerli değişiklik grubu içinde durumu ve ilerlemeyi görebilirsiniz.
-
Değişiklikler işlendiğinde durumu ve ilerlemeyi Son değişiklik grubu içinde görebilirsiniz.
İzleme'nin alt yarısında her veri setinin durumunu ve ilerlemesini görebilirsiniz.
Ayrıca SQL deyimi düzeyinde ayrıntılı bilgi görüntüleyebilirsiniz.
Durumu ve ilerlemeyi görüntüleme
Her veri kümesi veya değişiklik için aşağıdaki ayrıntıları görüntüleyebilirsiniz:
-
Durum
Bu, o veri kümesinin veya değişikliğin mevcut durumunu gösterir.
-
Tamamlandı - Yükleme veya değişiklik başarıyla tamamlandı.
-
Yükleniyor - Tablo veya değişiklik işleniyor.
-
Kuyruğa alındı - Tablo veya değişiklik işlenmeyi bekliyor.
-
Hata - Tablo veya değişiklik işlenirken bir hata oluştu.
-
-
Başlatıldı
Yükleme veya değişiklik işlemenin başladığı saat.
-
Bitti
Yükleme veya değişiklik işlemenin sona erdiği saat.
-
Süre
ss:dd:ss biçiminde, yükleme veya değişiklik işleme süresi.
-
İşlenen kayıtlar
Yüklemede veya değişiklikte işlenen kayıt sayısı.
-
Hız (kayıt/saniye)
Yük tamamlanana kadar verimlilik güncellenmez.
-
Mesaj
Yükleme veya değişiklik başarıyla işlenmediyse hata mesajı görüntüler.
Yerleştirme alanı çoğaltma görevi tarafından güncellendikçe veri kümeleri sürekli olarak yeni verilerle güncellenecektir. Her toplu işlem, belirli bir zaman aralığındaki kayıtlarla ilgilidir. En son toplu işlemin zaman aralığını Son değişiklik grubu içinde görebilirsiniz.
Veri görevi şuna güncellendi: bölümünde görüntülenen zamana kadar tüm kaynak işlemlerinden elde edilen veriler bu veri görevinden tüketim için kullanılabilir. Bu bilgiler, tüm tablolar yüklendikten ve ilk değişiklik grubu uygulandıktan sonra bir veri görevi için kullanılabilir. Canlı görünümler oluşturmayı seçtiyseniz, canlı görünümlerin ne zaman güncellendiğini de görüntüleyebilirsiniz.
İlk yükleme tamamlanmadan önce bir grup değişiklik varsa ilk yükleme tamamlanana ve ilk değişiklik grubu uygulanana kadar Veri görevi şuna güncellendi: değeri güncellenmez. Örneğin, 1 milyon sipariş içeren bir sipariş veri kümesi ve 10 milyon sipariş ayrıntısı içeren bir sipariş ayrıntıları veri kümesi barındıran bir veri varlığı yüklediğinizi varsayalım. Veri kümelerinin tam olarak yüklenmesi sırasıyla 10 ve 20 dakika sürer. Önce sipariş veri kümesi yüklenir, ardından sipariş ayrıntıları veri kümesi gelir. Sipariş veri kümesi yüklenirken yeni bir sipariş girildi. Yani sipariş detayları yüklendiğinde, henüz sipariş veri kümesine yer almayan yeni sipariş ayrıntılarını içerebilir. Sipariş ve sipariş ayrıntıları veri kümeleri yalnızca ilk değişiklik grubu uygulandıktan sonra senkronize olur ve aynı zamana tam olarak güncellenir.
Ayrıntılı bilgi görüntüleme
SQL deyimi düzeyinde ayrıntılı bilgi görüntüleyebilirsiniz.
-
İzleme'nin aşağı kısmındaki açılan menüde Tam yükleme'yi, Mevcut değişiklik grubu'nu veya Son değişiklik grubu'nu seçin.
-
Ayrıntılı olarak izlenecek veri setlerini seçin.
-
Ayrıntıları izle'ye tıklayın.
Ayrıntıları izle görüntülenir ve yükleme veya değiştirme işleminin her adımı için yürütülen komutları görüntüleyebilirsiniz. Yürütülen SQL deyimlerini tam olarak görüntülemek için bir komuta tıklayabilirsiniz.
-
Listelenen tüm komutlar için tam SQL deyimleriyle bir metin dosyasına dışarı aktarmak için CSV'ye dışarı aktar'a tıklayın.
Görünümler için Veri görevi şu şekilde güncellendi:
Veri görevi şuna güncellendi: alanı, en eski görünümün güncellendiği saati gösterir.
-
Standart görünümler
Veri görevi şuna güncellendi:, en eski standart görünümün güncellendiği saati gösterir.
Örneğin, bir görevde iki tablo olduğunu varsayın: Siparişler ve Sipariş ayrıntıları. Siparişler 10.00 ve 10.01'den kayıtlarla 10.01 olarak güncellenir ve Sipariş ayrıntılarında sadece 10.00'dan veriler vardır. Bu durumda veri görevi 10.00 olarak güncellenir. Bu, veri görevi yüklemesinin başlangıç ve bitiş saatleriyle (10.02 ila 10.03 olabilir) karıştırılmamalıdır.
-
Canlı görünümler (Depolama veri görevleri)
Veri görevi şuna güncellendi:, en eski canlı görünümün güncellendiği saati gösterir.
Örneğin, bir görevde Siparişler tablosu olduğunu varsayın. Yerleştirmedeki siparişler 10.00 ve 10.01'den kayıtlarla 10.01 olarak güncellenir ancak Depolamadaki siparişler sadece 10.00'dan kayıtlarla güncellenir. Bu durumda, Siparişlerin canlı görünümleri, 10.01 olarak güncellenir ve standart görünümler 10.00 olarak güncellenir.