Veri görevlerinde sorun giderme
Bu bölümde veri görevleriyle çalışırken oluşabilecek sorunlar ve bunların nasıl giderileceği açıklanır.
Ortam hatası sorunlarını giderme
Veri görevinde zaman aşımı, ağ hatası veya bağlantı hatası gibi çevresel bir hatayla karşılaşıldığında veri görevi, otomatik olarak işlemi yeniden yapmayı dener. Yeniden denemeden sonra sorun çözülmezse veri görevi çalışmayı durdurur ve hata mesajıyla Hata durumunu gösterir.
-
Yalnızca Veri Hareketi ağ geçidi aracılığıyla erişilebilen veri kaynaklarıyla yerleştirme görevleri:
İşlem, 5 saniyelik bir aralıkla sınırsız kez yeniden denendi.
Kesinti çok uzunsa, 1800 saniyelik bir aralığa ulaşılıncaya kadar aralık ikiye katlanır.
-
Veri Hareketi ağ geçidi olmadan erişilebilen veri kaynaklarıyla yerleştirme görevleri, Depolama görevleri, Dönüştürme görevleri ve Veri ambarı görevleri:
İşlem, 1 saniyelik bir aralıkla 3 kez yeniden denendi.
Aşağıdakileri yapın:
-
Hata mesajını kullanarak hatayı çözün.
-
Veri görevi işlemini yeniden yükleyin veya sürdürün.
Belirli bir tablonun sorunlarını giderme
Bir veri görevinde, belirli bir tabloya yazma işlemi sırasında hatayla karşılaşılırsa veri görevi çalışmayı durdurur. Hatalı tablo bir hata mesajı ve Hata durumuyla gösterilir.
-
Hata mesajını kullanarak hatayı çözün.
-
Hata oluşturan tabloyu tekrar yükleyin.
CDC sorunlarını giderme
Tam yük ve CDC güncelleme modu ile yerleştirme veri görevleri, görevin tamamını etkileyen ve belirli tabloları yeniden yükleyerek çözülemeyen, CDC ile ilgili sorunlarla karşılaşabilir. Sorun örnekleri; eksik olaylar, kaynak veri tabanı yeniden düzenlemesinden kaynaklanan sorunlar veya kaynak veri tabanı olaylarını okurken hata oluşmasıdır.
Bu tür sorunları çözmek için tüm tabloları hedefe yeniden yükleyebilirsiniz.
- Veri görevini ve veri görevini tüketen tüm görevlerini durdurun.
-
Veri görevini açın ve Monitör sekmesini seçin.
-
... ve ardından Hedefi yeniden yükle'ye tıklayın.
Bu, Bırak-Oluştur işlemini kullanarak tüm tabloları hedefe yeniden yükler ve şu andan itibaren tüm değişiklik verisi yakalama işlemlerini yeniden başlatır.
-
Yerleştirme veri görevini tüketen depolama görevleri, senkronize edilmek üzere bir sonraki çalıştırmada karşılaştırma ve uygulama aracılığıyla yeniden yüklenecektir. Mevcut geçmiş saklanacaktır. 2. tür geçmiş, yeniden yükleme ve karşılaştırma işlemi gerçekleştirildikten sonra değişiklikleri yansıtacak şekilde güncellenecektir.
2. tür geçmişteki başlangıç tarihinin zaman damgası, yeniden yükleme tarihini yansıtacaktır, ancak değişikliğin kaynakta gerçekleştiği tarihi yansıtmayabilir.
-
Depolama canlı görünümleri, hedefi yeniden yükleme işlemi sırasında ve depolama senkronize olana kadar güvenilir olmayacaktır. Depolama aşağıdaki durumlarda tam olarak senkronize olacaktır:
-
Tüm tablolar karşılaştır ve uygula işlemi kullanılarak yeniden yüklendiğinde,
-
Her tablo için bir değişiklik döngüsü gerçekleştirildiğinde.
-
Daha fazla bilgi için bkz. Tüm tabloları hedefe yeniden yükleme.
Birincil anahtar sütunlarında NULL değerleri
Bir veri görevi yürütürken hata mesajı alabilirsiniz: Unknown execution error - NULL result in a non-nullable column.
Olası neden:
Birincil anahtar olarak kullanılan sütunlar NULL değerleri içermemelidir ve NULL değeri verilemez olmalıdır.
Önerilen eylem
Kaynak veri görevinde, tüm NULL değerlerini bir değere (ör. 0) dönüştüren ifade ekleyin.
Birincil anahtar olarak kullanmak için başka bir sütun da seçebilirsiniz.
Redshift'i veri platformu olarak kullanırken döküm hatası oluştu
Redshift'i veri platformu olarak kullanırken aşağıdaki hatayı veya benzerini alabilirsiniz: "Bilinmeyen"den değişen karaktere dönüştürme işlevi bulunamadı
Olası neden:
Sabit bir ifadenin dökümü eksik. Bu, son sorgunun daha karmaşık olması nedeniyle veri ambarlarında daha sık meydana gelebilir.
Önerilen eylem
Sabit ifadenin metin olarak dökümünü oluşturun.
Örnek:
Veri Hareketi ağ geçidi tabanlı veri görevinde sorun giderme
Günlük dosyalarını inceleyerek Veri Hareketi ağ geçidi tabanlı veri görevlerinin yerleştirme işlemleri hakkında bilgi edinebilirsiniz. Günlük alma düzeyini de ayarlayabilirsiniz. Veri görevi ilk çalıştırmayı tamamlandığında günlükler kullanılabilir.
Günlük dosyalarını görüntülemek için veri görevlerinin bulunduğu alan üzerinde aşağıdaki izinlerden birine sahip olmanız gerekir:
-
Sahip
-
İşlem yapabilir
Veri ağ geçitlerinin bulunduğu alan üzerinde aşağıdaki izinlerden birine sahip olmanız da gerekir:
- Kullanabilir
- Düzenleyebilir
- Yönetebilir
Günlük dosyalarını görüntüleme
Veri Hareketi ağ geçidi tabanlı bir yerleştirme veri görevinde Günlükleri görüntüle seçeneğine tıklayarak günlük görüntüleyicisini açın. Çoğaltma motoru günlükleri altında hangi günlük dosyasının görüntüleneceğini seçebilirsiniz. ve ile dosyanın üstüne ve altına kaydırabilirsiniz.
Günlüğe kaydetme seçeneklerini ayarlama
Günlüğe kaydetme seçenekleri altında, çoğaltmanın farklı işlemleri için günlüğe kaydetme düzeyini ayarlayabilirsiniz.
İzleme ve ayrıntılı günlük kayıtlarını bellekte saklama
Günlük kaydı seviyesi "İzleme" veya "Ayrıntılı" olarak ayarlandığında Qlik Talend Data Integration için bir hata oluşana kadar günlük bilgilerini belleğe kaydetme talimatı verebilirsiniz. Hata tespit etme konusunda Qlik Talend Data Integration, fiziksel günlüklere yazmaya başlayacak ve ilk hata oluşana kadar bunu birkaç dakika boyunca yapmaya devam edecektir.
Atanan bellek tamamen kullanılana kadar hiçbir hata oluşmazsa Qlik Talend Data Integration, belleğin ön belleğini boşaltacak ve yeniden başlayacaktır.
Bu seçenek, beklenmedik bir şekilde ve görünürde bir neden olmaksızın başarısız olan görevler için kullanışlıdır. Günlüklere sürekli olarak çok miktarda bilgi yazmakla ilgili iki sorun vardır:
- "İzleme" veya "Ayrıntılı" günlük yazma modunda çalışma, (günlük kaydı ayarları bunu önleyecek şekilde yapılandırılmadığı sürece) mevcut disk alanını hızlıca kullanıp bitirecektir.
- Günlüklere sürekli olarak yüksek miktarda bilgi yazmak performansı etkileyecektir.
Bu seçeneği kullanmak için
- Sekmenin üst kısmındaki İzleme/ayrıntılı günlük kayıtlarını bellekte sakla, ancak bir hata oluşursa günlüklere yaz onay kutusunu seçin.
- Ardından Bellek ayırma üst sınırı (MB) alanında, günlük bilgilerini saklamak için atamak istediğiniz bellek miktarını belirtin.
Günlük kaydı seviyelerini ayarlama
Aşağıdaki düzeyleri ayarlayabilirsiniz:
-
1. Hata
Hata mesajlarını göster.
-
2. Uyarı
Uyarıları göster.
-
3. Bilgi
Bilgilendirme mesajlarını göster.
-
4. Hata Ayıklama
Sorun giderme amacıyla ek bilgileri göster.
-
5. Detaylı hata ayıklama
Sorun giderme amacıyla detaylı bilgileri göster.
Daha yüksek seviyeler her zaman daha düşük seviyelerden gelen mesajları içerir. Dolayısıyla, Hata'yı seçerseniz, günlüğe yalnızca hata mesajları yazılır. Fakat, Bilgi'yi seçerseniz, bilgi mesajları, uyarılar ve hata mesajları dahil edilir. Genel olarak, Hata Ayıklama ve Detaylı hata ayıklama düzeylerinin kullanılması büyük miktarda günlük verisi oluşturabilir.
Tüm işlemler ile ilgili aynı seviyeyi ayarlamak için Genel'i kullanabilir veya seviyeyi her işlem için ayrı ayrı ayarlayabilirsiniz.
-
Kaynak - tam yükleme
Veri kaynağındaki tam yükleme işlemleriyle ilgili etkinliği günlüğe kaydeder. Buna, tam yüklemeden önce kaynak tablolarda yürütülen SELECT deyimleri dahildir.
-
Kaynak - CDC
Veri kaynağındaki CDC işlemleriyle ilgili etkinliği günlüğe kaydeder.
Uyarı notuBunu Detaylı hata ayıklama düzeyine ayarlamak, günlükte çok büyük miktarda veri üretecektir. -
Kaynak – veriler
Tam yükleme ve CDC işlemleriyle ilgili veri kaynağı etkinliğinin detaylı günlüğü.
-
Hedef - tam yükleme
Hedefteki tam yükleme işlemleriyle ilgili etkinliği günlüğe kaydeder.
-
Hedef - CDC
Hedefteki CDC işlemleriyle ilgili etkinliği günlüğe kaydeder.
-
Hedef – karşıya yükle
Dosyalar hedefe transfer edildiğine etkinliği günlüğe kaydeder.
-
Genişletilmiş CDC
İşlemlerin senkronizasyonu ve depolanması gibi CDC etkinliklerinin ayrıntılı günlüğü.
-
Performans
Kaynak ve hedef için gecikme değerlerini günlüğe kaydeder.
-
Meta veriler
Meta veri okumayla ilgili etkinliğin yanı sıra meta veri değişikliklerini günlüğe kaydeder. Çoğaltma görevinin durumu da günlüğe kaydedilir.
-
Altyapı
Altyapı bilgilerini, dosya sistemi işlemlerini ve görev yönetimini günlüğe kaydeder.
-
Dönüştürme
Gerçekleştirilen dönüştürmelerle ilgili bilgileri günlüğe kaydeder.
Tanılama dosyalarını indirme
Yerleştirme göreviyle ilişkili çoğaltma görevinde sorun giderirken size yardımcı olması için tanılama paketini, görev günlüklerini ve bellek raporunu indirebilirsiniz. Bir seferde bir öğe indirebilirsiniz.
-
Günlük görüntüleyicide, genişletmek için İndir'e tıklayın.
-
İndirilecek öğeyi seçin.
-
İndir öğesine tıklayın.
Dosya ya bilgisayarınıza indirilir ya da tarayıcı ayarlarınıza bağlı olarak dosyayı kaydetmeniz istenir.
Veri Hareketi ağ geçidi kullanmadan veri görevlerinde sorun giderme
Günlük dosyalarını inceleyerek Veri Hareketi ağ geçidi kullanmadan veri görevlerinin yerleştirme işlemleri hakkında bilgi edinebilirsiniz. Günlük alma düzeyini de ayarlayabilirsiniz. Veri görevi ilk çalıştırmayı tamamlandığında günlükler kullanılabilir. Görev günlükleri ve sunucu günlüklerini görüntüleyebilirsiniz.
Veri günlüklerini görüntüleme
Görev günlük dosyalarını görüntülemek için veri görevlerinin bulunduğu alan üzerinde aşağıdaki izinlerden birine sahip olmanız gerekir:
-
Sahip
-
İşlem yapabilir
Veri ağ geçitlerinin bulunduğu alan üzerinde aşağıdaki izinlerden birine sahip olmanız da gerekir:
- Kullanabilir
- Düzenleyebilir
- Yönetebilir
Veri Hareketi ağ geçidi kullanmadan bir yerleştirme veri görevinde Görev günlüklerini görüntüle seçeneğine tıklayarak günlük görüntüleyicisini açın. Çoğaltma motoru günlükleri altında hangi günlük dosyasının görüntüleneceğini seçebilirsiniz. ve ile dosyanın üstüne ve altına kaydırabilirsiniz.
Günlüğe kaydetme seçenekleri altında, çoğaltmanın farklı işlemleri için günlüğe kaydetme düzeyini ayarlayabilirsiniz. Daha fazla bilgi için bk. Günlüğe kaydetme seçeneklerini ayarlama.
Veri taşıma kayıtlarını görüntüleme
Veri taşıma kayıtlarını görüntülemek için Veri Yöneticisi veya Kiracı Yöneticisi rolüne ihtiyacınız vardır.
Veri Hareketi ağ geçidi kullanmadan bir yerleştirme veri görevinde Veri taşıma günlüklerini görüntüle seçeneğine tıklayarak günlük görüntüleyicisini açın. Günlükler hakkında daha fazla bilgi için bkz. Günlük dosyalarının görüntülenmesi ve indirilmesi.