Bireysel bir veri görevini izleme
Veri görevi penceresinin sol üst köşesindeki açılır menüden İzle seçeneğini belirleyerek veri görevlerinizin durumunu ve ilerlemesini izleyebilirsiniz.
Birden fazla veri görevini izlemek için izleme görünümleri de oluşturabilirsiniz. Daha fazla bilgi için bkz. Veri görevlerinizi izleme ve çalıştırma.
Genel izlemeye genel bakış
İzleme görünümü tüm görev türleri için kullanılabilir ve görev durumunu ve metriklerini takip etmenizi sağlar:
-
Sekmeler
Görev türüne bağlı olarak Bilgi, Tam yük ve Değişiklik işleme, Toplu İşlem veya Akış gibi kullanılabilir sekmeler arasında geçiş yapın. Her bir sekmenin ayrıntıları için aşağıdaki ilgili görev bölümüne bakın.
-
Veri kümesi durum filtresi
Veri kümeleri tablosunun üzerindeki bir sütun grafik, her bir durumda kaç veri kümesi olduğunu gösterir: Kuyruğa Alındı, Yükleniyor, Tamamlandı ve Hata. Grafik, veri kümesi durumları değiştikçe dinamik olarak güncellenir. Veri kümeleri tablosunu yalnızca o durumdaki veri kümelerini gösterecek şekilde filtrelemek için bir durum segmentine tıklayın.
-
Pencere öğelerini gizle
Metrik pencere öğelerini daraltmak için Pencere öğelerini gizle seçeneğine tıklayın. Bu, aşağıdaki veri kümeleri tablosunu görüntülemek için daha fazla alan sağlar.
-
Başlangıç tarihi
Geçerli görev çalıştırmasının başladığı tarih ve saat.
-
Bitiş tarihi
Görev çalıştırmasının sona erdiği tarih ve saat. Bu yalnızca tamamlanmış görev çalıştırmaları için görüntülenir.
-
Çalıştırma geçmişi
Önceki görev çalıştırmalarının ve sonuçlarının bir listesini görüntülemek için Çalıştırma geçmişi seçeneğine tıklayın.
Veri taşıma görevlerini izleme
Kullanabilir izleme seçenekleri hem görev türü hem de bağlayıcı türü tarafından belirlenir. Bazı bağlayıcılar CDC'yi desteklemediğinden (örneğin, Epicor), CDC ile ilgili izleme seçenekleri bu bağlayıcılar için gösterilmeyecektir. Benzer şekilde, bazı bağlayıcılar Tam Yükü desteklemediğinden (örneğin, Önizleme bağlayıcıları), Tam Yük ile ilgili izleme seçenekleri bu bağlayıcılar için gösterilmeyecektir.
Veri işlem hattı kullanım örneği: Yerleştirme görevleri
Tüm yerleştirme görevleri, kaynak verilerin hedefe tam yükü ile başlamalıdır. İlk tam yük tamamlandığında, hedef veriler kaynak verilerdeki değişikliklerle güncellenir. Bu, görev tanımına göre Yeniden yükle ve karşılaştır veya Değişiklik verilerini yakalama (CDC) kullanılarak yapılabilir.
Yerleştirme görevleri hakkında daha fazla bilgi için bkz. Veri kaynaklarından veri yerleştirme.
Çoğaltma kullanım örneği: "Replicate data" görevleri
"Replicate data" görevleri genellikle kaynak verilerin hedefe tam yükü ile başlar. Aşağıdaki tabloda tam yük kullanım örnekleri özetlenmektedir.
| Kullanım örneği | Tam yük |
|---|---|
| Lite bağlayıcıları aracılığıyla erişilen SaaS uygulamalarından çoğaltma | Gerekli |
| Önizleme bağlayıcıları aracılığıyla erişilen SaaS uygulamalarından çoğaltma. | Önizleme bağlayıcıları tam yükü desteklemediğinden ilgili değil. |
| Veritabanlarından çoğaltma | İsteğe bağlı |
Veritabanlarından çoğaltma yaparken, kaynak veriler hedefte zaten mevcutsa ve yalnızca kaynak değişikliklerini hedefe uygulamak (veya daha sonra uygulamak üzere depolamak) istiyorsanız, çoğaltma modu Değişiklikleri uygula, Değişiklikleri depola veya her ikisi olabilir. Bu çoğaltma modlarının her ikisi de CDC izlemesinde gösterilir.
"Replicate data" görevleri hakkında daha fazla bilgi için aşağıdaki konulara bakın:
Standard, Premium veya Enterprise abonelikle verileri çoğaltma
Qlik Talend Cloud Başlangıç Kılavuzu aboneliği ile veri çoğaltma
Çoğaltma kullanım örneği: "Land data in data lake" görevleri
"Land data in data lake" görevleri, tam yük ile başlamaları gerektiği için yerleştirme görevlerine benzer. İlk tam yük tamamlandığında, hedef veriler kaynak verilerdeki değişikliklerle güncellenir. Bu, Yeniden Yükle veya Değişiklik verilerini yakalama (CDC) kullanılarak yapılabilir. Yerleştirme görevlerine benzerliklerine rağmen, "Land data in data lake" görevleri yalnızca kaynaktan hedefe çoğaltmadan oluştukları için çoğaltma görevleri olarak kabul edilir. Bir veri işlem hattında mevcut olan, verileri daha aşağı akışta (örneğin, dönüşümler ve veri marketleri kullanarak) işleme olanağı sunmazlar.
"Land data in data lake" görevleri hakkında daha fazla bilgi için bkz. Standard, Premium veya Enterprise abonelikle veri gölüne veri yerleştirme.
İzleme ayrıntıları
Aşağıdaki izleme ayrıntıları kullanılabilir:
-
Bilgi
-
Tam yük
-
Değişiklik işleme
-
Akış
Yalnızca akış yerleştirme görevleri için kullanılabilir.
Bilgi izleme ayrıntıları
Görev hakkında genel bilgileri, Çalıştırma Kimliği'ni ve verilerin ne zaman güncellendiğini görüntüleyebilirsiniz. CDC görevleri için zamanlama bilgileri de bu sekmede mevcuttur.
Tam yük izleme ayrıntıları
düğmesiyle belirtilir.Tam yük alanında veri görevi için aşağıdaki istatistikleri görüntüleyebilirsiniz:
-
Toplam veri kümeleri
Yüklenen veri kümelerinin sayısı.
-
Hatalı veri kümeleri
Hatalı veri kümelerinin sayısı.
-
Toplam gecikme süresi
Görevin geçerli gecikme süresi (sa:dk:sn). Bu süre, değişikliğin kaynakta kullanılabilir olduğu andan, değişikliğin uygulanıp hedefte veya yerleştirmede kullanılabilir olduğu ana kadar geçen süreyi temsil eder.
-
Toplam aktarım hızı
Kilobayt/saniye cinsinden hedef aktarım hızı. Bu, değişiklik kayıtlarının hedef uç noktaya ne kadar hızlı yüklendiğini gösterir.
Veri görevindeki her bir veri kümesi için aşağıdaki ayrıntıları görüntüleyebilirsiniz:
-
Ad
Hedef veri kümesinin adı.
-
Durum
Tablo durumu şunlardan biri olacaktır: Kuyruğa Alındı, Yükleniyor, Tamamlandı veya Hata.
-
Başlatıldı
Yüklemenin başladığı zaman.
-
Sonlandırıldı
Yüklemenin sona erdiği zaman.
-
Süre
sa:dk:sn biçiminde yükleme süresi.
-
Kayıtlar
Yükleme sırasında hedefe yazılan kayıtların sayısı.
Bilgi notuKaynak veri kümeleri filtrelendiğinde, Kayıtlar alanı aşağıdaki bölümlerle değiştirilecektir:
-
Okunan kayıtlar: Filtrelemeden önce kaynak veri kümelerinden okunan kayıtların sayısı.
-
Yazılan kayıtlar (filtrelemeden sonra): Filtrelemeden sonra hedefe fiilen yazılan kayıtların sayısı.
Veri kümelerini filtreleme hakkında bilgi için bkz. Veri kümesi filtreleme.
-
-
Mesaj
Yükleme başarıyla işlenemediyse bir hata mesajı görüntüler.
Değişiklik işleme izleme ayrıntıları
Değişiklik işleme, son CDC çalıştırması sırasında veya henüz tamamlanmadıysa geçerli çalıştırma sırasında tüm tablolara uygulanan değişikliklerin sayısını görüntüler. Görev başladığından beri bireysel veri kümelerine uygulanan değişikliklerin sayısını görmek için Veri Kümeleri tablosuna bakın.
Aşağıdaki değişiklik işleme istatistiklerini görüntüleyebilirsiniz:
-
Toplam veri kümeleri
Yüklenen veri kümelerinin sayısı.
-
Hatalı veri kümeleri
Hatalı veri kümelerinin sayısı.
-
Toplam gecikme süresi
Görevin geçerli gecikme süresi (sa:dk:sn). Bu süre, değişikliğin kaynakta kullanılabilir olduğu andan, değişikliğin uygulanıp hedefte veya yerleştirmede kullanılabilir olduğu ana kadar geçen süreyi temsil eder.
-
Toplam aktarım hızı
Kilobayt/saniye cinsinden hedef aktarım hızı. Bu, değişiklik kayıtlarının hedef uç noktaya ne kadar hızlı yüklendiğini gösterir.
-
Toplam gelen değişiklikler
Kaynakta bulunan ve işlenmeyi bekleyen değişikliklerin sayısı. Kaynakta kaç tanesinin biriktiğini ve kaç tanesinin uygulandığını görüntüleyebilirsiniz.
-
Toplam uygulanan değişiklikler
Hedefe veya yerleştirmeye uygulanan değişikliklerin sayısı. Ekleme, silme ve güncelleme sayılarını görüntüleyebilirsiniz.
Veri görevindeki her bir tablo için aşağıdaki ayrıntıları görüntüleyebilirsiniz:
düğmesiyle belirtilir.-
Ad
Yerleştirme varlığındaki hedef tablonun adı.
-
Durum
Tablo durumu aşağıdakilerden biri olacaktır: Değişiklikler biriktiriliyor, Hata veya Tamamlandı (zamanlanmış CDC görevleri için).
-
Son işlenme
Tabloda son değişikliklerin yapıldığı tarih ve saat.
-
Ekleme İşlemleri, Güncelleme İşlemleri ve Silme İşlemleri
Bilgi notuKaynak veri kümeleri filtrelendiğinde, Ekleme İşlemleri, Güncelleme İşlemleri ve Silme İşlemleri sütunları aşağıdaki gibi gruplandırılacaktır:
-
Okunan: Filtrelemeden önce kaynak veri kümelerinden okunan değişikliklerin (Ekleme, Güncelleme ve Silme İşlemleri) sayısı.
-
Yazılan (filtrelemeden sonra): Filtrelemeden sonra hedefe fiilen yazılan değişikliklerin (Ekleme, Güncelleme ve Silme İşlemleri) sayısı.
Veri kümelerini filtreleme hakkında bilgi için bkz. Veri kümesi filtreleme.
-
Ekleme İşlemleri
Ekleme işlemlerinin sayısı.
-
Güncelleme İşlemleri
Güncelleme işlemlerinin sayısı.
Bilgi notuSaaS uygulaması kaynakları için güncellemeler ekleme işlemleri olarak işlenir. -
Silme İşlemleri
Silme işlemlerinin sayısı.
-
-
DML'ler (Ekleme/Güncelleme İşlemleri)
Bilgi notuBu sütun yalnızca bir SaaS uygulaması Önizleme bağlayıcısı ile tanımlanan görevler için gösterilir. Önizleme bağlayıcıları, hem Bağlantı oluştur iletişim kutusunda hem de çevrimiçi yardımda bir
düğmesiyle belirtilir.Bilgi notuKaynak veri kümeleri filtrelendiğinde, Ekleme İşlemleri, Güncelleme İşlemleri ve Silme İşlemleri sütunları aşağıdaki gibi gruplandırılacaktır:
-
Okunan DML'ler (Ekleme/Güncelleme İşlemleri): Filtrelemeden önce kaynak veri kümelerinden okunan DML'lerin (Ekleme ve Güncelleme İşlemleri) sayısı.
-
Yazılan DML'ler (Ekleme/Güncelleme İşlemleri): Filtrelemeden sonra hedefe fiilen yazılan DML'lerin (Ekleme ve Güncelleme İşlemleri) sayısı.
Veri kümelerini filtreleme hakkında bilgi için bkz. Veri kümesi filtreleme.
-
-
DDL işlemleri
DDL işlemlerinin sayısı
Bilgi notuYalnızca "Replicate data" görevleri için kullanılabilir. -
Mesaj
Tablodaki değişiklikler başarısız olursa ve işlenmezse hata mesajı görüntüler.
Şirket içi bir kaynaktan veri yerleştiriyorsanız ve Tam yük modunu seçtiyseniz, yerleştirme varlığı Çalıştırıldığında tablolar otomatik olarak yeniden yüklenecektir.
Şirket içi bir kaynaktan veri yerleştiriyorsanız ve Tam yük ve CDC modunu seçtiyseniz, ilk tam yükten sonra tablolar sürekli olarak yeni verilerle güncellenecektir.
Seçili tabloları yeniden yükleme
Seçili tabloları kaynaktan manuel olarak yeniden yükleyebilirsiniz. Bu, hatalı tek tabloları kurtarmak istediğinizde kullanışlıdır. Tabloları yeniden yüklemek, Tabloları yeniden oluştur seçeneğini kullandığınızda sıfırlanan CDC zaman çizelgesini etkilemez. Tablolar yeniden yüklenirken meta veri değişiklikleri yayılmaz.
-
Seçili tabloları yeniden yüklemek için İzle alanının alt yarısındaki tabloları seçin ve Tabloları yeniden yükle seçeneğine tıklayın.
Veri görevini çalıştırmak için gereken izinlerin aynısına, yani Sahip veya Çalıştırabilir rolüne ihtiyacınız vardır.
Tabloları yeniden yükle seçeneği, veri görevinin ilk çalıştırılmasından sonra kullanılabilir. Güncelleme yöntemi Yeniden yükle ve karşılaştır ise veri görevi çalışırken Tabloları yeniden yükle seçeneği kullanılamaz.
Aşağı akış depolama veri görevleri, bir sonraki çalıştırmalarında senkronize edilecektir. Depolama görevinin geçmişi etkinleştirilmişse bu geçmiş korunacaktır.
Tabloları yeniden yükleyerek kurtarmak mümkün değilse bir sonraki adım veri görevini onarmaktır.
Tüm tabloları hedefe yeniden yükleme
Belirli tabloları yeniden yükleyerek çözülemeyen CDC sorunları yaşıyorsanız tüm tabloları hedefe yeniden yükleyebilirsiniz. Eksik olaylar, kaynak veritabanı yeniden düzenlemesinden kaynaklanan sorunlar veya kaynak veritabanı olayları okunurken karşılaşılan hatalar bu sorunlara örnek olarak gösterilebilir.
- Veri görevini ve veri görevini tüketen tüm görevlerini durdurun.
-
Veri görevini açın ve Monitör sekmesini seçin.
-
... ve ardından Hedefi yeniden yükle'ye tıklayın.
Bu, Bırak-Oluştur işlemini kullanarak tüm tabloları hedefe yeniden yükler ve şu andan itibaren tüm değişiklik verisi yakalama işlemlerini yeniden başlatır.
-
Yerleştirme veri görevini tüketen depolama görevleri, senkronize edilmek üzere bir sonraki çalıştırmada karşılaştırma ve uygulama aracılığıyla yeniden yüklenecektir. Mevcut geçmiş saklanacaktır. 2. tür geçmiş, yeniden yükleme ve karşılaştırma işlemi gerçekleştirildikten sonra değişiklikleri yansıtacak şekilde güncellenecektir.
2. tür geçmişteki başlangıç tarihinin zaman damgası, yeniden yükleme tarihini yansıtacaktır, ancak değişikliğin kaynakta gerçekleştiği tarihi yansıtmayabilir.
-
Depolama canlı görünümleri, hedefi yeniden yükleme işlemi sırasında ve depolama senkronize olana kadar güvenilir olmayacaktır. Depolama aşağıdaki durumlarda tam olarak senkronize olacaktır:
-
Tüm tablolar karşılaştır ve uygula işlemi kullanılarak yeniden yüklendiğinde,
-
Her tablo için bir değişiklik döngüsü gerçekleştirildiğinde.
-
Depolama, dönüştürme, veri marketi, ayna ve bilgi marketi görevlerini izleme
Bir Depolama, Dönüştürme, Veri marketi, Ayna veya Bilgi marketi görevinin durumunu ve ilerlemesini izleyebilirsiniz.
Aşağıdaki izleme ayrıntıları kullanılabilir:
-
Bilgi
-
Tam yük
-
Toplu İşlem
Bilgi izleme ayrıntıları
Görev hakkında genel bilgileri, Çalıştırma Kimliği'ni ve verilerin ne zaman güncellendiğini görüntüleyebilirsiniz.
Tam yük izleme ayrıntıları
düğmesiyle belirtilir.Tam yük alanında veri görevi için aşağıdaki istatistikleri görüntüleyebilirsiniz:
-
Toplam veri kümeleri
Yüklenen veri kümelerinin sayısı.
-
Hatalı veri kümeleri
Hatalı veri kümelerinin sayısı.
-
Toplam aktarım hızı
Kilobayt/saniye cinsinden hedef aktarım hızı. Bu, değişiklik kayıtlarının hedef uç noktaya ne kadar hızlı yüklendiğini gösterir.
Toplu İşlem izleme ayrıntıları
Değişiklik grupları için istatistikleri görüntüleyebilirsiniz:
-
Toplam veri kümeleri
Yüklenen veri kümelerinin sayısı.
-
Hatalı veri kümeleri
Hatalı veri kümelerinin sayısı.
-
Toplam gecikme süresi
Görevin geçerli gecikme süresi (sa:dk:sn). Bu süre, değişikliğin kaynakta kullanılabilir olduğu andan, değişikliğin uygulanıp hedefte veya yerleştirmede kullanılabilir olduğu ana kadar geçen süeyi temsil eder.
-
Toplam aktarım hızı
Kilobayt/saniye cinsinden hedef aktarım hızı. Bu, değişiklik kayıtlarının hedef uç noktaya ne kadar hızlı yüklendiğini gösterir.
-
Kaynak
Kaynaktaki gecikme süresi ve aktarım hızı.
-
Hedef
Hedefteki gecikme süresi ve aktarım hızı.
-
Toplam gelen değişiklikler
Kaynakta bulunan ve işlenmeyi bekleyen değişikliklerin sayısı. Kaynakta kaç tanesinin biriktiğini ve kaç tanesinin uygulandığını görüntüleyebilirsiniz.
-
Toplam uygulanan değişiklikler
Hedefe veya yerleştirmeye uygulanan değişikliklerin sayısı. Ekleme, silme ve güncelleme sayılarını görüntüleyebilirsiniz.
Durumu ve ilerlemeyi görüntüleme
Veri Kümeleri alanındaki her bir veri kümesi veya değişiklik için aşağıdaki ayrıntıları görüntüleyebilirsiniz:
-
Ad
Hedef veri kümesinin adı.
-
Durum
Tablo durumu şunlardan biri olacaktır: Kuyruğa Alındı, Yükleniyor, Tamamlandı veya Hata.
-
Başlatıldı
Yüklemenin başladığı zaman.
-
Sonlandırıldı
Yüklemenin sona erdiği zaman.
-
Süre
sa:dk:sn biçiminde yükleme süresi.
-
Kayıtlar
Yükleme sırasında hedefe yazılan kayıtların sayısı.
Bilgi notuKaynak veri kümeleri filtrelendiğinde, Kayıtlar alanı aşağıdaki bölümlerle değiştirilecektir:
-
Okunan kayıtlar: Filtrelemeden önce kaynak veri kümelerinden okunan kayıtların sayısı.
-
Yazılan kayıtlar (filtrelemeden sonra): Filtrelemeden sonra hedefe fiilen yazılan kayıtların sayısı.
Veri kümelerini filtreleme hakkında bilgi için bkz. Veri kümesi filtreleme.
-
-
Mesaj
Yükleme başarıyla işlenemediyse bir hata mesajı görüntüler.
Veri görevinin güncellendiği tarih: alanında gösterilen zamana kadar olan tüm kaynak işlemlerine ait veriler, bu veri görevinden tüketilmek üzere hazırdır. Bu bilgi, tüm tablolar yüklendikten ve ilk değişiklik kümesi uygulandıktan sonra bir veri görevi için kullanılabilir hale gelir. Canlı görünümler oluşturmayı seçtiyseniz canlı görünümlerin ne zaman güncellendiğini de görüntüleyebilirsiniz.
İlk yükleme tamamlanmadan önce bir değişiklik grubu varsa, ilk yükleme tamamlanıp ilk değişiklik grubu uygulanana kadar Veri görevinin güncellendiği tarih: alanı güncellenmeyecektir. Örneğin, 1 milyon sipariş içeren bir sipariş veri kümesi ve 10 milyon sipariş ayrıntısı içeren bir sipariş ayrıntıları veri kümesi barındıran bir veri varlığı yüklediğinizi varsayalım. Veri kümelerinin tam yük gerçekleştirmesi sırasıyla 10 ve 20 dakika sürer. Önce sipariş veri kümesi, ardından sipariş ayrıntıları veri kümesi yüklenir. Sipariş veri kümesi yüklenirken yeni bir sipariş eklenmiştir. Dolayısıyla, sipariş ayrıntıları yüklendiğinde, sipariş veri kümesinde henüz mevcut olmayan yeni siparişin ayrıntılarını içerebilir. Sipariş ve sipariş ayrıntıları veri kümeleri, yalnızca ilk değişiklik grubu uygulandıktan sonra senkronize edilecek ve aynı zamana tamamen güncellenecektir.
Ayrıntılı bilgileri görüntüleme
SQL deyimi düzeyinde ayrıntılı bilgileri görüntüleyebilirsiniz.
-
Ayrıntılı olarak izlenecek veri kümelerini seçin.
-
Click İzleme ayrıntıları.
İzleme ayrıntıları görüntülenir ve yükleme veya değişiklik sürecinin her adımı için yürütülen komutları görüntüleyebilirsiniz. Yürütülen tam SQL deyimlerini görüntülemek için bir komuta tıklayabilirsiniz.
-
Listelenen tüm komutlar için tam SQL deyimlerini içeren bir metin dosyasını dışa aktarmak için CSV'ye aktar seçeneğine tıklayın.
Görünümler için Veri görevinin güncellendiği tarih:
Veri görevinin güncellendiği tarih: alanı, en eski görünümün güncellendiği zamanı gösterir.
-
Standart görünümler
Veri görevinin güncellendiği tarih:, en eski standart görünümün güncellendiği zamanı gösterir.
Örneğin, bir görevin Siparişler ve Sipariş ayrıntıları adında iki tablosu olduğunu varsayalım. Siparişler tablosu 10:00 ve 10:01'deki kayıtlarla 10:01'e güncellenmiştir ve Sipariş ayrıntıları tablosunda yalnızca 10:00'daki kayıtlar bulunmaktadır. Bu durumda veri görevi 10:00'a güncellenir. Bu durum, 10:02 ile 10:03 arasında olabilecek veri görevi yüklemesinin başlangıç ve bitiş zamanlarıyla karıştırılmamalıdır.
-
Canlı görünümler (Depolama veri görevleri)
Veri görevinin güncellendiği tarih:, en eski canlı görünümün güncellendiği zamanı gösterir.
Örneğin, bir görevin Siparişler tablosu olduğunu varsayalım. Yerleştirmedeki Siparişler tablosu 10:00 ve 10:01'deki kayıtlarla 10:01'e güncellenmiştir, ancak depolamadaki Siparişler tablosu yalnızca 10:00'daki kayıtlarla güncellenmiştir. Bu durumda Siparişler tablosuna yönelik canlı görünümler 10:01'e, standart görünümler ise 10:00'a güncellenir.
Çalışma geçmişini görüntüleme
Kök nedenleri belirlemek ve zaman içindeki kalıpları anlamak için bir görevin çalışma geçmişini görüntüleyebilirsiniz.
-
Bir görevin İzleme görünümünde Çalışma geçmişi seçeneğine tıklayın.
-
İzleme görünümleri ekranındaki bir görevin ... menüsünde Çalışma geçmişi seçeneğine tıklayın.
Filtre seçimlerinize bağlı olarak çalışma geçmişinde en fazla 100 yürütme görüntülenir. Diğer yürütmeleri görmek için filtre kriterlerinizi daraltın. Yürütme bitiş tarihine ve görev durumuna göre filtreleme yapabilirsiniz. Çalışma bilgileri 13 ay boyunca saklanır. Çalışmalardaki veri kümesi meta verileri 30 gün boyunca saklanır.