Standard, Premium veya Enterprise abonelikle veri gölüne veri yerleştirme
Verileri bir aşağıdaki hedeflere yerleştirmek için bir Verileri veri gölüne yerleştir görevi ayarlayabilirsiniz:
Amazon S3
Amazon S3'ünüze bir bağlantı yapılandırma hakkında bilgi için bkz. Amazon S3.
Azure Data Lake Storage
Azure Data Lake Storage'ınıza bağlantı yapılandırma hakkında bilgi için bkz. Azure Data Lake Storage.
Google Cloud Storage
Google Cloud Storage'ınıza bağlantı yapılandırma hakkında bilgi için bkz. Google Cloud Storage.
Veri kaynaklarınıza bağlantıları yapılandırma hakkında bilgi için bk. Veri kaynakları ile bağlantılar ayarlama
Bir veri gölü yerleştirme görevi ayarlamak için:
Veri Entegrasyonu > Projeler bölümünde Proje oluştur'a tıklayın.
Yeni proje iletişim kutusunda aşağıdakileri yapın:
Projeniz için bir Ad girin.
- Projenin oluşturulmasını istediğiniz Alanı seçin.
- İsteğe bağlı olarak bir Açıklama girin.
- Kullanım durumu olarak Çoğaltma'yı seçin.
- İsteğe bağlı olarak, herhangi bir ayar yapılandırmadan boş bir proje oluşturmak istiyorsanız Aç onay kutusunun işaretini kaldırın.
Oluştur'a tıklayın.
Aşağıdakilerden biri gerçekleşecektir:
- Yeni proje iletişim kutusundaki Aç onay kutusu seçildiyse (varsayılan) proje açılır.
- Yeni proje iletişim kutusundaki Aç onay kutusunun işaretini kaldırdıydıysanız proje, projeler listenize eklenecektir. Projeyi daha sonra proje menüsünden Aç seçeneğini belirleyerek açabilirsiniz.
Proje açıldıktan sonra Verileri veri gölüne indir seçeneğine tıklayın.
Verileri veri gölüne indir sihirbazı açılır.
Genel sekmesinde, veri gölü iniş görevi için bir ad ve açıklama belirtin. Ardından İleri'ye tıklayın.
Bilgi notuEğik çizgi (/) veya ters eğik çizgi (\) karakterleri içeren adlar desteklenmez.Kaynak bağlantı seç sekmesinde, kaynak verilere bir bağlantı seçin. İsteğe bağlı olarak Eylemler sütunundaki menüden Düzenle'yi seçerek bağlantı ayarlarını düzenleyebilirsiniz.
Kaynak verilerle henüz bir bağlantınız yoksa sekmenin sağ üst köşesindeki Bağlantı oluştur seçeneğine tıklayarak önce bir bağlantı oluşturmanız gerekir.
Sol taraftaki filtreleri kullanarak bağlantı listesini filtreleyebilirsiniz. Bağlantılar kaynak türüne, ağ geçidine, alana ve sahibine göre filtrelenebilir. Bağlantılar listesinin üzerindeki Tüm filtreler düğmesi geçerli filtrelerin sayısını gösterir. Soldaki Filtreler panelini kapatmak veya açmak için bu düğmeyi kullanabilirsiniz. Şu anda etkin olan filtreler de mevcut bağlantılar listesinin üzerinde gösterilir.
Ayrıca, sağdaki açılır listeden Son değiştirilme, Son oluşturulma veya Alfabetik'i seçerek listeyi sıralayabilirsiniz. Sıralama düzenini değiştirmek için listenin sağındaki oka tıklayın.
Bir veri kaynağı bağlantısı seçtikten sonra, isteğe bağlı olarak sekmenin (önerilir) sağ üst kısmındaki Bağlantıyı test et seçeneğine ve ardından İleri seçeneğine tıklayın.
Veri kümelerini seçin sekmesinde, veri gölü açılış görevine dahil edilecek tabloları ve/veya görünümleri seçin. Ayrıca joker karakterler kullanabilir ve Veritabanından veri seçme bölümünde açıklandığı gibi seçim kuralları oluşturabilirsiniz.
Bilgi notuEğik çizgi (/) veya ters eğik çizgi (\) karakterleri içeren şema adları ya da tablo adları desteklenmez.Hedef bağlantı seç sekmesinde, kullanılabilir bağlantılar listesinden bir hedefi seçin ve ardından İleri'ye tıklayın. İşlevsellik açısından bu sekme, daha önce açıklanan Kaynak bağlantı seç sekmesiyle aynıdır.
Ayarlar sekmesinde, isteğe bağlı olarak aşağıdaki ayarları değiştirin ve ardından İleri'ye tıklayın.
Güncelleme yöntemi:
Değişiklik verisi yakalama (CDC): Veri gölü yerleştirme görevleri tam yükleme ile başlar (bu sırada seçilen tüm tablolar yerleştirilir). Veri gölü yerleştirme görevleri tam yükleme ile başlar (bu sırada seçilen tüm tablolar yerleştirilir).
Bilgi notuDDL işlemlerinin CDC'si (Değişiklik Verisi Yakalama) desteklenmez.Veri Hareketi ağ geçidi ile çalışırken değişiklikler, kaynaktan neredeyse gerçek zamanlı olarak yakalanır. Veri Hareketi ağ geçidi olmadan çalışırken değişiklikler, zamanlayıcı ayarlarına göre yakalanır. Daha fazla bilgi için bk. Veri Hareketi ağ geçidi olmadan çalışırken görevleri zamanlama.
- Yeniden yükle: Seçilen kaynak tablolardan hedef platforma verilerin tam yüklemesini gerçekleştirir ve gerekirse hedef tabloları oluşturur. Tam yük, görev başlatıldığında otomatik olarak gerçekleşir ancak manuel olarak da gerçekleştirilebilir veya gerektiğinde periyodik olarak gerçekleşecek şekilde zamanlanabilir.
Değişiklik verisi yakalama (CDC) seçeneğini belirlerseniz ve verileriniz CDC'yi desteklemeyen tablolar veya görünümler içeriyorsa iki veri işlem hattı oluşturulacaktır. CDC'yi destekleyen tüm tabloları içeren bir işlem hattı ve Yeniden yükle seçeneğini kullanan diğer tüm tablolar ve görünümlerin bulunduğu başka bir işlem hattı.
Kullanılacak klasör:
Dosyaların hangi demet klasörüne yazılmasını istediğinize göre aşağıdakilerden birini seçin:
- Varsayılan klasör: Varsayılan klasör biçimi <proje-adınız>/<görev-adınız> şeklindedir
- Kök klasör: Dosyalar doğrudan demetyazılacaktır.
Klasör: Klasör adını girin. Klasör mevcut değilse veri gölü yerleştirme görevi sırasında oluşturulacaktır.
Bilgi notu Klasör adı özel karakterler içeremez (örneğin, @, #, !, vb.).
Özet sekmesinde, veri hattının bir görseli görüntülenir. <name> görevini aç veya Hiçbir şey yapma seçeneklerinden birini seçin. Ardından Oluştur'a tıklayın.
Seçiminize bağlı olarak ya görev açılacak ya da projelerin bir listesi görüntülenecektir.
Görevi açmayı seçtiyseniz Veri Kümeleri sekmesi seçilen veri varlığı tablolarının yapısını ve meta verilerini gösterecektir. Bu, açıkça listelenen tüm tabloların yanı sıra seçim kurallarıyla eşleşen tabloları da içerir.
Veri kaynağından daha fazla tablo eklemek isterseniz, Kaynak verilerini seç'e tıklayın.
İsteğe bağlı olarak, görev ayarını Bulut depolama alanı hedefleriyle ilgili ayarlar bölümünde açıklandığı gibi değiştirin.
Veri setlerinde dönüştürmeler gerçekleştirebilir, verileri filtreleyebilir veya sütunlar ekleyebilirsiniz.
Daha fazla bilgi için bk. Veri kümelerini yönetme.
İstediğiniz dönüşümleri eklediğinizde Veri kümelerini doğrula'ya tıklayarak veri kümelerini doğrulayabilirsiniz. Doğrulama başarısız olursa devam etmeden önce hataları giderin.
Hazır olduğunuzda, yerleşirme görevini kataloğa alıp yürütme için hazırlamak üzere Hazırla'ya tıklayın.
Veri görevi hazırlandığında Çalıştır'a tıklayın.
Veri gölü iniş görevi şimdi başlayacaktır. İlerlemesini İzleme görünümünde izleyebilirsiniz. Daha fazla bilgi için bk. Ayrı bir veri görevini izleme
Veri setleri için yükleme önceliği ayarlama
Her bir veri setine bir yükleme önceliği atayarak veri görevinizde veri setlerinin yükleme sırasını kontrol edebilirsiniz. Bu, örneğin büyük veri setlerinden önce daha küçük veri setlerini yüklemek isterseniz faydalı olabilir.
Yükleme önceliği'ne tıklayın.
Her bir veri seti için bir yükleme önceliği seçin.
Varsayılan yükleme önceliği Normal'dir. Veri setleri aşağıdaki öncelik sırasında göre yüklenecektir:
En yüksek
Daha yüksek
Yüksek
Normal
Düşük
Daha düşük
En düşük
Aynı önceliğe sahip veri setleri belirli bir sıra olmadan yüklenir.
OK düğmesine tıklayın.
Meta veriler yenileniyor
Görevin Tasarım görünümündeki kaynağın meta verilerindeki değişikliklerle hizalanması için görevdeki meta verileri yenileyebilirsiniz. Metadata manager'ın kullanıldığı SaaS uygulamalarında, veri görevinde meta verileri yenileyebilmeniz için önce Metadata manager'ın yenilenmesi gerekir.
Seçenekleriniz:
Görevdeki tüm veri kümelerinin meta verilerini yenilemek için ... ve ardından Meta verileri yenile seçeneğine tıklayın.
Tek bir veri kümesindeki meta verilerini yenilemek için Veri kümeleri bölümündeki bir veri kümesinde ... ve ardından Meta verileri yenile seçeneğine tıklayın.
Ekranın alt kısmındaki Meta verileri yenile seçeneğinin altında meta verilerin yenilenme durumunu görüntüleyebilirsiniz. İmleci üzerine getirerek meta verilerin en son yenilendiği zamanı görebilirsiniz.
Değişiklikleri uygulamak için veri görevini hazırlayın.
Veri görevini hazırladığınızda ve değişiklikler uygulandığında değişiklikler Meta verileri yenile kısmından kaldırılır.
Değişiklikleri çoğaltmak için bu görevi kullanan depolama görevlerini hazırlamanız gerekir.
Bir sütun kaldırılırsa depolamanın geçmiş verileri kaybetmemesi için Null değerleri içeren bir dönüşüm eklenir.
Sınırlamalar
Bundan önce aynı zaman aralığında kullanımdan kaldırılmış bir sütunla yeniden adlandırma, aynı veri türüne ve veri uzunluğuna sahipse kullanımdan kaldırılan sütun yeniden adlandırmasına dönüştürülür.
Örnek:
Önce: a b c d
Sonra: a c1 d
Bu örnekte b kullanımdan kaldırılmış ve c, c1 olarak yeniden adlandırılmış ve b ile c aynı veri türüne ve veri uzunluğuna sahiptir.
Bu, b'nin c1 olarak yeniden adlandırılması ve c'nin kullanımdan kaldırılması olarak tanımlanacaktır.
Son sütun kullanımdan kaldırılsa ve ondan önceki yeniden adlandırılsa bile son sütun yeniden adlandırması algılanmaz.
Örnek:
Önce: a b c d
Sonra: a b c1
Bu örnekte d kullanımdan kaldırılmış ve c, c1 olarak yeniden adlandırılmıştır.
Bu, c ve d'nin kullanımdan kaldırılması ve c1'in eklenmesi olarak tanımlanacaktır.
Sona yeni sütunların ekleneceği varsayılır. Sütunlar sonraki sütun olarak aynı veri türüyle ortaya eklenirse kullanımdan kaldırma ve yeniden adlandırma olarak yorumlanabilirler.
Verileri veri gölüne yerleştirirken sınırlamalar ve dikkate alınacak noktalar
Dönüşümler aşağıdaki sınırlamalara tabidir:
- Dönüşümler, sağdan sola dillerin bulunduğu sütunlar için desteklenmez.
Dönüşümler, adında özel karakterler (ör. #, \, /, -) bulunan sütunlarda gerçekleştirilemez.
- LOB/CLOB veri türleri için desteklenen tek dönüşüm, hedefteki sütunu kullanımdan kaldırmaktır.
- Bir sütunu yeniden adlandırmak ve ardından aynı ada sahip yeni bir sütun eklemek için dönüşüm kullanılması desteklenmemektedir.
İster doğrudan ister dönüşüm kuralı kullanarak olsun, null değer alabilme özelliğini değiştirme işlemi, taşınan sütunlarda desteklenmez. Ancak görevde oluşturulan yeni sütunlar varsayılan olarak null değer atanabilir niteliktedir.