Azure Data Lake Storage
Azure Data Lake Storage aşağıdaki amaçlarla kullanılabilir:
- Veri işlem hattı hedefi olarak Databricks, Microsoft Fabric veya Azure Synapse Analytics'i kullanırken bir bulut hazırlama alanı. Bulut hazırlama alanı, verilerin ve değişikliklerin uygulanıp depolanmadan önce hazırlandığı yerdir.
-
Bir çoğaltma görevindeki bir hedef.
- Standard, Premium ve Enterprise abonelikleriyle Azure Data Lake Storage'da nasıl veri çoğaltılacağına dair bir açıklama için bkz. Standard, Premium veya Enterprise abonelikle veri gölüne veri yerleştirme.
- Starter aboneliğiyle Azure Data Lake Storage'da nasıl veri çoğaltılacağına dair bir açıklama için bkz. Qlik Talend Cloud Başlangıç Kılavuzu aboneliği ile veri çoğaltma.
Sınırlamalar ve dikkate alınacak noktalar
Aşağıdaki sınırlamalar geçerlidir:
- Tam LOB Modu desteklenmez.
- Eğik çizgi (/) veya ters eğik çizgi (\) karakterleri içeren veritabanı adları, şema adları veya tablo adları desteklenmez.
Depolama izinleri
Bağlayıcı ayarlarında belirtilen Azure Active Directory kiracısına aşağıdaki ADLS Gen2 depolama izinleri verilmelidir.
- Kapsayıcıda: LIST
- Depolama dizininde: READ, WRITE ve DELETE
- ADLS Gen2 dosya sistemi için Erişim Denetimi (IAM) ayarlarında, "Depolama Blob Verilerine Katkıda Bulunan" rolünü Çoğalt'a (AD Uygulama Kimliği) atayın. Rolün devreye girmesi birkaç dakika alabilir.
Azure Data Lake Storage bağlantı özelliklerini ayarlama
Bağlayıcıyı yapılandırmak için aşağıdakileri yapın:
-
Bağlantılar'da Bağlantı oluştur'a tıklayın.
-
Azure Data Lake Storage hedef bağlayıcısını seçin ve ardından aşağıdaki ayarları sağlayın:
Veri Hedefi
Veri ağ geçidi: ADLS bağlantısını test etmek için kullanılacak Veri Hareketi ağ geçidi öğesini seçin. Bu, veri kaynağından gelen verileri yerleştirmek için kullanılan Veri Hareketi ağ geçidi ile aynı olmalıdır.
Bağlantı özellikleri
-
Depolama Hesabı
Depolama hesabının adı.
-
Kapsayıcı adı
Bulut hazırlama alanı olarak kullanılacak kapsayıcının adı.
-
Azure Active Directory Kiracı Kimliği
Aboneliğin Azure Active Directory'deki kiracı kimliği.
-
Azure Uygulama Kaydı İstemci Kimliği
Uygulamanın Azure Active Directory'deki istemci kimliği.
-
Azure Uygulama Kaydı Gizli Bilgisi
Uygulamanın Azure Active Directory'deki gizli bilgisi
Ad
Bağlantının görünen adı.
Veri türü eşlemesi
Aşağıdaki tabloda Qlik Cloud veri türlerinden Azure Data Lake Storage veri türlerine varsayılan eşleme gösterilmektedir.
Qlik Cloud veri türlerinden Azure Data Lake Storage hedefine eşleme
Qlik Cloud veri türleri | Azure Data Lake Storage Hedef veri türleri |
---|---|
DATE |
DATE |
TIME |
TIME |
DATETIME |
DATETIME |
BYTES |
BYTES (uzunluk) |
BLOB |
BLOB |
REAL4 |
REAL4 (7) |
REAL8 |
REAL8 (14) |
INT1 |
INT1 (3) |
INT2 |
INT2 (5) |
INT4 |
INT4 (10) |
INT8 |
INT8 (19) |
UINT1 |
UINT1 (3) |
UINT2 |
UINT2 (5) |
UINT4 |
UINT4 (10) |
UINT8 |
UINT8 (20) |
NUMERIC |
NUMERIC (p,s) |
STRING |
STRING (Uzunluk) |
WSTRING |
STRING (Uzunluk) |
CLOB |
CLOB |
NCLOB |
NCLOB |
BOOLEAN |
BOOLEAN (1) |
Qlik Cloud veri türlerinden Parquet'e eşleme
Dosya formatı olarak Parquet ayarlandığında, Parquet tarafından desteklenen sınırlı sayıda veri türü nedeniyle, veri türü eşlemeleri aşağıdaki gibi olacaktır:
Qlik Cloud Veri Türü | Parquet Temel Tür | Mantıksal Tür |
---|---|---|
BOOLEAN |
BOOLEAN |
|
INT1 |
INT32 |
INT(8, true) |
INT2 |
INT32 |
INT(16, true) |
INT4 |
INT32 |
|
INT8 |
INT64 |
|
UINT1 |
INT32 |
INT(8, false) |
UINT2 |
INT32 |
INT(16, false) |
UINT4 |
INT64 |
|
UINT8 |
INT64 |
INT(64, false) |
REAL4 |
FLOAT |
|
REAL8 |
DOUBLE |
|
NUMERIC |
FIXED_LEN_BYTE_ARRAY (16) |
DECIMAL (kesinlik, ölçek) |
STRING |
BYTE_ARRAY |
STRING |
WSTRING |
BYTE_ARRAY |
STRING |
BYTES |
BYTE_ARRAY |
|
BLOB |
BYTE_ARRAY |
|
CLOB |
BYTE_ARRAY |
STRING |
NCLOB |
BYTE_ARRAY |
STRING |
DATE |
INT32 |
DATE |
TIME |
INT32 |
TIME (UTC=true, unit=MILLIS) |
DATETIME |
INT64 |
TIMESTAMP (UTC=true, unit=MICROS) |