Azure Data Lake Storage
Azure Data Lake Storage aşağıdaki amaçlarla kullanılabilir:
- Veri işlem hattı platformu olarak Databricks, Microsoft Fabric veya Azure Synapse Analytics'i kullanırken bir bulut hazırlama alanı. Bulut hazırlama alanı, verilerin ve değişikliklerin uygulanıp depolanmadan önce hazırlandığı yerdir.
- Bir "Veri gölüne veri yerleştir" çoğaltma görevinde bir hedef.
Sınırlamalar ve dikkate alınacak noktalar
Aşağıdaki sınırlamalar geçerlidir:
- Tam LOB Modu desteklenmez.
- Eğik çizgi (/) veya ters eğik çizgi (\) karakterleri içeren veritabanı adları, şema adları veya tablo adları desteklenmez.
Depolama izinleri
Bağlayıcı ayarlarında belirtilen Azure Active Directory kiracısına aşağıdaki ADLS Gen2 depolama izinleri verilmelidir.
- Kapsayıcı üzerinde: LIST
- Depolama dizininde: READ, WRITE ve DELETE
- ADLS Gen2 dosya sistemi için Erişim Denetimi (IAM) ayarlarında, "Depolama Blob Verilerine Katkıda Bulunan" rolünü Çoğalt'a (AD Uygulama Kimliği) atayın. Rolün devreye girmesi birkaç dakika alabilir.
Azure Data Lake Storage bağlantı özelliklerini ayarlama
Azure Data Lake Storage Target bağlayıcısını seçin ve ardından aşağıdaki ayarları sağlayın:
Veri Hedefi
Veri ağ geçidi: ADLS bağlantısını test etmek için kullanılacak Veri Hareketi ağ geçidi öğesini seçin. Bu, veri kaynağından gelen verileri yerleştirmek için kullanılan Veri Hareketi ağ geçidi ile aynı olmalıdır.
Bağlantı özellikleri
-
Depolama Hesabı
Depolama hesabının adı.
-
Kapsayıcı adı
Bulut hazırlama alanı olarak kullanılacak kapsayıcının adı.
-
Azure Active Directory Kiracı Kimliği
Aboneliğin Azure Active Directory'deki kiracı kimliği.
-
Azure Uygulama Kaydı İstemci Kimliği
Uygulamanın Azure Active Directory'deki istemci kimliği.
-
Azure Uygulama Kaydı Gizli Bilgisi
Uygulamanın Azure Active Directory'deki gizli bilgisi
Ad
Bağlantının görünen adı.
Veri türü eşlemesi
Aşağıdaki tabloda Qlik Cloud veri türlerinden Azure Data Lake Storage veri türlerine varsayılan eşleme gösterilmektedir.
Qlik Cloud veri türlerinden Azure Data Lake Storage hedefine eşleme
Qlik Cloud veri türleri | Azure Data Lake Storage Hedef veri türleri |
---|---|
DATE |
DATE |
TIME |
TIME |
DATETIME |
DATETIME |
BYTES |
BYTES (uzunluk) |
BLOB |
BLOB |
REAL4 |
REAL4 (7) |
REAL8 |
REAL8 (14) |
INT1 |
INT1 (3) |
INT2 |
INT2 (5) |
INT4 |
INT4 (10) |
INT8 |
INT8 (19) |
UINT1 |
UINT1 (3) |
UINT2 |
UINT2 (5) |
UINT4 |
UINT4 (10) |
UINT8 |
UINT8 (20) |
NUMERIC |
NUMERIC (p,s) |
STRING |
STRING (Uzunluk) |
WSTRING |
STRING (Uzunluk) |
CLOB |
CLOB |
NCLOB |
NCLOB |
BOOLEAN |
BOOLEAN (1) |
Qlik Cloud veri türlerinden Parquet'e eşleme
Dosya formatı olarak Parquet ayarlandığında, Parquet tarafından desteklenen sınırlı sayıda veri türü nedeniyle, veri türü eşlemeleri aşağıdaki gibi olacaktır:
Qlik Cloud Veri Türü | Parquet Temel Tür | Mantıksal Tür |
---|---|---|
BOOLEAN |
BOOLEAN |
|
INT1 |
INT32 |
INT(8, true) |
INT2 |
INT32 |
INT(16, true) |
INT4 |
INT32 |
|
INT8 |
INT64 |
|
UINT1 |
INT32 |
INT(8, false) |
UINT2 |
INT32 |
INT(16, false) |
UINT4 |
INT64 |
|
UINT8 |
INT64 |
INT(64, false) |
REAL4 |
FLOAT |
|
REAL8 |
DOUBLE |
|
NUMERIC |
FIXED_LEN_BYTE_ARRAY (16) |
DECIMAL (kesinlik, ölçek) |
STRING |
BYTE_ARRAY |
STRING |
WSTRING |
BYTE_ARRAY |
STRING |
BYTES |
BYTE_ARRAY |
|
BLOB |
BYTE_ARRAY |
|
CLOB |
BYTE_ARRAY |
STRING |
NCLOB |
BYTE_ARRAY |
STRING |
DATE |
INT32 |
DATE |
TIME |
INT32 |
TIME (UTC=true, unit=MILLIS) |
DATETIME |
INT64 |
TIMESTAMP (UTC=true, unit=MICROS) |