Azure Data Lake Storage
Azure Data Lake Storage は次のように使用できます。
- Databricks、Microsoft Fabric、または Azure Synapse Analytics をデータ パイプライン プラットフォームとして使用する場合のクラウド ステージング エリア。クラウド ステージング エリアは、データと変更が適用および保存される前にステージングされる場所です。
- 「データ レイクにデータをランディング」レプリケーションタスクのターゲット。
制限と考慮事項
次の制限が適用されます。
- フル LOB モードはサポートされていません。
- スラッシュ (/) またはバックスラッシュ (\) 文字を含むデータベース名、スキーマ名、またはテーブル名はサポートされていません。
ストレージ権限
コネクタ設定で指定された Azure Active Directory テナントには、次の ADLS Gen2 ストレージ権限が付与されている必要があります。
- ストレージ コンテナで: LIST
- ストレージ ディレクトリで: READ、WRITE および DELETE
- ADLS Gen2 ファイル システムのアクセス制御 (IAM) 設定で、「Storage Blob Data Contributor (ストレージ BLOB データ共同作成者)」 ロールを Replicate (AD アプリ ID) に割り当てます。ロールが有効になるまで数分かかる場合があります。
Azure Data Lake Storage 接続プロパティの設定
Azure Data Lake Storageターゲット コネクタを選択し、次の設定を行います。
データ ターゲット
データ ゲートウェイ: ADLS への接続のテストに使用される データ移動ゲートウェイ を選択します。これは、データ ソースからデータをランディングするために展開された データ移動ゲートウェイ と同じである必要があります。
接続プロパティ
-
ストレージ アカウント
ストレージ アカウント名。
-
コンテナ名
クラウド ステージング エリアとして使用するコンテナの名前。
-
Azure Active Directory テナント ID
Azure Active Directory のサブスクリプションのテナント ID。
-
Azure Application Registration クライアント ID
Azure Active Directory 内のアプリケーションのクライアント ID。
-
Azure Application Registration シークレット
Azure Active Directory でのアプリケーションのシークレット
名前
接続の表示名です。
データ型のマッピング
次の表は、Qlik Cloudデータ型から Azure Data Lake Storage データ型への既定のマッピングを示しています。
Qlik Cloud データ型から Azure Data Lake Storage へのマッピング
Qlik Cloud データ型 | Azure Data Lake Storage ターゲット データ型 |
---|---|
DATE |
DATE |
TIME |
TIME |
DATETIME |
DATETIME |
BYTES |
BYTES (長さ) |
BLOB |
BLOB |
REAL4 |
REAL4 (7) |
REAL8 |
REAL8 (14) |
INT1 |
INT1 (3) |
INT2 |
INT2 (5) |
INT4 |
INT4 (10) |
INT8 |
INT8 (19) |
UINT1 |
UINT1 (3) |
UINT2 |
UINT2 (5) |
UINT4 |
UINT4 (10) |
UINT8 |
UINT8 (20) |
NUMERIC |
NUMERIC (p,s) |
STRING |
STRING (長さ) |
WSTRING |
STRING (長さ) |
CLOB |
CLOB |
NCLOB |
NCLOB |
BOOLEAN |
BOOLEAN (1) |
Qlik Cloud データ型から Parquet へのマッピング
Parquet がファイル形式として設定されている場合、Parquet でサポートされるデータ型の数が限られているため、データ型のマッピングは次のようになります。
Qlik Cloud データ型 | Parquet プリミティブ型 | 論理型 |
---|---|---|
BOOLEAN |
BOOLEAN |
|
INT1 |
INT32 |
INT(8, true) |
INT2 |
INT32 |
INT(16, true) |
INT4 |
INT32 |
|
INT8 |
INT64 |
|
UINT1 |
INT32 |
INT(8, false) |
UINT2 |
INT32 |
INT(16, false) |
UINT4 |
INT64 |
|
UINT8 |
INT64 |
INT(64, false) |
REAL4 |
FLOAT |
|
REAL8 |
DOUBLE |
|
NUMERIC |
FIXED_LEN_BYTE_ARRAY (16) |
DECIMAL (精度、スケール) |
STRING |
BYTE_ARRAY |
STRING |
WSTRING |
BYTE_ARRAY |
STRING |
BYTES |
BYTE_ARRAY |
|
BLOB |
BYTE_ARRAY |
|
CLOB |
BYTE_ARRAY |
STRING |
NCLOB |
BYTE_ARRAY |
STRING |
DATE |
INT32 |
DATE |
TIME |
INT32 |
TIME (UTC=true, unit=MILLIS) |
DATETIME |
INT64 |
TIMESTAMP (UTC=true, unit=MICROS) |