Azure Data Lake Storage
Azure Data Lake Storage は次のように使用できます。
- Databricks、Microsoft Fabric、または Azure Synapse Analytics をデータ パイプライン ターゲットとして使用する場合のクラウド ステージング エリア。クラウド ステージング エリアは、データと変更が適用および保存される前にステージングされる場所です。
-
レプリケーション タスクのターゲット。
- Standard、Premium、Enterprise サブスクリプションを使用して Azure Data Lake Storage にデータをレプリケートする方法については、「Standard、Premium、または Enterprise サブスクリプションを使用して、データ レイクにデータをランディングします」を参照してください。
- Starter サブスクリプションを使用して Azure Data Lake Storage にデータをレプリケートする方法については、「Qlik Talend Cloud スターター サブスクリプションを利用したデータのレプリケート」を参照してください。
制限と考慮事項
次の制限が適用されます。
- フル LOB モードはサポートされていません。
- スラッシュ (/) またはバックスラッシュ (\) 文字を含むデータベース名、スキーマ名、またはテーブル名はサポートされていません。
ストレージ権限
コネクタ設定で指定された Azure Active Directory テナントには、次の ADLS Gen2 ストレージ権限が付与されている必要があります。
- ストレージ コンテナで: LIST
- ストレージ ディレクトリで: READ、WRITE、DELETE
- ADLS Gen2 ファイル システムのアクセス制御 (IAM) 設定で、「Storage Blob Data Contributor (ストレージ BLOB データ共同作成者)」 ロールを Replicate (AD アプリ ID) に割り当てます。ロールが有効になるまで数分かかる場合があります。
Azure Data Lake Storage 接続プロパティの設定
コネクタを構成するには、次の手順を実行します。
-
[接続] で、 [接続を作成] をクリックします。
-
Azure Data Lake Storage ターゲット コネクタを選択し、次の設定を行います。
データ ターゲット
データ ゲートウェイ: ADLS への接続のテストに使用される Data Movement gateway を選択します。これは、データ ソースからデータをランディングするために展開された Data Movement gateway と同じである必要があります。
接続プロパティ
-
ストレージ アカウント
ストレージ アカウント名。
-
コンテナ名
クラウド ステージング エリアとして使用するコンテナの名前。
-
Azure Active Directory テナント ID
Azure Active Directory のサブスクリプションのテナント ID。
-
Azure Application Registration クライアント ID
Azure Active Directory 内のアプリケーションのクライアント ID。
-
Azure Application Registration シークレット
Azure Active Directory でのアプリケーションのシークレット
名前
接続の表示名です。
データ型のマッピング
次の表は、Qlik Cloudデータ型から Azure Data Lake Storage データ型への既定のマッピングを示しています。
Qlik Cloud データ型から Azure Data Lake Storage へのマッピング
Qlik Cloud データ型 | Azure Data Lake Storage ターゲット データ型 |
---|---|
DATE |
DATE |
TIME |
TIME |
DATETIME |
DATETIME |
BYTES |
BYTES (長さ) |
BLOB |
BLOB |
REAL4 |
REAL4 (7) |
REAL8 |
REAL8 (14) |
INT1 |
INT1 (3) |
INT2 |
INT2 (5) |
INT4 |
INT4 (10) |
INT8 |
INT8 (19) |
UINT1 |
UINT1 (3) |
UINT2 |
UINT2 (5) |
UINT4 |
UINT4 (10) |
UINT8 |
UINT8 (20) |
NUMERIC |
NUMERIC (p,s) |
STRING |
STRING (長さ) |
WSTRING |
STRING (長さ) |
CLOB |
CLOB |
NCLOB |
NCLOB |
BOOLEAN |
BOOLEAN (1) |
Qlik Cloud データ型から Parquet へのマッピング
Parquet がファイル形式として設定されている場合、Parquet でサポートされるデータ型の数が限られているため、データ型のマッピングは次のようになります。
Qlik Cloud データ型 | Parquet プリミティブ型 | 論理型 |
---|---|---|
BOOLEAN |
BOOLEAN |
|
INT1 |
INT32 |
INT(8, true) |
INT2 |
INT32 |
INT(16, true) |
INT4 |
INT32 |
|
INT8 |
INT64 |
|
UINT1 |
INT32 |
INT(8, false) |
UINT2 |
INT32 |
INT(16, false) |
UINT4 |
INT64 |
|
UINT8 |
INT64 |
INT(64, false) |
REAL4 |
FLOAT |
|
REAL8 |
DOUBLE |
|
NUMERIC |
FIXED_LEN_BYTE_ARRAY (16) |
DECIMAL (精度、スケール) |
STRING |
BYTE_ARRAY |
STRING |
WSTRING |
BYTE_ARRAY |
STRING |
BYTES |
BYTE_ARRAY |
|
BLOB |
BYTE_ARRAY |
|
CLOB |
BYTE_ARRAY |
STRING |
NCLOB |
BYTE_ARRAY |
STRING |
DATE |
INT32 |
DATE |
TIME |
INT32 |
TIME (UTC=true, unit=MILLIS) |
DATETIME |
INT64 |
TIMESTAMP (UTC=true, unit=MICROS) |