跳到主要內容 跳至補充內容

AWS Glue Data Catalog

連線至您的 AWS Glue Data Catalog,以在您的 Qlik 開放湖倉庫 專案中做為目標使用。

使用 AWS Glue Data Catalog 做為目標,可與 AWS 分析生態系統整合,並讓 Qlik 開放湖倉庫 與集中式中繼資料儲存區互通。AWS Glue Data Catalog 做為統一的中繼資料圖層,讓 Qlik 能夠寫入 Iceberg 資料表,這些資料表可立即由 Amazon Athena 等 AWS 原生服務查詢,無需額外設定。由 Qlik 寫入的資料也可供第三方工具使用,無需複寫。

必要條件

若要建立 AWS Glue Data Catalog 連線,您需要:

  • 一個 Amazon S3 目標值區。

  • 如果您使用角色型驗證來存取值區,您需要:

    • 存取您要用於連線的網路整合的權限。

    • 角色 ARN。

  • 如果您使用存取金鑰驗證來存取值區,您需要:

    • 您的 AWS 存取金鑰 ID。

    • 您的 AWS 私密存取金鑰。

設定 AWS Glue Data Catalog 連線屬性

若要設定連線,請執行下列動作:

  1. 連線中,按一下建立連線

  2. 選取您要建立連線的 空間,或選擇 建立新的資料空間

  3. 連接器名稱 清單中選取 AWS Glue Data Catalog,或使用 搜尋 方塊。

  4. 按一下 建立,然後設定屬性:

    • 目錄區域:從清單中選取您目錄的區域。

    • S3 目標值區:輸入值區的名稱。

  5. 設定驗證類型。從清單中,選取以角色為基礎存取金鑰驗證,並完成您所選取的下列資訊:

以角色為基礎

  • 網路整合:從清單中選取網路整合。

  • ARN 角色:輸入在 AWS 中建立的 ARN 角色。

資訊備註按一下連結按一下此處以取得指引,以顯示存取您的信任實體政策和建立角色 ARN 的下列指示。

建立 AWS 角色

若要建立 AWS 角色,請執行下列動作:

  1. AWS 主控台中,前往IAM

  2. 角色中,按一下建立角色

  3. 對於 信任實體類型,選取 自訂信任政策

  4. Qlik Cloud 中,於 建立 AWS 角色 對話方塊中,複製 信任實體,這是指派給整合中叢集的實體。將其貼到 AWS 中的主控台。

  5. 按一下 角色,然後選取您在上方建立的角色。

  6. 權限政策 中,按一下 新增權限,然後選取 建立內嵌政策

  7. Qlik Cloud 中,在 建立 AWS 角色 對話方塊中,複製下方內嵌政策,並將其貼到 AWS 中的主控台,並將 <bucket_name> 值變更為您的值區位置:

  8. 
    						{
    						"Version": "2012-10-17",
    						"Statement": [
    						{
    						"Effect": "Allow",
    						"Action": [
    						"glue:CreateTable",
    						"glue:UpdateTable",
    						"glue:DeleteTable",
    						"glue:BatchDeleteTable",
    						"glue:GetTable",
    						"glue:GetTables",
    						"glue:CreateDatabase",
    						"glue:UpdateDatabase",
    						"glue:GetDatabase",
    						"glue:GetDatabases",
    						"glue:GetUserDefinedFunction"
    						],
    						"Resource": [
    						"arn:aws:glue:us-east-2:*:catalog",
    						"arn:aws:glue:us-east-2:*:database/*", 
    						"arn:aws:glue:us-east-2:*:table/*/*"
    						]
    						},
    						{
    						"Effect": "Allow",
    						"Action": [
    						"s3:ListBucket",
    						"s3:GetBucketLocation"
    						],
    						"Resource": "arn:aws:s3:::<bucket_name>"
    							},
    							{
    							"Effect": "Allow",
    							"Action": [
    							"s3:PutObject",
    							"s3:DeleteObject",
    							"s3:DeleteObjectVersion",
    							"s3:GetObject",
    							"s3:GetObjectVersion"
    							],
    							"Resource": "arn:aws:s3:::<bucket_name>/*"
    								}
    								]
    								}
  9. 角色 頁面,在 摘要 中,複製 ARN

  10. Qlik Cloud 中,關閉 建立 AWS 角色 對話方塊,並將 ARN 值貼到 ARN 角色 中。

存取金鑰

  • 存取金鑰:輸入您唯一的 AWS 存取金鑰 ID 以用於驗證。

  • 秘密金鑰:輸入您的 AWS 秘密存取金鑰以與您的存取金鑰搭配使用。

資訊備註點擊連結,按一下這裡以取得指引,以顯示建立角色內嵌政策的下列指示。

定義使用者權限

若要在 AWS 中建立內嵌政策,請執行下列動作:

  1. AWS 主控台中,前往 IAM

  2. 導覽至 政策 > 建立政策

  3. Qlik Cloud 中,在 建立 AWS 角色 對話方塊中,複製原則。

  4. AWS 中,在 原則編輯器 中,貼上原則,並將 <bucket_name> 參數變更為您的值區位置:

  5. 
    						{
    						"Version": "2012-10-17",
    						"Statement": [
    						{
    						"Effect": "Allow",
    						"Action": [
    						"glue:CreateTable",
    						"glue:UpdateTable",
    						"glue:DeleteTable",
    						"glue:BatchDeleteTable",
    						"glue:GetTable",
    						"glue:GetTables",
    						"glue:CreateDatabase",
    						"glue:UpdateDatabase",
    						"glue:GetDatabase",
    						"glue:GetDatabases",
    						"glue:GetUserDefinedFunction"
    						],
    						"Resource": [
    						"arn:aws:glue:us-east-2:*:catalog",
    						"arn:aws:glue:us-east-2:*:database/*",
    						"arn:aws:glue:us-east-2:*:table/*/*"
    						]
    						},
    						{
    						"Effect": "Allow",
    						"Action": [
    						"s3:ListBucket",
    						"s3:GetBucketLocation"
    						],
    						"Resource": "arn:aws:s3:::<bucket_name>"
    						},
    						{
    						"Effect": "Allow",
    						"Action": [
    						"s3:PutObject",
    						"s3:DeleteObject",
    						"s3:DeleteObjectVersion",
    						"s3:GetObject",
    						"s3:GetObjectVersion"
    						],
    						"Resource": "arn:aws:s3:::<bucket_name>/*"
    						}
    						]
    						}				
    					
  6. 將原則新增至可存取 Qlik 的使用者。

名稱 中,輸入連線的顯示名稱。

支援的資料類型

下表顯示支援的 Iceberg 來源資料類型及其與 Qlik Talend Data Integration 資料類型的預設對應。

Iceberg 資料類型 Qlik Talend Data Integration 資料類型.
布林值 布林
位元組 二進位
日期 日期
時間 時間
日期時間 時間戳記
INT1 INT
INT2 INT
INT4 INT
INT8
數字 DECIMAL(精確度, 小數位數)
REAL4 浮動
REAL8 雙重
UINT1 INT
UINT2
UINT4
UINT8 小數 (20, 0)
字串 字串
WSTRING 字串
BLOB 二進位
NCLOB 字串
CLOB 字串

此頁面是否對您有幫助?

若您發現此頁面或其內容有任何問題——錯字、遺漏步驟或技術錯誤——請告知我們!