跳到主要內容 跳至補充內容

Amazon S3

Amazon S3 可作為以下內容使用:

  • 雲端暫存區域,使用 Databricks (選用) 和 Amazon Redshift (必要) 資料管道平台時適用。雲端暫存區域是資料和變更在套用和儲存之前暫存的區域。
  • 「在資料湖中登陸資料」複寫任務中的目標。

登陸資料所需的權限

  • 您必須有可從 資料移動閘道 機器存取的 Amazon S3 值區。

    如需關於註冊 Amazon S3 的資訊,請參閱 http://aws.amazon.com/s3/

  • 值區存取認證:製作值區名稱、存取金鑰和密碼存取金鑰的備註 - 您將需要在 Amazon S3 連接器 設定中提供這些內容。
  • 值區存取權限:需要下列值區存取權限:

     
    {
    	"Version": "2012-10-17",
    	"Statement": [
    	    {
    	     "Sid": "Stmt1497347821000",
    	     "Effect": "Allow",
    	     "Action": [
                    "s3:GetBucketLocation",
                    "s3:ListBucket"
                ],
                "Resource": [
                    "arn:aws:s3:::YOUR_BUCKET_NAME"
                ]
            },
            {
                "Sid": "Stmt1497344984000",
                "Effect": "Allow",
                "Action": [
                    "s3:PutObject",
                    "s3:GetObject",
                    "s3:DeleteObject"
                ],
                "Resource": [
                    "arn:aws:s3:::YOUR_BUCKET_NAME/target_path",
                    "arn:aws:s3:::YOUR_BUCKET_NAME/target_path/*"
                ]
            }
        ]
    }
    

YOUR_BUCKET_NAME 是值區名稱,而 target_path 是值區中目標檔案的預期位置。

資訊備註

若目標路徑是值區根,請指定具有空字串的 “/target_path”

Qlik 資料閘道 - 資料移動 必要條件

資料移動閘道 使用 SSL 連線至 AWS。這需要適當的 CA 憑證在資料移動閘道 機器,否則連線將失敗。CA 憑證的目的為驗證 AWS 伺服器憑證擁有權。

請確保在 Linux 機器以下位置存在必要的 CA 憑證:

/etc/pki/tls/certs/ca-bundle.crt

如果不存在,最簡單的解決方案為從另一台 Linux 機器複製憑證配套。

設定 Amazon S3 連線屬性

資料目標

資料閘道選取您要用來存取目標資料庫的 資料移動閘道

根據您的使用情況,這會是為了從資料來源登陸資料而部署的相同或不同 資料移動閘道。如需關於可能的 資料移動閘道 部署可能性的資訊,請參閱 常見使用案例

資訊備註需要 資料移動閘道 2023.5.10 或更高版本。

連線屬性

  • 存取金鑰:Amazon S3 值區的存取金鑰。
  • 密碼金鑰:Amazon S3 值區的密碼金鑰。
  • 值區名稱:Amazon S3 值區的名稱。

    資訊備註

    預設值區區域設定為自動偵測,不需要設定特定區域。不過,由於安全性考量,對於某些區域 (例如 AWS GovCloud),您可能需要明確設定區域。在這類情況下,您可以使用 regionCode 內部屬性設定區域代碼。

    如需區域代碼清單,請參閱以下位置的區域可用性區段:https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Concepts.RegionsAndAvailabilityZones.html

    如需關於設定內部屬性的說明,請參閱下文。

  • 使用 AWS PrivateLink:選取此項以連線至 Amazon VPC,然後指定 VPC 端點 URL (例如 https://bucket.vpce-1a2b3c4d-5e6f.s3.us-east-1.vpce.amazonaws.com)。

    資訊備註使用 Amazon S3 值區作為 Databricks 目標的分段區域時,不支援使用 AWS PrivateLink 選項。如需關於設定 Databricks 目標連線能力的資訊,請參閱 Databricks

內部屬性

內部屬性用於特殊使用情況,因此不會在對話方塊中顯示。您只能在 Qlik 支援指示下使用。

根據需要使用欄位右側的 新建取消 按鈕以新增或移除屬性。

名稱

連線的顯示名稱。

資料類型對應

下表顯示從 Qlik Cloud 資料類型至 Amazon S3 資料類型的預設對應。

資訊備註只有在啟用「在資料湖中登陸資料」任務設定中的在目標資料夾中建立中繼資料檔案選項時,資料類型對應才會相關。

Qlik Cloud 資料類型對應至 Amazon S3

Qlik Cloud 和 Amazon S3 資料類型
Qlik Cloud 資料類型Amazon S3 目標資料類型

日期

日期

時間

時間

日期時間

日期時間

位元組

位元組 (長度)

BLOB

BLOB

REAL4

REAL4 (7)

REAL8

REAL8 (14)

INT1

INT1 (3)

INT2

INT2 (5)

INT4

INT4 (10)

INT8

INT8 (19)

UINT1

UINT1 (3)

UINT2

UINT2 (5)

UINT4

UINT4 (10)

UINT8

UINT8 (20)

數字

數值 (p,s)

字串

字串 (長度)

WSTRING

字串 (長度)

CLOB

CLOB

NCLOB

NCLOB

布林

布林 (1)

Qlik Cloud 資料類型對應至 Parquet

若 Parquet 設定為檔案格式,由於 Parquet 支援的資料類型數量有限,資料類型對應將如下所示:

Parquet 資料類型對應
Qlik Cloud 資料類型Parquet 基本類型邏輯類型

布林

布林

 

INT1

INT32

INT(8,真)

INT2

INT32

INT(16,真)

INT4

INT32

 

INT8

INT64

 

UINT1

INT32

INT(8,偽)

UINT2

INT32

INT(16,偽)

UINT4

INT64

 

UINT8

INT64

INT(64,偽)

REAL4

浮動

 

REAL8

雙重

 

數字

FIXED_LEN_BYTE_ARRAY (16)

小數 (精確度,縮放)

字串

BYTE_ARRAY

字串

WSTRING

BYTE_ARRAY

字串

位元組

BYTE_ARRAY

 

BLOB

BYTE_ARRAY

 

CLOB

BYTE_ARRAY

字串

NCLOB

BYTE_ARRAY

字串

日期

INT32

日期

時間

INT32

時間 (UTC=真,單位=MILLIS)

日期時間

INT64

時間戳記 (UTC=真,單位=MICROS)

此頁面是否對您有幫助?

若您發現此頁面或其內容有任何問題——錯字、遺漏步驟或技術錯誤——請告知我們可以如何改善!