Amazon S3

Amazon S3 可作為以下內容使用：

使用 Databricks (選用) 或 Amazon Redshift (必要) 作為資料管道目標時的雲端暫存區域。雲端分段區域是資料和變更在套用和儲存之前分段的區域。
複寫任務中的目標。
- 如需如何透過標準、進階和企業訂閱將資料複寫到 Amazon S3 的說明，請參閱 透過標準、進階或企業訂閱在資料湖中登陸資料。
- 如需如何透過入門訂閱將資料複寫到 Amazon S3 的說明，請參閱 透過 Qlik Talend Cloud 啟動器訂閱複寫資料。

登陸資料所需的權限

您必須有可從 Data Movement gateway 機器存取的 Amazon S3 值區。
如需關於註冊 Amazon S3 的資訊，請參閱 http://aws.amazon.com/s3/。
值區存取認證：製作值區名稱、存取金鑰和密碼存取金鑰的備註 - 您將需要在 Amazon S3連接器設定中提供這些內容。

值區存取權限：需要下列值區存取權限：

{
	"Version": "2012-10-17",
	"Statement": [
	    {
	     "Sid": "Stmt1497347821000",
	     "Effect": "Allow",
	     "Action": [
                "s3:GetBucketLocation",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::YOUR_BUCKET_NAME"
            ]
        },
        {
            "Sid": "Stmt1497344984000",
            "Effect": "Allow",
            "Action": [
                "s3:PutObject",
                "s3:GetObject",
                "s3:DeleteObject"
            ],
            "Resource": [
                "arn:aws:s3:::YOUR_BUCKET_NAME/target_path",
                "arn:aws:s3:::YOUR_BUCKET_NAME/target_path/*"
            ]
        }
    ]
}

若 YOUR_BUCKET_NAME 是值區名稱，而 target_path 是值區中目標檔案的預期位置。

若目標路徑是值區根，請指定具有空字串的 “/target_path”。

Qlik 資料閘道 - 資料移動必要條件

Data Movement gateway 使用 SSL 連線至 AWS。這需要適當的 CA 憑證在Data Movement gateway 機器，否則連線將失敗。CA 憑證的目的為驗證 AWS 伺服器憑證擁有權。

請確保在 Linux 機器以下位置存在必要的 CA 憑證：

/etc/pki/tls/certs/ca-bundle.crt

如果不存在，最簡單的解決方案為從另一台 Linux 機器複製憑證配套。

設定 Amazon S3 連線屬性

若要設定連接器，進行下列事項：

在連線中，按一下建立連線。
選取 Amazon S3 目標連接器，然後提供下列設定：

資料目標

資料閘道：選取您要用來存取目標資料庫的資料移動閘道。

根據您的使用情況，這會是為了從資料來源登陸資料而部署的相同或不同資料移動閘道。如需關於可能的資料移動閘道部署可能性的資訊，請參閱 常見使用案例。

需要資料移動閘道 2023.5.10 或更高版本。

連線屬性

存取選項：選擇下列其中一項
- 金鑰對 (預設)
  用於存取 Amazon S3 值區的金鑰對。選取此選項後，請指定下列項目：
  - 存取金鑰：Amazon S3 值區的存取金鑰。
  - 密碼金鑰：Amazon S3 值區的密碼金鑰。
- IAM Roles Anywhere (當使用 Amazon S3 作為 Databricks 的暫存區域時不支援)：
  IAM Roles Anywhere 可以在 IAM Roles Anywhere 主控台、透過 AWS CLI 或使用 AWS SDK 進行設定。IAM Roles Anywhere 可讓您使用您的私密金鑰基礎設施 (PKI) 來產生臨時憑證，以從 AWS 外部存取 IAM 角色。這表示您可以從 Qlik Talend Data Integration 安全地存取 AWS 資源，而無需管理長期憑證。
  選取此選項後，請指定下列項目：
  - 憑證檔案：在 Data Movement gateway 機器上，採用 PEM 格式的 Qlik Talend Data Integration 公開憑證路徑。此檔案需要使用在 IAM Roles Anywhere 主控台中設定的 CA 憑證簽署。
  - 私人金鑰檔案：在 Data Movement gateway 機器上，採用 PEM 格式的 Qlik Talend Data Integration 私人金鑰檔案路徑。
  - 私密金鑰密碼：私密金鑰密碼。僅在私密金鑰檔案已加密時才需要。
  - 信任錨點 ARN：在 IAM Roles Anywhere 主控台中建立的信任錨點相關聯的 ARN。您透過建立信任錨點，在 IAM Roles Anywhere 和您的憑證授權單位 (CA) 之間建立信任。信任錨點是 AWS Private CA 或外部 CA 憑證的參考。您的 AWS 外部工作負載會使用信任 CA 所發行的憑證，透過信任錨點進行身分驗證，以換取臨時 AWS 憑證。
  - 設定檔 ARN：與您在 IAM Roles Anywhere 主控台中建立的設定檔相關聯的 ARN。為了指定 IAM Roles Anywhere 擔任哪些角色，以及您的工作負載可以使用臨時憑證執行哪些操作，您可以建立設定檔。在設定檔中，您可以使用 IAM 受管政策定義許可，以限制所建立工作階段的許可。
  - 角色 ARN：您在 IAM Roles Anywhere 主控台中建立之角色相關聯的 ARN。角色是您在帳戶中建立的 IAM 身分，具有特定許可。為了讓 IAM Roles Anywhere 能夠擔任角色並提供臨時 AWS 憑證，該角色必須信任 IAM Roles Anywhere 服務主體。
    格式應如下：
    arn:aws:iam::<account-id>:role/<role-name-with-path>
  如需有關 IAM Roles Anywhere 的詳細資訊，請參閱：
  透過 IAM Roles Anywhere 將 AWS IAM 角色延伸到 AWS 外部的工作負載
- 適用於 EC2 的 IAM 角色
  如果安裝了 Data Movement gateway 的機器已設定為使用 IAM 角色進行身分驗證，請選擇此方法。
  如需 IAM 角色的相關資訊，請參閱 IAM 角色。
值區名稱：Amazon S3 值區的名稱。
資訊備註
預設值區區域設定為自動偵測，不需要設定特定區域。不過，由於安全性考量，對於某些區域 (例如 AWS GovCloud)，您可能需要明確設定區域。在這類情況下，您可以使用 regionCode 內部屬性設定區域代碼。
如需區域代碼清單，請參閱以下位置的區域可用性區段：https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Concepts.RegionsAndAvailabilityZones.html
如需關於設定內部屬性的說明，請參閱下文。
使用 AWS PrivateLink：選取此項以連線至 Amazon VPC，然後指定 VPC 端點 URL (例如 https://bucket.vpce-1a2b3c4d-5e6f.s3.us-east-1.vpce.amazonaws.com)。
資訊備註使用 Amazon S3 值區作為 Databricks 目標的分段區域時，不支援使用 AWS PrivateLink 選項。如需關於設定 Databricks 目標連線能力的資訊，請參閱 Databricks。

資料加密

請選擇下列其中一個加密選項：

搭配 Amazon S3 管理的金鑰進行伺服器端加密 (SSE-S3)。
這是預設值。
使用 AWS KMS 管理的金鑰進行伺服器端加密 (SSE-KMS)
此選項也要求您指定您的 KMS 金鑰 ID。
如需有關可用伺服器端加密方法的詳細資訊，請參閱：
使用伺服器端加密保護資料
無

內部屬性

內部屬性用於特殊使用情況，因此不會在對話方塊中顯示。您只能在 Qlik 支援指示下使用。

根據需要使用欄位右側的和按鈕以新增或移除屬性。

名稱

連線的顯示名稱。

資料類型對應

下表顯示從 Qlik Cloud 資料類型至 Amazon S3 資料類型的預設對應。

只有在啟用「在資料湖中登陸資料」任務設定中的在目標資料夾中建立中繼資料檔案選項時，資料類型對應才會相關。

從 Qlik Cloud 資料類型對應至 Amazon S3

Qlik Cloud 和 Amazon S3 資料類型
Qlik Cloud 資料類型	Amazon S3 目標資料類型
日期	日期
時間	時間
日期時間	日期時間
位元組	位元組 (長度)
BLOB	BLOB
REAL4	REAL4 (7)
REAL8	REAL8 (14)
INT1	INT1 (3)
INT2	INT2 (5)
INT4	INT4 (10)
INT8	INT8 (19)
UINT1	UINT1 (3)
UINT2	UINT2 (5)
UINT4	UINT4 (10)
UINT8	UINT8 (20)
數字	數值 (p,s)
字串	字串 (長度)
WSTRING	字串 (長度)
CLOB	CLOB
NCLOB	NCLOB
布林值	布林 (1)

從 Qlik Cloud 資料類型對應至 Parquet

若 Parquet 設定為檔案格式，由於 Parquet 支援的資料類型數量有限，資料類型對應將如下所示：

Parquet 資料類型對應
Qlik Cloud 資料類型	Parquet 基本類型	邏輯類型
布林值	布林值
INT1	INT32	INT(8，真)
INT2	INT32	INT(16，真)
INT4	INT32
INT8	INT64
UINT1	INT32	INT(8，偽)
UINT2	INT32	INT(16，偽)
UINT4	INT64
UINT8	INT64	INT(64，偽)
REAL4	浮動
REAL8	雙重
數字	FIXED_LEN_BYTE_ARRAY (16)	小數 (精確度，縮放)
字串	BYTE_ARRAY	字串
WSTRING	BYTE_ARRAY	字串
位元組	BYTE_ARRAY
BLOB	BYTE_ARRAY
CLOB	BYTE_ARRAY	字串
NCLOB	BYTE_ARRAY	字串
日期	INT32	日期
時間	INT32	時間 (UTC=真，單位=MILLIS)
日期時間	INT64	時間戳記 (UTC=真，單位=MICROS)

瞭解更多資訊

此頁面是否對您有幫助？

若您發現此頁面或其內容有任何問題——錯字、遺漏步驟或技術錯誤——請告知我們！

在此留下意見回饋