Amazon S3
Amazon S3은 다음으로 사용할 수 있습니다.
- Databricks(선택 사항) 또는 Amazon Redshift(필수)를 데이터 파이프라인 대상으로 사용하는 경우의 클라우드 스테이징 영역. 클라우드 스테이징 영역은 데이터와 변경 내용이 적용 및 저장되기 전에 스테이징되는 곳입니다.
-
복제 작업의 대상입니다.
- Standard, Premium 및 Enterprise 구독을 통해 Amazon S3에 데이터를 복제하는 방법에 대한 설명은 Standard, Premium 또는 Enterprise 구독을 통해 데이터 레이크에 데이터 랜딩을 참조하십시오.
- 별표터 구독을 통해 Amazon S3에 데이터를 복제하는 방법에 대한 설명은 Qlik Talend Cloud 시작 구독을 사용하여 데이터 복제를 참조하십시오.
랜딩 데이터에 필요한 권한
데이터 이동 게이트웨이 컴퓨터에서 액세스할 수 있는 Amazon S3 버킷이 있어야 합니다.
Amazon S3 등록에 대한 자세한 내용은 http://aws.amazon.com/s3/를 참조하십시오.
- 버킷 액세스 자격 증명: 버킷 이름, 액세스 키, 비밀 액세스 키를 기록해 두십시오. Amazon S3 커넥터 설정에서 이를 제공해야 합니다.
버킷 액세스 권한: 다음 버킷 액세스 권한이 필요합니다.
{ "Version": "2012-10-17", "Statement": [ { "Sid": "Stmt1497347821000", "Effect": "Allow", "Action": [ "s3:GetBucketLocation", "s3:ListBucket" ], "Resource": [ "arn:aws:s3:::YOUR_BUCKET_NAME" ] }, { "Sid": "Stmt1497344984000", "Effect": "Allow", "Action": [ "s3:PutObject", "s3:GetObject", "s3:DeleteObject" ], "Resource": [ "arn:aws:s3:::YOUR_BUCKET_NAME/target_path", "arn:aws:s3:::YOUR_BUCKET_NAME/target_path/*" ] } ] }
여기서 YOUR_BUCKET_NAME은 버킷의 이름이고 target_path는 버킷에 있는 대상 파일의 의도된 위치입니다.
대상 경로가 버킷 루트인 경우 빈 문자열로 “/target_path”를 지정하면 됩니다.
Qlik 데이터 게이트웨이 - 데이터 이동 전제 조건
데이터 이동 게이트웨이는 SSL을 사용하여 AWS에 연결합니다. 이를 위해서는 데이터 이동 게이트웨이 컴퓨터에 상주하는 적절한 CA 인증서가 필요합니다. 그렇지 않으면 연결이 실패합니다. CA 인증서의 목적은 AWS 서버 인증서의 소유권을 인증하는 것입니다.
필요한 CA 인증서가 Linux 컴퓨터의 다음 위치에 있는지 확인합니다.
/etc/pki/tls/certs/ca-bundle.crt
존재하지 않는 경우 가장 간단한 솔루션은 다른 Linux 컴퓨터에서 인증서 번들을 복사하는 것입니다.
Amazon S3 연결 속성 설정
커넥터를 구성하려면 다음을 수행합니다.
연결에서 연결 만들기를 클릭합니다.
Amazon S3 대상 커넥터를 선택한 후 다음 설정을 제공합니다.
데이터 대상
데이터 게이트웨이: 대상 데이터베이스에 액세스하는 데 사용할 데이터 이동 게이트웨이를 선택합니다.
사용 사례에 따라 이는 데이터 소스에서 데이터를 랜딩하기 위해 동일하거나 다른 데이터 이동 게이트웨이가 배포되어 있습니다. 가능한 데이터 이동 게이트웨이 배포 가능성에 대한 자세한 내용은 일반적인 사용 사례를 참조하십시오.
연결 속성
액세스 옵션: 다음 중 하나를 선택합니다.
키 페어 (기본값)
Amazon S3 버킷에 액세스하기 위한 키 페어. 이 옵션을 선택하면 다음을 지정합니다.
- 액세스 키: Amazon S3 버킷의 액세스 키입니다.
비밀 키: Amazon S3 버킷의 비밀 키입니다.
IAM Roles Anywhere (Databricks의 스테이징 영역으로 Amazon S3을 사용하는 경우 지원되지 않음):
IAM Roles Anywhere는 IAM Roles Anywhere 콘솔, AWS CLI 또는 AWS SDK를 사용하여 설정할 수 있습니다. IAM Roles Anywhere를 사용하면 개인 키 인프라(PKI)를 사용하여 AWS 외부에서 IAM 역할에 액세스하기 위한 임시 자격 증명을 생성할 수 있습니다. 즉, 장기 자격 증명을 관리할 필요 없이 Qlik Talend Data Integration에서 AWS 리소스에 안전하게 액세스할 수 있습니다.
이 옵션을 선택할 경우 다음 사항을 지정합니다.
- 인증서 파일:데이터 이동 게이트웨이 컴퓨터에 있는 Qlik Talend Data Integration 공개 인증서의 PEM 형식 경로입니다. 이 파일은 IAM Roles Anywhere 콘솔에 구성된 CA 인증서로 서명해야 합니다.
- 개인 키 파일:데이터 이동 게이트웨이 컴퓨터에 있는 Qlik Talend Data Integration 개인 키 파일의 PEM 형식 경로입니다.
- 개인 키 암호: 개인 키 암호. 개인 키 파일이 암호화된 경우에만 필요합니다.
- 신뢰 앵커 ARN: IAM Roles Anywhere 콘솔에서 만든 신뢰 앵커와 연결된 ARN. IAM Roles Anywhere와 인증 기관(CA) 간의 신뢰를 구축하려면 신뢰 앵커를 만들어야 합니다. 신뢰 앵커는 AWS 비공개 CA 또는 외부 CA 인증서에 대한 참조입니다. AWS 외부의 워크로드는 임시 AWS 자격 증명과 교환하여 신뢰 앵커와 신뢰할 수 있는 CA에서 발급한 인증서를 사용하여 인증합니다.
- 프로필 ARN: IAM Roles Anywhere 콘솔에서 만든 프로필과 연결된 ARN. IAM Roles Anywhere가 어떤 역할을 수행할지, 그리고 워크로드가 임시 자격 증명을 사용하여 무엇을 할 수 있는지 지정하려면 프로필을 만듭니다. 프로필에서 IAM 관리 정책을 사용하여 권한을 정의하고 만들어진 세션에 대한 권한을 제한할 수 있습니다.
역할 ARN: IAM Roles Anywhere 콘솔에서 만든 역할과 연결된 ARN. 역할은 특정 권한을 부여받아 계정에 만드는 IAM ID입니다. IAM Roles Anywhere가 역할을 가정하고 임시 AWS 자격 증명을 제공하려면 해당 역할이 IAM Roles Anywhere 서비스 주체를 신뢰해야 합니다.
형식은 다음과 같아야 합니다.
arn:aws:iam::<account-id>:role/<role-name-with-path>
IAM Roles Anywhere에 대한 자세한 내용은 다음을 참조하십시오.
EC2용 IAM 역할
IAM 역할을 사용하여 자체 인증하도록 데이터 이동 게이트웨이이(가) 설치된 머신이 구성된 경우 이 방법을 선택합니다.
IAM 역할에 대한 자세한 내용은 IAM 역할을(를) 참조하십시오.
버킷 이름: Amazon S3 버킷의 이름입니다.
기본 버킷 지역 설정은 자동 감지이므로 특정 지역을 설정할 필요가 없습니다. 그러나 보안 고려 사항으로 인해 일부 지역(예: AWS GovCloud)의 경우 지역을 명시적으로 설정해야 할 수도 있습니다. 이러한 경우에는 regionCode 내부 속성을 사용하여 지역 코드를 설정할 수 있습니다.
지역 코드 목록은 다음의 지역 가용성 섹션을 참조하십시오.https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Concepts.RegionsAndAvailabilityZones.html
내부 속성 설정에 대한 지침은 아래를 참조하십시오.
AWS PrivateLink 사용: Amazon VPC에 연결하려면 이를 선택하고 VPC 종료 지점 URL(예: https://bucket.vpce-1a2b3c4d-5e6f.s3.us-east-1.vpce.amazonaws.com)을 지정합니다.
데이터 암호화
다음 암호화 옵션 중 하나를 선택합니다.
Amazon S3 관리형 키를 사용한 서버 측 암호화 (SSE-S3).
이는 기본값입니다.
AWS KMS 관리형 키를 사용한 서버 측 암호화 (SSE-KMS)
이 옵션은 또한 사용자의 KMS 키 ID를 지정해야 합니다.
사용 가능한 서버 측 암호화 방법에 대한 자세한 내용은 다음을 참조하십시오:
- 없음
내부 속성
내부 속성은 특별한 사용 사례를 위한 것이므로 대화 상자에 표시되지 않습니다. Qlik 지원 팀에서 지시한 경우에만 사용해야 합니다.
필드 오른쪽에 있는 
및 
버튼을 사용하여 필요에 따라 속성을 추가하거나 제거합니다.
이름
연결의 표시 이름입니다.
데이터 유형 매핑
다음 표에서는 Qlik Cloud 데이터 유형에서 Amazon S3 데이터 유형으로의 기본 매핑을 보여 줍니다.
Qlik Cloud 데이터 유형에서 Amazon S3로 매핑
| Qlik Cloud 데이터 유형 | Amazon S3 대상 데이터 유형 |
|---|---|
DATE | DATE |
TIME | TIME |
DATETIME | DATETIME |
BYTES | BYTES(길이) |
BLOB | BLOB |
REAL4 | REAL4(7) |
REAL8 | REAL8(14) |
INT1 | INT1(3) |
INT2 | INT2(5) |
INT4 | INT4(10) |
INT8 | INT8(19) |
UINT1 | UINT1(3) |
UINT2 | UINT2(5) |
UINT4 | UINT4(10) |
UINT8 | UINT8(20) |
NUMERIC | NUMERIC(p,s) |
STRING | STRING(길이) |
WSTRING | STRING(길이) |
CLOB | CLOB |
NCLOB | NCLOB |
BOOLEAN | BOOLEAN(1) |
Qlik Cloud 데이터 유형에서 Parquet로 매핑
Parquet가 파일 형식으로 설정된 경우 Parquet에서 지원하는 데이터 유형의 수가 제한되어 있으므로 데이터 유형 매핑은 다음과 같습니다.
| Qlik Cloud 데이터 유형 | Parquet 기본 유형 | 논리적 유형 |
|---|---|---|
BOOLEAN | BOOLEAN | |
INT1 | INT32 | INT(8, true) |
INT2 | INT32 | INT(16, true) |
INT4 | INT32 | |
INT8 | INT64 | |
UINT1 | INT32 | INT(8, false) |
UINT2 | INT32 | INT(16, false) |
UINT4 | INT64 | |
UINT8 | INT64 | INT(64, false) |
REAL4 | FLOAT | |
REAL8 | DOUBLE | |
NUMERIC | FIXED_LEN_BYTE_ARRAY(16) | DECIMAL(정밀도, 배율) |
STRING | 바이트 배열 | STRING |
WSTRING | 바이트 배열 | STRING |
BYTES | 바이트 배열 | |
BLOB | 바이트 배열 | |
CLOB | 바이트 배열 | STRING |
NCLOB | 바이트 배열 | STRING |
DATE | INT32 | DATE |
TIME | INT32 | TIME(UTC=true, 단위=MILLIS) |
DATETIME | INT64 | TIMESTAMP(UTC=true, 단위=MICROS) |