Amazon S3

Amazon S3은 다음으로 사용할 수 있습니다.

• Databricks(선택 사항) 또는 Amazon Redshift(필수)를 데이터 파이프라인 대상으로 사용하는 경우의 클라우드 스테이징 영역. 클라우드 스테이징 영역에서 데이터와 변경 내용이 적용 및 저장되기 전에 스테이징됩니다.

• 복제 작업의 대상입니다.

  • Standard, Premium 및 Enterprise 구독을 통해 Amazon S3에 데이터를 복제하는 방법에 대한 설명은 Standard, Premium 또는 Enterprise 구독을 통해 데이터 레이크에 데이터 랜딩을 참조하십시오.
  • 별표터 구독을 통해 Amazon S3에 데이터를 복제하는 방법에 대한 설명은 Qlik Talend Cloud 시작 구독으로 데이터 복제를 참조하십시오.

랜딩 데이터에 필요한 권한

• 데이터 이동 게이트웨이 컴퓨터에서 액세스할 수 있는 Amazon S3 버킷이 있어야 합니다.

  Amazon S3 등록에 대한 자세한 내용은 http://aws.amazon.com/s3/를 참조하십시오.

• 버킷 액세스 자격 증명: 버킷 이름, 액세스 키, 비밀 액세스 키를 기록해 두십시오. Amazon S3 커넥터 설정에서 제공해야 합니다.

• 버킷 액세스 권한: 다음 버킷 액세스 권한이 필요합니다.

  {
  	"Version": "2012-10-17",
  	"Statement": [
  	    {
  	     "Sid": "Stmt1497347821000",
  	     "Effect": "Allow",
  	     "Action": [
                  "s3:GetBucketLocation",
                  "s3:ListBucket"
              ],
              "Resource": [
                  "arn:aws:s3:::YOUR_BUCKET_NAME"
              ]
          },
          {
              "Sid": "Stmt1497344984000",
              "Effect": "Allow",
              "Action": [
                  "s3:PutObject",
                  "s3:GetObject",
                  "s3:DeleteObject"
              ],
              "Resource": [
                  "arn:aws:s3:::YOUR_BUCKET_NAME/target_path",
                  "arn:aws:s3:::YOUR_BUCKET_NAME/target_path/*"
              ]
          }
      ]
  }
  

여기서 YOUR_BUCKET_NAME은 버킷의 이름이고 target_path는 버킷에 있는 대상 파일의 의도된 위치입니다.

Qlik 데이터 게이트웨이 - 데이터 이동 전제 조건

데이터 이동 게이트웨이는 SSL을 사용하여 AWS에 연결합니다. 이를 위해서는 데이터 이동 게이트웨이 컴퓨터에 상주하는 적절한 CA 인증서가 필요합니다. 그렇지 않으면 연결이 실패합니다. CA 인증서의 목적은 AWS 서버 인증서의 소유권을 인증하는 것입니다.

필요한 CA 인증서가 Linux 컴퓨터의 다음 위치에 있는지 확인합니다.

/etc/pki/tls/certs/ca-bundle.crt

존재하지 않는 경우 가장 간단한 솔루션은 다른 Linux 컴퓨터에서 인증서 번들을 복사하는 것입니다.

Amazon S3 연결 속성 설정

커넥터를 구성하려면 다음을 수행합니다.

1. 연결에서 연결 만들기를 클릭합니다.

2. Amazon S3 대상 커넥터를 선택한 후 다음 설정을 제공합니다.

데이터 대상

데이터 게이트웨이: 대상 데이터베이스에 액세스하는 데 사용할 데이터 이동 게이트웨이를 선택합니다.

사용 사례에 따라 이는 데이터 소스에서 데이터를 랜딩하기 위해 동일하거나 다른 데이터 이동 게이트웨이가 배포되어 있습니다. 가능한 데이터 이동 게이트웨이 배포 가능성에 대한 자세한 내용은 일반적인 사용 사례를 참조하십시오.

연결 속성

• 액세스 키: Amazon S3 버킷의 액세스 키입니다.
• 비밀 키: Amazon S3 버킷의 비밀 키입니다.

• 버킷 이름: Amazon S3 버킷의 이름입니다.

  정보 메모

  기본 버킷 지역 설정은 자동 감지이므로 특정 지역을 설정할 필요가 없습니다. 그러나 보안 고려 사항으로 인해 일부 지역(예: AWS GovCloud)의 경우 지역을 명시적으로 설정해야 할 수도 있습니다. 이러한 경우에는 regionCode 내부 속성을 사용하여 지역 코드를 설정할 수 있습니다.

  지역 코드 목록은 다음의 지역 가용성 섹션을 참조하십시오.https://docs.aws.amazon.com/AmazonRDS/latest/UserGuide/Concepts.RegionsAndAvailabilityZones.html

  내부 속성 설정에 대한 지침은 아래를 참조하십시오.

• AWS PrivateLink 사용: Amazon VPC에 연결하려면 이를 선택하고 VPC 종료 지점 URL(예: https://bucket.vpce-1a2b3c4d-5e6f.s3.us-east-1.vpce.amazonaws.com)을 지정합니다.

  정보 메모Amazon S3 버킷을 Databricks 대상의 스테이징 영역으로 사용할 때는 AWS PrivateLink 사용 옵션이 지원되지 않습니다. Databricks 대상에 대한 연결 설정에 대한 자세한 내용은 Databricks를 참조하십시오.

내부 속성

내부 속성은 특별한 사용 사례를 위한 것이므로 대화 상자에 표시되지 않습니다. Qlik 지원 팀에서 지시한 경우에만 사용해야 합니다.

필드 오른쪽에 있는 및 버튼을 사용하여 필요에 따라 속성을 추가하거나 제거합니다.

이름

연결의 표시 이름입니다.

데이터 유형 매핑

다음 표에서는 Qlik Cloud 데이터 유형에서 Amazon S3 데이터 유형으로의 기본 매핑을 보여 줍니다.

Qlik Cloud 데이터 유형에서 Amazon S3로 매핑

Qlik Cloud 데이터 유형에서 Parquet로 매핑

Parquet가 파일 형식으로 설정된 경우 Parquet에서 지원하는 데이터 유형의 수가 제한되어 있으므로 데이터 유형 매핑은 다음과 같습니다.