데이터 프로젝트에서 데이터 파이프라인 만들기
데이터 파이프라인을 만들어 데이터 작업을 사용하여 데이터 프로젝트 내에서 모든 데이터 통합을 수행할 수 있습니다. 온보딩은 온프레미스 또는 클라우드에 있는 데이터 소스에서 프로젝트로 데이터를 이동하고 바로 사용할 수 있는 데이터 집합에 데이터를 저장합니다. 또한 변환을 수행하고 데이터 마트를 만들어 생성 및 변환된 데이터 집합을 활용할 수 있습니다. 데이터 파이프라인은 단순한 선형일 수도 있고 여러 데이터 소스를 사용하고 많은 출력을 생성하는 복잡한 파이프라인일 수도 있습니다.
다음은 데이터 프로젝트에서 수행할 수 있는 주요 작업입니다. 필요에 따라 조합할 수 있습니다.
-
데이터를 온보딩합니다.
여기에는 데이터를 스테이징 영역에 랜딩한 다음 데이터 집합을 클라우드 데이터 웨어하우스에 저장하는 작업이 포함됩니다. 랜딩 및 저장소 데이터 작업은 단일 단계로 만들어집니다. 필요한 경우 별도의 작업으로 랜딩 및 저장소를 수행할 수도 있습니다.
-
온보딩된 데이터를 변환합니다.
규칙 및 사용자 지정 SQL을 기반으로 재사용 가능한 행 수준 변환을 만듭니다. 이렇게 하면 데이터 변환 작업이 만들어집니다.
-
데이터 집합을 활용하기 위해 데이터 마트를 만듭니다. 이렇게 하면 데이터 마트 데이터 작업이 만들어집니다.
데이터 프로젝트는 모든 출력의 대상으로 사용되는 데이터 플랫폼과 연결됩니다. 다음 플랫폼이 지원됩니다.
-
Google BigQuery
-
Snowflake
-
Microsoft Azure Synapse Analytics
-
Databricks
-
Amazon Redshift
-
Qlik Cloud
이 플랫폼을 사용하려면 Amazon S3 버킷에 데이터를 랜딩해야 합니다. Qlik Cloud가 관리하는 저장소 또는 사용자가 관리하는 Amazon S3 저장소에서 QVD 테이블을 생성할 수 있습니다.
데이터 플랫폼 연결에 대한 자세한 내용은 데이터 프로젝트에서 클라우드 데이터 플랫폼에 연결을 참조하십시오.
모든 데이터 작업은 해당 자산이 속한 데이터 프로젝트와 동일한 공간에 만들어집니다.
데이터 프로젝트 만들기 예
다음 예에서는 온보딩 데이터를 수행하고 데이터를 변환하고 데이터 마트를 만듭니다. 이를 통해 더 많은 데이터 소스를 온보딩하여 확장할 수 있는 간단한 선형 데이터 파이프라인을 만들고, 더 많은 변환을 만들고, 만들어진 데이터 작업을 데이터 마트에 추가할 수 있습니다.
데이터 프로젝트의 선형 데이터 파이프라인 예
-
새 데이터 프로젝트를 만듭니다.
새로 추가를 클릭한 다음 Qlik Cloud Data Integration 홈에서 데이터 프로젝트 만들기를 클릭합니다.
-
데이터 프로젝트의 이름과 설명을 입력하고 데이터 프로젝트를 만들 공간을 선택합니다. 모든 데이터 작업은 해당 자산이 속한 데이터 프로젝트의 공간에 만들어집니다.
-
프로젝트에서 사용할 데이터 플랫폼을 선택합니다.
-
프로젝트에서 사용할 클라우드 데이터 웨어하우스에 대한 데이터 연결을 선택합니다. 이는 데이터 파일을 랜딩하고 데이터 집합과 보기를 저장하는 데 사용됩니다. 데이터 연결을 아직 준비하지 않은 경우 연결 추가를 사용하여 만듭니다.
Google BigQuery, Databricks 또는 Microsoft Azure Synapse Analytics를 데이터 플랫폼으로 선택한 경우 스테이징 영역에도 연결해야 합니다.
-
Qlik Cloud를 데이터 플랫폼으로 선택한 경우:
Qlik에서 관리하는 저장소 또는 자체 관리형 Amazon S3 버킷에 데이터를 저장할 수 있습니다. 자체 Amazon S3 버킷을 사용하려면 해당 버킷에 대한 데이터 연결을 선택해야 합니다.
두 경우 모두 Amazon S3 스테이징 영역에 대한 데이터 연결도 선택해야 합니다. 이전 단계에서 정의한 것과 동일한 버킷을 사용하는 경우 스테이징을 위해 버킷의 다른 폴더를 사용해야 합니다.
-
만들기를 클릭합니다.
데이터 프로젝트가 만들어지고 데이터 작업을 추가하여 데이터 파이프라인을 만들 수 있습니다.
-
-
데이터 온보딩
새로 추가를 클릭한 다음 데이터 온보딩을 클릭합니다.
자세한 내용은 데이터 온보딩을 참조하십시오.
이렇게 하면 랜딩 데이터 작업과 저장소 데이터 작업이 만들어집니다. 데이터 복제를 시작하려면 다음을 수행해야 합니다.
-
랜딩 데이터 작업을 준비하고 실행합니다.
자세한 내용은 데이터 소스의 랜딩 데이터을 참조하십시오.
-
저장소 데이터 작업을 준비하고 실행합니다.
자세한 내용은 데이터 집합 생성 및 저장를 참조하십시오.
-
-
데이터 변환
저장소 데이터 작업이 만들어지면 데이터 프로젝트로 돌아갑니다. 이제 만들어진 데이터 집합에서 변환을 수행할 수 있습니다.
저장소 데이터 작업에서 ...을 클릭하고 데이터 변환을 선택하여 이 저장소 데이터 작업을 기반으로 변환 데이터 작업을 만듭니다. 변환에 대한 지침은 데이터 변환을 참조하십시오.
-
데이터 마트 만들기
저장소 데이터 작업 또는 변환 데이터 작업을 기반으로 데이터 마트를 만들 수 있습니다.
데이터 작업에서 ...을 클릭하고 데이터 마트 만들기를 선택하여 데이터 마트 데이터 작업을 만듭니다. 데이터 마트 만들기에 대한 지침은 다음을 참조하십시오.
예를 들어, 저장 및 변환된 데이터 집합과 데이터 마트의 전체 로드를 수행한 경우 분석 앱에서 사용할 수 있습니다. 분석 앱 만들기에 대한 자세한 내용은 Qlik Cloud Data Integration에서 생성된 데이터 집합을 사용한 분석 앱 만들기를 참조하십시오.
더 많은 데이터 소스를 온보딩하여 데이터 파이프라인을 확장하고 변환 또는 데이터 마트에서 결합할 수도 있습니다.
데이터 작업 예약
데이터 작업을 예약하여 데이터 파이프라인을 조정할 수 있습니다. 시간 기반 일정을 사용하거나 이벤트 기반 일정을 사용하여 데이터가 사용 가능해지면 데이터 파이프라인을 따라 이동하도록 할 수 있습니다. 자세한 내용은 다음을 참조하십시오.
데이터 프로젝트 보기 변경
데이터 프로젝트에는 두 가지 다른 보기가 있습니다. 파이프라인 보기를 클릭하여 보기 간에 전환할 수 있습니다.
-
파이프라인 보기는 데이터 작업의 데이터 흐름을 보여 줍니다.
레이어를 클릭하여 데이터 작업에 대해 표시할 정보의 양을 선택할 수 있습니다. 다음 정보를 설정하거나 해제합니다.
-
상태
-
데이터 최신성
-
일정
-
-
카드 보기에는 데이터 작업에 대한 정보가 있는 카드 보기가 표시됩니다.
자산 유형 및 소유자를 필터링할 수 있습니다.
데이터 프로젝트 내보내기 및 가져오기
데이터 프로젝트를 재구성하는 데 필요한 모든 것이 포함된 JSON 파일로 데이터 프로젝트를 내보낼 수 있습니다. 내보낸 JSON 파일은 동일한 테넌트 또는 다른 테넌트에서 가져올 수 있습니다. 예를 들어, 이를 사용하여 한 테넌트에서 다른 테넌트로 데이터 프로젝트를 이동하거나 데이터 프로젝트의 백업 복사본을 만들 수 있습니다.
자세한 내용은 데이터 프로젝트 내보내기 및 가져오기을 참조하십시오.
데이터 프로젝트 설정
프로젝트 및 포함된 모든 데이터 작업에 공통적인 속성을 설정할 수 있습니다.
-
설정을 클릭합니다.
자세한 내용은 데이터 프로젝트 설정을 참조하십시오.