데이터 흐름 구축

비디오 요약

데이터 흐름 만들기

새 데이터 흐름을 만드는 것으로 시작합니다.

1. 시작 관리자 메뉴에서 분석 > 만들기 또는 분석 > 데이터 준비를 선택합니다.

2. 데이터 흐름을 클릭합니다.

   새 데이터 흐름 만들기 대화 상자가 열립니다.

3. 해당 필드에 데이터 흐름의 이름을 입력합니다.

4. 해당 드롭다운 목록에서 데이터 흐름을 저장할 공간을 선택합니다.

5. 데이터 흐름의 목적을 문서화하려면 설명을 추가합니다.

6. 데이터 흐름에 태그를 추가하면 찾기가 더 쉬워집니다.

7. 선택적으로 데이터 흐름 열기 확인란을 선택하여 데이터 흐름이 만들어진 후 직접 볼 수 있습니다.

8. 만들기를 클릭합니다.

빈 데이터 흐름이 열리고 탐색 헤더의 개요 탭에 도달합니다. 새 데이터 흐름은 Qlik Cloud의 분석 > 홈 페이지에서도 나중에 확인할 수 있습니다.

데이터 흐름 개요에서 찾을 수 있는 정보에 대한 자세한 내용은 데이터 흐름 탐색을 참조하십시오.

데이터 흐름 설계를 시작하려면 탐색 헤더의 편집기 탭으로 이동합니다.

소스 선택

데이터 흐름의 첫 번째 구성 요소는 준비하려는 데이터가 포함된 소스입니다. 카탈로그나 연결에서 얻은 모든 데이터를 사용할 수 있습니다.

데이터 집합에서 데이터 추가

카탈로그에 저장된 데이터 집합은 파일(.qvd, .xls, .csv, .parquet, .json 등)이나 데이터베이스 및 데이터 웨어하우스의 테이블을 기반으로 할 수 있습니다.

지원되는 형식 목록은 파일 형식을 참조하십시오.

데이터 흐름의 소스로 데이터 집합을 선택하려면:

1. 왼쪽 패널의 소스 탭에서 데이터 집합 소스를 끌어 캔버스에 놓습니다.

   데이터 카탈로그 창이 열리면 이전에 업로드한 데이터 집합을 찾아보거나 데이터 파일 업로드를 클릭하여 컴퓨터에서 파일을 찾아 바로 업로드할 수 있습니다.

   경고 메모300MB가 넘는 대용량 파일을 업로드하는 경우 프로세스에 시간이 다소 걸릴 수 있습니다. 창을 닫지 마십시오. 진행률이 스피너에 표시되어 처음에는 비어 있을 수 있습니다.

2. 검색 및 필터를 사용하여 목록에서 하나 이상의 데이터 집합 앞에 있는 확인란을 선택하고 다음을 클릭합니다.

3. 요약 탭에서는 선택한 데이터 집합을 검토하고, 데이터 집합에 포함된 필드를 확인하고, 원하는 경우 일부를 제외할 수 있습니다. 데이터 흐름에 로드를 클릭합니다.

   소스 또는 소스들이 캔버스에 추가되고, 이를 다른 노드에 연결해야 한다는 경고가 표시됩니다.

   

소스를 캔버스에 배치한 후에는 소스를 클릭하여 속성 패널에 액세스하여 필요한 경우 선택한 필드를 편집할 수 있습니다. 예를 들어, 소스 스키마가 업데이트된 경우가 해당됩니다.

csv 파일 업로드 및 구성

이전에 카탈로그에 업로드했거나 프로세스 중에 직접 업로드한 csv 파일 데이터 집합을 소스로 사용하고 있고 데이터가 미리 보기에 제대로 표시되지 않는 경우 파일 형식이 적절하지 않다는 의미일 수 있습니다.

예를 들어, 쉼표를 구분 기호로 사용하는 이 고객 데이터는 단일 열에 표시됩니다.

파일 형식이 잘못되었거나, 업로드 중에 구분 기호가 올바르게 감지되지 않았습니다. 이 문제를 해결하려면 데이터 집합 설정으로 이동해야 합니다.

1. 시작 관리자 메뉴에서 분석 > 카탈로그를 선택합니다.

2. 수정하려면 데이터 집합을 엽니다.

   데이터 집합 개요에서 잠재적인 서식 오류가 있다는 경고를 볼 수 있습니다.

3. 경고 메시지에서 파일 형식 설정 링크를 클릭하거나 개요 오른쪽 위에 있는 추가 작업 메뉴를 사용합니다.

   구분 기호가 세미콜론으로 잘못 설정된 것을 볼 수 있습니다.

   

4. 구분 기호 드롭다운 목록에서 쉼표를 선택합니다.

   예상한 구분 기호를 사용하면 이제 미리 보기에서 다양한 필드가 올바르게 표시됩니다.

   

5. 저장을 클릭합니다.

6. 데이터 흐름으로 돌아와서 캔버스가 비어 있지 않았다면 오래된 소스를 삭제하고 다시 추가합니다. 이번에는 소스가 올바른 데이터 집합 구성을 반영합니다.

연결에서 데이터 추가

Qlik Cloud와 데이터 흐름은 다양한 데이터 소스 연결을 지원합니다. 자세한 내용은 지원되는 데이터 소스 목록을 참조하십시오.

현재 지원되지 않는 연결 유형은 다음과 같습니다.

데이터 흐름의 소스로 연결을 선택하려면:

1. 왼쪽 패널의 소스 탭에서 연결 소스를 끌어서 캔버스에 놓습니다.

   연결 선택 창이 열리면 이전에 만들어진 연결을 찾아보거나 인증 후 연결 만들기를 클릭하여 새 연결을 정의할 수 있습니다.

2. 검색 및 필터를 사용하여 목록에서 연결 앞에 있는 확인란을 선택하고 다음을 클릭합니다.

3. 연결에 따라 파일을 탐색하고, 데이터 경로를 입력하거나, 데이터베이스에서 테이블을 선택할 수 있습니다.

4. 소스 데이터를 선택한 후 저장 또는 마침을 클릭합니다.

   소스가 캔버스에 추가되고, 다른 노드에 연결해야 한다는 경고가 표시됩니다.

   

소스를 캔버스에 배치한 후에는 소스를 클릭하여 속성 패널에 액세스하여 필요한 경우 선택한 필드를 편집할 수 있습니다. 예를 들어, 소스 스키마가 업데이트된 경우가 해당됩니다.

프로세서 추가

프로세서는 데이터 흐름에서 사용할 수 있는 다양한 준비 함수를 포함하는 구성 요소입니다. 프로세서는 수신 데이터를 수신하고, 준비된 데이터를 흐름의 다음 단계로 반환합니다. 프로세서를 사용하면 다양한 데이터에 대해 라이브 미리 보기를 통해 복잡한 추출, 개선 및 정리 작업을 수행할 수 있습니다. 사용할 수 있는 함수에 대한 자세한 내용은 전체 데이터 흐름 프로세서을 참조하십시오.

첫 번째 프로세서를 데이터 소스에 연결하려면:

1. 다음 중 하나를 수행할 수 있습니다.

   • 왼쪽 패널의 프로세서 탭에서 원하는 프로세서를 끌어서 소스 옆의 캔버스에 놓습니다.

     

     소스와 프로세서를 수동으로 연결해야 합니다. 소스 노드의 오른쪽에 있는 점을 클릭한 다음, 링크를 프로세서 노드의 왼쪽에 있는 점으로 끌어서 링크를 만듭니다.

     

   • 소스의 작업 메뉴를 클릭하고 프로세서 추가를 선택한 다음, 원하는 프로세서를 클릭합니다.

     

     프로세서는 캔버스에 배치되어 자동으로 소스에 연결됩니다.

2. 오른쪽 패널에서 프로세서를 클릭하여 구성을 시작합니다.

   사용할 수 있는 함수가 다양하고, 구성할 수 있는 매개 변수도 각 프로세서에 따라 다릅니다. 자세한 내용은 개별 프로세서 설명서를 참조하십시오.

3. 저장을 클릭합니다.

4. 필요한 만큼 프로세서를 추가하고 연결하여 데이터를 준비합니다.

   미리 보기 패널에서 데이터 미리 보기 스위치를 활성화하면 프로세서가 데이터 샘플에 미치는 영향을 확인할 수 있습니다. 톱니바퀴 아이콘을 클릭하여 미리 보기 설정을 열고 샘플 크기를 최대 10000행까지 구성합니다. 이 시점에서 스크립트 스위치를 활성화하여 데이터 흐름과 동등한 Qlik 스크립트를 살펴볼 수도 있습니다.

대상 선택

데이터 흐름을 종료하려면 마지막 프로세서를 대상 노드에 연결해야 합니다. 두 가지 대상 유형 중에서 선택할 수 있습니다.

• Qlik Cloud의 카탈로그에 저장된 파일에 대한 데이터 파일.

• Qlik Cloud에 연결로 추가된 외부 소스에 쓰기 위한 연결.

두 옵션 모두 준비된 데이터를 .qvd, .parquet, .txt 또는 .csv 파일로 내보낼 수 있습니다.

대상을 나머지 흐름에 연결하려면:

1. 다음 중 하나를 수행할 수 있습니다.

   • 왼쪽 패널의 대상 탭에서 원하는 대상 유형을 끌어서 마지막 프로세서 옆의 캔버스에 놓습니다.

     

     이전에 프로세서를 연결했던 것과 같은 방법으로 마지막 프로세서를 대상에 수동으로 연결합니다.

   • 마지막 프로세서의 작업 메뉴를 클릭하고 대상 추가를 선택한 다음 원하는 대상을 클릭합니다.

     

2. 대상을 클릭하여 오른쪽 패널에서 구성을 시작합니다.

   정보 메모데이터 파일의 경우, 원하는 공간의 특정 폴더에 작성하면 됩니다. 예를 들어, 개인 공간에 folder_name이라는 폴더를 만들었다면 대상의 파일 이름으로 folder_name/data_flow_output.qvd를 사용합니다. 결과 파일은 사용자의 폴더로 직접 전송됩니다.

3. 저장을 클릭합니다.

   최소한 하나의 소스, 하나의 대상 및 선택적 프로세서가 있으면 이제 데이터 흐름을 실행할 수 있습니다.

데이터 흐름 실행

데이터 흐름의 모든 노드가 연결되고 구성되었으며 정상으로 표시되면 녹색 확인 표시는 데이터 흐름이 유효한 것으로 간주되어 실행할 수 있음을 나타냅니다. 이 시점에서 캔버스 오른쪽 위에 있는 스크립트 미리 보기 버튼을 사용하면 화면 뒤에서 생성될 전체 스크립트를 볼 수 있습니다.

1. 흐름 실행을 클릭하여 데이터 처리를 시작합니다.

   실행 상태를 보여 주는 알림이 열립니다.

2. 흐름이 성공적으로 완료되면, 출력된 준비된 데이터는 대상에 따라 다양한 위치에서 찾을 수 있습니다.

   • 다른 자산들 사이의 카탈로그와 데이터 파일의 데이터 흐름 개요의 출력 섹션에서 찾을 수 있습니다.

   • 연결 기반 데이터 집합에 대한 데이터 흐름 개요의 출력 섹션에서 찾을 수 있습니다.

이제 준비된 데이터를 AutoML 실험이나 시각화 앱에 제공할 수 있는 정제된 소스로 사용할 수 있습니다.